本發(fā)明涉及計算機視覺，具體地，涉及面向腹部ct圖像的語義分割及三維重建系統(tǒng)。

背景技術(shù)：

1、隨著醫(yī)療技術(shù)的進步，計算機斷層掃描(ct)等醫(yī)學(xué)影像技術(shù)，已經(jīng)成為臨床醫(yī)療診斷不可或缺的輔助手段。醫(yī)學(xué)圖像分割是從醫(yī)學(xué)影像中識別出病變器官的像素點，目的是使圖像中的解剖或病理結(jié)構(gòu)變化更加清晰，從而提取出一些關(guān)鍵的特征信息輔助診療。

2、然而，傳統(tǒng)的醫(yī)學(xué)圖像分割主要依靠人工進行逐層閱片，加重了臨床醫(yī)生的負擔(dān)。因此，醫(yī)學(xué)圖像的自動分割技術(shù)在計算機輔助醫(yī)療領(lǐng)域有著廣泛的應(yīng)用價值。通過對腹部ct數(shù)字圖像進行自動化分割，從中準確的獲取胰腺上緣的解剖結(jié)構(gòu)因素，能夠協(xié)助醫(yī)生進行診斷、治療和手術(shù)，為防治胃癌術(shù)后胰瘺提供準確可靠的信息源。

3、目前，自動化分割已廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域。然而，在腹腔多器官分割中，大部分方法對胰腺和血管的分割效果并不理想。由于腹腔內(nèi)部的胰腺、血管等在腹部ct中所占體積小、灰度信息對比度較低，難以與周圍的環(huán)境區(qū)分開，因此傳統(tǒng)的閾值和邊緣分割方法效果有限。其次，不同病患個體的圖像存在形狀、紋理上的差異，使得基于特定形狀的分割方法也難度較大。

4、專利文獻cn117994521a(申請?zhí)枺?02410223412.5)公開了一種基于雙尺度混合網(wǎng)絡(luò)的腹部ct圖像多器官分割方法，具體實現(xiàn)為：(1)建立包含原始圖像和其對應(yīng)分割金標準的訓(xùn)練數(shù)據(jù)集；(2)構(gòu)建一種基于雙尺度的混合編解碼網(wǎng)絡(luò)，其中編碼器采用雙尺度輸入，通過充分利用transformer和cnn優(yōu)勢，提取圖像多尺度特征，解碼器則通過逐步融合不同尺度特征獲取精確的分割結(jié)果；(4)利用訓(xùn)練數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練，直至預(yù)先設(shè)定的損失函數(shù)收斂；(5)運用訓(xùn)練好的網(wǎng)絡(luò)對待分割的圖像進行測試，得到分割結(jié)果。然而該方法直接針對單張的切片圖像進行分析，可能會丟失ct圖像切片間重要的空間語義信息，導(dǎo)致分割效果降低。

5、專利文獻cn117994270a(申請?zhí)枺?02410283021.2)公開了一種腹部ct圖像多器官自動分割方法，該方法融合了圖像的2d和3d特征，將腹部ct圖像輸入優(yōu)化后的圖像分割網(wǎng)絡(luò)模型，生成初步分割結(jié)果后，再根據(jù)像素分割相對不確定度閾值進行篩選,以獲得最終分割結(jié)果。然而，該方法網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜，并且對于胰腺、血管等體積小、形狀復(fù)雜的組織分割效果一般。

6、本發(fā)明采用了nnu-net框架進行分割模型的訓(xùn)練，它是一個自適應(yīng)任何新數(shù)據(jù)集的醫(yī)學(xué)影像分割框架，能根據(jù)給定數(shù)據(jù)集的屬性自動調(diào)整所有超參數(shù)，整個過程無需人工干預(yù)。因此避免了繁瑣的設(shè)計網(wǎng)絡(luò)和手動調(diào)參過程，更加便于用戶使用。同時，本發(fā)明采用了一種由粗到細的分割策略，融合了二維和三維分割網(wǎng)絡(luò)的優(yōu)點，將nnu-net方法應(yīng)用于腹腔的精細分割中，完成了從腹腔、脂肪到胰腺和血管等復(fù)雜組織的分割，通用性強，操作便捷。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種面向腹部ct圖像的語義分割及三維重建系統(tǒng)。

2、根據(jù)本發(fā)明提供的一種面向腹部ct圖像的語義分割模型訓(xùn)練及三維重建系統(tǒng)，包括：

3、模塊m1：獲取原始腹部ct圖像，并對獲取的原始腹部ct圖像進行預(yù)處理；

4、模塊m2：對預(yù)處理后的原始腹部ct圖像進行腹腔區(qū)域以及脂肪組織的分割；

5、模塊m3：將預(yù)處理后的原始腹部ct圖像轉(zhuǎn)換為三維腹部ct圖像；

6、模塊m4：對三維腹部ct圖像進行胰腺以及血管組織的分割。

7、優(yōu)選地，所述模塊m1包括：

8、模塊m1.1：將獲取的原始腹部ct圖像轉(zhuǎn)換為png無損格式；

9、模塊m1.2：基于原始腹部ct圖像對應(yīng)的json標注文件，獲取腹腔區(qū)域的形狀信息，并根據(jù)不同形狀的類型繪制腹腔標注；獲取胰腺組織的形狀信息，并根據(jù)不同形狀的類型繪制胰腺標注；獲取血管的形狀信息，并根據(jù)不同形狀的類型繪制血管標注；

10、模塊m1.3：將標注后的原始腹部ct圖像轉(zhuǎn)換為灰度圖像，并設(shè)置像素值閾值，將高于閾值的標注部分轉(zhuǎn)為像素值1，不高于閾值的標注部分轉(zhuǎn)為像素0，得到二值的單通道圖像，作為最終標注輸出；

11、模塊m1.4：將png無損格式的原始腹部ct圖像與二值的單通道圖像對應(yīng)命名，確保標注文件和對應(yīng)的原始圖像文件名一致。

12、優(yōu)選地，所述模塊m1.2包括：

13、模塊m1.2.1：基于原始腹部ct圖像對應(yīng)的json標注文件，獲取腹腔區(qū)域的形狀信息，并根據(jù)不同形狀的類型繪制腹腔標注；

14、當(dāng)標注區(qū)域是圓形，則根據(jù)給定的中心點(cx,cy)和邊界點(px,py)，計算圓的半徑并在圖像上繪制一個填充的圓；

15、

16、其中，(cx,cy)是標注區(qū)域的中心點坐標，(px,py)是標注區(qū)域的邊界點坐標，d是標注區(qū)域圓形的半徑；

17、當(dāng)標注區(qū)域是多邊形，則根據(jù)給定的多邊形的頂點集合{(xi,yi)}，使用opencv函數(shù)cv.fillpoly，將多邊形的點集作為輸入，在圖像上繪制一個填充的多邊形；

18、模塊m1.2.2：基于原始腹部ct圖像對應(yīng)的json標注文件，獲取胰腺組織的形狀信息，并根據(jù)不同形狀的類型繪制胰腺標注；

19、模塊m1.2.3：基于原始腹部ct圖像對應(yīng)的json標注文件，獲取包括肝總動脈、腹腔動脈、胃左動脈和脾動脈的形狀信息，并根據(jù)不同形狀的類型繪制血管標注。

20、優(yōu)選地，所述模塊m2包括：

21、模塊m2.1：構(gòu)建并訓(xùn)練腹腔區(qū)域分割模型，利用訓(xùn)練后的腹腔區(qū)域分割模型對腹腔區(qū)域進行分割；

22、模塊m2.2：使用像素值篩選方法對脂肪組織進行分割；

23、所述腹腔區(qū)域分割模型是基于nnu-net網(wǎng)絡(luò)對腹腔區(qū)域進行分割。

24、優(yōu)選地，所述模塊m2.1包括：

25、模塊m2.1.1：基于原始腹部ct圖像及對應(yīng)的腹腔標注構(gòu)建數(shù)據(jù)集，并生成數(shù)據(jù)集的json描述文件；所述數(shù)據(jù)集的json描述文件包括：數(shù)據(jù)集名稱、樣本數(shù)量、圖像模態(tài)、分割類別及對應(yīng)像素值信息；

26、模塊m2.1.2：將數(shù)據(jù)集轉(zhuǎn)化為nnu-net標準格式，包括：訓(xùn)練集、測試集、訓(xùn)練集標注、測試集標注以及數(shù)據(jù)集的json描述文件；

27、模塊m2.1.3：提取包括數(shù)據(jù)集的圖像大小和體素間距特征，自動配置分割網(wǎng)絡(luò)的超參數(shù)；

28、模塊m2.1.4：基于2d?u-net網(wǎng)絡(luò)構(gòu)建腹腔區(qū)域分割模型；

29、模塊m2.1.5：利用訓(xùn)練集使用5折交叉驗證的劃分方式訓(xùn)練腹腔區(qū)域分割模型；

30、模塊m2.1.6：利用訓(xùn)練后的腹腔區(qū)域分割模型對測試集內(nèi)的腹部ct圖像進行分割，在分割過程中，將交叉驗證得到的n個模型的推理結(jié)果做了集成，作為最終的腹腔區(qū)域分割結(jié)果。

31、優(yōu)選地，所述模塊m2.2包括：

32、模塊m2.2.1：遍歷原始輸入圖像的每個像素，對于像素點(x,y)，如果其綠色通道內(nèi)的像素值g(x,y)滿足：

33、tmin≤g(x,y)≤tmax

34、則將該像素點作為脂肪候選點，令：

35、label(x,y)＝[0,255,255]

36、其中，tmin和tmax為設(shè)定的分割閾值；label(x,y)用于存儲脂肪分割結(jié)果的與輸入圖像大小相同的標簽數(shù)組；

37、模塊m2.2.2：使用腹腔分割結(jié)果排除腹腔區(qū)域外的脂肪候選點：

38、mask(x,y)＝m(x,y)×[1,1,1]

39、其中，m(x,y)是得到的腹腔區(qū)域的分割掩膜；mask(x,y)用于記錄屬于腹部區(qū)域的像素的與輸入圖像大小相同的空的掩膜數(shù)組；

40、模塊m2.2.3：fat(x,y)＝label(x,y)×mask(x,y)；

41、模塊m2.2.4：使用opencv函數(shù)cv.erode和cv.dilate對fat(x,y)進行兩次腐蝕和膨脹操作，通過形態(tài)學(xué)處理消除噪聲干擾，從而得到脂肪組織分割結(jié)果。

42、優(yōu)選地，所述模塊m3包括：

43、模塊m3.1：讀取每個患者所有腹部ct圖像切片的文件名，提取代表切片順序的數(shù)字部分，按照數(shù)字信息對所有切片排序；

44、模塊m3.2：根據(jù)排序后的二維切片序列的尺寸信息及切片數(shù)量，創(chuàng)建一個相應(yīng)大小的空的三維numpy數(shù)組image_data，用以存儲所有切片的像素值；

45、模塊m3.3：將排序后的二維切片序列分別轉(zhuǎn)換為灰度圖像，并通過rotate()和transpose()對圖像進行旋轉(zhuǎn)和翻轉(zhuǎn)，使得切片在三維空間中保持正確的方向；將每張切片圖像分別存儲為二維numpy數(shù)組，再依次放入image_data數(shù)組的對應(yīng)切片的位置；

46、模塊m3.4：設(shè)置圖像的像素間距spacing為(1mm，1mm，5mm)；設(shè)置初始的仿射矩陣，并將其對角線元素更新為spacing值；

47、模塊m3.5：將模塊m3.3和模塊m3.4的輸出封裝為三維的nifti格式。

48、優(yōu)選地，所述模塊m4包括：

49、模塊m4.1：構(gòu)建并訓(xùn)練胰腺區(qū)域分割模型，利用訓(xùn)練后的胰腺區(qū)域分割模型對胰腺區(qū)域進行分割；

50、模塊m4.2：構(gòu)建并訓(xùn)練血管區(qū)域分割模型，利用訓(xùn)練后的血管區(qū)域分割模型對血管區(qū)域進行分割；

51、所述胰腺區(qū)域分割模型是基于nnu-net網(wǎng)絡(luò)對胰腺區(qū)域進行分割；

52、所述血管區(qū)域分割模型是基于nnu-net網(wǎng)絡(luò)對血管區(qū)域進行分割。

53、優(yōu)選地，所述模塊m4.1包括：

54、模塊m4.1.1：基于重建后的三維腹部ct圖像及對應(yīng)的胰腺標注構(gòu)建數(shù)據(jù)集，并生成數(shù)據(jù)集的json描述文件；所述數(shù)據(jù)集的json描述文件包括：數(shù)據(jù)集名稱、樣本數(shù)量、圖像模態(tài)、分割類別及對應(yīng)像素值信息；

55、模塊m4.1.2：將數(shù)據(jù)集轉(zhuǎn)化為nnu-net標準格式，包括：訓(xùn)練集、測試集、訓(xùn)練集標注、測試集標注以及數(shù)據(jù)集的json描述文件；

56、模塊m4.1.3：提取數(shù)據(jù)集的圖像大小、體素間距等特征，自動配置分割網(wǎng)絡(luò)的超參數(shù)；

57、模塊m4.1.4：基于3d?u-net網(wǎng)絡(luò)構(gòu)建胰腺區(qū)域分割模型；

58、模塊m4.1.5：利用訓(xùn)練集使用5折交叉驗證的劃分方式訓(xùn)練胰腺區(qū)域分割模型；

59、模塊m4.1.6：利用訓(xùn)練后的胰腺區(qū)域分割模型對測試集內(nèi)的腹部ct圖像進行分割，在分割過程中，將交叉驗證得到的5個模型的推理結(jié)果做了集成，作為最終的胰腺區(qū)域分割結(jié)果。

60、優(yōu)選地，所述模塊m4.2包括：

61、模塊m4.2.1：基于重建后的三維腹部ct圖像及對應(yīng)的血管標注構(gòu)建數(shù)據(jù)集，并生成數(shù)據(jù)集的json描述文件；所述數(shù)據(jù)集的json描述文件包括：數(shù)據(jù)集名稱、樣本數(shù)量、圖像模態(tài)、分割類別及對應(yīng)像素值信息；

62、模塊m4.2.2：將數(shù)據(jù)集轉(zhuǎn)化為nnu-net標準格式，包括：訓(xùn)練集、測試集、訓(xùn)練集標注、測試集標注以及數(shù)據(jù)集的json描述文件；

63、模塊m4.2.3：提取數(shù)據(jù)集的圖像大小、體素間距等特征，自動配置分割網(wǎng)絡(luò)的超參數(shù)；

64、模塊m4.2.4：基于3d?u-net網(wǎng)絡(luò)構(gòu)建血管區(qū)域分割模型；

65、模塊m4.2.5：利用訓(xùn)練集使用5折交叉驗證的劃分方式訓(xùn)練血管區(qū)域分割模型；

66、模塊m4.2.6：利用訓(xùn)練后的血管區(qū)域分割模型對測試集內(nèi)的腹部ct圖像進行分割，在分割過程中，將交叉驗證得到的5個模型的推理結(jié)果做了集成，作為最終的血管區(qū)域分割結(jié)果。

67、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

68、1、本發(fā)明針對腹腔多器官分割任務(wù)，提供了一種基于nnu-net框架的腹部ct圖像語義分割及三維重建系統(tǒng)，將nnu-net方法應(yīng)用于腹腔及其內(nèi)部重要器官的精細分割；

69、2、本發(fā)明通過由粗到細的分割策略，逐步完成了腹腔、脂肪、胰腺和血管組織的分割，并整合了從分割到重建再到可視化的多個關(guān)鍵步驟，幫助術(shù)者理清胰腺上緣區(qū)域的解剖結(jié)構(gòu)因素；

70、3、本發(fā)明融合了二維和三維分割網(wǎng)絡(luò)的優(yōu)點，無需手動調(diào)參，在空間位置和形態(tài)上提高了腹腔多器官分割的精確度，相較于傳統(tǒng)技術(shù)有通用性強、效果直觀、操作便捷等特點和優(yōu)勢；