本發(fā)明屬于圖像處理，具體的說是一種基于人工智能的消化內(nèi)鏡檢查輔助系統(tǒng)。

背景技術(shù)：

1、消化內(nèi)鏡檢查在診斷、評估病變、治療和隨訪觀察等方面都具有重要的臨床意義，是消化道疾病管理中不可或缺的工具。臨床診斷中，醫(yī)生首先需要在有限的時間內(nèi)對內(nèi)窺鏡檢查產(chǎn)出的大量圖像作出病變與否與病變類別的判斷；然而，由于內(nèi)鏡醫(yī)師診斷水平差異較大，存在對消化道解剖部位觀察不全的問題，從而導致病變漏診。時間和經(jīng)濟成本昂貴。不同類別病變之間差異細微，不易區(qū)分，易誤診。同一病變之間也存在較大差異，病變區(qū)域范圍越大，多尺度并存，小病變特征不明顯，易漏診。

2、現(xiàn)有技術(shù)如cn117854705a公開的一種上消化道多病變多任務(wù)智能診斷方法、裝置、設(shè)備及介質(zhì)，該方法包括：將上消化道內(nèi)鏡檢查圖像輸入至上消化道多任務(wù)分類模型，生成上消化道內(nèi)鏡檢查圖像對應(yīng)的融合特征；通過上消化道多任務(wù)分類模型對融合特征進行處理，獲得上消化道內(nèi)鏡檢查圖像對應(yīng)的圖像解剖部位和病變圖像；將病變圖像輸入至上消化道多病變分割模型，生成病變區(qū)域目標分割結(jié)果；根據(jù)上消化道內(nèi)鏡檢查圖像對應(yīng)的圖像解剖部位和病變區(qū)域目標分割結(jié)果進行診斷。

3、在上述現(xiàn)有技術(shù)中，考慮到病癥存在多尺度特征，因此在對消化內(nèi)鏡檢查圖像的處理過程中，融入了多尺度特征驗證的手段進行病癥檢查，但是，基于實際應(yīng)用，由于上述的消化內(nèi)鏡檢查圖像為白光圖像，主要用于提供病癥的形態(tài)學信息，包括顏色、紋理和表面結(jié)構(gòu)，但是部分消化道病癥在早期并不會顯現(xiàn)出明顯的形狀、顏色和紋理，更多的是內(nèi)部分子結(jié)構(gòu)的變化，因此即便進行多尺度特征驗證是否存在病癥，由于早期病癥的白光圖像并不能反映明顯的形狀、顏色及紋理變化，進而造成早期病癥被忽視，導致誤診斷。

4、為此，本發(fā)明提供一種基于人工智能的消化內(nèi)鏡檢查輔助系統(tǒng)。

技術(shù)實現(xiàn)思路

1、為了彌補現(xiàn)有技術(shù)的不足，解決背景技術(shù)中所提出的至少一個技術(shù)問題。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：本發(fā)明所述的一種基于人工智能的消化內(nèi)鏡檢查輔助系統(tǒng)，包括：

3、數(shù)據(jù)采集及預處理模塊，用于采集消化內(nèi)鏡圖像并進行預處理；所述消化內(nèi)鏡圖像包括白光圖像、拉曼光譜圖像；

4、特征提取模塊，用于對預處理后的消化內(nèi)鏡圖像進行特征提取，分別獲取對應(yīng)于白光圖像的第一特征向量，及對應(yīng)于拉曼光譜圖像的第二特征向量；

5、特征融合模塊，用于對提取的第一特征向量及第二特征向量進行融合，得到多維度結(jié)合的融合特征向量；

6、病癥分析模塊，基于病癥分類器，將融合特征向量輸入病癥分類器，基于病癥分類器確定病癥的概率分布及嚴重等級，并將病癥的概率分布及嚴重等級作為分析結(jié)果輸出；

7、報告生成模塊，基于分析結(jié)果生成輔助診斷報告。

8、優(yōu)選的，所述消化內(nèi)鏡圖像的預處理方法為：

9、對白光圖像進行去噪，基于均值濾波、中值濾波、雙邊濾波中的任一一種去噪；

10、對白光圖像進行光照校正，基于直方圖均衡化、retinex算法中的任一一種校正圖像光照；

11、對白光圖像進行圖像分割，基于圖像分割算法進行分割，獲取局部特征區(qū)域與背景區(qū)域；

12、對拉曼光譜圖像進行去噪以及數(shù)據(jù)歸一化，基于基線校正、小波變換中的任一一種去除噪聲。

13、優(yōu)選的，所述拉曼光譜圖像使用小波變換去除噪聲的方法為：

14、基于小波基函數(shù)，按照預設(shè)的分解層數(shù)對拉曼光譜圖像進行分解，將分解后的圖像歸類至低頻成分、高頻成分；

15、基于閾值法對高頻成分中的圖像的進行噪聲去除；

16、將去噪后的高頻成分與低頻成分組合，得到組合圖像；

17、使用選定的小波基函數(shù)以及分解層數(shù)，對組合圖像進行重構(gòu)，得到去噪后的拉曼光譜圖像。

18、優(yōu)選的，所述白光圖像的特征提取方法為：

19、通過預訓練的cnn模型對白光圖像進行處理，輸出多個特征圖；

20、在每個特征圖中選取最大的像素值；

21、在最后一個卷積層后應(yīng)用全局最大池化，形成全局特征向量；

22、基于卷積層和池化層的組合，提取局部特征向量；

23、將局部特征向量與全局特征向量在同一維度上拼接，得到第一特征向量；

24、所述拉曼光譜圖像的特征提取方法為：

25、將去噪后的拉曼光譜圖像轉(zhuǎn)換為數(shù)據(jù)集；

26、基于主成分分析算法對數(shù)據(jù)集進行處理，獲取特征值及特征向量；

27、根據(jù)特征值大小進行排序，獲取排序大于中位數(shù)的主成分；

28、將所選擇的主成分組合得到第二特征向量。

29、優(yōu)選的，所述多維度結(jié)合的融合特征向量的獲取方法為：

30、獲取第一特征向量f1、第二特征向量f2；

31、對第一特征向量f1、第二特征向量f2進行重要性評估，確定權(quán)重因子w1、w2；

32、根據(jù)公式：

33、f＝w1×f1+w2×f2

34、其中，f為融合特征向量，w1為第一特征向量的權(quán)重因子，w2為第二特征向量的權(quán)重因子。

35、優(yōu)選的，所述多維度結(jié)合的融合特征向量的獲取方法還包括：

36、獲取第一特征向量的維度d1與第二特征向量的維度d2；

37、判斷d1與d2是否相等；

38、若d1＝d2，則可進行第一特征向量f1、第二特征向量f2的加權(quán)融合；

39、若d1≠d2，則基于主成分分析算法對維度進行匹配，包括：

40、若d1<d2，則對第一特征向量的維度d1進行填充，直至d1＝d2；

41、若d1>d2，則對第二特征向量的維度d2進行填充，直至d1＝d2。

42、優(yōu)選的，所述基于病癥分類器確定病癥的概率分布及嚴重等級的方法為：

43、獲取融合特征向量；

44、將融合特征向量輸入訓練好的病癥分類器；

45、基于全連接神經(jīng)網(wǎng)絡(luò)，對融合特征向量進行前向傳播；

46、基于softmax激活函數(shù)，對融合特征向量輸出每個類別的概率分布圖，同時基于線性激活函數(shù)，輸出連續(xù)值；

47、選擇概率分布圖中概率最高的類別作為最大可能病癥；

48、將最大可能病癥的概率與閾值進行比較，當概率大于閾值，則確定病癥存在，反之確定病癥不存在；

49、基于連續(xù)值及預設(shè)的連續(xù)值-程度對照表輸出病癥的嚴重等級；

50、將病癥、病癥對應(yīng)的嚴重等級組合輸出，作為分析結(jié)果。

51、優(yōu)選的，所述基于病癥分類器確定病癥的概率分布及嚴重等級的方法還包括：

52、根據(jù)已確定病癥的融合特征向量，確定對應(yīng)的白光圖像；

53、基于邊緣檢測算法處理白光圖像，分割病癥區(qū)域輪廓與背景輪廓；

54、于分割得到的病癥區(qū)域輪廓疊加半透明顏色圖層，得到病癥突出圖像。

55、優(yōu)選的，還包括活檢區(qū)域確定模塊，所述活檢區(qū)域確定模塊用于根據(jù)分析結(jié)果確定活檢位置；

56、所述確定活檢位置的方法為：

57、獲取病灶分類器輸出的每個類別的概率分布圖；

58、選取任一病灶的概率最大值對應(yīng)的區(qū)域；

59、將區(qū)域的中心點作為預定活檢位置；

60、顯示預定活檢位置并進行審核，確定預定活檢位置符合臨床要求，輸出確定活檢位置。

61、優(yōu)選的，所述病癥分類器的訓練方法為：

62、收集消化內(nèi)鏡圖像，包括白光圖像及對應(yīng)的拉曼光譜圖像；

63、對消化內(nèi)鏡圖像進行預處理，并完成特征提取；

64、對特征進行融合，并根據(jù)消化內(nèi)鏡圖像所對應(yīng)的病癥對融合特征向量進行標注，形成帶標簽的融合特征向量；

65、基于一部分帶標簽的融合特征向量，訓練基于svm算法構(gòu)建的原始分類器；

66、基于另一部分帶標簽的融合特征向量作為驗證集，對分類器進行交叉驗證，優(yōu)化模型的參數(shù)，得到病癥分類器。

67、本發(fā)明的有益效果如下：

68、本發(fā)明所述的一種基于人工智能的消化內(nèi)鏡檢查輔助系統(tǒng)，通過結(jié)合拉曼光譜圖像進行特征融合，獲取融合特征向量，實現(xiàn)對消化內(nèi)鏡圖像的多尺度多維度分析，并輸出分析結(jié)果，也就是說，在現(xiàn)有技術(shù)的基礎(chǔ)上，利用白光圖像所提取的特征向量以及拉曼光譜圖像所提取的特征向量進行融合，實現(xiàn)對消化內(nèi)鏡圖像的多尺度多維度分析，提高對病變各個階段的識別準確性，從而進行更精準的病理分析和輔助診斷，避免造成漏診、誤診。