本發(fā)明屬于醫(yī)學(xué)影像處理和目標檢測，特別是涉及一種基于改進yolov7的腦部mri影像腫瘤檢測方法。

背景技術(shù)：

1、腦腫瘤是由不受控制的細胞增殖引起的異常組織生長，這些組織在大腦內(nèi)并不具有生理功能。腫瘤的存在不僅會增加大腦的體積和壓力，還可能導(dǎo)致腫脹，從而引發(fā)各種神經(jīng)癥狀。腦腫瘤的磁共振成像（mri）影像檢測具有重要的臨床意義，能夠提高腦腫瘤的診斷效率、優(yōu)化資源配置，并推動醫(yī)學(xué)科研和臨床實踐的進步。mri作為一種廣泛應(yīng)用的腦成像技術(shù)，具有高軟組織分辨率和多平面成像能力，能夠提供有關(guān)腦部組織的豐富信息，幫助更準確地定位腫瘤。

2、然而，腦腫瘤影像的復(fù)雜性和多樣性使得腫瘤的檢測和識別充滿挑戰(zhàn)。常見的腦腫瘤類型如膠質(zhì)瘤、腦膜瘤和垂體瘤，它們在mri影像中的表現(xiàn)各不相同，增加了檢測的難度。傳統(tǒng)的腦腫瘤檢測方法多依賴于手工設(shè)計特征，并結(jié)合分類器（如knn、svm等）進行區(qū)分。這些方法通過圖像預(yù)處理和特征提取等步驟提升檢測精度，但在處理復(fù)雜的紋理、邊緣和內(nèi)部結(jié)構(gòu)特征時，仍然存在一定局限性。

3、隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，基于深度學(xué)習(xí)的檢測方法逐漸成為主流。深度學(xué)習(xí)方法能夠自動從影像數(shù)據(jù)中學(xué)習(xí)特征表示，避免了傳統(tǒng)手工設(shè)計特征的局限性。yolo系列算法作為一種高效的目標檢測算法，因其能夠在單階段檢測框架下提供較高的精度和速度，廣泛應(yīng)用于醫(yī)學(xué)影像檢測中。盡管yolov7算法在目標檢測中表現(xiàn)出色，但在面對腦腫瘤影像的復(fù)雜檢測任務(wù)時，仍然面臨精度和速度進一步提升的需求?，F(xiàn)有技術(shù)存在以下不足：

4、1）處理腦腫瘤之間相似性的特征提取問題：

5、現(xiàn)有技術(shù)在處理腦腫瘤圖像時，尤其是膠質(zhì)瘤和正常腦組織等相似性較高的腫瘤類型時，傳統(tǒng)的卷積操作未能有效區(qū)分不同組織之間的細微差異。由于腫瘤與正常組織的邊界模糊，傳統(tǒng)卷積網(wǎng)絡(luò)在提取特征時無法針對性地調(diào)整卷積核作用區(qū)域，導(dǎo)致特征提取的精度不高，進而影響檢測結(jié)果。

6、2）腦腫瘤的復(fù)雜性和多樣性對特征提取的挑戰(zhàn)：

7、腦腫瘤在形態(tài)、位置和邊緣的多樣性增加了檢測的難度。傳統(tǒng)的特征提取方法，特別是在處理復(fù)雜形態(tài)和不規(guī)則邊界的腫瘤時，常常不能有效地捕捉腫瘤的關(guān)鍵特征。例如，腦膜瘤和垂體瘤的形狀可能非常規(guī)整，且與周圍腦組織關(guān)系密切，這使得它們難以與其他組織區(qū)分。

8、3）數(shù)據(jù)不平衡問題導(dǎo)致的檢測精度下降：

9、在腦腫瘤的訓(xùn)練數(shù)據(jù)中，小型腫瘤（如微腺瘤）的圖像信號較弱，容易被漏檢。而較大的腫瘤通常更容易被檢測到，導(dǎo)致模型可能偏向于檢測顯著的大腫瘤，而忽視了那些難以辨識的小腫瘤。因此，現(xiàn)有技術(shù)在面對不平衡數(shù)據(jù)集時，往往存在檢測精度較低的情況，尤其是在小腫瘤的檢測上。這些不足之處表明，現(xiàn)有方法在腦腫瘤檢測精度、速度和處理復(fù)雜特征的能力上仍有提升空間，需要更為先進和精細的算法來克服這些挑戰(zhàn)。因此，需要提出一種基于改進yolov7的腦部mri影像腫瘤檢測方法來解決上述問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供一種基于改進yolov7的腦部mri影像腫瘤檢測方法，旨在解決腦腫瘤之間相似性的特征提取問題、腦腫瘤復(fù)雜性和多樣性的特征提取問題以及數(shù)據(jù)不平衡問題導(dǎo)致的檢測精度下降的問題，進一步提高模型的檢測精度和速度。

2、為解決上述技術(shù)效果，本發(fā)明所采用的技術(shù)方案是：

3、一種基于改進yolov7的腦部mri影像腫瘤檢測方法,包括以下步驟：

4、s1，采集腦部mri影像作為原始數(shù)據(jù)，對采集的原始數(shù)據(jù)進行預(yù)處理并輸入到原始的yolov7模型中；

5、s2，對原始的yolov7模型進行卷積優(yōu)化：

6、使用部分卷積pconv優(yōu)化計算效率，對預(yù)處理后的數(shù)據(jù)進行圖像特征提取；將傳統(tǒng)的卷積層替換為部分卷積層，僅對有效區(qū)域進行卷積操作，實現(xiàn)部分卷積的前向和反向傳播計算，以提高計算效率；使優(yōu)化后的卷積層與模型中的其他層兼容，能夠順利進行訓(xùn)練和推理；

7、s3，設(shè)計并實現(xiàn)三維空間注意力機制來對提取到的特征進行處理，結(jié)合空間和通道維度的注意力，在步驟s2中卷積優(yōu)化后的yolov7模型的特定層中集成simam模塊，以進行特征選擇和加權(quán)；

8、s4，設(shè)計并實現(xiàn)動態(tài)注意力bbr損失函數(shù)wiou，結(jié)合步驟s2處理后的特征，用于邊界框回歸；根據(jù)錨框與目標框的相似度動態(tài)調(diào)整損失權(quán)重，提升邊界框回歸的精度；

9、s5，以非極大值抑制的方法選取最后的檢測結(jié)果；

10、s6，評估改進后的yolov7模型的性能。

11、優(yōu)選地，步驟s1中數(shù)據(jù)預(yù)處理方法為：

12、將腦部mri影像進行預(yù)處理，包括圖像的標準化和歸一化。

13、進一步地，由于深度學(xué)習(xí)模型通常要求輸入圖像具有固定尺寸，需要在輸入前模型將mri圖像調(diào)整為模型所需的輸入大小640×640像素。

14、進一步地，步驟s2中，模型使用簡單的pconv部分卷積技術(shù)，其中部分卷積根據(jù)數(shù)據(jù)的有效性調(diào)整卷積核的作用區(qū)域，只對每個卷積窗口的有效部分進行卷積；與常規(guī)卷積不同，只在部分輸入特征上應(yīng)用卷積進行空間特征提取，而對其他通道保持不變，通過這種方式，部分卷積能夠有效減少計算量，從而降低模型的整體檢測時間，提高速度。

15、優(yōu)選地，卷積的計算延遲時間delay由計算量和計算速度共同決定，如下式所示：

16、；

17、式中，是浮點計算次數(shù)，包括乘法和加法，只與模型本身有關(guān)；是每秒鐘浮點運算的次數(shù)即計算速度，受訪問內(nèi)存的次數(shù)影響；

18、模型提出使用部分卷積pconv，在不降低計算速度的同時降低計算量，從而降低計算時間以提高整個模型的檢測速度。

19、優(yōu)選地，對部分卷積來說，只在幾個輸入通道上應(yīng)用卷積核，而在其余的通道保持不變；部分卷積的為：

20、；

21、內(nèi)存訪問量為：

22、；

23、實現(xiàn)在不增加內(nèi)存訪問量的同時降低總計算次數(shù)，其中 h為圖像的垂直維度， w為圖像的水平維度， k為卷積核的大小， c為輸出通道數(shù)；

24、將普通卷積替換為部分卷積加1x1的卷積，加入residual防止梯度爆炸，促使模型收斂，并在2個1x1卷積之間添加bn層和激活函數(shù)以保持feature?map的特征多樣性，同時降低復(fù)雜度。

25、優(yōu)選地，步驟s3中，在對提取到的特征處理時，采用三維空間注意力機制，同時關(guān)注feature?map的空間域和通道域注意力，在形態(tài)、大小、位置多樣復(fù)雜的腫瘤中迅速找到需要重點關(guān)注的特征。

26、進一步地，為了同時關(guān)注通道和空間的變化注意力并降低結(jié)構(gòu)復(fù)雜度，在不增加額外參數(shù)量的前提下對每個神經(jīng)元進行三維注意力權(quán)重賦值；神經(jīng)學(xué)空間抑制原理表明信息最豐富的神經(jīng)元通常是那些對周圍神經(jīng)元表現(xiàn)出獨特放電模式的神經(jīng)元，并且活躍的神經(jīng)元還可能抑制周圍神經(jīng)元的活動；根據(jù)此原理，模型使用三維空間注意力機制simam，通過最小化每個神經(jīng)元的能量函數(shù)，找到目標神經(jīng)元和其他神經(jīng)元的線性可分離性，將高權(quán)重注意力賦值于表現(xiàn)出明顯空間抑制效應(yīng)的神經(jīng)元；基于神經(jīng)學(xué)和數(shù)學(xué)理論，定義每個神經(jīng)元的能量函數(shù)為下式，以此估計每個神經(jīng)元的重要性：

27、；

28、其中是通道上神經(jīng)元的個數(shù)，表示輸入特征單個通道中的目標神經(jīng)元，表示輸入特征單個通道中的其他神經(jīng)元，是空間維度索引。和是和的線性變換如式所示，和是變換的權(quán)重和偏置；

29、；

30、對和采用二進制標簽，分別為-1和1；可以通過最小化式：

31、；

32、通過上式找到同一通道中和之間的線性可分離性：

33、當(dāng)，所有時，對應(yīng)目標神經(jīng)元的能量取到最小值；

34、為了防止過擬合，對式添加正則化表達式得到下式：

35、；

36、通過和的快速解析式對上式進行簡化：

37、；

38、其中和的表達式為下式：

39、；

40、和分別為同一通道上除目標神經(jīng)元外所有神經(jīng)元的均值和方差；由于快速解析式的計算是在單個通道上進行的，假設(shè)同通道的神經(jīng)元是獨立同分布的；由此可以對所有神經(jīng)元進行均值和方差的計算得到式：

41、；

42、對上述公式化簡可以得到神經(jīng)元能量的最簡形式如下式：

43、；

44、由于每個神經(jīng)元與其他神經(jīng)元的線性分離性與該神經(jīng)元能量負相關(guān)，因此認為每個神經(jīng)元的重要性為1/；三維空間注意力機制單個神經(jīng)元注意力表達式為：

45、；

46、其中為輸入特征，為輸出特征，是神經(jīng)元能量。

47、進一步地，通過上式可以快速準確得到三維空間注意力進而在復(fù)雜的腦腫瘤影像中提取到更具重要性的特征，從而提升模型整體檢測的精確度。

48、優(yōu)選地，步驟s4中，在目標檢測任務(wù)中，bbr損失函數(shù)對最后的結(jié)果準確率影響極大，理想的損失函數(shù)應(yīng)當(dāng)滿足錨框和實際目標框趨于重疊時，梯度的幅度收斂為零。

49、diou是一種基于距離的iou擴展，考慮檢測框之間的中心點距離，更好地捕捉目標檢測框之間的空間關(guān)系。diou相比傳統(tǒng)的iou能夠更準確地度量兩個檢測框的重疊程度。ciou是對diou的改進，除了考慮中心點距離外，還考慮寬高比和長寬比的差異，可以更準確地描述目標檢測框之間的重疊情況，在處理不同形狀和尺寸的目標時表現(xiàn)更好。siou是一種復(fù)雜的邊界框回歸方法，通過融合角度考慮和規(guī)模敏感性，解決傳統(tǒng)損失函數(shù)的限制，能更全面地考慮目標的位置、角度和形狀等因素，從而在預(yù)測準確性方面取得顯著的提升。但是在邊界框回歸任務(wù)中，由于目標的稀疏性，存在著訓(xùn)練實例不平衡的問題。前面幾種方法引入的幾何因素例如距離和高寬比，會加重對低質(zhì)量數(shù)據(jù)的懲罰，產(chǎn)生過大的梯度，對網(wǎng)絡(luò)的訓(xùn)練過程具有害處。為了不影響網(wǎng)絡(luò)的整體訓(xùn)練結(jié)果，解決訓(xùn)練實例不平衡的問題，應(yīng)當(dāng)給予普通質(zhì)量的例子較大的關(guān)注度并對其分配較大梯度，而對離群度高的異常值例子以及離群度小的高質(zhì)量例子分配小梯度增益。

50、優(yōu)選地，focal-eiou中anchor?box的梯度增益隨變化的曲線，其梯度變化趨勢如下所示：

51、；

52、其中，是控制離群值抑制程度的參數(shù)；包含3個部分：iou損失、距離損失和高寬損失；這種方法雖然能調(diào)整對不同質(zhì)量例子的關(guān)注度，但它是靜態(tài)的關(guān)注，忽略了anchor?box質(zhì)量的變化，即錨框的質(zhì)量分布是在相互比較中動態(tài)改變的。

53、使用動態(tài)注意力wiou使模型專注于普通質(zhì)量的anchor?box，量化anchor?box變化的質(zhì)量分布，并對不同質(zhì)量的anchor?box給予不同的梯度；

54、構(gòu)建懲罰項，以降低距離和長寬比等幾何因素對低質(zhì)量數(shù)據(jù)的回歸懲罰，并且在anchor?box與目標框重合良好時削弱幾何因素的懲罰：

55、；

56、與相乘的距離注意力機制損失函數(shù)如式所示：

57、；

58、在中，和是最小封閉邊界的寬和高，(,)和(,)分別為anchorbox與目標框的中心坐標，為了加快模型的整體收斂速度，降低幾何因素對低質(zhì)量例子的懲罰，這里沒有引入寬高比等新的度量；在中，[0,1]，用于降低高質(zhì)量anchorbox的，減少對其關(guān)注度；[1，e)，用于顯著放大普通質(zhì)量anchor?box的，提高對其關(guān)注度；

59、為了動態(tài)表示anchor?box的離群度，構(gòu)建，并引入梯度增益參數(shù)如式所示，和：

60、；

61、對于離群度高的低質(zhì)量anchor?box和離群度小的高質(zhì)量anchor?box，為其分配較小的梯度增益，而對處于中間水平的普通質(zhì)量anchor?box分配較大的梯度增益，以此來把邊界框回歸的工作重心集中在普通質(zhì)量anchor?box上，最后將與相乘得到如式所示：

62、；

63、式中，r表示梯度增益參數(shù)；在對形態(tài)多樣、結(jié)構(gòu)復(fù)雜的腦腫瘤檢測時能動態(tài)地分配注意力，降低低質(zhì)量數(shù)據(jù)對結(jié)果的影響，有效提升檢測結(jié)果的準確度。

64、優(yōu)選地，步驟s5中，非極大值抑制（nms）是一種常用于目標檢測結(jié)果后處理的技術(shù)，用來去除重疊的預(yù)測框，保留最具代表性的目標框；以非極大值抑制的方法選取最后的檢測結(jié)果具體包括：

65、nms根據(jù)每個候選框的置信度對所有框進行排序，選擇置信度最高的框作為當(dāng)前檢測框；

66、計算當(dāng)前框與其他框之間的交并比iou，如果iou超過預(yù)設(shè)的閾值，則認為這兩個框是冗余的，并去除重疊度高于設(shè)定閾值的框；重復(fù)此過程直到?jīng)]有剩余的框；

67、輸出置信度高于設(shè)定閾值且與其他框重疊小于設(shè)定閾值的目標框；通過nms，能夠有效去除冗余框，減少腦部腫瘤檢測結(jié)果中的誤報和漏報。

68、優(yōu)選地，步驟s6包括：

69、從精度和速度兩個方面來評價模型檢測的效率，精度表現(xiàn)以各類別平均精度的均值來衡量，速度以每秒鐘處理的圖像數(shù)fps來衡量；表達式如式所示：

70、；

71、表示類別的總數(shù)，表示第個類別的平均精度，取決于不同閾值下的精確率和召回率：

72、；

73、表示模型預(yù)測為正例的樣本中有多少是真正的正例，是模型預(yù)測的邊界框中真正包含物體的比例：

74、；

75、其中，（true?positives）為正確預(yù)測為正例的樣本數(shù)量，（false?positives）為錯誤預(yù)測為正例的樣本數(shù)量；表示模型能夠正確檢測出的正例樣本的比例，是模型成功檢測到真實物體的比例：

76、；

77、（false?negatives）表示未能正確預(yù)測為正例的樣本數(shù)量。

78、進一步地，綜合考慮模型在不同類別上的檢測性能，并給出模型在整個數(shù)據(jù)集上的綜合表現(xiàn)，它可以綜合評估模型在目標檢測任務(wù)中的整體性能，而不僅是關(guān)注單個類別的性能表現(xiàn)。推理速度指標衡量模型在給定硬件上的處理速度，通常以每秒處理的圖像數(shù)來衡量。在實際應(yīng)用中，更高的意味著模型能夠更快地處理圖像，并實現(xiàn)實時目標檢測。

79、本發(fā)明的有益效果如下：

80、1，本發(fā)明針對腦部mri影像腫瘤檢測的需求，在yolov7模型的基礎(chǔ)上進行多項改進。首先，針對腦腫瘤的相似性，提出在特征提取時使用pconv，以此來消除冗余計算，提高檢測的速度；其次，針對腦腫瘤的復(fù)雜多樣性，引入simam三維空間注意力機制到特征提取過程中，以增強對重要特征的關(guān)注。最后，針對腦腫瘤數(shù)據(jù)的不平衡問題，在bbr階段使用wiou來提升對普通質(zhì)量anchor?box的關(guān)注；通過實驗發(fā)現(xiàn)，對比原yolov7模型，改進后模型在兩個公開數(shù)據(jù)集上的map值和fps值均有所提升，這證明本發(fā)明的改進方法能有效提高腦腫瘤檢測的精度和速度；通過消融實驗發(fā)現(xiàn)，在同時加入pconv、simam和wiou改進時，雖然模型檢測準確度和速度整體提高，但速度卻比只加入pconv要低。

81、2，本發(fā)明提出采用部分卷積（pconv）替代傳統(tǒng)的卷積操作，用于腦腫瘤圖像中的特征提取。通過根據(jù)數(shù)據(jù)的有效性調(diào)整卷積核的作用區(qū)域，僅對輸入數(shù)據(jù)中更具有效性的部分進行卷積，從而避免對無效信息的過度處理。這種方法能夠提高對細微差異的敏感度，增強模型對不同腫瘤類型和形態(tài)的檢測精度和速度，解決了腦腫瘤之間相似性的特征提取的問題。

82、3，為了解決腦腫瘤特征復(fù)雜性和多樣性的問題，本發(fā)明在yolov7模型中引入了三維空間注意力機制，該機制同時關(guān)注空間域和通道域的注意力，能夠自適應(yīng)地提取腦腫瘤圖像中的關(guān)鍵信息。通過對特征圖中信息豐富的神經(jīng)元賦予更高的關(guān)注，網(wǎng)絡(luò)能夠更有效地提取具有判別性的腫瘤特征，提高模型在處理復(fù)雜且形態(tài)多變的腫瘤時的精度。

83、4，為了解決數(shù)據(jù)不平衡問題帶來的檢測精度下降，本發(fā)明提出在邊界框回歸（bbr）過程中使用動態(tài)注意力損失函數(shù)。通過動態(tài)調(diào)整梯度增益，使得不同質(zhì)量影像數(shù)據(jù)的邊界框能得到合理的權(quán)重分配。該方法減少了低質(zhì)量邊界框?qū)δＰ陀?xùn)練的負面影響，從而提升對腦腫瘤的檢測能力，改善整體模型的表現(xiàn)。