本技術(shù)涉及計(jì)算機(jī)視覺(jué)，尤其涉及一種模型訓(xùn)練方法、圖像處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、為輔助醫(yī)生進(jìn)行肺結(jié)節(jié)診斷，也隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，目前大多通過(guò)肺結(jié)節(jié)檢測(cè)在肺部計(jì)算機(jī)體層攝影(ct，computed?tomography)圖像中自動(dòng)識(shí)別可能存在的結(jié)節(jié)，并標(biāo)注其位置信息及概率。但現(xiàn)有的肺結(jié)節(jié)檢測(cè)方法的檢測(cè)精度較低。

技術(shù)實(shí)現(xiàn)思路

1、為解決相關(guān)技術(shù)問(wèn)題，本技術(shù)實(shí)施例提供一種模型訓(xùn)練方法、圖像處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

2、本技術(shù)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、本技術(shù)實(shí)施例提供了一種模型訓(xùn)練方法，所述方法包括：

4、獲取一個(gè)或多個(gè)第一圖像對(duì)，一個(gè)第一圖像對(duì)中包括來(lái)自同一個(gè)肺部的第一區(qū)域的一張二維圖像和一張三維圖像，第一區(qū)域的圖像包括肺結(jié)節(jié)圖像；

5、基于所述一個(gè)或多個(gè)第一圖像對(duì)對(duì)第一模型進(jìn)行訓(xùn)練，直至達(dá)到設(shè)定的收斂條件；其中，所述第一模型用于對(duì)第一圖像對(duì)進(jìn)行特征提取得到第一二維特征圖和第一三維特征圖，對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理得到第二二維特征圖，對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合得到第三二維特征圖，以及用于基于第三二維特征圖輸出預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果表征存在或不存在肺結(jié)節(jié)。

6、上述方案中，所述第一模型包括第一特征提取模塊、第二特征提取模塊、特征融合模塊和檢測(cè)模塊；所述基于所述一個(gè)或多個(gè)第一圖像對(duì)對(duì)第一模型進(jìn)行訓(xùn)練，包括：

7、將所述一個(gè)或多個(gè)第一圖像對(duì)中的二維圖像輸入至所述第一特征提取模塊進(jìn)行特征提取，得到第一二維特征圖；

8、將所述一個(gè)或多個(gè)第一圖像對(duì)中的三維圖像輸入至所述第二特征提取模塊進(jìn)行特征提取，得到第一三維特征圖；

9、通過(guò)所述特征融合模塊對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理，得到第二二維特征圖，并對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合處理，得到第三二維特征圖；

10、將第三二維特征圖輸入至所述檢測(cè)模塊進(jìn)行肺結(jié)節(jié)檢測(cè)處理，得到預(yù)測(cè)結(jié)果；

11、基于預(yù)測(cè)結(jié)果和對(duì)應(yīng)的標(biāo)注結(jié)果對(duì)所述第一模型進(jìn)行訓(xùn)練。

12、上述方案中，所述特征融合模塊包括特征增強(qiáng)模塊和降維模塊；所述通過(guò)所述特征融合模塊對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理，得到第二二維特征圖，包括：

13、通過(guò)所述特征增強(qiáng)模塊對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理，得到第二三維特征圖；

14、通過(guò)所述降維模塊對(duì)第二三維特征圖進(jìn)行降維處理，得到第二二維特征圖。

15、上述方案中，所述特征增強(qiáng)模塊包括第一池化層、第二池化層和激活層；所述通過(guò)所述特征增強(qiáng)模塊對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理，得到第二三維特征圖，包括：

16、通過(guò)所述第一池化層對(duì)第一三維特征圖進(jìn)行平均池化，得到第一特征信息；

17、通過(guò)所述第二池化層對(duì)第一三維特征圖進(jìn)行最大池化，得到第二特征信息；

18、對(duì)第一特征信息和第二特征信息進(jìn)行拼接，得到第三特征信息；

19、通過(guò)所述激活層對(duì)第三特征信息進(jìn)行非線性運(yùn)算，得到空間通道權(quán)重；

20、將空間通道權(quán)重與第一三維特征圖相乘，得到第二三維特征圖。

21、上述方案中，所述通過(guò)所述降維模塊對(duì)第二三維特征圖進(jìn)行降維處理，得到第二二維特征圖，包括：

22、通過(guò)所述降維模塊對(duì)第二三維特征圖進(jìn)行線性投影處理，得到第二二維特征圖。

23、上述方案中，所述特征融合模塊包括池化模塊和卷積層；通過(guò)所述特征融合模塊對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合處理，得到第三二維特征圖，包括：

24、對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行逐點(diǎn)求和，得到第四二維特征圖；

25、通過(guò)所述池化模塊對(duì)第四二維特征圖進(jìn)行池化處理，得到第四特征信息；

26、通過(guò)所述卷積層對(duì)第四特征信息進(jìn)行特征選擇和降維，得到第三二維特征圖。

27、上述方案中，所述池化模塊包括第三池化層和第四池化層；所述通過(guò)所述池化模塊對(duì)第四二維特征圖進(jìn)行池化處理，得到第四特征信息，包括：

28、通過(guò)所述第三池化層對(duì)第四二維特征圖進(jìn)行平均池化，得到第五特征信息；

29、通過(guò)所述第四池化層對(duì)第四二維特征圖進(jìn)行最大池化，得到第六特征信息；

30、對(duì)第五特征信息和第六特征信息進(jìn)行拼接，得到第四特征信息。

31、上述方案中，所述檢測(cè)模塊至少用于通過(guò)圓形卷積核對(duì)第三二維特征圖進(jìn)行無(wú)錨框檢測(cè)。

32、本技術(shù)實(shí)施例還提供了一種圖像處理方法，所述方法包括：

33、接收或獲取一個(gè)或多個(gè)第二圖像對(duì)，所述一個(gè)或多個(gè)第二圖像對(duì)中每個(gè)第二圖像對(duì)中包括來(lái)自同一個(gè)肺部的一張二維圖像和一張三維圖像；

34、將所述一個(gè)或多個(gè)第二圖像對(duì)輸入第二模型，得到每個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果，所述第二模型是基于上述任一項(xiàng)所述模型訓(xùn)練方法訓(xùn)練得到的；

35、輸出或顯示所述一個(gè)或多個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果。

36、本技術(shù)實(shí)施例還提供了一種模型訓(xùn)練裝置，所述裝置包括：

37、獲取模塊，用于獲取一個(gè)或多個(gè)第一圖像對(duì)，一個(gè)第一圖像對(duì)中包括來(lái)自同一個(gè)肺部的第一區(qū)域的一張二維圖像和一張三維圖像，第一區(qū)域的圖像包括肺結(jié)節(jié)圖像；

38、訓(xùn)練模塊，用于基于所述一個(gè)或多個(gè)第一圖像對(duì)對(duì)第一模型進(jìn)行訓(xùn)練，直至達(dá)到設(shè)定的收斂條件；其中，所述第一模型用于對(duì)第一圖像對(duì)進(jìn)行特征提取得到第一二維特征圖和第一三維特征圖，對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理得到第二二維特征圖，對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合得到第三二維特征圖，以及用于基于第三二維特征圖輸出預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果表征存在或不存在肺結(jié)節(jié)。

39、本技術(shù)實(shí)施例還提供了一種圖像處理裝置，所述裝置包括：

40、圖像對(duì)模塊，用于接收或獲取一個(gè)或多個(gè)第二圖像對(duì)，所述一個(gè)或多個(gè)第二圖像對(duì)中每個(gè)第二圖像對(duì)中包括來(lái)自同一個(gè)肺部的一張二維圖像和一張三維圖像；

41、預(yù)測(cè)模塊，用于將所述一個(gè)或多個(gè)第二圖像對(duì)輸入第二模型，得到每個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果，所述第二模型是基于上述任一項(xiàng)所述模型訓(xùn)練方法訓(xùn)練得到的；

42、結(jié)果模塊，用于輸出或顯示所述一個(gè)或多個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果。

43、本技術(shù)實(shí)施例還提供了一種第一電子設(shè)備，包括：第一處理器及第一通信接口；其中，

44、所述第一處理器，用于獲取一個(gè)或多個(gè)第一圖像對(duì)；基于所述一個(gè)或多個(gè)第一圖像對(duì)對(duì)第一模型進(jìn)行訓(xùn)練，直至達(dá)到設(shè)定的收斂條件；其中，一個(gè)第一圖像對(duì)中包括來(lái)自同一個(gè)肺部的第一區(qū)域的一張二維圖像和一張三維圖像，第一區(qū)域的圖像包括肺結(jié)節(jié)圖像；所述第一模型用于對(duì)第一圖像對(duì)進(jìn)行特征提取得到第一二維特征圖和第一三維特征圖，對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理得到第二二維特征圖，對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合得到第三二維特征圖，以及用于基于第三二維特征圖輸出預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果表征存在或不存在肺結(jié)節(jié)。

45、本技術(shù)實(shí)施例還提供了一種第二電子設(shè)備，包括：第二處理器及第二通信接口；其中，

46、所述第二處理器，用于接收或獲取一個(gè)或多個(gè)第二圖像對(duì)；將所述一個(gè)或多個(gè)第二圖像對(duì)輸入第二模型，得到每個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果；輸出或顯示所述一個(gè)或多個(gè)第二圖像對(duì)的肺結(jié)節(jié)預(yù)測(cè)結(jié)果；所述一個(gè)或多個(gè)第二圖像對(duì)中每個(gè)第二圖像對(duì)中包括來(lái)自同一個(gè)肺部的一張二維圖像和一張三維圖像；所述第二模型是基于上述任一項(xiàng)所述模型訓(xùn)練方法訓(xùn)練得到的。

47、本技術(shù)實(shí)施例還提供了一種電子設(shè)備，包括處理器和用于存儲(chǔ)能夠在處理器上運(yùn)行的計(jì)算機(jī)程序的存儲(chǔ)器，

48、其中，所述處理器用于運(yùn)行所述計(jì)算機(jī)程序時(shí)，執(zhí)行上述任一項(xiàng)所述模型訓(xùn)練方法的步驟，或者執(zhí)行上述所述圖像處理方法的步驟。

49、本技術(shù)實(shí)施例還提供了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述模型訓(xùn)練方法的步驟，或者實(shí)現(xiàn)上述所述圖像處理方法的步驟。

50、本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述模型訓(xùn)練方法的步驟，或者實(shí)現(xiàn)上述所述圖像處理方法的步驟。

51、本技術(shù)實(shí)施例提供的模型訓(xùn)練方法、圖像處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品中，基于一個(gè)或多個(gè)第一圖像對(duì)對(duì)第一模型進(jìn)行訓(xùn)練，直至達(dá)到設(shè)定的收斂條件；一個(gè)第一圖像對(duì)中包括來(lái)自同一個(gè)肺部的第一區(qū)域的一張二維圖像和一張三維圖像，第一區(qū)域的圖像包括肺結(jié)節(jié)圖像；第一模型用于對(duì)第一圖像對(duì)進(jìn)行特征提取得到第一二維特征圖和第一三維特征圖，對(duì)第一三維特征圖進(jìn)行特征增強(qiáng)處理和降維處理得到第二二維特征圖，對(duì)第一二維特征圖和對(duì)應(yīng)的第二二維特征圖進(jìn)行特征融合得到第三二維特征圖，以及用于基于第三二維特征圖輸出預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果表征存在或不存在肺結(jié)節(jié)。上述方案，通過(guò)第一模型融合二維圖像的二維特征和三維圖像的三維特征，基于融合后的特征圖進(jìn)行肺結(jié)節(jié)預(yù)測(cè)，融合后的特征圖既有二維圖像中的較豐富的語(yǔ)義特征，又有三維圖像中的較準(zhǔn)確的肺結(jié)節(jié)位置信息，且融合后的特征圖是二維的，對(duì)融合后的特征圖進(jìn)行肺結(jié)節(jié)預(yù)測(cè)相比于直接對(duì)三維圖像進(jìn)行肺結(jié)節(jié)預(yù)測(cè)的計(jì)算復(fù)雜性較低，減少了計(jì)算資源的消耗，并能保證檢測(cè)精度較高。