本申請(qǐng)涉及圖像處理，具體而言，涉及一種門控式多模態(tài)圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、圖像融合技術(shù)在數(shù)字圖像處理領(lǐng)域扮演著至關(guān)重要的角色，它通過(guò)結(jié)合來(lái)自多個(gè)源的圖像數(shù)據(jù)，生成一個(gè)包含所有輸入圖像信息的單一圖像。這項(xiàng)技術(shù)的應(yīng)用背景廣泛，從遙感成像、醫(yī)學(xué)診斷到視頻監(jiān)控和軍事偵察等多個(gè)領(lǐng)域都能見到它的身影。圖像融合的意義在于其能夠提高圖像的信息量，增強(qiáng)視覺效果，支持專家決策，提升自動(dòng)化系統(tǒng)的性能，并擴(kuò)展應(yīng)用范圍。

2、現(xiàn)有技術(shù)中提供了多種圖像融合技術(shù)，但是存在模態(tài)差異、空間對(duì)齊、信息豐富度不平衡、噪聲和失真、以及語(yǔ)義差異等問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種門控式多模態(tài)圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，提高圖像融合的準(zhǔn)確性。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

3、第一方面，本申請(qǐng)實(shí)施例提供了一種門控式多模態(tài)圖像融合方法，所述方法包括：

4、獲取目標(biāo)物對(duì)應(yīng)的多個(gè)模態(tài)圖像，所述多個(gè)模態(tài)圖像包括：第一模態(tài)圖像、第二模態(tài)圖像以及第三模態(tài)圖像；

5、將各所述模態(tài)圖像輸入至多模態(tài)圖像融合模型的特征提取模塊中，由所述特征提取模塊進(jìn)行多層特征提取處理以及差分信息補(bǔ)償處理，得到各所述模態(tài)圖像對(duì)應(yīng)的多層特征圖，所述多層特征圖包括第一層特征圖、第二層特征圖以及第三層特征圖；

6、將各所述模態(tài)圖像對(duì)應(yīng)的第三層特征圖輸入至所述多模態(tài)圖像融合模型中的特征融合模塊進(jìn)行特征融合，得到初始融合特征圖；

7、將第一模態(tài)圖像對(duì)應(yīng)的多層特征圖、第二模態(tài)圖像對(duì)應(yīng)的多層特征圖以及所述初始融合特征圖輸入至所述多模態(tài)圖像融合模型中的二次門控融合模塊進(jìn)行多層融合，得到目標(biāo)融合圖像。

8、第二方面，本申請(qǐng)實(shí)施例還提供了一種圖像融合裝置，所述裝置包括：

9、獲取模塊，用于獲取目標(biāo)物對(duì)應(yīng)的多個(gè)模態(tài)圖像，所述多個(gè)模態(tài)圖像包括：第一模態(tài)圖像、第二模態(tài)圖像以及第三模態(tài)圖像；

10、特征提取模塊，用于將各所述模態(tài)圖像輸入至多模態(tài)圖像融合模型的特征提取模塊中，由所述特征提取模塊進(jìn)行多層特征提取處理以及差分信息補(bǔ)償處理，得到各所述模態(tài)圖像對(duì)應(yīng)的多層特征圖，所述多層特征圖包括第一層特征圖、第二層特征圖以及第三層特征圖；

11、第一融合模塊，用于將各所述模態(tài)圖像對(duì)應(yīng)的第三層特征圖輸入至所述多模態(tài)圖像融合模型中的特征融合模塊進(jìn)行特征融合，得到初始融合特征圖；

12、第二融合模塊，用于將第一模態(tài)圖像對(duì)應(yīng)的多層特征圖、第二模態(tài)圖像對(duì)應(yīng)的多層特征圖以及所述初始融合特征圖輸入至所述多模態(tài)圖像融合模型中的二次門控融合模塊進(jìn)行多層融合，得到目標(biāo)融合圖像。

13、第三方面，本申請(qǐng)實(shí)施例還提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)介質(zhì)和總線，所述存儲(chǔ)介質(zhì)存儲(chǔ)有所述處理器可執(zhí)行的程序指令，當(dāng)應(yīng)用程序運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)介質(zhì)之間通過(guò)總線通信，所述處理器執(zhí)行所述程序指令，以執(zhí)行上述第一方面所述的門控式多模態(tài)圖像融合方法的步驟。

14、第四方面，本申請(qǐng)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被讀取并執(zhí)行上述第一方面所述的門控式多模態(tài)圖像融合方法的步驟。

15、本申請(qǐng)的有益效果是：

16、本申請(qǐng)?zhí)峁┑囊环N門控式多模態(tài)圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)將各模態(tài)圖像輸入至多模態(tài)圖像融合模型的特征提取模塊中，由特征提取模塊進(jìn)行多層特征提取處理以及差分信息補(bǔ)償處理，得到各模態(tài)圖像對(duì)應(yīng)的多層特征圖，通過(guò)對(duì)特征圖進(jìn)行差分信息補(bǔ)償處理，可以使得到的特征圖中的特征信息更完整，可以提取到各模態(tài)圖像互補(bǔ)的特征圖，減少各模態(tài)之間的差異；將各模態(tài)圖像對(duì)應(yīng)的第三層特征圖輸入至多模態(tài)圖像融合模型中的特征融合模塊進(jìn)行一次特征融合，得到初始融合特征圖；之后又將第一模態(tài)圖像對(duì)應(yīng)的多層特征圖、第二模態(tài)圖像對(duì)應(yīng)的多層特征圖以及初始融合特征圖輸入至多模態(tài)圖像融合模型中的二次門控融合模塊進(jìn)行多層融合，得到目標(biāo)融合圖像，通過(guò)二次融合可以實(shí)現(xiàn)對(duì)不同模態(tài)圖像的異源圖像進(jìn)行融合，可以使得到目標(biāo)融合圖像信息豐富度更平衡。

技術(shù)特征：

1.一種門控式多模態(tài)圖像融合方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的門控式多模態(tài)圖像融合方法，其特征在于，所述獲取目標(biāo)物對(duì)應(yīng)的多個(gè)模態(tài)圖像，包括：

3.根據(jù)權(quán)利要求1所述的門控式多模態(tài)圖像融合方法，其特征在于，所述特征提取模塊中包括：多層卷積單元以及跨模態(tài)差分感知融合單元；

4.根據(jù)權(quán)利要求3所述的門控式多模態(tài)圖像融合方法，其特征在于，所述跨模態(tài)差分感知融合單元中包括：第一通道、第二通道以及第三通道；

5.根據(jù)權(quán)利要求1所述的門控式多模態(tài)圖像融合方法，其特征在于，所述將各所述模態(tài)圖像對(duì)應(yīng)的第三層特征圖輸入至所述多模態(tài)圖像融合模型中的特征融合模塊進(jìn)行特征融合，得到初始融合特征圖，包括：

6.根據(jù)權(quán)利要求1所述的門控式多模態(tài)圖像融合方法，其特征在于，所述二次門控融合模塊中包括：第一融合層、第二融合層以及第三融合層；

7.根據(jù)權(quán)利要求6所述的門控式多模態(tài)圖像融合方法，其特征在于，所述將第一模態(tài)圖像對(duì)應(yīng)的第三層特征圖、第二模態(tài)圖像對(duì)應(yīng)的第三特征圖以及所述初始融合特征圖輸入是第一融合層進(jìn)行特征融合，得到第一融合特征圖，包括：

8.一種圖像融合裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1-7任一項(xiàng)所述的門控式多模態(tài)圖像融合方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的門控式多模態(tài)圖像融合方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N門控式多模態(tài)圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括：獲取目標(biāo)物對(duì)應(yīng)的多個(gè)模態(tài)圖像；將各模態(tài)圖像輸入至多模態(tài)圖像融合模型的特征提取模塊中進(jìn)行多層特征提取處理以及差分信息補(bǔ)償處理，得到各模態(tài)圖像對(duì)應(yīng)的多層特征圖；將各模態(tài)圖像對(duì)應(yīng)的第三層特征圖輸入至多模態(tài)圖像融合模型中的特征融合模塊進(jìn)行特征融合，得到初始融合特征圖；將第一模態(tài)圖像對(duì)應(yīng)的多層特征圖、第二模態(tài)圖像對(duì)應(yīng)的多層特征圖以及初始融合特征圖輸入至多模態(tài)圖像融合模型中的二次門控融合模塊進(jìn)行多層融合，得到目標(biāo)融合圖像。通過(guò)二次融合可以實(shí)現(xiàn)對(duì)不同模態(tài)圖像的異源圖像進(jìn)行融合，使得到目標(biāo)融合圖像信息豐富度更平衡。

技術(shù)研發(fā)人員：劉立群,吳韓
受保護(hù)的技術(shù)使用者：甘肅農(nóng)業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8