本發(fā)明屬于圖像處理，具體涉及一種基于t-wavkan和c-corr的紅外與可見光圖像融合方法。

背景技術(shù)：

1、紅外與可見光圖像融合(ivif)涉及整合來自不同模態(tài)傳感器捕捉的同一場景內(nèi)容，以生成一個包含全面和詳細信息的單個合成圖像。這個過程可以集成相關(guān)數(shù)據(jù)，消除冗余，并提高圖像的信息質(zhì)量和感知能力，從而促進如交通目標檢測高級任務(wù)。值得注意的是，ivif強調(diào)紅外圖像中的顯著目標，同時保留可見光圖像的結(jié)構(gòu)特征和紋理細節(jié)。這種融合后的圖像對于交通目標檢測特別有利，因為它減輕了天氣和光照干擾的影響，提高了后續(xù)處理任務(wù)的準確性。這一能力對于確保在動態(tài)交通環(huán)境中可靠的表現(xiàn)至關(guān)重要，因為在不同條件下，能見度可能會受到顯著影響。目前，ivif任務(wù)在圖像融合方面面臨兩個主要限制：(1)它們對文本語義信息的處理較為表面，未能提取出有助于識別交通目標的更深層次語義信息；(2)它們僅依賴于損失函數(shù)以平衡來自紅外和可見光圖像之間的視覺特征關(guān)系。

2、針對第一個限制，現(xiàn)有的融合方法通常利用由文本編碼器提取的語義信息以引導(dǎo)視覺特征。然而，傳統(tǒng)的線性建模范式限制了核心語義信息的提取，進而限制其處理復(fù)雜交通場景的能力，并削弱了其引導(dǎo)視覺特征的有效性。

3、關(guān)于第二個限制，當(dāng)前的方法往往將從圖像編碼器得到的視覺特征直接進行簡單拼接以生成融合輸出。這些方法主要關(guān)注兩種模態(tài)之間的差異，而容易忽視共享和特定特征之間的聯(lián)系，這對于準確檢測交通目標是至關(guān)重要的。因此，它們難以在融合結(jié)果中實現(xiàn)紅外和可見光視覺特征的平衡融合。因此，有效地處理文本語義和視覺特征已成為ivif用于交通目標檢測的一個關(guān)鍵領(lǐng)域。

4、為了解決上述挑戰(zhàn)，本發(fā)明提出了一種基于t-wavkan和c-corr的紅外與可見光圖像融合方法。該方法旨在有效捕捉圖像融合上下文中的復(fù)雜文本語義，并建立兩個模態(tài)之間局部視覺特征的相關(guān)性。

技術(shù)實現(xiàn)思路

1、為了克服背景技術(shù)中的問題，本發(fā)明提供一種基于t-wavkan和c-corr的紅外與可見光圖像融合方法。

2、為實現(xiàn)上述目的，本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：一種基于t-wavkan和c-corr的紅外與可見光圖像融合方法，使用的符號描述如表1所示，技術(shù)方案包括以下步驟：

3、表1

4、

5、

6、s1、通過移動車輛的紅外和rgb攝像頭捕獲相應(yīng)的圖像，以獲得不同復(fù)雜場景下紅外和可見光圖像數(shù)據(jù)集，并通過使用大型語言模型gpt4生成對應(yīng)的文本描述；

7、s2、根據(jù)文本描述text處理，使用文本編碼器′e_t(·)得到文本特征t0：t0＝′e_t(tokenizer(text))；

8、s3、根據(jù)s2中對t0處理，利用t-wavkan中的可學(xué)習(xí)激活函數(shù)φ特性得到結(jié)構(gòu)潛在空間表示tl-1：

9、

10、s4、根據(jù)s3中對tl-1處理，使用分離操作s(·)得到尺度因子s和偏置因子b：{s,b}＝s(tl-1)；

11、s5、根據(jù){i,v}處理，使用圖像編碼器{′e_i(·),′e_v(·)}得到視覺特征

12、{atten_i(k),atten_v(k)}:

13、atten_i(k)＝′e_i(i)；atten_v(k)＝′e_v(v)；其中，k＝0,1,...,k-1；

14、s6、根據(jù)s5中對{atten_i(k),atten_v(k)}處理，將其輸入交叉注意力機制ca(·)以進一步進行互引導(dǎo)視覺特征的提取，得到{atten_i(k),atten_v(k)}：

15、{atten_i(k),atten_v(k)}＝ca(atten_i(k),atten_v(k))；

16、s7、根據(jù)s6中對{atten_i(k),atten_v(k)}處理，將其輸入相關(guān)性層c(·)得到相關(guān)性權(quán)重圖

17、

18、s8、根據(jù)s7中對處理，使用操作f(·)將其融合，得到相關(guān)深度表示特征

19、s9、根據(jù)s8中對處理，利用自注意力機制sa(·)以增強其表征能力，得到f(k)：

20、s10、根據(jù){f(k),s,b}處理，使用語義引導(dǎo)操作g(·)得到融合特征f(k+1)：f(k+1)＝g(f(k),s,b)＝(e+f(k))·s+b；

21、s11、根據(jù)s10中對f(k+1)處理，通過融合操作f(·)得到最終的融合表示特征

22、s12、根據(jù)s11中對處理，使用restormer解碼器d(·)對進行解碼，得到最終的融合圖像f：

23、s13、根據(jù){i,v,f}處理，在融合損失函數(shù)θ←▽θ{lf}上進行梯度下降操作得到最優(yōu)融合結(jié)果，其中：

24、lf＝α1·lc+α2·li+α3·lg+α4·ls

25、s.t.lc＝||t(f)-t(v)||1/hw

26、li＝||f-max(i,v)||1/hw

27、lg＝||▽f-max(▽i,▽v)||1/hw

28、ls＝(1-ssim(f,v))+λ·(1-ssim(f,i))

29、s14、將融合后的結(jié)果應(yīng)用于交通目標檢測任務(wù)中進行驗證。

30、進一步的，根據(jù)權(quán)利要求1所述的一種基于t-wavkan和c-corr的紅外與可見光圖像融合方法，其特征在于，所述s3中t-wavkan形狀結(jié)構(gòu)表示為：[n0,n1,...,nl-1]；當(dāng)(l,i)位置單元和(l+1,j)位置單元的可學(xué)習(xí)激活函數(shù)表示為:

31、ψl,j,i,l＝0,1,...,l-1,i＝1,2,...,nl,j＝1,2,...,nl+1

32、式中ni為ith層內(nèi)節(jié)點數(shù)，(l,i)表示lth層內(nèi)ith節(jié)點；位于(l+1,j)位置神經(jīng)元的激活值僅僅是前所有激活值的總和，該過程包含t-wavkan的基本操作：

33、其中，t(l,i)為t-wavkan中(l,i)位置神經(jīng)元的激活特征，其矩陣形式為：

34、

35、其中φl表示t-wavkan中l(wèi)th層的函數(shù)矩陣。

36、進一步的，所述t-wavkan結(jié)合小波變換以動態(tài)適應(yīng)文本特征不同密度的數(shù)據(jù)點；通過在數(shù)據(jù)點密集區(qū)域擴展小波基，捕獲復(fù)雜的高頻細節(jié)；而在數(shù)據(jù)點稀疏區(qū)域收縮小波基，利用全局信息判別總體低頻趨勢；t-wavkan將文本語義分解為多分辨率特征，有助于全面提取結(jié)構(gòu)化的潛在空間表示：

37、

38、其中，e表示全1矩陣，σ為高斯分布的標準差；ω作為可學(xué)習(xí)參數(shù)，便于母小波準確逼近目標函數(shù)的形狀。

39、通過t-wavkan處理后，得到文本特征tl-1：

40、

41、進一步的，所述s5提供交叉感知的視覺特征相關(guān)性計算c-corr；采用restormer作為的編碼器{′e_i(·),′e_v(·)}；restormer提取特征，同時保持時間一致性：

42、atten_i(k)＝′e_i(i)；atten_v(k)＝′e_v(v)

43、其中，k＝0,1,...,k-1。

44、進一步的，所述c-corr中設(shè)計一個相關(guān)層c(·)，應(yīng)用到所述s7視覺特征相關(guān)性計算中，具體如下：

45、

46、進一步的，所述s13完成后，將融合方法集成到智能交通監(jiān)控系統(tǒng)中，直接嵌入現(xiàn)有交通攝像頭內(nèi)部的應(yīng)用模塊中使用。

47、本發(fā)明的有益效果：

48、1、本發(fā)明提出了一種基于改進wavkan架構(gòu)的文本語義提取方法t-wavkan，該方法引入了可訓(xùn)練的小波激活函數(shù)，用于執(zhí)行文本特征的多分辨率分析。通過這種方法，t-wavkan不僅提升了對各種文本結(jié)構(gòu)的適應(yīng)能力，而且優(yōu)化了復(fù)雜場景內(nèi)容的處理效率。具體而言，本發(fā)明能夠有效地捕捉文本數(shù)據(jù)中的多層次信息，從而增強了不同應(yīng)用場景中文本處理的靈活性和精確度。此外，t-wavkan的設(shè)計允許其根據(jù)特定任務(wù)需求進行自適應(yīng)調(diào)整，確保了在廣泛的應(yīng)用環(huán)境中的一致高性能表現(xiàn)。

49、2、本發(fā)明提出了一種基于交叉相關(guān)感知的視覺特征融合模塊c-corr。該模塊通過計算源于兩個不同模態(tài)特征圖之間的相關(guān)性，生成具有關(guān)聯(lián)性的特征表示。隨后，這些關(guān)聯(lián)特征表示與各自模態(tài)的原始特征圖進行融合，不僅有效地保留了共享的特征信息，還突出了每個模態(tài)的獨特特性。具體而言，c-corr模塊首先評估并量化兩個模態(tài)特征圖間的相互關(guān)系，以捕捉兩者之間潛在的協(xié)同作用。接著，通過將這些關(guān)聯(lián)特征與原始特征圖相結(jié)合，增強了融合后圖像中既有共通特征又不失各模態(tài)特有信息的表現(xiàn)力。這種方法確保了融合結(jié)果既包含豐富的共同特征，又保持了各個模態(tài)獨有的細節(jié)，從而為后續(xù)處理任務(wù)提供了更優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。