本發(fā)明涉及醫(yī)學(xué)影像和圖像處理，具體涉及一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法。

背景技術(shù)：

1、術(shù)中病灶區(qū)域的動態(tài)顯像，能夠給外科醫(yī)生提供精確的手術(shù)指引。傳統(tǒng)影像檢測技術(shù)(如ct、mri、pet、spect等)難以在術(shù)中提供實(shí)時(shí)清晰的病灶定位。隨著相機(jī)成像工藝和生產(chǎn)技術(shù)日益改進(jìn)，彩色可見光相機(jī)已經(jīng)可以滿足術(shù)中場景下醫(yī)生對分辨率、成像質(zhì)量和幀率的要求，但單獨(dú)使用可見光相機(jī)無法采集可見光波段以外的光譜信息。因此，在只有可見光相機(jī)的情況下，醫(yī)生僅能憑借肉眼觀測和經(jīng)驗(yàn)判斷的方法進(jìn)行病灶定位。而在激發(fā)光源的照射下，如果利用靶向熒光探針(如吲哚箐綠)來標(biāo)記病變細(xì)胞就能夠生成特定波段的近紅外發(fā)射光。進(jìn)而可以利用近紅外相機(jī)對被激發(fā)的近紅外發(fā)射光進(jìn)行采集成像，呈現(xiàn)出可見光相機(jī)難以清晰分辨的細(xì)節(jié)(如息肉、腫瘤甚至血管等)，這種成像方法就是近紅外熒光分子成像?；诮t外熒光分子成像，在手術(shù)過程中對腫瘤病灶進(jìn)行標(biāo)記從而輔助外科醫(yī)生切除，能達(dá)到精準(zhǔn)醫(yī)療。近紅外熒光分子成像具有分辨率高、無電離輻射、實(shí)時(shí)成像等優(yōu)勢，適合在手術(shù)過程中實(shí)時(shí)凸顯被熒光探針?biāo)鶚?biāo)記的病變區(qū)域。單獨(dú)使用近紅外相機(jī)同樣無法提供可見光下的人體器官的狀態(tài)(包括顏色、形狀和表面紋理等)。如果同時(shí)利用可見光相機(jī)和近紅外相機(jī)進(jìn)行多個光譜同步成像，就既可以拍攝器官在的可見光照射下的自然形態(tài)，也可以準(zhǔn)確定位有熒光標(biāo)記的病理區(qū)域，從而呈現(xiàn)豐富的病理細(xì)節(jié)信息。

2、因此，快速、準(zhǔn)確的近紅外熒光成像與白光成像的圖像融合可以幫助醫(yī)生更好地做出判斷。但是，目前的圖像融合方法都是基于恒定權(quán)重進(jìn)行的，而自然圖像與熒光圖像在不同的紋理特征上存在明顯差異，若使用恒定權(quán)重容易減弱具有臨床意義的紋理特征，但是截至目前并無針對近紅外熒光成像設(shè)計(jì)的圖像融合方法。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，該方法能夠在進(jìn)行近紅外熒光分子影像手術(shù)導(dǎo)航的過程中，在像素級別計(jì)算自適用權(quán)重，進(jìn)行最優(yōu)的熒光白光圖像融合，以充分保留紋理特征。

2、本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的：

3、一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，包括以下步驟：

4、步驟s1，獲取已配準(zhǔn)的白光圖像與熒光圖像，其中白光圖像具有y、u、v三通道，熒光圖像具有y通道；

5、步驟s2，對熒光圖像進(jìn)行偽彩預(yù)處理，將熒光圖像的y通道映射為u通道和v通道，使熒光圖像具有u、v兩個通道；

6、步驟s3，將經(jīng)過預(yù)處理后的熒光圖像的u通道和v通道進(jìn)行融合，融合過程包括：

7、對于相同通道的白光圖像與熒光圖像，計(jì)算以該圖像為中心且感興趣區(qū)域大小為3x3的均值和中位數(shù)，作為基礎(chǔ)像素值，分別計(jì)算白光圖像和熒光圖像的細(xì)節(jié)像素值；分別計(jì)算白光圖像和熒光圖像的顯著像素值；

8、根據(jù)獲取到的顯著像素值，計(jì)算白光圖像和熒光圖像的融合權(quán)重，并基于融合權(quán)重對白光圖像和熒光圖像的細(xì)節(jié)像素值進(jìn)行融合，得到融合細(xì)節(jié)像素值；

9、對白光圖像和熒光圖像的基礎(chǔ)像素值進(jìn)行融合，得到融合基礎(chǔ)像素值；

10、將融合基礎(chǔ)像素值與融合細(xì)節(jié)像素值相加，得到融合像素值；

11、步驟s4，對白光圖像和熒光圖像里的每一個像素重復(fù)步驟s3的融合過程，得到u通道融合圖像和v通道融合圖像；

12、步驟s5，結(jié)合白光圖像的y通道、u通道融合圖像和v通道融合圖像，獲得最終的融合圖像。

13、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，所述偽彩預(yù)處理包括：

14、接收熒光灰階圖像數(shù)據(jù)，其中每個像素具有一個灰階值y，范圍從0到255；

15、根據(jù)預(yù)設(shè)的偽彩顏色，以及灰階值y與rgb三通道之間的線性插值映射關(guān)系，將每個灰階值y轉(zhuǎn)換為對應(yīng)的偽彩rgb三通道值；其中，所述線性插值映射關(guān)系是基于熒光灰階y通道的最亮值255對應(yīng)偽彩rgb(0，255，0)，以及最暗值0對應(yīng)偽彩rgb(0，0，0)來確定的；

16、根據(jù)rgb到y(tǒng)uv的轉(zhuǎn)換公式，計(jì)算并輸出偽彩rgb三通道值對應(yīng)的u通道和v通道值。

17、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，在所述步驟s3中，計(jì)算以該圖像為中心且感興趣區(qū)域大小為3x3的均值，該區(qū)域所有像素點(diǎn)對應(yīng)的位置為(i-1,j-1)、(i,j-1)、(i+1,j-1)、(i-1,j)、(i,j)、(i+1,j)、(i-1,j+1)、(i,j+1)、(i+1,j+1)；

18、計(jì)算該感興趣區(qū)域內(nèi)所有像素點(diǎn)的中位數(shù)m，得到關(guān)于白光像素的均值μβ與中位數(shù)mβ，熒光像素的均值μα與中位數(shù)mα，表示為公式(1)：

19、

20、其中，μβ和μα為白光像素和熒光像素的基礎(chǔ)像素值。

21、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，所述計(jì)算白光圖像和熒光圖像的細(xì)節(jié)像素值dβ和dα，表示為公式(2)：

22、

23、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，計(jì)算白光圖像和熒光圖像的顯著像素值sβ和sα，表示為公式(3)：

24、

25、其中，|·|表示l1范數(shù)。

26、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，計(jì)算白光圖像和熒光圖像的融合權(quán)重，表示為公式(4)

27、

28、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，對白光圖像和熒光圖像的細(xì)節(jié)像素值進(jìn)行融合，得到融合細(xì)節(jié)像素值df(i,j)，表示為公式(5)：

29、df(i,j)＝wβ(i,j)×dβ(i,j)+wα(i,j)×dα(i,j)?????(5)

30、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，對白光圖像和熒光圖像的基礎(chǔ)像素值進(jìn)行融合，得到融合基礎(chǔ)像素值μf(i,j)，表示為公式(6)：

31、

32、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，將融合基礎(chǔ)像素值與融合細(xì)節(jié)像素值相加，得到融合像素值f(i,j)，表示為公式(7)：

33、f(i,j)＝μf(i,j)+df(i,j)?????(7)

34、根據(jù)本發(fā)明提供的一種用于近紅外熒光成像與白光成像的雙模態(tài)圖像融合方法，在得到經(jīng)過雙模態(tài)圖像融合后得到的最終融合圖像后，應(yīng)用平滑濾波算法對融合圖像進(jìn)行濾波處理，以去除圖像中存在的噪聲和偽影；其中，通過調(diào)整濾波算法的參數(shù)，來優(yōu)化濾波效果，從而得到更加平滑且質(zhì)量提高的融合圖像。

35、將經(jīng)過平滑濾波處理后的融合圖像根據(jù)實(shí)際需求或預(yù)設(shè)的色彩標(biāo)準(zhǔn)，對融合圖像進(jìn)行色彩校正處理，以確保融合圖像的色彩準(zhǔn)確性和一致性。

36、由此可見，相比于現(xiàn)有技術(shù)，本發(fā)明提供的方法具有以下有益效果：

37、1、本發(fā)明通過針對性地構(gòu)建熒光成像與白光成像的圖像融合方法，在術(shù)中給予外科醫(yī)生信息更豐富的融合圖像，從而進(jìn)行更好的手術(shù)，進(jìn)而惠及患者。

38、2、本發(fā)明針對近紅外熒光成像手術(shù)導(dǎo)航設(shè)備，能夠根據(jù)當(dāng)前的熒光圖像與白光圖像的紋理特征自適應(yīng)地調(diào)整融合權(quán)重，使得融合圖像可以保留更多紋理細(xì)節(jié)特征，方便外科醫(yī)生定位病灶進(jìn)行手術(shù)。

39、3、本發(fā)明充分利用了白光圖像和熒光圖像的多通道信息，白光圖像具有y、u、v三通道，而熒光圖像經(jīng)過偽彩預(yù)處理后也具備了u、v兩個通道，這使得融合過程能夠更全面地考慮圖像的色彩和亮度信息，從而提高融合圖像的質(zhì)量。

40、4、本發(fā)明通過計(jì)算基礎(chǔ)像素值和細(xì)節(jié)像素值，在融合過程中能夠有效地保留圖像的細(xì)節(jié)信息。其中，基礎(chǔ)像素值反映了圖像的整體亮度水平，而細(xì)節(jié)像素值則包含了圖像的局部變化信息，有助于在融合過程中更好地保留圖像的細(xì)節(jié)和紋理。

41、5、本發(fā)明通過計(jì)算白光圖像和熒光圖像的顯著像素值來確定融合權(quán)重。顯著像素值反映了圖像中重要區(qū)域或特征的信息量，通過基于顯著像素值進(jìn)行融合權(quán)重的計(jì)算，可以確保融合圖像在重要區(qū)域或特征上具有更高的對比度和清晰度。

42、6、本發(fā)明在融合過程中，通過對基礎(chǔ)像素值和細(xì)節(jié)像素值的加權(quán)處理，該方法能夠優(yōu)化融合圖像的對比度，有助于在融合圖像中更好地區(qū)分不同區(qū)域或特征，提高圖像的可讀性和可解釋性。

43、下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)說明。