一種基于小波分析的圖像去雨方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于小波分析的圖像去雨方法及系統(tǒng)。所述基于小波分析的圖像去雨方法包括：步驟a：根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解，并分析所述分解圖層的圖像信息，分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層以及包含圖像紋理與物體邊緣信息的圖層；步驟b：對(duì)所述包含雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處理；步驟c：計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)所述包含背景與顏色信息的圖層、包含雨滴噪聲的圖層以及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像。本發(fā)明的實(shí)施可以避免受到動(dòng)態(tài)特性的干擾，更加準(zhǔn)確有效的去除雨滴。
【專利說明】
-種基于小波分析的圖像去雨方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其設(shè)及一種基于小波分析的圖像去雨方法及系 統(tǒng)。
【背景技術(shù)】
[0002] 雨對(duì)圖像成像有很大的影響，會(huì)造成圖像成像模糊和信息覆蓋，其直接結(jié)果是視 頻圖像的清晰度下降，視頻圖像的數(shù)字化處理也會(huì)受此影響而性能下降。對(duì)受雨滴污染的 視頻圖像進(jìn)行修復(fù)處理有利于圖像的進(jìn)一步處理，包括基于圖像的目標(biāo)檢測、識(shí)別、追蹤、 分割和監(jiān)控等技術(shù)的性能提高。而且視頻基于小波分析的圖像去雨技術(shù)在現(xiàn)代軍事、交通 W及安全監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用前景。
[0003] 有關(guān)視頻圖像中雨滴特性的研究已受到國際學(xué)術(shù)界的廣泛關(guān)注，去雨算法的研究 也從2003年Starik等（Starik S,Werman M. Simulation of rainin videos[C]Proceeding of Texture Workshop, ICCV. Ni Ce, France: 2003,2:406-409)提出的中值法開始得到了迅 速的發(fā)展，處理的方法已經(jīng)不再局限于最初簡單的中值計(jì)算，偏度計(jì)算、K均值聚類、卡爾曼 濾波、字典學(xué)習(xí)和稀疏編碼、引導(dǎo)濾波、帖間亮度差、HSV空間、光流法、運(yùn)動(dòng)分割等很多方法 也逐漸開始應(yīng)用在視頻圖像中雨滴檢測與去除的算法中，雨滴去除的效果也逐漸被提高。 Garg等最先提出利用雨滴帶來的帖間亮度差進(jìn)行雨滴初檢，然后利用雨滴的直線性和方向 一致的特點(diǎn)進(jìn)一步篩選，最后根據(jù)前后帖的像素亮度去除雨滴影響，可W較好地滿足雨滴 不覆蓋連續(xù)帖圖像情況下的雨滴檢測與去除;Zhang等將雨滴給像素帶來的色彩影響考慮 在內(nèi)，從而提高雨滴檢測的準(zhǔn)確性，改善了基于亮度變化的去雨算法在彩色圖像上的應(yīng)用 效果；Liu等將雨滴的亮度影響和色彩影響同時(shí)應(yīng)用在算法中，用兩帖檢測雨滴并去除； TripatM等先研究雨滴像素亮度變化的概率統(tǒng)計(jì)特性，然后利用雨滴像素亮度變化的對(duì)稱 性實(shí)現(xiàn)雨滴檢測，僅基于時(shí)域和另外考慮空間位置的影響時(shí)效果不完全相同；Kang等首先 利用雙邊濾波將雨圖分成高頻部分和低頻部分，并對(duì)高頻部分進(jìn)一步處理得到非雨成分， 結(jié)合低頻部分得到去雨圖；Huang等首先利用上下文約束進(jìn)行圖像分割，并利用上下文感知 進(jìn)行單幅基于小波分析的圖像去雨，并在此基礎(chǔ)上提出了改進(jìn)算法，文中首先用到了超完 備的字典對(duì)高頻部分進(jìn)行處理。
[0004] 特別是最近幾年，視頻圖像去雨技術(shù)已成為新的研究熱點(diǎn)。如何在保證高魯棒性 的前提下提高去雨的準(zhǔn)確率和實(shí)時(shí)性，是目前視頻圖像去雨領(lǐng)域的焦點(diǎn)。目前存在的算法 中，應(yīng)用于靜態(tài)場景視頻雨滴檢測與去除的算法有較為成熟的研究成果，但是應(yīng)用在動(dòng)態(tài) 場景中的視頻上時(shí)，算法考慮的是視頻中出現(xiàn)運(yùn)動(dòng)物體所帶來的干擾，對(duì)于與雨滴特性區(qū) 別度不高的運(yùn)動(dòng)物體無法達(dá)到理想的檢測效果。此外，實(shí)時(shí)處理在多項(xiàng)技術(shù)應(yīng)用的自動(dòng)導(dǎo) 航系統(tǒng)、安全監(jiān)控系統(tǒng)等場合中有很大的應(yīng)用需求。運(yùn)些應(yīng)用場合中往往需要及時(shí)得到處 理結(jié)果，反饋給用戶，視頻處理的滯后有可能導(dǎo)致用戶做出錯(cuò)誤的判斷。因此視頻中雨滴檢 測與去除不僅需要提高精度，也需要提高處理速度，而且需要找到二者之間最佳平衡點(diǎn)。但 是當(dāng)前算法還無法兼顧各種場景的處理速度和精度，實(shí)現(xiàn)去雨算法的實(shí)時(shí)性是當(dāng)前研究面 對(duì)的一個(gè)重要課題。
[0005] 綜上所述，現(xiàn)有的圖像去雨技術(shù)存在的缺點(diǎn)在于:現(xiàn)有的圖像去雨算法基本是基 于像素亮度和雨滴形態(tài)特征進(jìn)行去雨，去雨效果不是很理想；同時(shí)，現(xiàn)有的圖像去雨技術(shù)對(duì) 于動(dòng)態(tài)場景的去雨效果不是很理想，算法復(fù)雜度和算法實(shí)時(shí)性也不能很好地兼顧。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于小波分析的圖像去雨方法及系統(tǒng)，旨在解決現(xiàn)有的圖像去 雨技術(shù)對(duì)于動(dòng)態(tài)場景的去雨效果不是很理想，且算法復(fù)雜度和算法實(shí)時(shí)性不能兼顧的技術(shù) 問題。
[0007] 本發(fā)明是運(yùn)樣實(shí)現(xiàn)的，一種基于小波分析的圖像去雨方法，包括：
[0008] 步驟a:根據(jù)小波分析對(duì)視頻帖圖像進(jìn)行圖層分解，并分析所述分解圖層的圖像信 息，分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋理與物體 邊緣信息的圖層；
[0009] 步驟b:對(duì)所述包含雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處理；
[0010] 步驟C:計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)所述包含背景與顏色信息的 圖層、包含雨滴噪聲的圖層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合， 并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像。
[0011] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:在所述步驟a中，所述根據(jù)小波分析對(duì)視頻 帖圖像進(jìn)行圖層分解具體為:基于小波分析的Malla算法將所述視頻帖圖像分解為十層， Malla算法的分解公式為：
[0012] Ci =出 HrCi-I
[0013]
[0014]
[0015]
[0016] 巧上還公巧甲，H和G分別是尺度函數(shù)d) (X)和小波函數(shù)iKx)的系數(shù)矩陣，Cl、 巧、巧和壞分別對(duì)應(yīng)圖像Ci-I的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分 W及對(duì)角線方向的高頻部分。
[0017] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述步驟a還包括:檢測出包含雨滴噪聲的 圖層;所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖層。
[0018] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:在所述步驟C中，所述計(jì)算融合系數(shù)矩陣的 計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù)計(jì)算融 合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = G X E，其中，G為局部 梯度，E為局部能量，局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè)新的變量S，S值越大污染 越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì)圖像重構(gòu)算法進(jìn)行加權(quán) 優(yōu)化得到融合系數(shù)矩陣。
[0019] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述局部梯度G定義為：
[0020]
[0021 ]在上述公式中，A Xf (i，j)和A yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，M和N分 別為區(qū)域的邊長；
[0022] 所述像素的局部能量E表示為：
[0023]
[0024] 本發(fā)明實(shí)施例采取的另一技術(shù)方案為：一種基于小波分析的圖像去雨系統(tǒng)，包括 小波分解模塊、圖像去噪模塊和小波融合模塊;所述小波分解模塊用于根據(jù)小波分析對(duì)視 頻帖圖像進(jìn)行圖層分解，分析所述分解圖層的圖像信息，分別得到包含背景與顏色信息的 圖層、包含雨滴噪聲的圖層W及包含圖像紋理與物體邊緣信息的圖層;所述圖像去噪模塊 用于對(duì)所述包含雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處理;所述小波融合模塊用于計(jì)算 融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)所述包含背景與顏色信息的圖層、包含雨滴噪聲 的圖層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行 圖像重構(gòu)得到去雨圖像。
[0025] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述小波分解模塊根據(jù)小波分析對(duì)視頻帖 圖像進(jìn)行圖層分解具體為：基于小波分析的Malla算法將所述視頻帖圖像分解為十層， Malla算法的分解公式為：
[0026] Ci =出 HrCi-I
[0027]
[002引
[0029]
[0030] 在上述公式中，H和G分別是尺度函數(shù)d) (X)和小波函數(shù)iKx)的系數(shù)矩陣，Cl、 巧、踩和0,3分別對(duì)應(yīng)圖像Ci-I的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分W 及對(duì)角線方向的高頻部分。
[0031] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述圖像去噪模塊還用于檢測出包含雨滴 噪聲的圖層;所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖層。
[0032] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述小波融合模塊計(jì)算融合系數(shù)矩陣的計(jì) 算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù)計(jì)算融合 系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = G X E，其中，G為局部梯 度，E為局部能量，局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè)新的變量S，S值越大污染越 嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì)圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu) 化得到融合系數(shù)矩陣。
[0033] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述局部梯度G定義為：
[0034]
[0035] 在上述公式中，A Xf (i，j)和A yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，M和N分 別為區(qū)域的邊長；
[0036] 所述像素的局部能量E表示為：
[0037]
[0038] 相對(duì)于現(xiàn)有技術(shù)，本發(fā)明產(chǎn)生的有益效果在于:本發(fā)明實(shí)施例的基于小波分析的 圖像去雨方法及系統(tǒng)采用小波多級(jí)分解和小波融合的方法判別雨滴噪聲所在的層面，對(duì)含 有雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處理，并根據(jù)雨滴影響的程度定義小波融合的規(guī) 貝1J，在特定的層面上進(jìn)行小波融合W達(dá)到雨滴去除的目的；本發(fā)明的實(shí)施可W避免受到動(dòng) 態(tài)特性的干擾，更加準(zhǔn)確有效的去除雨滴，提高了去雨算法的使用范圍，在雨勢(shì)很大的情況 下也能有良好的去雨效果，提高了去雨算法的實(shí)時(shí)性。
【附圖說明】
[0039] 圖1是本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法的流程圖；
[0040] 圖2是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2 (C)至圖2(1)是圖像的第十到第一層的高頻結(jié)構(gòu)；
[0041 ]圖3是小波分解重構(gòu)流程圖；
[0042] 圖4是本發(fā)明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0043] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并 不用于限定本發(fā)明。
[0044] 請(qǐng)參閱圖1，是本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法的流程圖。本發(fā)明實(shí) 施例的基于小波分析的圖像去雨方法包括W下步驟：
[0045] 步驟SlOO:輸入視頻帖圖像；
[0046] 步驟S200:根據(jù)小波分析對(duì)圖像進(jìn)行小波多層分解，并分析各個(gè)圖層的圖像信息， 分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋理與物體邊緣 信息的圖層；
[0047] 在步驟S200中，小波分析具有很好的時(shí)間頻率定位特性，能夠把信號(hào)分解成多個(gè) 具有不同子頻段，頻率特性和方向特性的子頻段，所W小波分析又被稱作數(shù)學(xué)顯微鏡。受圖 像分解和重構(gòu)算法的啟發(fā)，Mallat提出了基于小波分析的Malla算法，即圖像多分辨分解和 重構(gòu)金字塔算法。重構(gòu)算法是分解算法的逆過程，經(jīng)過逆濾波就能恢復(fù)出原始的信號(hào)序列。 巧空間的投影f(x，y)可W用來表示二維圖像信號(hào)：
[0051 ]如果尺度函數(shù)4 (X)和小波函數(shù)iKx)的系數(shù)矩陣分別是H和G，Malla算法得分解公 式為：
[004引
[0049]
[(K)加 ]
[0化2](4)
[0053] 在式(4)中，Cl、巧、邱和巧分別對(duì)應(yīng)圖像Ci-I的低頻部分、垂直方向的高頻部分、 豎直方向的高頻部分W及對(duì)角線方向的高頻部分。Malla算法的重構(gòu)算法可W表示為：
[0054]
(5)
[0化5] 在式(5)中，H*、G*分別為H、G的逆矩陣。
[0056] 所述圖層包括包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋 理與物體邊緣信息的圖層。小波分析能夠分別對(duì)圖像進(jìn)行線性、高通和低通濾波。在原始圖 像上進(jìn)行行和列的低通濾波，可W得到第一層的低頻系數(shù)近似分量Cl,它包括圖像背景與 顏色信息。在原始圖像上進(jìn)行行和列的高通濾波，可W得到水平高頻細(xì)節(jié)系數(shù)心垂直高 頻細(xì)節(jié)系數(shù)公r和對(duì)角線高頻細(xì)節(jié)系數(shù)0，\它們包括不同方向的圖像紋理與物體邊緣信 息。上述分界操作重復(fù)在Cl低頻分量上進(jìn)行操作，可W得到相對(duì)應(yīng)的第二層的各頻率分量 C2、〇f、和of。如果上述分界操作重復(fù)在第m-1層進(jìn)行的話，能夠得到Cm、￡>f、和 D'' 0
[0057] 雨滴噪聲的頻率很高，而圖像紋理與物體邊緣的噪聲比雨滴還要高，圖像背景與 顏色信息的頻率很低。所W，由受雨滴污染圖像的基于小波分析多層分解，可W發(fā)現(xiàn)雨滴噪 聲應(yīng)該被包含在低圖層的高頻系數(shù)部分，更大的分解層數(shù)通常被用來確保去雨后圖像的細(xì) 節(jié)信息。在本發(fā)明實(shí)施例中，對(duì)圖像進(jìn)行小波多層分解的分解層數(shù)為十層。具體如圖2所示， 是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2(c)至圖2(1) 是圖像的第十到第一層的高頻結(jié)構(gòu)。由分析可知，大部分的雨滴噪聲集中在第二到第四高 頻系數(shù)圖層上，而第五到第十高頻系數(shù)圖層則包含絕大部分圖像背景與顏色信息，第一層 包含圖像紋理與物體邊緣信息。
[005引步驟S300:檢測出包含雨滴噪聲的圖層，并對(duì)包含雨滴噪聲的圖層進(jìn)行雙邊濾波 保邊去噪處理；
[0059] 在步驟S300中，雙邊濾波是一種可W保邊去噪的濾波器，之所W可W達(dá)到此去噪 效果，是因?yàn)槠溆蓛蓚€(gè)函數(shù)構(gòu)成。一個(gè)函數(shù)是由幾何空間距離決定濾波器系數(shù)，另一個(gè)由像 素差值決定濾波器系數(shù)。雙邊濾波同時(shí)考慮了空間域與值域的差別，故能夠?qū)崿F(xiàn)保邊保留 的噪聲去除，有利于后續(xù)更好地實(shí)現(xiàn)圖像融合。雙邊濾波器中，輸出像素的值依賴于鄰域像 素的值的加權(quán)組合。權(quán)重系數(shù)w(i，j，k，l)取決于定義域核(式(7))和值域核(式(8))的乘 積：
[0060] (6)
[0061 ] (7)
[0062] (扮
[0063] . (9)
[0064] 步驟S400:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù) 計(jì)算融合系數(shù)矩陣，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息的圖層、包含雨滴噪聲的圖 層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并通過融合結(jié)果進(jìn)行圖像 重構(gòu)得到去雨圖像；
[0065] 在步驟S400中，由于被雨滴覆蓋的像素的灰度等級(jí)比背景灰度大，會(huì)產(chǎn)生邊緣效 應(yīng)，于是，局部梯度能夠用來測量灰度的變化，局部梯度定義為：
[0066] (10)
[0067] 式（10)中，A Xf (i，j)和A yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，M和N分別為 區(qū)域的邊長。由于雨滴亮度是基本不變的，雨滴像素具有更高和更穩(wěn)定的能量，像素的局部 能量可W表示為：
[0068 (11)
[0069] 令雨滴污染程度系數(shù)S = GXE,即局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重。對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信 息、雨滴噪聲和圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，最后將=部分融合結(jié) 果進(jìn)行圖像重構(gòu)得到去雨圖像，運(yùn)樣可W使圖像的顏色和細(xì)節(jié)不失真。在本發(fā)明實(shí)施例中， 為了去除雨滴，對(duì)于雨滴噪聲所在的圖層，融合系數(shù)矩陣的權(quán)值應(yīng)該小于1;而對(duì)于沒有被 雨滴污染的圖層，融合系數(shù)矩陣的權(quán)值設(shè)成大于1;具體如圖3所示，是小波分解重構(gòu)流程 圖。
[0070] 在進(jìn)行不同圖像信息的圖層分別進(jìn)行小波融合之后，再對(duì)連續(xù)的9個(gè)視頻帖圖像 進(jìn)行圖像融合，融合后的去雨圖像代替中間第五帖圖像，W達(dá)到最終去雨效果。
[0071] 步驟S500:輸出視頻帖圖像。
[0072] 請(qǐng)參閱圖4,是本發(fā)明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)的結(jié)構(gòu)示意圖。本發(fā) 明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)包括圖像輸入模塊、小波分解模塊、圖像去噪模 塊、小波融合模塊和圖像輸出模塊;具體地：
[0073 ]圖像輸入模塊用于輸入視頻帖圖像；
[0074]小波分解模塊用于根據(jù)小波分析對(duì)圖像進(jìn)行小波多層分解，并分析各個(gè)圖層的圖 像信息，分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋理與 物體邊緣信息的圖層;其中，小波分析具有很好的時(shí)間頻率定位特性，能夠把信號(hào)分解成多 個(gè)具有不同子頻段，頻率特性和方向特性的子頻段，所W小波分析又被稱作數(shù)學(xué)顯微鏡。受 圖像分解和重構(gòu)算法的啟發(fā)，Mallat提出了基于小波分析的Malla算法，即圖像多分辨分解 和重構(gòu)金字塔算法。重構(gòu)算法是分解算法的逆過程，經(jīng)過逆濾波就能恢復(fù)出原始的信號(hào)序 列。Ff空間的投影f(x，y)可W用來表示二維圖像信號(hào)：
[0078] 如果尺度函數(shù)(1) (X)和小波函數(shù)iKx)的系數(shù)矩陣分別是H和G，Malla算法得分解公 式為：
[0075]
[0076]
[0077]
[0079] (4)
[0080] 在式（4)中，Ci、、傳和巧分別對(duì)應(yīng)圖像Ci-I的低頻部分、垂直方向的高頻部 分、豎直方向的高頻部分W及對(duì)角線方向的高頻部分。Malla算法的重構(gòu)算法可W表示為： [0081 ]
巧）
[0082] 在式(5)中，H*、G*分別為H、G的逆矩陣。
[0083] 所述圖層包括包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋 理與物體邊緣信息的圖層。小波分析能夠分別對(duì)圖像進(jìn)行線性、高通和低通濾波。在原始圖 像上進(jìn)行行和列的低通濾波，可W得到第一層的低頻系數(shù)近似分量Cl,它包括圖像背景與 顏色信息。在原始圖像上進(jìn)行行和列的高通濾波，可W得到水平高頻細(xì)節(jié)系數(shù)巧?，垂直高 頻細(xì)節(jié)系數(shù)巧^和對(duì)角線高頻細(xì)節(jié)系數(shù)巧°，它們包括不同方向的圖像紋理與物體邊緣信 息。上述分界操作重復(fù)在Cl低頻分量上進(jìn)行操作，可W得到相對(duì)應(yīng)的第二層的各頻率分量 〇2、。2"、蹲和邱。如果上述分界操作重復(fù)在第m-1層進(jìn)行的話，能夠得到Cm、Af、化'和 巧。
[0084] 雨滴噪聲的頻率很高，而圖像紋理與物體邊緣的噪聲比雨滴還要高，圖像背景與 顏色信息的頻率很低。所W，由受雨滴污染圖像的基于小波分析多層分解，可W發(fā)現(xiàn)雨滴噪 聲應(yīng)該被包含在低圖層的高頻系數(shù)部分，更大的分解層數(shù)通常被用來確保去雨后圖像的細(xì) 節(jié)信息。在本發(fā)明實(shí)施例中，對(duì)圖像進(jìn)行小波多層分解的分解層數(shù)為十層。具體如圖2所示， 是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2(c)至圖2(1) 是圖像的第十到第一層的高頻結(jié)構(gòu)。由分析可知，大部分的雨滴噪聲集中在第二到第四高 頻系數(shù)圖層上，而第五到第十高頻系數(shù)圖層則包含絕大部分圖像背景與顏色信息，第一層 包含圖像紋理與物體邊緣信息。
[0085] 圖像去噪模塊用于檢測出包含雨滴噪聲的圖層，并對(duì)包含雨滴噪聲的圖層進(jìn)行雙 邊濾波保邊去噪處理;其中，雙邊濾波是一種可W保邊去噪的濾波器，之所W可W達(dá)到此去 噪效果，是因?yàn)槠溆蓛蓚€(gè)函數(shù)構(gòu)成。一個(gè)函數(shù)是由幾何空間距離決定濾波器系數(shù)，另一個(gè)由 像素差值決定濾波器系數(shù)。雙邊濾波同時(shí)考慮了空間域與值域的差別，故能夠?qū)崿F(xiàn)保邊保 留的噪聲去除。雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組合。權(quán)重系數(shù)W (王^，4，1)取決于定義域核(式(7))和值域核(式(8))的乘積：
[0086] 《6)
[0087] (7)
[008引 （8)
[0089] 巧）
[0090] 小波融合模塊用于根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程 度系數(shù)計(jì)算融合系數(shù)矩陣，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息的圖層、包含雨滴噪 聲的圖層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并通過融合結(jié)果進(jìn) 行圖像重構(gòu)得到去雨圖像;其中，由于被雨滴覆蓋的像素的灰度等級(jí)比背景灰度大，會(huì)產(chǎn)生 邊緣效應(yīng)，于是，局部梯度能夠用夾測量灰度的變化，局部梯度定義為：
[0091] (10)
[0092] 式（10)中，A Xf (i，j)和A yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，M和N分別為 區(qū)域的邊長。由于雨滴亮度是基本不變的，雨滴像素具有更高和更穩(wěn)定的能量，像素的局部 能量可W表示為：
[0093] (11)
[0094] 令雨滴污染程度系數(shù)S = GXE,即局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重。對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信 息、雨滴噪聲和圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，最后將=部分融合結(jié) 果進(jìn)行圖像重構(gòu)得到去雨圖像，運(yùn)樣可W使圖像的顏色和細(xì)節(jié)不失真。在本發(fā)明實(shí)施例中， 為了去除雨滴，對(duì)于雨滴噪聲所在的圖層，融合系數(shù)矩陣的權(quán)值應(yīng)該小于1;而對(duì)于沒有被 雨滴污染的圖層，融合系數(shù)矩陣的權(quán)值設(shè)成大于1;具體如圖3所示，是小波分解重構(gòu)流程 圖。
[0095] 在進(jìn)行不同圖像信息的圖層分別進(jìn)行小波融合之后，再對(duì)連續(xù)的9個(gè)視頻帖圖像 進(jìn)行圖像融合，融合后的去雨圖像代替中間第五帖圖像，W達(dá)到最終去雨效果。
[0096] 圖像輸出模塊用于輸出視頻帖圖像。
[0097] 本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法及系統(tǒng)采用小波多級(jí)分解和小波 融合的方法判別雨滴噪聲所在的層面，對(duì)含有雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處 理，并根據(jù)雨滴影響的程度定義小波融合的規(guī)則，在特定的層面上進(jìn)行小波融合W達(dá)到雨 滴去除的目的;本發(fā)明的實(shí)施可W避免受到動(dòng)態(tài)特性的干擾，更加準(zhǔn)確有效的去除雨滴，提 高了去雨算法的使用范圍，在雨勢(shì)很大的情況下也能有良好的去雨效果，提高了去雨算法 的實(shí)時(shí)性。
[0098] W上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用W限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于小波分析的圖像去雨方法，其特征在于，包括： 步驟a:根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解，并分析所述分解圖層的圖像信息， 分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層以及包含圖像紋理與物體邊緣 信息的圖層； 步驟b:對(duì)所述包含雨滴噪聲的圖層進(jìn)行雙邊濾波保邊去噪處理； 步驟c:計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)所述包含背景與顏色信息的圖 層、包含雨滴噪聲的圖層以及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并 根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像。2. 根據(jù)權(quán)利要求1所述的基于小波分析的圖像去雨方法，其特征在于，在所述步驟a中， 所述根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解具體為:基于小波分析的Malla算法將所述 視頻幀圖像分解為十層，Malla算法的分解公式為： Ci = HcHrCi-I DhGiHrCil Df = GiGrCii 在上述公式中，H和G分別是尺度函數(shù)Φ(χ)和小波函數(shù)Φ(χ)的系數(shù)矩陣，A2和 Λ 貧分別對(duì)應(yīng)圖像CV1的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分以及對(duì)角線方 向的高頻部分。3. 根據(jù)權(quán)利要求2所述的基于小波分析的圖像去雨方法，其特征在于，所述步驟a還包 括:檢測出包含雨滴噪聲的圖層;所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖層。4. 根據(jù)權(quán)利要求1所述的基于小波分析的圖像去雨方法，其特征在于，在所述步驟c中， 所述計(jì)算融合系數(shù)矩陣的計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù) 雨滴污染程度系數(shù)計(jì)算融合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系 數(shù)S = GXE，其中，G為局部梯度，E為局部能量，局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè) 新的變量S，S值越大污染越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于 對(duì)圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣。5. 根據(jù)權(quán)利要求4所述的基于小波分析的圖像去雨方法，其特征在于，所述局部梯度G 定義為：在上述公式中，A xf ( i，j )和Δ yf ( i，j )分別為點(diǎn)（i，j )的水平和垂直方向，M和N分別為 區(qū)域的邊長； 所述像素的局部能量E表示為：6. -種基于小波分析的圖像去雨系統(tǒng)，其特征在于，包括小波分解模塊、圖像去噪模塊 和小波融合模塊;所述小波分解模塊用于根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解，分析 所述分解圖層的圖像信息，分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層以 及包含圖像紋理與物體邊緣信息的圖層;所述圖像去噪模塊用于對(duì)所述包含雨滴噪聲的圖 層進(jìn)行雙邊濾波保邊去噪處理;所述小波融合模塊用于計(jì)算融合系數(shù)矩陣，根據(jù)所述融合 系數(shù)矩陣對(duì)所述包含背景與顏色信息的圖層、包含雨滴噪聲的圖層以及包含圖像紋理與物 體邊緣信息的圖層分別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像。7. 根據(jù)權(quán)利要求6所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述小波分解模 塊根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解具體為:基于小波分析的Malla算法將所述視 頻幀圖像分解為十層，Malla算法的分解公式為： Ci = HcHrCi-I Dl = G, IlrCi , 貧二('丨 2?3 = (;, GX , 在上述公式中，H和G分別是尺度函數(shù)Φ(χ)和小波函數(shù)Φ(χ)的系數(shù)矩陣，C1、貧樣和 W分別對(duì)應(yīng)圖像CV1的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分以及對(duì)角線方 向的高頻部分。8. 根據(jù)權(quán)利要求7所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述圖像去噪模 塊還用于檢測出包含雨滴噪聲的圖層;所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖 層。9. 根據(jù)權(quán)利要求6所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述小波融合模 塊計(jì)算融合系數(shù)矩陣的計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨 滴污染程度系數(shù)計(jì)算融合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = GXE，其中，G為局部梯度，E為局部能量，局部梯度和局部能量兩個(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣。10. 根據(jù)權(quán)利要求9所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述局部梯度G 定義為：在上述公式中，A xf ( i，j )和Δ yf ( i，j )分別為點(diǎn)（i，j )的水平和垂直方向，M和N分別為 區(qū)域的邊長； 所述像素的局部能量E表示為：
【文檔編號(hào)】G06T5/00GK106023112SQ201610347657
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月24日
【發(fā)明人】朱青松, 李佳恒, 王磊
【申請(qǐng)人】中國科學(xué)院深圳先進(jìn)技術(shù)研究院