一種基于小波分析的圖像去雨方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于小波分析的圖像去雨方法及系統(tǒng)。所述基于小波分析的圖像去雨方法包括：步驟a：根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解，并分析各個(gè)分解圖層的圖像信息；步驟b：計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)不同圖像信息的分解圖層分別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像；步驟c：利用各向異性擴(kuò)散濾波對(duì)所述去雨圖像進(jìn)行濾波處理。本發(fā)明的實(shí)施可以避免受到動(dòng)態(tài)特性的干擾，更加準(zhǔn)確有效的去除雨滴，提高了去雨算法的使用范圍，在雨勢(shì)很大的情況下也能有良好的去雨效果；并通過各向異性擴(kuò)散濾波對(duì)去雨圖像進(jìn)行濾波處理，使圖像更加清晰自然，并使得去雨算法更加具有實(shí)用性。
【專利說明】
-種基于小波分析的圖像去雨方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其設(shè)及一種基于小波分析的圖像去雨方法及系 統(tǒng)。
【背景技術(shù)】
[0002] 雨對(duì)圖像成像有很大的影響，會(huì)造成圖像成像模糊和信息覆蓋，其直接結(jié)果是視 頻圖像的清晰度下降，視頻圖像的數(shù)字化處理也會(huì)受此影響而性能下降。對(duì)受雨滴污染的 視頻圖像進(jìn)行修復(fù)處理有利于圖像的進(jìn)一步處理，包括基于圖像的目標(biāo)檢測(cè)、識(shí)別、追蹤、 分割和監(jiān)控等技術(shù)的性能提高。而且視頻基于小波分析的圖像去雨技術(shù)在現(xiàn)代軍事、交通 W及安全監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用前景。
[0003] 有關(guān)視頻圖像中雨滴特性的研究已受到國(guó)際學(xué)術(shù)界的廣泛關(guān)注，去雨算法的研究 也從2003年Starik等（Starik S,Werman Μ. Simulation of rainin videos[C]Proceeding of Texture Workshop, ICCV. Ni ce, France: 2003,2:406-409)提出的中值法開始得到了迅 速的發(fā)展，處理的方法已經(jīng)不再局限于最初簡(jiǎn)單的中值計(jì)算，偏度計(jì)算、Κ均值聚類、卡爾曼 濾波、字典學(xué)習(xí)和稀疏編碼、引導(dǎo)濾波、帖間亮度差、HSV空間、光流法、運(yùn)動(dòng)分割等很多方法 也逐漸開始應(yīng)用在視頻圖像中雨滴檢測(cè)與去除的算法中，雨滴去除的效果也逐漸被提高。 Garg等最先提出利用雨滴帶來(lái)的帖間亮度差進(jìn)行雨滴初檢，然后利用雨滴的直線性和方向 一致的特點(diǎn)進(jìn)一步篩選，最后根據(jù)前后帖的像素亮度去除雨滴影響，可W較好地滿足雨滴 不覆蓋連續(xù)帖圖像情況下的雨滴檢測(cè)與去除;Zhang等將雨滴給像素帶來(lái)的色彩影響考慮 在內(nèi)，從而提高雨滴檢測(cè)的準(zhǔn)確性，改善了基于亮度變化的去雨算法在彩色圖像上的應(yīng)用 效果；Liu等將雨滴的亮度影響和色彩影響同時(shí)應(yīng)用在算法中，用兩帖檢測(cè)雨滴并去除； TripatM等先研究雨滴像素亮度變化的概率統(tǒng)計(jì)特性，然后利用雨滴像素亮度變化的對(duì)稱 性實(shí)現(xiàn)雨滴檢測(cè)，僅基于時(shí)域和另外考慮空間位置的影響時(shí)效果不完全相同；Kang等首先 利用雙邊濾波將雨圖分成高頻部分和低頻部分，并對(duì)高頻部分進(jìn)一步處理得到非雨成分， 結(jié)合低頻部分得到去雨圖；Huang等首先利用上下文約束進(jìn)行圖像分割，并利用上下文感知 進(jìn)行單幅基于小波分析的圖像去雨，并在此基礎(chǔ)上提出了改進(jìn)算法，文中首先用到了超完 備的字典對(duì)高頻部分進(jìn)行處理。
[0004] 特別是最近幾年，視頻圖像去雨技術(shù)已成為新的研究熱點(diǎn)。如何在保證高魯棒性 的前提下提高去雨的準(zhǔn)確率和實(shí)時(shí)性，是目前視頻圖像去雨領(lǐng)域的焦點(diǎn)。目前存在的算法 中，應(yīng)用于靜態(tài)場(chǎng)景視頻雨滴檢測(cè)與去除的算法有較為成熟的研究成果，但是應(yīng)用在動(dòng)態(tài) 場(chǎng)景中的視頻上時(shí)，算法考慮的是視頻中出現(xiàn)運(yùn)動(dòng)物體所帶來(lái)的干擾，對(duì)于與雨滴特性區(qū) 別度不高的運(yùn)動(dòng)物體無(wú)法達(dá)到理想的檢測(cè)效果。此外，實(shí)時(shí)處理在多項(xiàng)技術(shù)應(yīng)用的自動(dòng)導(dǎo) 航系統(tǒng)、安全監(jiān)控系統(tǒng)等場(chǎng)合中有很大的應(yīng)用需求。運(yùn)些應(yīng)用場(chǎng)合中往往需要及時(shí)得到處 理結(jié)果，反饋給用戶，視頻處理的滯后有可能導(dǎo)致用戶做出錯(cuò)誤的判斷。因此視頻中雨滴檢 測(cè)與去除不僅需要提高精度，也需要提高處理速度，而且需要找到二者之間最佳平衡點(diǎn)。但 是當(dāng)前算法還無(wú)法兼顧各種場(chǎng)景的處理速度和精度，實(shí)現(xiàn)去雨算法的實(shí)時(shí)性是當(dāng)前研究面 對(duì)的一個(gè)重要課題。
[0005] 綜上所述，現(xiàn)有的圖像去雨技術(shù)存在的缺點(diǎn)在于:現(xiàn)有的圖像去雨算法基本是基 于像素亮度和雨滴形態(tài)特征進(jìn)行去雨，去雨效果不是很理想；同時(shí)，現(xiàn)有的圖像去雨技術(shù)對(duì) 于動(dòng)態(tài)場(chǎng)景的去雨效果不是很理想，算法復(fù)雜度和算法實(shí)時(shí)性也不能很好地兼顧。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于小波分析的圖像去雨方法及系統(tǒng)，旨在解決現(xiàn)有的圖像去 雨技術(shù)對(duì)于動(dòng)態(tài)場(chǎng)景的去雨效果不是很理想，且算法復(fù)雜度和算法實(shí)時(shí)性不能兼顧的技術(shù) 問題。
[0007] 本發(fā)明是運(yùn)樣實(shí)現(xiàn)的，一種基于小波分析的圖像去雨方法，包括：
[0008] 步驟a:根據(jù)小波分析對(duì)視頻帖圖像進(jìn)行圖層分解，并分析各個(gè)分解圖層的圖像信 息；
[0009] 步驟b:計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)不同圖像信息的分解圖層分 別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像；
[0010] 步驟C:利用各向異性擴(kuò)散濾波對(duì)所述去雨圖像進(jìn)行濾波處理。
[0011] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:在所述步驟a中，所述根據(jù)小波分析對(duì)視頻 帖圖像進(jìn)行圖層分解具體為:基于小波分析的Malla算法將所述視頻帖圖像分解為十層， Malla算法的分解公式為：
[0016] 在上述公式中，Η和G分別是尺度函數(shù)Φ (X)和小波函數(shù)Φ(χ)的系數(shù)矩陣，Cl、 卻、巧和片分別對(duì)應(yīng)圖像Ci-l的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分W 及對(duì)角線方向的高頻部分。
[0017] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:在所述步驟a中，所述分析各個(gè)分解圖層的 圖像信息具體包括:所述圖層包括包含雨滴噪聲的圖層、包含背景與顏色信息的圖層W及 包含圖像紋理與物體邊緣信息的圖層，所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖 層，所述包含圖像背景與顏色信息的圖層為第五到第十高頻系數(shù)圖層，所述包含圖像紋理 與物體邊緣信息的圖層為第一層圖層。
[0018] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:在所述步驟b中，所述計(jì)算融合系數(shù)矩陣的 計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù)計(jì)算融 合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = G X E，其中，G為局部 梯度，E為局部能量，局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè)新的變量S，S值越大污染 越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì)圖像重構(gòu)算法進(jìn)行加權(quán) 優(yōu)化得到融合系數(shù)矩陣。
[0019] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述局部梯度G定義為：
[0020]
[0021 ]在上述公式中，Δ xf (i，j)和Δ yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，Μ和N分 別為區(qū)域的邊長(zhǎng)；
[0022] 所述像素的局部能量E表示為：
[0023]
[0024] 本發(fā)明實(shí)施例采取的另一技術(shù)方案為：一種基于小波分析的圖像去雨系統(tǒng)，包括 小波分解模塊、矩陣計(jì)算模塊、小波融合模塊和圖像濾波模塊;所述小波分解模塊用于根據(jù) 小波分析對(duì)視頻帖圖像進(jìn)行圖層分解，并分析各個(gè)分解圖層的圖像信息;所述矩陣計(jì)算模 塊用于計(jì)算融合系數(shù)矩陣;所述小波融合模塊用于根據(jù)所述融合系數(shù)矩陣對(duì)不同圖像信息 的分解圖層分別進(jìn)行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像;所述圖像濾 波模塊用于利用各向異性擴(kuò)散濾波對(duì)所述去雨圖像進(jìn)行濾波處理。
[0025] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述小波分解模塊根據(jù)小波分析對(duì)視頻帖 圖像進(jìn)行小波分解具體為：基于小波分析的Malla算法將所述視頻帖圖像分解為十層， Malla算法的分解公式為：
[0030] 在上述公式中，Η和G分別是尺度函數(shù)Φ (X)和小波函數(shù)Φ(χ)的系數(shù)矩陣，Cl、 巧、巧和巧分別對(duì)應(yīng)圖像Ci-l的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分W 及對(duì)角線方向的高頻部分。
[0031] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述小波分解模塊分析各個(gè)分解圖層的圖 像信息具體包括:所述圖層包括包含雨滴噪聲的圖層、包含背景與顏色信息的圖層W及包 含圖像紋理與物體邊緣信息的圖層，所述包含雨滴噪聲的圖層為第二到第四高頻系數(shù)圖 層，所述包含圖像背景與顏色信息的圖層為第五到第十高頻系數(shù)圖層，所述包含圖像紋理 與物體邊緣信息的圖層為第一層圖層。
[0032] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述矩陣計(jì)算模塊計(jì)算融合系數(shù)矩陣的計(jì) 算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù)計(jì)算融合 系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = G X E，其中，G為局部梯 度，E為局部能量，局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè)新的變量S，S值越大污染越 嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì)圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu) 化得到融合系數(shù)矩陣。
[0033] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括:所述局部梯度G定義為：
[0034]
[0035] 在上述公式中，Δ xf (i，j)和Δ yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，Μ和N分 別為區(qū)域的邊長(zhǎng)；
[0036] 所述像素的局部能量E表示為：
[0037]
[0038] 相對(duì)于現(xiàn)有技術(shù)，本發(fā)明產(chǎn)生的有益效果在于:本發(fā)明實(shí)施例的基于小波分析的 圖像去雨方法及系統(tǒng)采用小波多級(jí)分解對(duì)圖像進(jìn)行圖層分解，分析各個(gè)圖層的圖像信息， 并根據(jù)雨滴影響的程度定義小波融合的規(guī)則，根據(jù)小波融合的規(guī)則對(duì)不同圖像信息的圖層 分別進(jìn)行小波融合進(jìn)行雨滴去除，從而可W避免受到動(dòng)態(tài)特性的干擾，更加準(zhǔn)確有效的去 除雨滴，提高了去雨算法的使用范圍，在雨勢(shì)很大的情況下也能有良好的去雨效果;并通過 各向異性擴(kuò)散濾波對(duì)去雨圖像進(jìn)行濾波處理，使圖像更加清晰自然，并使得去雨算法更加 具有實(shí)用性。
【附圖說明】
[0039] 圖1是本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法的流程圖；
[0040] 圖2是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2 (C)至圖2(1)是圖像的第十到第一層的高頻結(jié)構(gòu)；
[0041 ]圖3是小波分解重構(gòu)流程圖；
[0042] 圖4是本發(fā)明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0043] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并 不用于限定本發(fā)明。
[0044] 請(qǐng)參閱圖1，是本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法的流程圖。本發(fā)明實(shí) 施例的基于小波分析的圖像去雨方法包括W下步驟：
[0045] 步驟S100:輸入視頻帖圖像；
[0046] 步驟S200:根據(jù)小波分析對(duì)圖像進(jìn)行小波多層分解，并分析各個(gè)圖層的圖像信息， 分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋理與物體邊緣 信息的圖層；
[0047] 在步驟S200中，小波分析具有很好的時(shí)間頻率定位特性，能夠把信號(hào)分解成多個(gè) 具有不同子頻段，頻率特性和方向特性的子頻段，所W小波分析又被稱作數(shù)學(xué)顯微鏡。受圖 像分解和重構(gòu)算法的啟發(fā)，Mallat提出了基于小波分析的Malla算法，即圖像多分辨分解和 重構(gòu)金字塔算法。重構(gòu)算法是分解算法的逆過程，經(jīng)過逆濾波就能恢復(fù)出原始的信號(hào)序列。 空間的投影f(x，y)可W用來(lái)表示二維圖像信號(hào)：
[(Κ)加 ]
[0051]如果尺度函數(shù)Φ(Χ)和小波函數(shù)Φ(Χ)的系數(shù)矩陣分別是Η和G，Malla算法得分解公 式為：
[0化6]在式（4)中，Ci、巧、啤和碑分別對(duì)應(yīng)圖像Ci-i的低頻部分、垂直方向的高頻部 分、豎直方向的高頻部分W及對(duì)角線方向的高頻部分。Malla算法的重構(gòu)算法可W表示為：
[0化7]
[005引在式(5)中，H*、G*分別為H、G的逆矩陣。
[0059] 所述圖層包括包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋 理與物體邊緣信息的圖層。小波分析能夠分別對(duì)圖像進(jìn)行線性、高通和低通濾波。在原始圖 像上進(jìn)行行和列的低通濾波，可W得到第一層的低頻系數(shù)近似分量Ci，它包括圖像背景與 顏色信息。在原始圖像上進(jìn)行行和列的高通濾波，可W得到水平高頻細(xì)節(jié)系數(shù)&f，垂直高 頻細(xì)節(jié)系數(shù)均'和對(duì)角線高頻細(xì)節(jié)系數(shù)它們包括不同方向的圖像紋理與物體邊緣信息。 上述分界操作重復(fù)在Cl低頻分量上進(jìn)行操作，可W得到相對(duì)應(yīng)的第二層的各頻率分量C2、 Df、巧和化^。如果上述分界操作重復(fù)在第m-1層進(jìn)行的話，能夠得到和 城。
[0060] 雨滴噪聲的頻率很高，而圖像紋理與物體邊緣的噪聲比雨滴還要高，圖像背景與 顏色信息的頻率很低。所W，由受雨滴污染圖像的基于小波分析多層分解，可W發(fā)現(xiàn)雨滴噪 聲應(yīng)該被包含在低圖層的高頻系數(shù)部分，更大的分解層數(shù)通常被用來(lái)確保去雨后圖像的細(xì) 節(jié)信息。在本發(fā)明實(shí)施例中，對(duì)圖像進(jìn)行小波多層分解的分解層數(shù)為十層。具體如圖2所示， 是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2(c)至圖2(1) 是圖像的第十到第一層的高頻結(jié)構(gòu)。由分析可知，大部分的雨滴噪聲集中在第二到第四高 頻系數(shù)圖層上，而第五到第十高頻系數(shù)圖層則包含絕大部分圖像背景與顏色信息，第一層 包含圖像紋理與物體邊緣信息。
[0061] 步驟S300:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程度系數(shù) 計(jì)算融合系數(shù)矩陣；
[0062] 在步驟S300中，由于被雨滴覆蓋的像素的灰度等級(jí)比背景灰度大，會(huì)產(chǎn)生邊緣效 應(yīng)，于是，局部梯度能夠用來(lái)測(cè)量灰度的變化，局部梯度定義為：
[0063]
[0064] 式（10)中，Δ xf (i，j)和Δ yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，Μ和N分別為 區(qū)域的邊長(zhǎng)。由于雨滴亮度是基本不變的，雨滴像素具有更高和更穩(wěn)定的能量，像素的局部 能量可W表示為：
[00 化]
[0066] 令雨滴污染程度系數(shù)S = GXE，即局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重。對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣.
[0067] 步驟S400:根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息的圖層、包含雨滴噪聲的圖 層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并通過融合結(jié)果進(jìn)行圖像 重構(gòu)，得到去雨圖像；
[0068] 在步驟S400中，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息、雨滴噪聲和圖像紋理 與物體邊緣信息的圖層分別進(jìn)行小波融合，最后將Ξ部分融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨 圖像，運(yùn)樣可W使圖像的顏色和細(xì)節(jié)不失真。在本發(fā)明實(shí)施例中，為了去除雨滴，對(duì)于雨滴 噪聲所在的圖層，融合系數(shù)矩陣的權(quán)值應(yīng)該小于1;而對(duì)于沒有被雨滴污染的圖層，融合系 數(shù)矩陣的權(quán)值設(shè)成大于1;具體如圖3所示，是小波分解重構(gòu)流程圖。
[0069] 在進(jìn)行不同圖像信息的圖層分別進(jìn)行小波融合之后，再對(duì)連續(xù)的9個(gè)視頻帖圖像 進(jìn)行圖像融合，融合后的去雨圖像代替中間第五帖圖像，W達(dá)到去雨效果。
[0070] 步驟S500:利用各向異性擴(kuò)散濾波對(duì)去雨圖像進(jìn)行濾波處理，得到優(yōu)化的去雨圖 像；
[0071] 在步驟S500中，各向異性擴(kuò)散濾波方法可W實(shí)現(xiàn)圖像的非線性濾波操作，使得在 消噪的同時(shí)，能夠很好的保持圖像邊緣。一維熱傳導(dǎo)方程，也稱一維擴(kuò)散方程，其為各向異 性擴(kuò)散方程的基礎(chǔ)。熱能是由分子的不規(guī)則運(yùn)動(dòng)產(chǎn)生的。在熱能流動(dòng)中有兩種基本過程:傳 導(dǎo)和對(duì)流。傳導(dǎo)由相鄰分子的碰撞產(chǎn)生，一個(gè)分子的振動(dòng)動(dòng)能被傳送到其最近的分子。運(yùn)種 傳導(dǎo)導(dǎo)致了熱能的傳播，即便分子本身的位置沒有什么移動(dòng)，熱能也傳播了。此外，如果振 動(dòng)的分子從一個(gè)區(qū)域運(yùn)動(dòng)到另一個(gè)區(qū)域，它會(huì)帶走其熱能。運(yùn)種類型的熱能運(yùn)動(dòng)稱為對(duì)流。 W此為基礎(chǔ)，基于各向異性擴(kuò)散方程的濾波方法是近年來(lái)出現(xiàn)的一種新的圖像濾波技術(shù)， 即求解初始值為輸入圖像的非線性熱擴(kuò)散方程。在擴(kuò)散方程中，通過引入圖像特征，設(shè)計(jì)合 適的擴(kuò)散系數(shù)來(lái)控制擴(kuò)散方程的擴(kuò)散行為，使得在平滑圖像的同時(shí)能夠保留甚至增強(qiáng)圖像 的特征信息。本發(fā)明在得到小波融合去雨圖像之后，通過使用各向異性擴(kuò)散濾波處理去雨 圖像，優(yōu)化了圖像的視覺效果，使圖像更加清晰自然，并使得去雨算法更加具有實(shí)用性。
[0072] 步驟S600:輸出去雨圖像。
[0073] 請(qǐng)參閱圖4,是本發(fā)明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)的結(jié)構(gòu)示意圖。本發(fā) 明實(shí)施例的基于小波分析的圖像去雨系統(tǒng)包括圖像輸入模塊、小波分解模塊、矩陣計(jì)算模 塊、小波融合模塊、圖像濾波模塊和圖像輸出模塊;具體地：
[0074] 圖像輸入模塊用于輸入視頻帖圖像；
[0075] 小波分解模塊用于根據(jù)小波分析對(duì)圖像進(jìn)行小波多層分解，并分析各個(gè)圖層的圖 像信息，分別得到包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋理與 物體邊緣信息的圖層;其中，小波分析具有很好的時(shí)間頻率定位特性，能夠把信號(hào)分解成多 個(gè)具有不同子頻段，頻率特性和方向特性的子頻段，所W小波分析又被稱作數(shù)學(xué)顯微鏡。受 圖像分解和重構(gòu)算法的啟發(fā)，Mallat提出了基于小波分析的Malla算法，即圖像多分辨分解 和重構(gòu)金字塔算法。重構(gòu)算法是分解算法的逆過程，經(jīng)過逆濾波就能恢復(fù)出原始的信號(hào)序 列。^；^?間的投影f(x，y)可W用來(lái)表示二維圖像信號(hào)：
[0079]如果尺度函數(shù)Φ(χ)和小波函數(shù)Φ(χ)的系數(shù)矩陣分別是Η和G，Malla算法得分解公 式為：
[0084] 在式（4)中，Ci、〇i、/才和巧分別對(duì)應(yīng)圖像Ci-1的低頻部分、垂直方向的高頻部 分、豎直方向的高頻部分W及對(duì)角線方向的高頻部分。Malla算法的重構(gòu)算法可W表示為：
[0085]
[0086] 在式(5)中，H*、G*分別為H、G的逆矩陣。
[0087] 所述圖層包括包含背景與顏色信息的圖層、包含雨滴噪聲的圖層W及包含圖像紋 理與物體邊緣信息的圖層。小波分析能夠分別對(duì)圖像進(jìn)行線性、高通和低通濾波。在原始圖 像上進(jìn)行行和列的低通濾波，可W得到第一層的低頻系數(shù)近似分量Ci，它包括圖像背景與 顏色信息。在原始圖像上進(jìn)行行和列的高通濾波，可W得到水平高頻細(xì)節(jié)系數(shù)Of，垂直高 頻細(xì)節(jié)系數(shù)和對(duì)角線高頻細(xì)節(jié)系數(shù)踩"，它們包括不同方向的圖像紋理與物體邊緣信 息。上述分界操作重復(fù)在Cl低頻分量上進(jìn)行操作，可W得到相對(duì)應(yīng)的第二層的各頻率分量 〇2、化"、巧和踩。如果上述分界操作重復(fù)在第m-1層進(jìn)行的話，能夠得到Cm、Of、成和 執(zhí)
[0088] 雨滴噪聲的頻率很高，而圖像紋理與物體邊緣的噪聲比雨滴還要高，圖像背景與 顏色信息的頻率很低。所W，由受雨滴污染圖像的基于小波分析多層分解，可W發(fā)現(xiàn)雨滴噪 聲應(yīng)該被包含在低圖層的高頻系數(shù)部分，更大的分解層數(shù)通常被用來(lái)確保去雨后圖像的細(xì) 節(jié)信息。在本發(fā)明實(shí)施例中，對(duì)圖像進(jìn)行小波多層分解的分解層數(shù)為十層。具體如圖2所示， 是小波分解示意圖；其中，圖2(a)為原始圖像，圖2(b)是圖像的低頻信息，圖2(c)至圖2(1) 是圖像的第十到第一層的高頻結(jié)構(gòu)。由分析可知，大部分的雨滴噪聲集中在第二到第四高 頻系數(shù)圖層上，而第五到第十高頻系數(shù)圖層則包含絕大部分圖像背景與顏色信息，第一層 包含圖像紋理與物體邊緣信息。
[0089] 矩陣計(jì)算模塊用于根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨滴污染程 度系數(shù)計(jì)算融合系數(shù)矩陣;其中，由于被雨滴覆蓋的像素的灰度等級(jí)比背景灰度大，會(huì)產(chǎn)生 邊緣效應(yīng)，于是，局部梯度能夠用來(lái)測(cè)量灰度的變化，局部梯度定義為：
[0090]
[0091] 式（10)中，Δ xf (i，j)和Δ yf (i，j)分別為點(diǎn)（i，j)的水平和垂直方向，Μ和N分別為 區(qū)域的邊長(zhǎng)。由于雨滴亮度是基本不變的，雨滴像素具有更高和更穩(wěn)定的能量，像素的局部 能量可W表示為：
[0092]
[0093] 令雨滴污染程度系數(shù)S = GXE，即局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重。對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣.
[0094] 小波融合模塊用于根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息的圖層、包含雨滴噪 聲的圖層W及包含圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，并通過融合結(jié)果進(jìn) 行圖像重構(gòu)，得到去雨圖像;其中，根據(jù)融合系數(shù)矩陣對(duì)包含背景與顏色信息、雨滴噪聲和 圖像紋理與物體邊緣信息的圖層分別進(jìn)行小波融合，最后將Ξ部分融合結(jié)果進(jìn)行圖像重構(gòu) 得到去雨圖像，運(yùn)樣可W使圖像的顏色和細(xì)節(jié)不失真。在本發(fā)明實(shí)施例中，為了去除雨滴， 對(duì)于雨滴噪聲所在的圖層，融合系數(shù)矩陣的權(quán)值應(yīng)該小于1;而對(duì)于沒有被雨滴污染的圖 層，融合系數(shù)矩陣的權(quán)值設(shè)成大于1;具體如圖3所示，是小波分解重構(gòu)流程圖。在進(jìn)行不同 圖像信息的圖層分別進(jìn)行小波融合之后，再對(duì)連續(xù)的9個(gè)視頻帖圖像進(jìn)行圖像融合，融合后 的去雨圖像代替中間第五帖圖像，W達(dá)到去雨效果。
[0095] 圖像濾波模塊用于利用各向異性擴(kuò)散濾波對(duì)去雨圖像進(jìn)行濾波處理，得到優(yōu)化的 去雨圖像;其中，各向異性擴(kuò)散濾波方法可W實(shí)現(xiàn)圖像的非線性濾波操作，使得在消噪的同 時(shí)，能夠很好的保持圖像邊緣。一維熱傳導(dǎo)方程，也稱一維擴(kuò)散方程，其為各向異性擴(kuò)散方 程的基礎(chǔ)。熱能是由分子的不規(guī)則運(yùn)動(dòng)產(chǎn)生的。在熱能流動(dòng)中有兩種基本過程:傳導(dǎo)和對(duì) 流。傳導(dǎo)由相鄰分子的碰撞產(chǎn)生，一個(gè)分子的振動(dòng)動(dòng)能被傳送到其最近的分子。運(yùn)種傳導(dǎo)導(dǎo) 致了熱能的傳播，即便分子本身的位置沒有什么移動(dòng)，熱能也傳播了。此外，如果振動(dòng)的分 子從一個(gè)區(qū)域運(yùn)動(dòng)到另一個(gè)區(qū)域，它會(huì)帶走其熱能。運(yùn)種類型的熱能運(yùn)動(dòng)稱為對(duì)流。W此為 基礎(chǔ)，基于各向異性擴(kuò)散方程的濾波方法是近年來(lái)出現(xiàn)的一種新的圖像濾波技術(shù)，即求解 初始值為輸入圖像的非線性熱擴(kuò)散方程。在擴(kuò)散方程中，通過引入圖像特征，設(shè)計(jì)合適的擴(kuò) 散系數(shù)來(lái)控制擴(kuò)散方程的擴(kuò)散行為，使得在平滑圖像的同時(shí)能夠保留甚至增強(qiáng)圖像的特征 信息。本發(fā)明在得到小波融合去雨圖像之后，通過使用各向異性擴(kuò)散濾波處理去雨圖像，優(yōu) 化了圖像的視覺效果，使圖像更加清晰自然，并使得去雨算法更加具有實(shí)用性。
[0096] 圖像輸出模塊用于輸出去雨圖像。
[0097] 本發(fā)明實(shí)施例的基于小波分析的圖像去雨方法及系統(tǒng)采用小波多級(jí)分解對(duì)圖像 進(jìn)行圖層分解，分析各個(gè)圖層的圖像信息，并根據(jù)雨滴影響的程度定義小波融合的規(guī)則，根 據(jù)小波融合的規(guī)則對(duì)不同圖像信息的圖層分別進(jìn)行小波融合進(jìn)行雨滴去除，從而可W避免 受到動(dòng)態(tài)特性的干擾，更加準(zhǔn)確有效的去除雨滴，提高了去雨算法的使用范圍，在雨勢(shì)很大 的情況下也能有良好的去雨效果;并通過各向異性擴(kuò)散濾波對(duì)去雨圖像進(jìn)行濾波處理，使 圖像更加清晰自然，并使得去雨算法更加具有實(shí)用性。
[0098] W上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用W限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于小波分析的圖像去雨方法，其特征在于，包括： 步驟a:根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解，并分析各個(gè)分解圖層的圖像信息； 步驟b:計(jì)算融合系數(shù)矩陣，根據(jù)所述融合系數(shù)矩陣對(duì)不同圖像信息的分解圖層分別進(jìn) 行小波融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像； 步驟c:利用各向異性擴(kuò)散濾波對(duì)所述去雨圖像進(jìn)行濾波處理。2. 根據(jù)權(quán)利要求1所述的基于小波分析的圖像去雨方法，其特征在于，在所述步驟a中， 所述根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行圖層分解具體為:基于小波分析的Malla算法將所述 視頻幀圖像分解為十層，Malla算法的分解公式為： Ci = HcHrCi-l _ = U,G,.C,' 在上述公式中，H和G分別是尺度函數(shù)Φ(χ)和小波函數(shù)Φ(χ)的系數(shù)矩陣，CnD、和 Df分別對(duì)應(yīng)圖像Ch的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分以及對(duì)角線方 向的高頻部分。3. 根據(jù)權(quán)利要求2所述的基于小波分析的圖像去雨方法，其特征在于，在所述步驟a中， 所述分析各個(gè)分解圖層的圖像信息具體包括:所述圖層包括包含雨滴噪聲的圖層、包含背 景與顏色信息的圖層以及包含圖像紋理與物體邊緣信息的圖層，所述包含雨滴噪聲的圖層 為第二到第四高頻系數(shù)圖層，所述包含圖像背景與顏色信息的圖層為第五到第十高頻系數(shù) 圖層，所述包含圖像紋理與物體邊緣信息的圖層為第一層圖層。4. 根據(jù)權(quán)利要求1所述的基于小波分析的圖像去雨方法，其特征在于，在所述步驟b中， 所述計(jì)算融合系數(shù)矩陣的計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù) 雨滴污染程度系數(shù)計(jì)算融合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系 數(shù)S = GXE，其中，G為局部梯度，E為局部能量，局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè) 新的變量S，S值越大污染越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于 對(duì)圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣。5. 根據(jù)權(quán)利要求4所述的基于小波分析的圖像去雨方法，其特征在于，所述局部梯度G 定義為：在上述公式中，A xf ( i，j )和Δ yf ( i，j )分別為點(diǎn)（i，j )的水平和垂直方向，Μ和N分別為 區(qū)域的邊長(zhǎng)； 所述像素的局部能量Ε表示為：6. -種基于小波分析的圖像去雨系統(tǒng)，其特征在于，包括小波分解模塊、矩陣計(jì)算模 塊、小波融合模塊和圖像濾波模塊;所述小波分解模塊用于根據(jù)小波分析對(duì)視頻幀圖像進(jìn) 行圖層分解，并分析各個(gè)分解圖層的圖像信息;所述矩陣計(jì)算模塊用于計(jì)算融合系數(shù)矩陣； 所述小波融合模塊用于根據(jù)所述融合系數(shù)矩陣對(duì)不同圖像信息的分解圖層分別進(jìn)行小波 融合，并根據(jù)融合結(jié)果進(jìn)行圖像重構(gòu)得到去雨圖像;所述圖像濾波模塊用于利用各向異性 擴(kuò)散濾波對(duì)所述去雨圖像進(jìn)行濾波處理。7. 根據(jù)權(quán)利要求6所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述小波分解模 塊根據(jù)小波分析對(duì)視頻幀圖像進(jìn)行小波分解具體為:基于小波分析的Malla算法將所述視 頻幀圖像分解為十層，Malla算法的分解公式為： Ci = HcHrCi-l d； = ir.Grc,, D- = GG, C；, 在上述公式中，H和G分別是尺度函數(shù)Φ (X)和小波函數(shù)Φ(χ)的系數(shù)矩陣，Ci、對(duì)、Df和 W分別對(duì)應(yīng)圖像Ch的低頻部分、垂直方向的高頻部分、豎直方向的高頻部分以及對(duì)角線方 向的高頻部分。8. 根據(jù)權(quán)利要求7所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述小波分解模 塊分析各個(gè)分解圖層的圖像信息具體包括:所述圖層包括包含雨滴噪聲的圖層、包含背景 與顏色信息的圖層以及包含圖像紋理與物體邊緣信息的圖層，所述包含雨滴噪聲的圖層為 第二到第四高頻系數(shù)圖層，所述包含圖像背景與顏色信息的圖層為第五到第十高頻系數(shù)圖 層，所述包含圖像紋理與物體邊緣信息的圖層為第一層圖層。9. 根據(jù)權(quán)利要求6所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述矩陣計(jì)算模 塊計(jì)算融合系數(shù)矩陣的計(jì)算方式為:根據(jù)雨滴的亮度特性定義雨滴污染程度系數(shù)，根據(jù)雨 滴污染程度系數(shù)計(jì)算融合系數(shù)矩陣;所述計(jì)算融合系數(shù)矩陣具體為:令雨滴污染程度系數(shù)S = GXE，其中，G為局部梯度，E為局部能量，局部梯度和局部能量?jī)蓚€(gè)參數(shù)相乘得到一個(gè)新 的變量S，S值越大污染越嚴(yán)重;對(duì)S矩陣進(jìn)行歸一化處理得到S'，系數(shù)矩陣和S'矩陣用于對(duì) 圖像重構(gòu)算法進(jìn)行加權(quán)優(yōu)化得到融合系數(shù)矩陣。10. 根據(jù)權(quán)利要求9所述的基于小波分析的圖像去雨系統(tǒng)，其特征在于，所述局部梯度G 定義為：在上述公式中，A xf ( i，j )和Δ yf ( i，j )分別為點(diǎn)（i，j )的水平和垂直方向，Μ和N分別為 區(qū)域的邊長(zhǎng)； 所述像素的局部能量Ε表示為：
【文檔編號(hào)】G06T5/00GK106067163SQ201610349107
【公開日】2016年11月2日
【申請(qǐng)日】2016年5月24日 公開號(hào)201610349107.6, CN 106067163 A, CN 106067163A, CN 201610349107, CN-A-106067163, CN106067163 A, CN106067163A, CN201610349107, CN201610349107.6
【發(fā)明人】朱青松, 袁杰, 王磊
【申請(qǐng)人】中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院