基于最大期望算法的自然圖像超分辨方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及自然圖像處理技術(shù)領(lǐng)域中的基于最 大期望算法的自然圖像超分辨方法。本發(fā)明是將低分辨的自然圖像進(jìn)行超分辨，以得到一 幅清晰的高分辨自然圖像，以便為圖、像后續(xù)的解譯、目標(biāo)識(shí)別、目標(biāo)檢測(cè)提供更準(zhǔn)確、全面 的信息。
【背景技術(shù)】
[0002] 圖像超分辨技術(shù)是指從單幅或多幅低分辨率的圖像中重建出一幅清晰的高分辨 率的圖像的過(guò)程。低分辨圖像空間分辨率較低，影響了對(duì)景物更全面、清晰的描述。圖像超 分辨的目的是為了得到高分辨圖像，增強(qiáng)和豐富了景物的細(xì)節(jié)內(nèi)容，以便為后續(xù)的圖像處 理與解譯提供更準(zhǔn)確、全面的信息。要獲得高分辨的圖像，可通過(guò)以下兩個(gè)途徑實(shí)現(xiàn)：一是 采用更新的傳感器，這樣能獲取更高質(zhì)量的圖像，但新型傳感器的成本較高；二是通過(guò)算法 對(duì)低分辨圖像進(jìn)行超分辨，這樣能在現(xiàn)有傳感器技術(shù)的基礎(chǔ)上獲取更高質(zhì)量的圖像，且技 術(shù)成本低。圖像超分辨技術(shù)主要可以分為基于插值、基于重建和基于學(xué)習(xí)三大類(lèi)。目前，單 幅圖像主要基于重構(gòu)誤差和先驗(yàn)信息約束的方法來(lái)實(shí)現(xiàn)圖像超分辨。
[0003] Yang, Wright 等人發(fā)表的論文 " Image Super-Resolution Via Sparse Representation''(IEEE Trans, on Image Processing vol. 19no. 11pp. 2861-2873. 2010) ψ 提出一種基于稀疏表示的圖像超分辨方法。該方法將壓縮感知的思想引入超分辨重構(gòu)中， 通過(guò)稀疏表示的方法來(lái)獲得低分辨和高分辨的字典對(duì)。當(dāng)?shù)头直鎴D像的稀疏表示通過(guò)壓縮 感知的方法得到時(shí)，則高分辨圖像的稀疏表示也相應(yīng)的得到，從而可以有效地對(duì)低分辨圖 像進(jìn)行重建。但是該方法存在的不足之處是，該方法在字典對(duì)的構(gòu)造中，需要采集大量的外 部訓(xùn)練數(shù)據(jù)，而這是不現(xiàn)實(shí)的，同時(shí)這種假設(shè)高低分辨圖像之間表示是存在誤差的，這樣使 得恢復(fù)得到的整體效果不是很好。
[0004] He 和 Siu 二人發(fā)表的論文 "Single Image Super-Resolution using Gaussian Process Regression'， （IEEE Conference on Computer Vision and Pattern Recognition, pp. 449 - 456. 2011)中公開(kāi)了一種使用高斯過(guò)程先驗(yàn)來(lái)解決圖像超分辨問(wèn)題 的方法。該方法使用高斯過(guò)程來(lái)學(xué)習(xí)得到低分辨圖像和高分辨圖像之間的映射關(guān)系。高斯 過(guò)程能自適應(yīng)地通過(guò)高斯分布模型來(lái)尋找得到低分辨圖像塊和高分辨圖像塊之間的內(nèi)在 聯(lián)系。該方法的優(yōu)勢(shì)在于在學(xué)習(xí)映射關(guān)系的時(shí)候，并不需要高分辨圖像進(jìn)行訓(xùn)練。但是，該 方法仍然存在的不足之處是，該方法僅僅利用了圖像自身的局部信息作為訓(xùn)練數(shù)據(jù)，同時(shí) 該方法沒(méi)有充分挖掘局部圖像塊的先驗(yàn)信息，這樣使得當(dāng)高斯過(guò)程能提供的信息不足的情 況下，造成了重構(gòu)得到的圖像結(jié)果不穩(wěn)定，細(xì)節(jié)和邊緣恢復(fù)的不是很好，局部區(qū)域重建質(zhì)量 下降。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于最大期望算法的自然 圖像超分辨方法，充分地結(jié)合圖像的先驗(yàn)信息，以在圖像超分辨重建中，能夠更好地去除振 鈴，極大地提高了圖像超分辨的恢復(fù)效果。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明在基于最大期望算法的基礎(chǔ)上實(shí)現(xiàn)自然圖像超分辨，其 技術(shù)方案是通過(guò)最大期望算法將圖像超分辨過(guò)程拆成兩個(gè)子過(guò)程，即隱圖像期望最大過(guò)程 和估計(jì)圖像后驗(yàn)概率最大過(guò)程。在估計(jì)圖像后驗(yàn)概率最大過(guò)程中，我們使用高斯過(guò)程方法 學(xué)習(xí)得到估計(jì)圖像塊的均值和方差，然后訓(xùn)練得到隱圖像塊的字典，最后通過(guò)均方誤差最 小化的方法得到估計(jì)圖像的最大后驗(yàn)值。通過(guò)對(duì)隱圖像期望最大化過(guò)程和估計(jì)圖像后驗(yàn)概 率最大過(guò)程這兩個(gè)過(guò)程進(jìn)行循環(huán)迭代，當(dāng)?shù)鷿M足終止條件，則跳出循環(huán)，最終得到最優(yōu)的 高分辨圖像。
[0007] 本發(fā)明的具體步驟如下：
[0008] (1)輸入一幅待恢復(fù)的低分辨圖像；
[0009] (2)插值圖像：
[0010] 使用matlab軟件中的imresize函數(shù)，將待恢復(fù)的低分辨圖像插值到待恢復(fù)的低 分辨圖像的3倍，得到插值后的低分辨圖像；
[0011] ⑶按照下式，獲得隱圖像：
[0012] Z = L+λ Ht (Y-HL)
[0013] 其中，Z表示隱圖像，L表示插值后的低分辨圖像，λ表示迭代步長(zhǎng)，λ = 〇. 8, H 表示觀測(cè)矩陣，T表示轉(zhuǎn)置操作，Y表示待恢復(fù)的低分辨圖像；
[0014] (4)將隱圖像切成W個(gè)隱圖像塊：
[0015] 將隱圖像進(jìn)行滑窗處理，其中隱圖像塊的大小設(shè)為6X6像素，滑窗步長(zhǎng)設(shè)為1個(gè) 像素，得到W個(gè)隱圖像塊集；
[0016] (5)獲得每一個(gè)隱圖像塊的相似矩陣：
[0017] (5a)從隱圖像塊集中任意提取一個(gè)隱圖像塊，從隱圖像塊集中尋找與所提取的 隱圖像塊歐式距離最小的前30個(gè)圖像塊，將30個(gè)圖像塊進(jìn)行拉列豎疊在一起，得到一個(gè) 36X30的相似矩陣；
[0018] (5b)重復(fù)執(zhí)行步驟（5a)所述過(guò)程，直至得到每一個(gè)隱圖像塊的相似矩陣；
[0019] (6)獲得每一個(gè)隱圖像塊的字典：
[0020] (6a)輸入任意一個(gè)隱圖像塊的相似矩陣，利用這個(gè)相似矩陣構(gòu)造相應(yīng)隱圖像塊的 字典；
[0021] (6b)重復(fù)執(zhí)行步驟（6a)所述過(guò)程，直至得到每一個(gè)隱圖像塊的字典；
[0022] (7)獲得每一個(gè)估計(jì)圖像塊的均值和協(xié)方差：
[0023] (7a)將待恢復(fù)的低分辨圖像進(jìn)行切塊，其中切塊大小設(shè)為2X2像素，得到待恢復(fù) 的低分辨圖像塊集；
[0024] (7b)對(duì)隱圖像左乘觀測(cè)矩陣，得到隱低分辨圖像，將隱圖像和隱低分辨圖像分別 切成塊，切塊大小分別為6X6像素和2X 2像素，將其拉成列，分別得到隱圖像塊集和隱低 分辨圖像塊集，構(gòu)成圖像塊對(duì)集合；
[0025] (7c)將隱低分辨圖像塊集作為高斯過(guò)程方法的輸入，將隱圖像塊集作為高斯過(guò)程 方法輸出，計(jì)算高斯過(guò)程方法的協(xié)方差計(jì)算函數(shù)；
[0026] (7d)按照下式，獲得每一個(gè)估計(jì)圖像塊的均值和協(xié)方差：
[0027] μ j= K(v j, y)K(y, y) Jf
[0028] Σ j = K (v j, vj) -K (vj, yj) K (y, y) 1K (y, Vj)
[0029] 其中，μ j表示第j個(gè)估計(jì)圖像塊的均值，K( ·)表示協(xié)方差計(jì)算函數(shù)，-I表示求 逆操作，V]表示第j個(gè)待恢復(fù)的低分辨圖像塊，y表示隱圖像塊集，f表示隱低分辨圖像塊 集，Σ ,表示第j個(gè)估計(jì)圖像塊的協(xié)方差，j = 1，2,…，W，W表示隱圖像塊的個(gè)數(shù)；
[0030] (8)獲得每一個(gè)估計(jì)圖像塊的最大后驗(yàn)估計(jì)值：
[0031] (8a)輸入任意一個(gè)隱圖像塊，按照下式，獲得與該輸入隱圖像塊所對(duì)應(yīng)的估計(jì)圖 像塊的系數(shù)矩陣：
[0032] Λ = (diag(DV μτ?+?ΤΣ?)) Miag (DT μ μτ?+?ΤΣ?)
[0033] 其中，Λ表示估計(jì)圖像塊的系數(shù)矩陣，diag(·)表示對(duì)角化操作，D表示隱圖像塊 的字典，T表示轉(zhuǎn)置操作，μ表示估計(jì)圖像塊的均值，Σ表示估計(jì)圖像塊的協(xié)方差，-1表示 求逆操作；
[0034] (8b)按照下式，獲得隱圖像塊對(duì)應(yīng)的估計(jì)圖像塊的最大后驗(yàn)估計(jì)值：
[0035] x = DA DTz
[0036] 其中，X表示估計(jì)圖像塊的最大后驗(yàn)估計(jì)值，D表示隱圖像塊的字典，Λ表示估計(jì) 圖像塊的系數(shù)矩陣，T表示轉(zhuǎn)置操作，ζ表示隱圖像塊；
[0037] (8c)重復(fù)執(zhí)行步驟（8a)，（8b)所述過(guò)程，直至得到每一個(gè)估計(jì)圖像塊的最大后驗(yàn) 估計(jì)值；
[0038] (9)將所有估計(jì)圖像塊的最大后驗(yàn)估計(jì)值拼接成一幅高分辨圖像；
[0039] (10)利用下式，計(jì)算隱圖像與高分辨圖像的相對(duì)誤差： Ilz-Tl! _。] y=~HT
[0041] 其中，γ表示隱圖像與高分辨圖像的相對(duì)誤差，Z表示隱圖像，T表示高分辨圖像， I · 112表示2范數(shù)操作；
[0042] (11)判斷隱圖像與高分辨圖像的相對(duì)誤差是否滿足終止條件，如果是，執(zhí)行步驟 (13);否則，執(zhí)行步驟（12);
[0043] (12)更新數(shù)據(jù)：
[0044] 將高分辨圖像的像素值賦值給插值后的低分辨圖像的像素，執(zhí)行步驟（3);
[0045] (13)輸出一張最優(yōu)的高分辨圖像。
[0046] 本發(fā)明與現(xiàn)有的技