基于帶鄰邊樣例的圖像超分辨率方法
【專利摘要】本發(fā)明公開了一種基于樣例的圖像超分辨率的方法。該方法中的樣例和傳統(tǒng)方法不同，其在傳統(tǒng)的低分辨率的樣例的四周加了一個(gè)邊。在本發(fā)明的在線處理過程中，沒有選擇傳統(tǒng)的對(duì)每一圖像塊各自進(jìn)行放大的方法，而采用一種放大過程中有重疊區(qū)域的放大方法。為此，本發(fā)明新定義了一種匹配準(zhǔn)則，以優(yōu)化地選擇要放大區(qū)域所對(duì)應(yīng)的在數(shù)據(jù)庫中存儲(chǔ)的高分辨率塊。最后，對(duì)重疊區(qū)域中的高分辨率像素值進(jìn)行加權(quán)平均，以得到最終的和給定的低分辨率圖像相對(duì)應(yīng)的高分辨率圖像。
【專利說明】基于帶鄰邊樣例的圖像超分辨率方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理中的超分辨技術(shù)，即對(duì)于給定的一個(gè)圖像，希望得到一個(gè)對(duì)此圖像進(jìn)行放大的圖像，所得到的放大的圖像越清晰越好。此技術(shù)可以應(yīng)用于放大互聯(lián)網(wǎng)上由于帶寬限制而存儲(chǔ)的小圖像等領(lǐng)域，有著廣闊的應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002]國際上現(xiàn)今有兩類超分辨率方法。一類方法是基于插值的方法，另一類是基于樣例(example)的方法。其中，基于差值的超分辨率方法雖然比較簡單，復(fù)雜度較低，但是其得到的放大圖像一般比較模糊，圖像邊緣部分不清晰。為了克服這一缺點(diǎn)，人們提出了基于樣例的超分辨率方法。在此類方法中，分為兩個(gè)步驟。第一個(gè)步驟是建立圖像樣例數(shù)據(jù)庫，第二個(gè)步驟是基于樣例的圖像超分辨率的實(shí)現(xiàn)。在第一個(gè)步驟中，首先進(jìn)行離線的訓(xùn)練過程。此過程中，首先設(shè)法得到一批高分辨率的清晰圖像，然后對(duì)每一個(gè)高分辨率的圖像通過下采樣或?yàn)V波的方法得到對(duì)應(yīng)的低分辨率的圖像。然后對(duì)低分辨率和高分辨率的圖像進(jìn)行分塊處理，對(duì)低分辨率的圖像所劃分的塊的大小可以為4X 4或者5 X 5等，對(duì)每一個(gè)在低分辨率圖像中的塊，可以在高分辨率的圖像塊中找到和其對(duì)應(yīng)的塊。例如:如要求的放大倍數(shù)為2時(shí)，對(duì)每一個(gè)在低分辨率圖中的4 X 4大小的塊，在高分辨率的圖中都有一個(gè)8X8大小的塊和其對(duì)應(yīng)或匹配。這樣，在低分辨率的圖像塊的大小為NXN時(shí)，低分辨率的圖像塊中的像素值組成一個(gè)集合:[0003]q(x, y, k) = {fL (x, y, k, i, j) | x ≤ i ≤ x+N-1, y ≤ j ≤ y+N-1}
[0004]這里k表示訓(xùn)練庫中的第k個(gè)圖像，(X，y)為圖像塊的左上角在低分辨率的圖像中的位置，fL(x, y，k，i，j)為第k個(gè)低分辨率的圖像在(i，j)處的像素點(diǎn)的值。和集合q(x，y，k)所表示的低分辨率的圖像塊相對(duì)應(yīng)，有一個(gè)高分辨率的圖像塊的像素值所組成的集合:
[0005]Q(x, y, k) = {fH(x, y, k, i, j) | 2x ≤ i ≤ 2x+2N_l,2y ≤ j ≤ 2y+2N_l}
[0006]這里fH(x，y, k，i，j)為第k個(gè)高分辨率的圖像在(i，j)處的像素點(diǎn)的值。然后，可以把每一個(gè)低分辨率的集合q(x，1，k)所表示的塊、其匹配的高分辨率的集合Q (X，y, k)所表示的塊、以及這種對(duì)應(yīng)關(guān)系都存儲(chǔ)在樣例數(shù)據(jù)庫中。每一個(gè)存儲(chǔ)的低分辨率的塊可稱為一個(gè)樣例。在對(duì)訓(xùn)練庫中每一個(gè)高分辨率的圖像都經(jīng)過此處理后，可得到一個(gè)樣例數(shù)據(jù)庫，此數(shù)據(jù)庫描述了一大批低分辨率塊(樣例)、和其對(duì)應(yīng)的高分辨率塊。
[0007]在訓(xùn)練數(shù)據(jù)庫建設(shè)好之后，就可以對(duì)給定的不在訓(xùn)練庫中的低分辨率的圖像進(jìn)行在線的超分辨率處理。在此處理步驟中，首先把訓(xùn)練庫中沒有的待放大的低分辨率的圖像進(jìn)行分塊，塊的大小和樣例數(shù)據(jù)庫中的低分辨率的塊的大小一樣。即，若樣例數(shù)據(jù)庫中的樣例都為4X4大小的，那么，把待放大的低分辨率的圖像劃分為具有4X4大小的塊。然后，對(duì)每個(gè)待放大的塊，在樣例數(shù)據(jù)庫中找到最接近此待放大的塊的樣例。即對(duì)于待放大的塊中的像素所組成的集合
[0008]s (x0, y0) = {gL(i，j) |x0 ≤ i ≤ Xq+N-1 , y0 ≤ j ≤ y0+N-l}[0009]首先計(jì)算待放大的塊和訓(xùn)練庫中塊q(x，y，k)之間的絕對(duì)差值之和:
[0010]
【權(quán)利要求】
1.一種基于帶鄰邊的超分辨率圖像放大的方法。本發(fā)明包括離線的處理過程和在線的處理過程。在離線的處理過程中，建立供超分辨率圖像放大所需的訓(xùn)練數(shù)據(jù)庫。在在線的處理過程中，對(duì)任意給定的一幅圖像進(jìn)行放大。在低分辨率的圖像塊的坐標(biāo)為UyyJ處，所提出的帶鄰邊的樣例為從到(xdN-m-1, yjN-m-l)區(qū)域的正方形的圖像塊，其大小為(N+2m) X (N+2m)。其所對(duì)應(yīng)的高分辨率圖像塊為高分辨率圖像中從(2Χ?，27?)到(2xL+2N-l,2yL+2N-l)區(qū)域的正方形的圖像塊，其大小為2NX2N。對(duì)于離線的建立數(shù)據(jù)庫的過程，先準(zhǔn)備好大量的可供訓(xùn)練的高分辨率圖像，所述方法包括: 步驟I)根據(jù)高分辨率的圖，進(jìn)行下采樣，得到低分辨率的圖，為提取樣例和其匹配的高分辨率塊做準(zhǔn)備。令k=l(k=l表示是數(shù)據(jù)庫中的第一幅圖像，k是第幾個(gè)圖像的索引)。 步驟2)對(duì)低分辨率的圖像進(jìn)行初始的加邊處理。由于所提出的樣例是帶有鄰邊的，因此為處理方便，給整幅低分辨率圖像加個(gè)邊，邊的寬度和樣例中鄰邊的寬度相同。 步驟3)令^=0，yfO，這里，(?, yL)是低分辨率樣例上除了邊以后的左上角在低分辨率圖像中的坐標(biāo)。 步驟4)提取低分辨率圖像中從坐標(biāo)(Xl1-Hi, y^n)開始到(xjN+m-l, yjN+m-Ι)間的圖像塊，存儲(chǔ)到數(shù)據(jù)庫中。NXN為塊的大小，m為帶鄰邊樣例的鄰邊的寬度。本發(fā)明中選擇的塊的大小為4X4，帶鄰邊樣例的鄰邊的寬度為2。 步驟5)令xh=2xl, yH=2yL, (xH, yH)為高分辨率圖像中和樣例匹配的塊的左上角在高分辨率圖像中的坐標(biāo)。 步驟6)提取低分辨率圖像中從坐標(biāo)(xH，yH)開始到(xH+2*N-l，yH+2*N-l)間的圖像塊，存儲(chǔ)到數(shù)據(jù)庫中。這樣，就存儲(chǔ)了一對(duì)低分辨率塊(帶鄰邊的樣例)fjxy yL, k)和高分辨率塊fH(xH，yH，k)。其中帶鄰邊樣例的大小為(N+m) X (N+m)，相對(duì)應(yīng)的高分辨率的匹配塊的大小為2NX2N。 步驟7)令W1，樣例在低分辨率圖像的左上角的橫坐標(biāo)左移一個(gè)像素單位，以提取出下一個(gè)樣例。 步驟8)若\ < W-N,則跳到步驟4)提取下一對(duì)低分辨率塊和高分辨率塊，其中W為圖像的寬度。否則，這一行的樣例已提取完畢，將進(jìn)行下一行樣例的提取。 步驟9)令^=0，h=yfl，樣例左上角在低分辨率的圖上的坐標(biāo)下移到下一行的開始處。 步驟10)若^ < H-N,則跳到步驟4)提取下一對(duì)低分辨率塊和高分辨率塊，其中H為圖像的高度。否則；對(duì)當(dāng)前圖像樣例提取過程進(jìn)行完畢。 步驟ll)k=k+l，跳到步驟1)，對(duì)下一幅高分辨率圖像進(jìn)行處理，直到對(duì)訓(xùn)練庫中所有圖像都處理完畢。 這樣，經(jīng)過此離線的處理方法，就得到了可用于超分辨率處理的很多樣例和與此樣例匹配的高分辨率塊所組成的數(shù)據(jù)庫。 對(duì)于在線處理過程，所述方法包括: 步驟I)對(duì)初始的低分辨率圖進(jìn)行處理，給低分辨率的圖像加個(gè)邊。在加邊的圖像上，應(yīng)填充的四周的像素點(diǎn)上的像素值由其最鄰近的圖像中的像素值來確定。 步驟2)令^=0，^=0，(xL, yL)為待放大塊的左上角在低分辨率圖像中的坐標(biāo)。 步驟3)在此位置上，計(jì)算低分辨率圖上、已放大的高分辨率的圖上，和訓(xùn)練庫中第(X，y，k)個(gè)存儲(chǔ)的樣例、以及與此樣例對(duì)應(yīng)的高分辨率塊，相對(duì)應(yīng)的匹配差值SADE(x，y，k)。這個(gè)匹配差值的計(jì)算包括了低分辨率圖像上樣例和當(dāng)前低分辨率圖像塊的差值、以及重疊區(qū)域的差值，也包括高分辨圖像上已放大塊和樣例對(duì)應(yīng)的高分辨率塊之間在重疊區(qū)域的差值。同時(shí)，給邊緣像素點(diǎn)和非邊緣像素點(diǎn)不同的權(quán)值。 確定邊緣像素點(diǎn)時(shí)利用了二維的二階拉普拉斯算子。 步驟4)找到數(shù)據(jù)庫中最匹配的樣例和與此樣例對(duì)應(yīng)的高分辨率塊。即，計(jì)算此位置上的
2.如權(quán)利要求1所述的一種建立帶鄰邊樣例，以及在圖像的超分辨率放大中利用這些帶鄰邊樣例的方法，以利用這些樣例來克服傳統(tǒng)方法中的塊效應(yīng)和一對(duì)多的問題。在低分辨率的圖像塊的坐標(biāo)為(m)處，所提出的帶鄰邊的樣例為從到O^+N-m-1，yL+N-m-l)區(qū)域的正方形的圖像塊，其大小為(N+2m) X (N+2m)。其所對(duì)應(yīng)的高分辨率圖像塊為高分辨率圖像中從(2xu2yJ到(2xj2N-l，2yf2N-l)區(qū)域的正方形的圖像塊，其大小為2NX2N。因?yàn)闃永哂朽忂叄诤偷头直媛实膱D像塊進(jìn)行匹配時(shí)，匹配區(qū)域更大，可找到更好的匹配樣例，以及和此樣例匹配的高分辨率圖像塊。
3.如權(quán)利要求1所述，在在線的超分辨率圖像放大過程中，采用要放大塊和已放大塊之間有重疊區(qū)域的放大方法，以進(jìn)一步地克服塊效應(yīng)和一對(duì)多的問題。這里，在X軸上放大一圖像塊之后，橫坐標(biāo)上的移動(dòng)關(guān)系為XL=XL+skp_x，step_x為低分辨率圖上X軸方向上下一個(gè)塊跳動(dòng)的距離，在本發(fā)明中step_x=2。由于step_x〈N (本發(fā)明中N=4),這樣就構(gòu)成了橫向的重疊區(qū)域。在對(duì)一行的圖像塊都進(jìn)行了放大之后，在y軸上，縱坐標(biāo)的移動(dòng)關(guān)系為yL=yL+step_y,在本發(fā)明中step_y=2為低分辨率圖上y軸方向上下一個(gè)塊跳動(dòng)的距離。由于step_y〈N=4,這樣構(gòu)成了縱向的重疊區(qū)域。
4.如權(quán)利要求1所述，本發(fā)明計(jì)算匹配差值時(shí)，包括了低分辨率圖像上重疊區(qū)域的絕對(duì)差值之和，低分辨率圖像上未重疊區(qū)域的絕對(duì)差值之和，以及放大的高分辨率圖像上的絕對(duì)差值之和，然后選出最優(yōu)樣例和與此樣例匹配的高分辨率塊的。SADE(x，y, k)的計(jì)算過程如下: 首先計(jì)算
5.如權(quán)利要求1所述的一種檢測邊緣點(diǎn)，以及在圖像的超分辨率放大中利用這些邊緣像素點(diǎn)的方法，這樣可以得到邊緣清晰的高分辨率圖像。這里，給邊緣像素點(diǎn)和非邊緣像素點(diǎn)不同的權(quán)值。確定邊緣像素點(diǎn)的過程如下: 先對(duì)圖像中的像素采用如下模板
6.如權(quán)利要求1所述的一種確定重疊區(qū)域上，高分辨率圖像中像素值的最終確定的方法。在高分辨率圖像上的重疊區(qū)域，主要利用加權(quán)平均方法來獲得最終的高分辨率的像素值。其方法如下: 首先計(jì)算
7.如權(quán)利要求1所述的一種和帶鄰邊樣例所對(duì)應(yīng)的低分辨率圖像的加邊的方法。對(duì)低分辨率的圖像進(jìn)行初始的加邊處理。由于所提出的樣例是帶有鄰邊的，因此為處理方便，給整幅低分辨率圖像加個(gè)邊，邊的寬度和樣例中鄰邊的寬度相同。在加邊的圖像上，應(yīng)填充的四周的像素點(diǎn)上的像素值由其最鄰近的圖像中的像素值來確定。這樣，在四周的圖像塊照樣可以提取出帶鄰邊的樣例。在本發(fā)明中所加的邊的寬度為2。
【文檔編號(hào)】G06T5/50GK103903241SQ201410141448
【公開日】2014年7月2日 申請(qǐng)日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】端木春江, 王澤思 申請(qǐng)人:浙江師范大學(xué)