本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是指一種全參考圖像質(zhì)量評(píng)價(jià)方法和裝置。

背景技術(shù)：

目前，圖像質(zhì)量評(píng)價(jià)在很多圖像和視頻處理領(lǐng)域中得到了大量的應(yīng)用，例如壓縮、存儲(chǔ)、融合、增強(qiáng)、恢復(fù)等?？陀^圖像質(zhì)量評(píng)價(jià)的目標(biāo)是開(kāi)發(fā)出量化的評(píng)價(jià)方法去預(yù)測(cè)失真圖像的質(zhì)量，使預(yù)測(cè)值能夠和主觀評(píng)價(jià)保持一致。傳統(tǒng)的客觀圖像質(zhì)量評(píng)價(jià)方法包括峰值信噪比(peaksignaltonoise，psnr)和均方誤差(meansquarederror，mse)，這兩種方法被大量使用。盡管這兩種方法有清晰的物理意義，并且計(jì)算簡(jiǎn)單，但是其計(jì)算結(jié)果經(jīng)常和主觀評(píng)價(jià)不一致，因?yàn)樗鼈儍H僅計(jì)算了參考圖像和失真圖像像素之間的差別，沒(méi)有考慮到人類視覺(jué)系統(tǒng)的特性。

sheikh等人提出了自然場(chǎng)景分析的信息保真度準(zhǔn)則方法(visualinformationfidelity，vif)(hamidrahimsheikh,alanc.bovik,“imageinformationandvisualqualitysheikh”,ieeetrans.imageprocess.,2006,15(2),pp.430-444)，此方法把信息理論應(yīng)用在圖像保真度測(cè)量中，通過(guò)評(píng)測(cè)參考圖像和失真圖像共同信息的多少來(lái)評(píng)價(jià)失真圖像的質(zhì)量。wangzhou提出了結(jié)構(gòu)相似度方法(structuralsimilarity，ssim)(zhouwang,alanconradbovik,hamidrahimsheikh,eerop.simoncelli，“imagequalityassessment:fromerrorvisibilitytostructuralsimilarity”，ieeetrans.imageprocess.,2004,13(4),pp.600-612)。ssim方法假設(shè)人類視覺(jué)系統(tǒng)高度自適應(yīng)地提取場(chǎng)景的結(jié)構(gòu)信息，此方法受到很大的關(guān)注，但是此方法不能夠正確評(píng)價(jià)模糊圖像的質(zhì)量，而且沒(méi)有結(jié)合人眼的視覺(jué)特性?；趕sim方法，chun-lingyang提出了小波變換域的結(jié)構(gòu)相似度方法(discretewavelettransform-basedstructuralsimilarity，dwt-ssim)(chun-lingyang，wen-ruigao，lai-manpo，“discretewavelettransform-basedstructuralsimilarityforimagequalityassessment”，proc.int.conf.imageprocess.icip,sandiego,unitedstates,october2008)。但是小波變換僅僅能夠最優(yōu)地表示一維奇異點(diǎn)數(shù)據(jù)，不能最優(yōu)地表示二維的圖像數(shù)據(jù)。wang-qlim提出了離散不可分離剪切波變換(discretenonseparableshearlettransform，dnst)(wang-qlim，“nonseparableshearlettransform”,ieeetrans.imageprocess.,2013,22(5),pp.2056-2065)。離散不可分離剪切波變換在各個(gè)尺度和方向上形成局部化波形的緊框架，能夠最稀疏地表示圖像，克服了小波變換的缺陷。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提出一種全參考圖像質(zhì)量評(píng)價(jià)方法和裝置，能夠解決現(xiàn)有技術(shù)中對(duì)圖像質(zhì)量評(píng)價(jià)不全面、準(zhǔn)確性不高的問(wèn)題。

基于上述目的本發(fā)明提供全參考圖像質(zhì)量評(píng)價(jià)方法，包括：

分別對(duì)參考圖像和失真圖像進(jìn)行離散不可分離剪切波變換，得到不同尺度下不同方向的剪切波子帶系數(shù)；

計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶每個(gè)塊的結(jié)構(gòu)相似度；

根據(jù)所述每個(gè)塊的結(jié)構(gòu)相似度，計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度；

通過(guò)計(jì)算離散不可分離剪切波變換每個(gè)尺度的結(jié)構(gòu)相似度，計(jì)算整體圖像的結(jié)構(gòu)相似度，作為失真圖像的質(zhì)量評(píng)價(jià)值。

在本發(fā)明中，所述得到不同尺度下不同方向的剪切波子帶系數(shù)，包括：xmn和ymn分別表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向的子帶系數(shù)；

在剪切波變換中，使用仿射系統(tǒng)理論；對(duì)于二維系統(tǒng)，復(fù)合膨脹仿射系統(tǒng)的公式：

其中，ψ∈l²(r²)，a和b是2×2可逆矩陣，并且|detb|＝1；膨脹矩陣a^j和尺度變換有關(guān)，矩陣b^l和旋轉(zhuǎn)、剪切有關(guān)；

其中，a＝a0是各向異性的膨脹矩陣，b＝b0是剪切矩陣，它們的形式：

對(duì)剪切波變換子帶系數(shù)計(jì)算結(jié)構(gòu)相似度；

對(duì)比度敏感特性曲線函數(shù)的形式：

h(f)＝2.6×(0.0192+0.114f)×exp[-(0.114f)^1.1]

其中，f是空間頻率。

在本發(fā)明中，ssimmnk表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向子帶第k個(gè)塊的結(jié)構(gòu)相似度：

ssimmnk(xmnk,ymnk)＝[l(xmnk,ymnk)]^α×[c(xmnk,ymnk)]^β×[s(xmnk,ymnk)]^γ

其中，xmnk和ymnk分別表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向子帶第k個(gè)塊的系數(shù)；l(x,y)表示xmnk和ymnk的亮度比較，c(x,y)表示xmnk和ymnk的對(duì)比度比較，s(x,y)表示xmnk和ymnk的結(jié)構(gòu)比較；α、β、γ表示系數(shù)，全部設(shè)置為1。

在本發(fā)明的一些實(shí)施例中，l(x,y)、c(x,y)和s(x,y)的形式：

其中，μx和μy分別表示xmnk和ymnk的平均值，σx和σy分別表示xmnk和ymnk的標(biāo)準(zhǔn)差，σxy表示xmnk和ymnk的協(xié)方差，c1、c2和c3表示小常量。

在本發(fā)明中，使用下面的公式計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度，其中ssimmn表示第m級(jí)尺度第n個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度：

在本發(fā)明的一些實(shí)施例中，所述計(jì)算離散不可分離剪切波變換每個(gè)尺度的結(jié)構(gòu)相似度包括：

其中，ssimm表示第m級(jí)尺度的結(jié)構(gòu)相似度，ωmn表示第m級(jí)尺度下第n個(gè)方向子帶的權(quán)值。

在本發(fā)明中，使用plccmn作為第m級(jí)第n個(gè)方向子帶的權(quán)值ωmn，ωmn＝plccmn；

其中，ai是每個(gè)失真圖像第m級(jí)尺度第n個(gè)方向子帶的結(jié)構(gòu)相似度ssimmn，bi是每個(gè)失真圖像的主觀評(píng)價(jià)值。

在本發(fā)明中，所述計(jì)算整體圖像的結(jié)構(gòu)相似度ntst-ssim(x，y)，包括：

其中，ωm表示第m級(jí)尺度的權(quán)值。

在本發(fā)明的一些實(shí)施例中，ωm＝h(f)|f＝m，而

h(f)＝2.6×(0.0192+0.114f)×exp[-(0.114f)^1.1]。

另外，本發(fā)明還根據(jù)上面所述的全參考圖像質(zhì)量評(píng)價(jià)方法，提供了一種全參考圖像質(zhì)量評(píng)價(jià)裝置，包括：

子帶系數(shù)獲取單元，用于分別對(duì)參考圖像和失真圖像進(jìn)行離散不可分離剪切波變換，得到不同尺度下不同方向的剪切波子帶系數(shù)；

塊結(jié)構(gòu)相似度計(jì)算單元，用于計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶每個(gè)塊的結(jié)構(gòu)相似度；

子帶系數(shù)結(jié)構(gòu)相似度計(jì)算單元，用于根據(jù)所述每個(gè)塊的結(jié)構(gòu)相似度，計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度；

圖像結(jié)構(gòu)相似度計(jì)算單元，用于通過(guò)計(jì)算離散不可分離剪切波變換每個(gè)尺度的結(jié)構(gòu)相似度，計(jì)算整體圖像的結(jié)構(gòu)相似度，作為失真圖像的評(píng)價(jià)值。

從上面所述可以看出，本發(fā)明提供的一種全參考圖像質(zhì)量評(píng)價(jià)方法和裝置，在離散不可分離剪切波變換域中，提取不同尺度和不同方向子帶的結(jié)構(gòu)相似性，并且使用不同的權(quán)值求和，作為評(píng)價(jià)分?jǐn)?shù)。本發(fā)明提出的方法和主觀評(píng)價(jià)有很好的一致性，并且能夠很好的預(yù)測(cè)單調(diào)性和準(zhǔn)確性。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例中全參考圖像質(zhì)量評(píng)價(jià)方法的流程示意圖；

圖2為本發(fā)明實(shí)施例中全參考圖像質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。

需要說(shuō)明的是，本發(fā)明實(shí)施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個(gè)相同名稱非相同的實(shí)體或者非相同的參量，可見(jiàn)“第一”“第二”僅為了表述的方便，不應(yīng)理解為對(duì)本發(fā)明實(shí)施例的限定，后續(xù)實(shí)施例對(duì)此不再一一說(shuō)明。

參閱圖1所示，為本發(fā)明實(shí)施例中全參考圖像質(zhì)量評(píng)價(jià)方法和裝置的結(jié)構(gòu)示意圖，包括步驟：

步驟101，分別對(duì)參考圖像和失真圖像進(jìn)行離散不可分離剪切波變換，得到不同尺度下不同方向的剪切波子帶系數(shù)。

在實(shí)施例中，xmn和ymn分別表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向的子帶系數(shù)。

另外，在剪切波變換中，使用了經(jīng)典的仿射系統(tǒng)理論。對(duì)于二維系統(tǒng)，復(fù)合膨脹仿射系統(tǒng)的公式如式(1)所示。其中，ψ∈l²(r²)，a和b是2×2可逆矩陣，并且|detb|＝1。膨脹矩陣a^j和尺度變換有關(guān)，矩陣b^l和旋轉(zhuǎn)、剪切有關(guān)。

其中，a＝a0是各向異性的膨脹矩陣，b＝b0是剪切矩陣，它們的形式如式(2)所示：

剪切波具有高度的方向敏感性和空域局部化特性。離散不可分離剪切波變換使用由不可分離因子生成的緊支撐剪切波。使用離散不可分離剪切波變換，一個(gè)圖像能夠表示成不同尺度下不同方向的多個(gè)子帶，每個(gè)子帶仍然保留著原始圖像的基本輪廓。一個(gè)圖像在進(jìn)行離散不可分離剪切波變換之后，沒(méi)有丟失像素之間的結(jié)構(gòu)信息。所以，可以直接計(jì)算剪切波子帶系數(shù)的結(jié)構(gòu)相似性。

人眼對(duì)不同的空間頻率具有不同的敏感性。對(duì)比度敏感特性曲線(contrastsensitivityfunction，csf)能夠描述人眼視覺(jué)系統(tǒng)的這種特性，對(duì)比度敏感特性曲線函數(shù)的形式如式(3)所示。其中，f是空間頻率。對(duì)比度敏感特性曲線函數(shù)表明，人眼對(duì)中間頻率比高頻和低頻具有更高的敏感性。在對(duì)圖像進(jìn)行離散不可分離剪切波變換之后，圖像被分解成具有不同空間頻率的多個(gè)子帶。

h(f)＝2.6×(0.0192+0.114f)×exp[-(0.114f)^1.1](3)

步驟102，計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶每個(gè)塊的結(jié)構(gòu)相似度。其具體的實(shí)施過(guò)程包括：

ssimmnk表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向子帶第k個(gè)塊的結(jié)構(gòu)相似度，如式(4)所示：

ssimmnk(xmnk,ymnk)＝[l(xmnk,ymnk)]^α×[c(xmnk,ymnk)]^β×[s(xmnk,ymnk)]^γ(4)

其中，xmnk和ymnk分別表示參考圖像和失真圖像離散不可分離剪切波變換第m級(jí)尺度下第n個(gè)方向子帶第k個(gè)塊的系數(shù)；l(x,y)表示xmnk和ymnk的亮度比較，c(x,y)表示xmnk和ymnk的對(duì)比度比較，s(x,y)表示xmnk和ymnk的結(jié)構(gòu)比較。α、β、γ表示系數(shù)，全部設(shè)置為1。

更進(jìn)一步地，l(x,y)、c(x,y)和s(x,y)的具體形式如式(5)～(7)所示：

其中，μx和μy分別表示xmnk和ymnk的平均值，σx和σy分別表示xmnk和ymnk的標(biāo)準(zhǔn)差，σxy表示xmnk和ymnk的協(xié)方差，c1、c2和c3表示小常量。

步驟103，計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度。

作為實(shí)施例，使用下面的公式(8)計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度，其中ssimmn表示第m級(jí)尺度第n個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度。

步驟104，計(jì)算離散不可分離剪切波變換每個(gè)尺度的結(jié)構(gòu)相似度。具體的實(shí)施過(guò)程包括：

如式(9)所示：

其中，ssimm表示第m級(jí)尺度的結(jié)構(gòu)相似度，ωmn表示第m級(jí)尺度下第n個(gè)方向子帶的權(quán)值。計(jì)算主觀評(píng)價(jià)值和第m級(jí)尺度下第n個(gè)方向結(jié)構(gòu)相似值ssimmn(xmn,ymn)的spearman等級(jí)相關(guān)系數(shù)plccmn。plccmn表示第m級(jí)第n個(gè)方向子帶預(yù)測(cè)值和主觀評(píng)價(jià)值的相關(guān)程度，所以它能夠用來(lái)表示人眼對(duì)此子帶的敏感程度。在此發(fā)明的實(shí)施例中，使用plccmn作為第m級(jí)第n個(gè)方向子帶的權(quán)值ωmn，如式(10)所示：ωmn＝plccmn(10)

其中，ai是每個(gè)失真圖像第m級(jí)尺度第n個(gè)方向子帶的結(jié)構(gòu)相似度ssimmn，bi是每個(gè)失真圖像的主觀評(píng)價(jià)值。

步驟105，計(jì)算整體圖像的結(jié)構(gòu)相似度ntst-ssim(x，y)。具體的實(shí)施包括：

如式(11)所示：

其中，ωm表示第m級(jí)尺度的權(quán)值?？梢允褂脤?duì)比度敏感特性曲線計(jì)算ωm。

其中，ωm＝h(f)|f＝m，而

h(f)＝2.6×(0.0192+0.114f)×exp[-(0.114f)^1.1]。

作為本發(fā)明另一方面的實(shí)施例，參閱圖2所示，為本發(fā)明實(shí)施例中全參考圖像質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。在實(shí)施例中，所述的全參考圖像質(zhì)量評(píng)價(jià)裝置包括依次連接的子帶系數(shù)獲取單元201、塊結(jié)構(gòu)相似度計(jì)算單元202、子帶系數(shù)結(jié)構(gòu)相似度計(jì)算單元203以及圖像結(jié)構(gòu)相似度計(jì)算單元204。其中，子帶系數(shù)獲取單元201分別對(duì)參考圖像和失真圖像進(jìn)行離散不可分離剪切波變換，得到不同尺度下不同方向的剪切波子帶系數(shù)。塊結(jié)構(gòu)相似度計(jì)算單元202計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶每個(gè)塊的結(jié)構(gòu)相似度。子帶系數(shù)結(jié)構(gòu)相似度計(jì)算單元203根據(jù)所述每個(gè)塊的結(jié)構(gòu)相似度，計(jì)算每個(gè)尺度中每個(gè)方向離散不可分離剪切波變換子帶系數(shù)的結(jié)構(gòu)相似度。圖像結(jié)構(gòu)相似度計(jì)算單元204通過(guò)計(jì)算每個(gè)尺度離散不可分離剪切波變換的結(jié)構(gòu)相似度，計(jì)算整體圖像的結(jié)構(gòu)相似度。

需要說(shuō)明的是，所述全參考圖像質(zhì)量評(píng)價(jià)裝置每個(gè)單元以及單元之間進(jìn)行工作時(shí)的步驟、過(guò)程以及各種實(shí)施例已在上面的全參考圖像質(zhì)量評(píng)價(jià)方法中詳細(xì)說(shuō)明了，在此不再作重復(fù)論述。

本發(fā)明提供的一種全參考圖像質(zhì)量評(píng)價(jià)方法和裝置，在離散不可分離剪切波變換域中，提取不同尺度和不同方向子帶的結(jié)構(gòu)相似性，并且使用不同的權(quán)值求和，作為評(píng)價(jià)分?jǐn)?shù)。

可以使用live圖像質(zhì)量評(píng)價(jià)庫(kù)評(píng)估本發(fā)明提出的ntst-ssim方法。live數(shù)據(jù)庫(kù)包括29個(gè)參考圖像、779個(gè)失真圖像，共有5中失真類型：jpeg2000壓縮(可以用jp2000表示)、jpeg壓縮(可以用jpeg表示)、白噪聲(可以用wn表示)、高斯模糊(可以用gb表示)、使用快速衰退瑞利信道傳輸jpeg2000圖像的傳輸錯(cuò)誤(可以用ff表示)。

使用3個(gè)評(píng)價(jià)指標(biāo)用來(lái)測(cè)量客觀評(píng)價(jià)方法的性能。spearman等級(jí)相關(guān)系數(shù)(spearmanrank-ordercorrelationcoefficient，srocc)用來(lái)測(cè)量預(yù)測(cè)的單調(diào)性。使用非線性回歸為主觀評(píng)價(jià)值和預(yù)測(cè)值提供非線性映射。在進(jìn)行非線性映射之后，分別使用pearson線性相關(guān)系數(shù)(linearcorrelationcoefficient，plcc)和均方根誤差(rootmeansquareerror,rmse)用來(lái)評(píng)價(jià)預(yù)測(cè)的相關(guān)性和準(zhǔn)確度。srocc值和plcc值越大，rmse越小，表示預(yù)測(cè)性能越好。

本發(fā)明提出的方法和經(jīng)典方法三個(gè)評(píng)價(jià)指標(biāo)的比較結(jié)果如表1～3所示，最好的性能參數(shù)使用粗體表示。被比較的經(jīng)典方法包括psnr、ssim、dwt-ssim、vif。在本發(fā)明提出的方法dnst-ssim中，使用5級(jí)離散不可分離剪切波變換，從最低尺度到最高尺度，每個(gè)尺度的方向數(shù)量依次是8、8、8、16、16。

表1：srocc指標(biāo)的比較

表2：plcc指標(biāo)的比較

表3：rmse指標(biāo)的比較

從表1～3中，可以清晰的看出，本發(fā)明提出的方法dnst-ssim的性能在所有失真類型上超過(guò)了所有的其它方法。而且，dnst-ssim方法的整體性能在這三個(gè)指標(biāo)上超過(guò)了其它方法。

在本發(fā)明中，提出了一種新的基于離散不可分離剪切波變換域結(jié)構(gòu)相似性的全參考圖像質(zhì)量評(píng)價(jià)方法dsnt-ssim。在此方法中，使用了離散不可分離剪切波變換，并且考慮到了人眼視覺(jué)系統(tǒng)的特性。實(shí)驗(yàn)結(jié)果表面，本發(fā)明提出的方法dnst-ssim在性能上超過(guò)了其它方法，和主觀評(píng)價(jià)具有更好的一致性，并且能夠很好的預(yù)測(cè)單調(diào)性和準(zhǔn)確性。

綜上所述，本發(fā)明提供的一種全參考圖像質(zhì)量評(píng)價(jià)方法和裝置，創(chuàng)造性地使用剪切波變換子帶系數(shù)的特征，提出了一種和人類視覺(jué)系統(tǒng)保持一致的圖像質(zhì)量評(píng)價(jià)方法和裝置；對(duì)離散不可分離剪切波變換的子帶計(jì)算結(jié)構(gòu)相似度，能夠得到每個(gè)子帶的結(jié)構(gòu)相似性值，然后對(duì)不同的子帶設(shè)置不同的權(quán)值。根據(jù)對(duì)比度敏感特性曲線，人眼對(duì)不同的頻率具有不同的敏感性，從而得到不同的權(quán)值；本發(fā)明具有廣泛、重大的推廣意義；最后，整個(gè)所述的全參考圖像質(zhì)量評(píng)價(jià)方法和裝置緊湊，易于控制。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開(kāi)的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡(jiǎn)明它們沒(méi)有在細(xì)節(jié)中提供。

本發(fā)明的實(shí)施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。