動態(tài)圖像預(yù)測編碼裝置、動態(tài)圖像預(yù)測編碼方法、動態(tài)圖像預(yù)測解碼裝置和動態(tài)圖像預(yù)測 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動態(tài)圖像預(yù)測編碼裝置和方法、以及動態(tài)圖像預(yù)測解碼裝置和方法，特別涉及針對畫面內(nèi)的預(yù)測編碼中使用的參照樣本的濾波處理。
【背景技術(shù)】
[0002]為了高效地進行動態(tài)圖像數(shù)據(jù)的傳送和蓄積而使用壓縮編碼技術(shù)。在動態(tài)圖像的情況下，廣泛使用MPEGl?4或H.261?H.264的方式。
[0003]在這些編碼方式中，在將作為編碼對象的圖像分割成多個塊后進行編碼/解碼處理。在畫面內(nèi)的預(yù)測編碼中，使用位于與對象塊相同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(對已壓縮的圖像數(shù)據(jù)進行復(fù)原后的圖像信號)生成預(yù)測信號后，對從對象塊的信號中減去該預(yù)測信號而得到的差分信號進行編碼。在畫面間的預(yù)測編碼中，參照位于與對象塊不同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號進行運動的校正，生成預(yù)測信號，對從對象塊的信號中減去該預(yù)測信號而得到的差分信號進行編碼。
[0004]在通常的畫面間預(yù)測(幀間預(yù)測)編碼中，針對作為編碼對象的塊，利用從已經(jīng)再現(xiàn)的畫面中搜索與該像素信號類似的信號的方法生成預(yù)測信號。然后，對對象塊與搜索到的信號構(gòu)成的區(qū)域之間的空間上的位移量即運動矢量、以及對象塊的像素信號和預(yù)測信號的殘差信號進行編碼。這樣按照每個塊搜索運動矢量的手法被稱為塊匹配。
[0005]圖10是用于說明塊匹配處理的示意圖。這里，以編碼對象的畫面701上的對象塊702為例來說明預(yù)測信號的生成順序。參照畫面703已經(jīng)再現(xiàn)，區(qū)域704在空間上是與對象塊702同一位置的區(qū)域。在塊匹配中，設(shè)定包圍區(qū)域704的搜索范圍705，從該搜索范圍的像素信號中檢測與對象塊702的像素信號之間的絕對值誤差和最小的區(qū)域706。該區(qū)域706的信號成為預(yù)測信號，從區(qū)域704到區(qū)域706的位移量被檢測為運動矢量707。并且，還經(jīng)常使用如下方法:準備多個參照畫面703，按照每個對象塊選擇要實施塊匹配的參照畫面，檢測參照畫面選擇信息。在H.264中，為了對應(yīng)圖像的局部特征的變化，準備用于對運動矢量進行編碼的塊尺寸不同的多個預(yù)測類型。H.264的預(yù)測類型例如記載在專利文獻2中。
[0006]在H.264的畫面內(nèi)預(yù)測(幀內(nèi)預(yù)測)編碼中，采用在規(guī)定方向上對與作為編碼對象的塊相鄰的已再現(xiàn)的像素值進行外插而生成預(yù)測信號的方法。圖11是用于說明ITUH.264中使用的畫面內(nèi)預(yù)測方法的示意圖。在圖1l(A)中，對象塊802是作為編碼對象的塊，由與該對象塊802的邊界相鄰的像素A?M構(gòu)成的像素群(參照樣本群)801是相鄰區(qū)域，是在過去的處理中已經(jīng)再現(xiàn)的圖像信號。
[0007]該情況下，向下方拉伸位于對象塊802正上方的相鄰像素即像素群(參照樣本群)801而生成預(yù)測信號。并且，在圖1l(B)中，向右側(cè)拉伸位于對象塊804左側(cè)的已再現(xiàn)像素(I?L)而生成預(yù)測信號。生成預(yù)測信號的具體方法例如記載在專利文獻I中。取得這樣利用圖1l(A)?(I)所示的方法生成的9個預(yù)測信號分別與對象塊的像素信號的差分，設(shè)差分值最小的預(yù)測信號為最佳的預(yù)測信號。如上所述，通過對像素進行外插，能夠生成預(yù)測信號(幀內(nèi)預(yù)測樣本)。以上的內(nèi)容記載在下述專利文獻I中。
[0008]并且，在非專利文獻I所示的畫面內(nèi)預(yù)測中，除了上述9種以外，還準備參照樣本的拉伸方向不同的25種(共34種)預(yù)測信號生成方法。
[0009]并且，在非專利文獻I中，為了抑制參照樣本中產(chǎn)生的失真，在生成預(yù)測信號之前，對參照樣本實施低通濾波。具體而言，對參照樣本應(yīng)用權(quán)重系數(shù)為I '2:1的121濾波器后進行外插預(yù)測。該處理被稱為幀內(nèi)平滑(intra smoothing) ο
[0010]利用圖7和圖8對非專利文獻I的畫面內(nèi)預(yù)測進行說明。圖7示出塊分割的例子。與塊尺寸為NXN樣本的對象塊210相鄰的5個塊220、230、240、250、260已經(jīng)再現(xiàn)。在對象塊210的幀內(nèi)預(yù)測中使用ref [X] (x = O?4N)所示的參照樣本。圖8示出畫面內(nèi)預(yù)測的處理流程。首先，在步驟310中，實施畫面內(nèi)預(yù)測處理的預(yù)測信號生成器從保存再現(xiàn)像素的存儲器中取得參照樣本ref [X] (x = O?4N)。此時，有時由于編碼順序等理由而使得相鄰塊還未再現(xiàn)，無法取得全部4N+1個參照樣本ref [X]。此時，在填充(padding)處理(復(fù)制附近存在的樣本值)中代用不存在的樣本，準備4N+1個參照樣本。填充處理的詳細情況記載在非專利文獻I中。接著，在步驟320中，預(yù)測信號生成器利用121濾波器對參照樣本實施平滑化處理。最后，在步驟330中，預(yù)測信號生成器利用外插法(畫面內(nèi)預(yù)測的方向)估計對象塊內(nèi)的信號，生成預(yù)測信號(幀內(nèi)預(yù)測樣本)。
[0011]現(xiàn)有技術(shù)文獻
[0012]專利文獻
[0013]專利文獻1:美國特許公報第6765964號
[0014]專利文獻2:美國特許公報第7003035號
[0015]非專利文獻
[0016]非專利文獻1:B.Bross et.Al, “High efficiency video coding (HEVC) textspecificat1n draft 8，，，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG16WP3and IS0/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting Stockholm, Sweden, Il-20July, 2012.

【發(fā)明內(nèi)容】

[0017]發(fā)明要解決的課題
[0018]圖9示出像素值的類似的平坦區(qū)域的信號的例子，但是，當(dāng)利用較粗的量化對原來的像素值(原始樣本值)410進行編碼時，塊內(nèi)的再現(xiàn)值(再現(xiàn)樣本值)420成為固定值，在塊邊界430產(chǎn)生階梯狀的失真。認為該失真是塊噪聲，通常，對再現(xiàn)圖像實施用于去除塊噪聲的濾波來去除該失真。但是，由于畫面內(nèi)預(yù)測中使用的參照樣本是去除該塊噪聲的濾波處理之前的信號，所以，殘留在塊邊界的參照樣本中的塊噪聲通過畫面內(nèi)預(yù)測而傳播到對象塊的預(yù)測信號(幀內(nèi)預(yù)測樣本)中。傳播到預(yù)測信號中的塊噪聲在針對再現(xiàn)信號的塊噪聲去除處理中不能去除，所以，直接被傳播到下一個對象塊的參照樣本群中。
[0019]在非專利文獻I中，在畫面內(nèi)預(yù)測的外插法(畫面內(nèi)預(yù)測的方向)中準備34種不同的外插方向，所以，塊噪聲改變方向并進行傳播。其結(jié)果，在圖像內(nèi)的平坦區(qū)域的再現(xiàn)信號中產(chǎn)生多個偽輪廓。特別是當(dāng)噪聲傳播到尺寸較大的塊中時，成為偽輪廓在大塊內(nèi)橫穿的狀況，視覺影響較大。
[0020]【背景技術(shù)】中說明的121濾波器具有去除參照樣本內(nèi)的噪音的效果，但是，由于抽頭數(shù)較短，所以取法去除圖9所示的階梯狀的噪聲。
[0021]因此，本發(fā)明的目的在于，抑制上述偽輪廓這樣的人工噪聲。
[0022]用于解決課題的手段
[0023]本發(fā)明的一個側(cè)面的動態(tài)圖像預(yù)測編碼裝置的特征在于，該動態(tài)圖像預(yù)測編碼裝置具有:塊分割單元，其將輸入圖像分割成多個塊；預(yù)測信號生成單元，其使用與對象塊相鄰的已再現(xiàn)的參照樣本，生成與所述對象塊之間的相關(guān)度高的塊的畫面內(nèi)預(yù)測信號，其中所述對象塊是由所述塊分割單元分割后的塊中的作為編碼對象的塊；殘差信號生成單元，其生成所述對象塊的預(yù)測信號與所述對象塊的像素信號之間的殘差信號；殘差信號壓縮單元，其對由所述殘差信號生成單元生成的殘差信號進行壓縮；殘差信號復(fù)原單元，其生成對所述殘差信號的壓縮數(shù)據(jù)進行復(fù)原后的再現(xiàn)殘差信號；編碼單元，其對所述殘差信號的壓縮數(shù)據(jù)進行編碼；以及塊存儲單元，其通過對所述預(yù)測信號和所述再現(xiàn)殘差信號進行相加來復(fù)原所述對象塊的像素信號，保存復(fù)原后的所述對象塊的像素信號以用作所述參照樣本，所述預(yù)測信號生成單元從所述塊存儲單元中保存的所述對象塊的周圍的已再現(xiàn)塊中取得參照樣本，從所述參照樣本中選擇2個以上的關(guān)鍵參照樣本，對所述關(guān)鍵參照樣本間進行內(nèi)插處理，以生成內(nèi)插參照樣本，決定畫面內(nèi)預(yù)測的方向，并根據(jù)所決定的畫面內(nèi)預(yù)測的方向?qū)λ鰞?nèi)插參照樣本進行外插，生成所述畫面內(nèi)預(yù)測，所述編碼單元將所述畫面內(nèi)預(yù)測的方向信息包含在壓縮數(shù)據(jù)中進行編碼。
[0024]在上述動態(tài)圖像預(yù)測編碼裝置中，也可以是，所述預(yù)測信號生成單元根據(jù)所述關(guān)鍵參照樣本與預(yù)定閾值的比較，相應(yīng)地切換實施所述參照樣本的內(nèi)插處理和參照樣本的平滑化處理。
[0025]并且，在上述動態(tài)圖像預(yù)測編碼裝置中，也可以是，設(shè)所述參照樣本為位于參照樣本群的端部的參照樣本，所述內(nèi)插處理是針對所述關(guān)鍵參照樣本間的參照樣本的雙一次內(nèi)插處理。
[0026]本發(fā)明的一個側(cè)面的動態(tài)圖像預(yù)測解碼裝置的特征在于，該動態(tài)圖像預(yù)測解碼裝置具有:解碼單元，其從分割成多個塊并被編碼后的壓縮數(shù)據(jù)中，解碼出作為解碼對象的對象塊的畫面內(nèi)預(yù)測中使用的畫面內(nèi)預(yù)測方向信息和殘差信號的壓縮數(shù)據(jù)；預(yù)測信號生成單元，其使用所述畫面內(nèi)預(yù)測方向信息和與所述對象塊相鄰的已再現(xiàn)的參照樣本生成畫面內(nèi)預(yù)測信號；殘差信號復(fù)原單元，其從所述殘差信號的壓縮數(shù)據(jù)中復(fù)原所述對象塊的再現(xiàn)殘差信號；以及塊存儲單元，其通過對所述預(yù)測信號和所述再現(xiàn)殘差信號進行相加來復(fù)原所述對象塊的像素信號，保存復(fù)原后的所述對象塊的像素信號以用作所述參照樣本，所述預(yù)測信號生成單元從所述塊存儲單元中保存的所述對象塊的周圍的已再現(xiàn)塊中取得參照樣本，從所述參照樣本中選擇2個以上的關(guān)鍵參照樣本，對所述關(guān)鍵參照樣本間進行內(nèi)插處理，以生成內(nèi)插參照樣本，根據(jù)所述畫面內(nèi)預(yù)測的方向?qū)λ鰞?nèi)插參照樣本進行外插，生成所述畫面內(nèi)預(yù)測。
[0027]在上述動態(tài)圖像預(yù)測解碼裝置中，也可以是，所述預(yù)測信號生成單元根據(jù)所述關(guān)鍵參照樣本與預(yù)定閾值的比較，相應(yīng)地切換實施所述參照樣本的內(nèi)插處理和參照樣本的平滑化處理。
[0028]并且，在上述動態(tài)圖像預(yù)測解碼裝置中，也可以是，設(shè)所述參照樣本為位于參照樣本群的端部的參照樣本，所述內(nèi)插處理是針對所述關(guān)鍵參照樣本間的參照樣本的雙一次內(nèi)插處理。
[0029]本發(fā)明還能夠掌握為動態(tài)圖像預(yù)測編碼方法的發(fā)明、動態(tài)圖像預(yù)測解碼方法的發(fā)明、動態(tài)圖像預(yù)測編碼程序的發(fā)明、動態(tài)圖像預(yù)測解碼程序的發(fā)明，能夠如下記述。
[0030]本發(fā)明的一個側(cè)面的動態(tài)圖像預(yù)測編碼方法是由動態(tài)圖像預(yù)測編碼裝置執(zhí)行的動態(tài)圖像預(yù)測編碼方法，其特征在于，該動態(tài)圖像預(yù)測編碼方法具有以下步驟:塊分割步驟，將輸入圖像分割成多個塊；預(yù)測信號生成步驟，使用與對象塊相鄰的已再現(xiàn)的參照樣本，生成與所述對象塊之間的相關(guān)度高的塊的畫面內(nèi)預(yù)測信號，其中所述對象塊是通過所述塊分割步驟分割后的塊中的作為編碼對象的塊；殘差信號生成步驟，生成所述對象塊的預(yù)測信號與所述對象塊的像素信號之間的殘差信號；殘差信號壓縮步驟，對通過所述殘差信號生成步驟生成的殘差信號進行壓縮；殘差信號復(fù)原步驟，生成對所述殘差信號的壓縮數(shù)據(jù)進行復(fù)原后的再現(xiàn)殘差信號；編碼步驟，對所述殘差信號的壓縮數(shù)據(jù)進行編碼；以及塊存儲步驟，通過對所述預(yù)測信號和所述再現(xiàn)殘差信號進行相加來復(fù)原所述對象塊的像素信號，保存復(fù)原后的所述對象塊