圖像編碼設備、圖像編碼方法、記錄介質和程序以及圖像解碼設備、圖像解碼方法、記錄介 ...的制作方法
【技術領域】
[0001]本發(fā)明涉及空間分辨率不同或圖像質量不同的層的編碼和解碼。特別地，本發(fā)明涉及用以將構成運動圖像的各圖像分割成多個區(qū)域以針對各分割區(qū)域進行編碼和解碼的圖像編碼和解碼技術。
【背景技術】
[0002]已知有H.264/運動圖片專家組(MPEG) -4高級視頻編碼(AVC)(以下稱為H.264)作為運動圖像的壓縮記錄所用的編碼方法。
[0003]近年來，作為H.264的繼任，開始更高效率的編碼方法的國際標準化的活動，并且在國際標準化組織/國際電工委員會(IS0/IEC)和國際電信聯(lián)盟電信標準化部門(ITU-T)之間建立視頻編碼聯(lián)合組(JCT-VC)。在JCT-VC中，高效率視頻編碼(以下稱為HEVC)的標準化在進行中(稱為非專利文獻1)。
[0004]在HEVC中，采用被稱為區(qū)塊(tile)分割方法的技術，其中在該區(qū)塊分割方法中，將圖像分割成矩形區(qū)域(區(qū)塊)以獨立進行各個區(qū)域的編碼和解碼。另外，在該區(qū)塊分割方法中，提出了用以針對各自包括一個或多個區(qū)塊的運動受限區(qū)塊集(以下稱為MCTS(mot1n constrained tile set))以獨立于其它區(qū)塊的形式進行編碼和解碼的技術(稱為非專利文獻2)。在非專利文獻2所述的提議中，定義了能夠針對各序列進行設置的MCTS。換句話說，在同一序列中，MCTS在各幀中配置于相對相同的位置。在上述提議中，在對要處理的幀中的MCTS進行編碼和解碼時，對其它幀中配置于與MCTS的位置相對相同的位置處的像素群進行幀間預測。換句話說，不使用除該像素群中的像素以外的像素作為運動矢量搜索中所參考的參考像素。這樣使得能夠確保MCTS中的編碼和解碼的獨立性。圖像中的MCTS內所包含的各區(qū)塊的位置包括在輔助增強信息(SEI)消息中以供編碼。
[0005]在HEVC的標準化中，還考慮向層級編碼的擴展。在層級編碼中，在基本層和增強層上對要編碼的區(qū)塊進行編碼。對在各個層中進行編碼后的區(qū)塊進行多路復用以生成位流。在上述的層級編碼中，可以獨立地設置基本層的區(qū)塊的邊界位置和增強層的區(qū)塊的邊界位置。由于在對增強層的要編碼的區(qū)塊進行編碼時需要參考基本層的相應區(qū)塊，因此需要識別基本層上的該區(qū)塊的位置。因此，提出了使用tile_boundaries_aligned_flag作為增強層的視頻可用性信息(VUI)參數(shù)(vui_parameters)(參考非專利文獻3)。tile_boundaries_aligned_flag是通過對表示區(qū)塊是否配置于各個層中的相對相同位置處的一致信息進行編碼所得到的。如果tile_boundaries_aligned_flag的值為1，則確保了增強層的區(qū)塊的邊界位置與基本層的相應區(qū)塊的邊界位置一致。由于這樣使得能夠識別出在對增強層的區(qū)塊進行編碼和解碼時被稱為的基本層的區(qū)塊的位置，因此可以獨立地對增強層的區(qū)塊進行編碼和解碼以使得能夠進行高速編碼和解碼。基本層是最上位層并且后續(xù)的增強層是下位層。
[0006]然而，在非專利文獻2所述的MCTS中，沒有考慮層級編碼。具體地，在能夠針對各層設置區(qū)塊的邊界和MCTS的位置的情況下，各個層的區(qū)塊的相對位置可能沒有彼此一致。例如，在增強層的特定區(qū)塊包括在MCTS中、但基本層的與該特定區(qū)塊相對應的位置處的區(qū)塊沒有包括在MCTS中的情況下，在基本層上，除對與該特定區(qū)塊相對應的位置處的區(qū)塊進行解碼外，還有必要對周圍的區(qū)塊進行解碼。
[0007]現(xiàn)在將參考圖13來具體說明該情況。圖13示出如何將幀分割成區(qū)塊。參考圖13，附圖標記1301?1310各自表示幀。幀1301?1310各自包括區(qū)塊編號為0?11的12個區(qū)塊。以下將區(qū)塊編號為1的區(qū)塊稱為區(qū)塊1。這同樣適用于其它區(qū)塊編號。為了說明，在基本層上，將各幀在水平方向上分割成兩個區(qū)塊，但在垂直方向上沒有進行分割。在增強層上，將各幀在水平方向上分割成四個區(qū)塊并且在垂直方向上分割成三個區(qū)塊。在圖13中，細線框表示區(qū)塊的邊界。
[0008]幀1301、1303、1305、1307和1309各自表示時刻t處的各層的幀。幀1301表示時刻t處的基本層的幀。幀1305表示時刻t處的增強第一層(第一增強層)的幀。幀1303表示通過將通過對幀1301進行局部解碼所得到的重建圖像放大為第一增強層的分辨率所產生的幀。幀1309表示時刻t處的增強第二層(第二增強層)的幀。幀1307表示通過將幀1305的解碼圖像放大為第二增強層的分辨率所產生的幀。
[0009]幀1302、1304、1306、1308和1310各自表示時刻t+δ (delta)處的各層的幀。幀1302表不時刻t+δ處的基本層的幀。幀1306表不時刻t+δ處的第一增強層的幀。幀1304表示通過將幀1302的解碼圖像放大為第一增強層的分辨率所產生的幀。幀1310表示時刻t+δ處的第二增強層的幀。幀1308表示通過將幀1306的解碼圖像放大為第二增強層的分辨率所產生的幀。
[0010]這里將增強層的各個幀(幀1305、1306、1309和1310)上的區(qū)塊5描述為MCTS中的區(qū)塊。參考圖13，各粗線框表示屬于MCTS的區(qū)塊或與該區(qū)塊相對應的位置。
[0011]參考圖13，為了對第二增強層的幀1310中的MCTS (區(qū)塊5)進行解碼，需要對第一增強層的幀1306中的區(qū)塊5進行解碼。另外，為了對第一增強層的幀1306中的區(qū)塊5進行解碼，需要對基本層的幀1302中的區(qū)塊0進行解碼。此外，為了對基本層的幀1302中的區(qū)塊0進行解碼，需要參考幀1301來進行幀間預測，并且需要對幀1301中的所有區(qū)塊進行解碼。
[0012]換句話說，在現(xiàn)有技術中，為了對時刻t+δ處的第二增強層的MCTS進行解碼，需要對除表示時刻t+ δ處的基本層的幀1302中的區(qū)塊5的位置的區(qū)域(幀1304中虛線所表示的區(qū)域)以外的區(qū)域進行解碼。因此，在層級編碼中使用MCTS等對特定區(qū)塊進行編碼和解碼的情況下，存在不能獨立地僅對與MCTS的位置相對應的區(qū)塊進行編碼和解碼的問題。
[0013]引f列表_4] 非專利文獻
[0015]非專利文獻1 (NPL 1):ITU-T Η.265 (2013年4月)高效率視頻編碼
[0016]非專利文獻2(NPL 2) JCT-VC 投稿文章 JCTVC-M0235 因特網(wǎng)〈http://phenix.1nt-evry.fr/jet/doc_end_user/docments/13_Incheon/wgll/>
[0017]非專利文獻3 (NPL 3):JCT-VC 投稿文章 JCTVC-M0202 因特網(wǎng)〈http://phenix.1nt-evry.fr/jet/doc_end_user/documents/13_Incheon/wgll/>
【發(fā)明內容】
[0018]本發(fā)明提供用以在層級編碼中針對被設置為MCTS的特定區(qū)塊以獨立于其它區(qū)塊的方式進行編碼和解碼的技術。以下將如MCTS中所包括的各區(qū)塊那樣的能夠獨立地進行編碼和解碼的區(qū)塊稱為獨立區(qū)塊。以下將如MCTS那樣的獨立區(qū)塊的集合稱為獨立區(qū)塊集。
[0019]本發(fā)明提供一種圖像編碼設備，用于利用多個層對構成運動圖像的圖像進行層級編碼。所述圖像編碼設備包括第一生成單元、編碼單元、第一獲取單元和設置單元。所述第一生成單元用于根據(jù)所述圖像來生成不同層的第一圖像和第二圖像。所述編碼單元用于對所述第一圖像和所述第二圖像中的至少任一個進行編碼。所述第一獲取單元用于獲取表示在所述第一圖像中是否存在能夠無需參考所述第一圖像中的其它區(qū)域進行編碼的第一區(qū)域的信息。所述設置單元用于在基于所述第一獲取單元所獲取到的信息、在所述第一圖像中存在所述第一區(qū)域的情況下，在所述第二圖像中的與所述第一圖像中的所述第一區(qū)域相對應的位置處設置第二區(qū)域。
[0020]本發(fā)明提供一種圖像解碼設備，用于解碼通過利用多個層對構成運動圖像的圖像進行層級編碼所得到的編碼數(shù)據(jù)。所述圖像解碼設備包括第一獲取單元、第二獲取單元和解碼單元。所述第一獲取單元用于獲取與第一圖像相對應的第一數(shù)據(jù)以及與層不同于所述第一圖像的層的第二圖像相對應的第二數(shù)據(jù)，其中所述第一數(shù)據(jù)和所述第二數(shù)據(jù)是根據(jù)所述編碼數(shù)據(jù)所生成的。所述第二獲取單元用于獲取表示在所述第一圖像中是否存在能夠無需參考所述第一圖像中的其它區(qū)域進行解碼的第一區(qū)域的信息。所述解碼單元用于在基于所述第二獲取單元所獲取到的信息、在所述第一圖像中存在所述第一區(qū)域的情況下，使用所述第二圖像中的與所述第一圖像中的所述第一區(qū)域相對應的位置處所存在的第二區(qū)域來對所述第一圖像中的所述第一區(qū)域進行解碼。
[0021]通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。
[0022]根據(jù)本發(fā)明，可以在層級編碼中設置能夠獨立地進行編碼和解碼的區(qū)塊。
【附圖說明】
[0023]圖1是示出根據(jù)第一實施例的圖像編碼設備的結構的示例的框圖。
[0024]圖2示出示例性區(qū)塊結構。
[0025]圖3A是示出第一實施例的圖像編碼設備中的示例性圖像編碼處理的流程圖。
[0026]圖3B是不出第一實施例的圖像編碼設備中的不例性圖像編碼處理的流程圖。
[0027]圖4是示出第一實施例中的另一圖像編碼設備的結構的示例的框圖。
[0028]圖5是示出圖4所示的圖像編碼設備中的示例性圖像編碼處理的流程圖。
[0029]圖6是示出根據(jù)第二實施例的圖像解碼設備的結構的示例的框圖。
[0030]圖7是示出第二實施例中的圖像解碼單元的結構的示例的框圖。
[0031]圖8A是示出圖7所示的圖像解碼單元中的示例性圖像解碼處理的流程圖。
[0032]圖8B是示出圖7所示的圖像解碼單元中的示例性圖像解碼處理的流程圖。
[0033]圖9是示出圖7所示的圖像解碼單元的示例性另一結構的框圖。
[0034]圖10A是示出圖9所示的圖像解碼單元中的示例性圖像解碼處理的流程圖。
[0035]圖10B是示出圖9所示的圖像解碼單元中的示例性圖像解碼處理的流程圖。
[0036]圖11是示出適用于根據(jù)第一實施例的圖像編碼設備和根據(jù)第二實施例的圖像解碼設備的計算機的示例性硬件結構的框圖。
[0037]圖12示出位流的vui_parameters的句法的示例。
[0038]圖13示出現(xiàn)有技術中的示例性區(qū)塊結構。
【具體實施方式】
[0039]這里將參考附圖來詳細說明實施例。實施例所述的結構僅是示例，并且本發(fā)明不限于以下所述的結構。
[0040]第一實施例
[0041]現(xiàn)在將參考圖1來說明構成根據(jù)第一實施例的圖像編碼設備的各處理單元的概述。圖1是示出第一實施例的圖像編碼設備100的結構的示例的框圖。
[0042]參考圖1，經由端子101 (輸入單元)將圖像(輸入圖像)輸入至圖像編碼設備100。該輸入圖像是針對各幀所輸入的。區(qū)塊設置單元102確定一個幀內在水平方向上分割得到的區(qū)塊的數(shù)量、一個幀內在垂直方向上分割得到的區(qū)塊的數(shù)量和各區(qū)塊的位置。另外，區(qū)塊設置單元102確定將通過該分割所得到的區(qū)塊中的哪個區(qū)塊編碼作為獨立區(qū)塊。以下將表示區(qū)塊設置單元102所設置的在水平方向上分割得到的區(qū)塊的數(shù)量、在垂直方向上分害J得到的區(qū)塊的數(shù)量和各區(qū)塊的位置的信息稱為區(qū)塊分割信息。由于在非專利文獻1中的描述了作為與各圖片有關的頭數(shù)據(jù)的圖片參數(shù)集(PPS)的部分中描述了區(qū)塊分割信息，因此這里省略了針對區(qū)塊分割信息的說明。
[0043]圖2示出第一實施例中的如何將幀分割成區(qū)塊的示例。在第一實施例的圖2的示例中，一個幀是4K2K (4，096個水平像素X 2，160個垂直像素)。以下在第一實施例中利用4，096X2，160個像素來表示4，096個水平像素X2，160個垂直像素。這同樣適用于不同的像素數(shù)。參考圖2，附圖標記201?206表示幀。幀201?206各自在水平方向上被分割成四個并且在垂直方向上被分割成三個，從而包括區(qū)塊編號為0?11的12個區(qū)塊。換句話說，一個區(qū)塊的大小是1,024X720像素。然而，通過分割所得到的區(qū)塊的數(shù)量不限于該數(shù)量。圖2的幀201?206中的粗線框所包圍的區(qū)塊5和區(qū)塊6是獨立區(qū)塊，并且包括區(qū)塊5和6的區(qū)域與獨立區(qū)塊集相對應。圖2的幀201?206中的細線框表示區(qū)塊的邊界。圖2的放大圖像中的粗線框表示與獨立區(qū)塊集相對應的位置。如從圖2顯而易見，在水平方向上分割得到的區(qū)塊的數(shù)量、在垂直方向上分割得到的區(qū)塊的數(shù)量和各區(qū)塊的相對位置對于各個層而言是共通的。
[0044]參考圖2，幀201表示在時刻t處輸入的基本層的幀。幀202表示在時刻t+ δ處輸入的基本層的幀。在時刻t+δ對幀201進行了編碼和局部解碼(去量化和逆變換)，并且在對幀202進行編碼時可以使用經過了局部解碼的幀201作為參考幀。
[0045]幀203表示通過在對幀201進行編碼之后進行局部解碼以生成重建圖像、并且將該重建圖像放大為與增強層的大小相等的大小所得到的放大圖像。幀204表示通過在對幀202進行編碼之后進行局部解碼以生成重建圖像、并且將該重建圖像放大為與增強層的大小相等的大小所得到的放大圖像。
[0046]幀205表不在時刻t處輸入的增強層的幀。幀206表不在時刻t+δ處輸入的增強層的幀。
[0047]繼續(xù)對圖1的各處理單元進行說明。將時刻t+ δ的各幀作為要編碼的幀來進行說明。
[0048]區(qū)塊設置單元102生成代表表示各序列是否包括獨立區(qū)塊的信息的獨立區(qū)塊標志。區(qū)塊設置單元102在要編碼的幀中包括獨立區(qū)塊的情況下將獨立區(qū)塊標志的值設置為1，并且在要編碼的幀中不包括獨立區(qū)塊的情況下將獨立區(qū)塊標志的值設置為0。在要編碼的幀中包括獨立區(qū)塊(獨立區(qū)塊標志的值為1)的情況下，區(qū)塊設置單元102生成表示獨立區(qū)塊的位置的獨立區(qū)塊位置信息。盡管通常利用圖像中的區(qū)塊編號來表示獨立區(qū)塊位置信息，但本發(fā)明不限于此。區(qū)塊設置單元102將所生成的獨立區(qū)塊標志和獨立區(qū)塊位置信息作為區(qū)塊分割信息供給至下游單元。在第一實施例中，將從區(qū)塊設置單元102輸出的區(qū)塊分割信息供給至增強層分割單元104、基本層分割單元105、獨立區(qū)塊判斷單元106和頭編碼單元114。
[0049]縮小單元103使用預定濾波器等縮小從端子101供給的輸入圖像的大小，以生成分辨率降低的縮小圖像(基本層圖像)。
[0050]增強層分割單元104使用從端子101供給的輸入圖像作為增強層圖像，以基于從區(qū)塊設置單元102供給的區(qū)塊分割信息將該增強層圖像分割成一個或多個區(qū)塊。在圖2的示例中，增強層分割單元104將所輸入的幀206分割成區(qū)塊0?11這12個區(qū)塊。另外，增強層分割單元104將通過該分割所得到的區(qū)塊按區(qū)塊編號的順序(0、1、2.....11)供給至下游單元。
[0051]頭編碼單元114生成針對各序列和針對各圖片的頭編碼數(shù)據(jù)。特別地，頭編碼單元114接收區(qū)塊設置單元102中所生成的獨立區(qū)塊標志和獨立區(qū)塊位置信息，生成MCTSSEI (SEI消息)，并且對VUI參數(shù)(vui_parameters)進行編碼。
[0052]基本層分割單元105基于從區(qū)塊設置單元102供給的區(qū)塊分割信息來將縮小單元103所生成的基本層圖像分割成一個或多個區(qū)塊。具體地，基本層分割單元105以基于區(qū)塊分割信息的各區(qū)塊的位置在縮小單元103所生成的基本層圖像中是相對相同位置的方式，將基本層圖像分割成區(qū)塊。在第一實施例中，如圖2所示，基本層分割單元105將所輸入的幀202分割成區(qū)塊0?11這12個區(qū)塊?；緦臃指顔卧?05將通過該分割所得到的區(qū)塊按區(qū)塊編號的順序供給至下游單元。基本層分割單元105將要輸出的區(qū)塊(要編碼的區(qū)塊)的編號供給至獨立區(qū)塊判斷單元106。
[0053]獨立區(qū)塊判斷單元106判斷要編碼的區(qū)塊(編碼對象區(qū)塊)是否是獨立區(qū)塊。獨立區(qū)塊判斷單元106基于區(qū)塊設置單元102所生成的獨立區(qū)塊標志和獨立區(qū)塊位置信息以及從基本層分割單元105供給的編碼對象區(qū)塊的編號來判斷編碼對象區(qū)塊是否是獨立區(qū)塊。如果獨立區(qū)塊標志被設置為1、獨立區(qū)塊位置信息表示獨立區(qū)塊的位置是區(qū)塊5、并且編碼對象區(qū)塊是區(qū)塊5，則獨立區(qū)塊判斷單元106判斷為編碼對象區(qū)塊是獨立區(qū)塊。獨立區(qū)塊判斷單元106將該判斷結果作為獨立區(qū)塊編碼標志供給至下游單元。獨立區(qū)塊判斷單元106在編碼對象區(qū)塊是獨立區(qū)塊的情況下將獨立區(qū)塊編碼標志的值設置為1，并且在編碼對象區(qū)塊不是獨立區(qū)塊的情況下將獨立區(qū)塊編碼標志的值設置為0。
[0054]基本層編碼單元107對從基本層分割單元105供給的基本層圖像中的編碼對象區(qū)塊的圖像進行編碼?；緦泳幋a單元107基于從獨立區(qū)塊判斷單元106供給的獨立區(qū)塊編碼標志來對編碼對象區(qū)塊進行編碼以生成基本層編碼數(shù)據(jù)。
[0055]在獨立區(qū)塊編碼標志表示編碼對象區(qū)塊是獨立區(qū)塊的情況下，基本層編碼單元107按以下方式進行編碼?；緦泳幋a單元107僅參考經過了局部解碼的基本層的重建圖像中的、位于與包括編碼對象區(qū)塊的獨立區(qū)塊集的位置相對相同的位置處的像素，來進行預測和編碼。在圖2的示例中，在幀202中的區(qū)塊5是編碼對象區(qū)塊的情況下，基本層編碼單元107僅參考幀201中的獨立區(qū)塊集內的區(qū)塊5和區(qū)塊6來進行預測和編碼。作為對比，在獨立區(qū)塊編碼標志表示編碼對象區(qū)塊不是獨立區(qū)塊的情況下，基本層編碼單元107參考經過了局部解碼的基本層的重建圖像中的所有像素來進行預測和預測誤差等的編碼。在圖2的示例中，在要對幀202中的區(qū)塊2進行編碼的情況下，基本層編碼單元107參考幀201中的所有區(qū)塊(區(qū)塊0?11)來進行預測和編碼。
[0056]基本層編碼單元107將預測所使用的預測模式、預測中所生成的預測誤差和通過對預測誤差進行編碼所生成的基本層編碼數(shù)據(jù)等供給至下游單元。
[0057]基本層重建單元108接收基本層編碼單元107所生成的系數(shù)(預測模式和預測誤差)，并且對該預測誤差進行局部解碼以生成基本層的重建圖像?；緦又亟▎卧?08保持所生成的重建圖像。這是因為，在基本層編碼單元107和增強層編碼單元112中使用該重建圖像來進行預測。
[0058]放大單元109將基本層的重建圖像放大為增強層的大小。在圖2的示例中，放大單元109分別放大幀201和幀202各自的重建圖像以生成幀203和幀204。
[0059]增強層編碼單元112對從增強層分割單元104供給的區(qū)塊的圖像進行編碼。具體地，增強層編碼單元112基于從獨立區(qū)塊判斷單元106供給的獨立區(qū)塊編碼標志來選擇參考圖像，并且對編碼對象區(qū)塊進行編碼以生成增強層編碼數(shù)據(jù)。
[0060]如果獨立區(qū)塊編碼標志被設置為1 (如果編碼對象區(qū)塊是獨立區(qū)塊)，則增強層編碼單元112參考通過放大經過了局部解碼的基本