專利名稱：圖像編碼設備、圖像編碼方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及一種圖像編碼設備、圖像編碼方法和程序。具體地，可以通過針對其他視點的參考圖片的數(shù)量選擇時間方向或視差方向上的參考圖片候選來生成參考圖片列表，以改進編碼效率。
背景技術(shù)：
近年來，將圖像信息處理為數(shù)字數(shù)據(jù)的并且遵照如MPEG2 (ISO (國際標準化組織)/IEC (國際電工委員會)13818-2)的方法的設備在通過廣播站等進行信息傳遞以及通過普通家庭進行信息接收這兩方面得到廣泛使用，其中，該方法為了高效地傳送并存儲信息而使用圖像信息所特有的冗余性、通過諸如離散余弦變換的正交變換和運動補償來壓縮圖像信息。此外，能夠?qū)崿F(xiàn)高編碼效率的、被稱為H. 264和MPEG4PartlO (AVC (高級視頻 編碼))的方法(下文中，稱為“H. 264/AVC”)越來越多地被使用，但是與MPEG2等相比，其編碼和解碼需要更多的運算量。根據(jù)這樣的壓縮和編碼方法，使用了利用參考圖片的畫面間預測編碼，并且在例如H.264/AVC中，可以從多個編碼圖片中選擇參考圖片。所選的每個參考圖片均由被稱為參考索引的變量來管理。根據(jù)日本專利申請早期公開第2010-63092號，根據(jù)距待編碼的圖片的時間距離在包含在多個參考圖片中的兩個參考圖片之間分配參考索引，從而能夠改進圖像質(zhì)量和編碼效率。

發(fā)明內(nèi)容
當對動態(tài)圖像進行壓縮和編碼時，不僅使用對一個視點的動態(tài)圖像的壓縮和編碼，而且使用對多個視點的動態(tài)圖像的壓縮和編碼。在對多個視點的動態(tài)圖像的壓縮和編碼中，將一個視點的動態(tài)圖像設置為基本視圖，將其他視點的動態(tài)圖像設置為從屬視圖(dependent view),并且將基本視圖的圖片或多個視點的編碼圖片用作參考圖片。如果使得僅使用時間方向上的參考圖片的基本視圖的參考圖片的數(shù)量和能夠使用時間方向或視差方向上的參考圖片的從屬視圖的參考圖片的數(shù)量相等，則可以使得基本視圖的處理量與從屬視圖的處理量等同。因此，當基本視圖和從屬視圖交替地用于由編碼器進行編碼時，由于在基本視圖與從屬視圖之間處理量是等同的，因此使得諸如切換的控制更加容易。如果為基本視圖和從屬視圖中的每一個設置編碼器以進行編碼，則由于處理量在基本視圖與從屬視圖之間是等同的，因此不必使用與用于對基本視圖進行編碼的編碼器相比具有更高處理能力的用于對從屬視圖進行編碼的編碼器。然而，如果限制從屬視圖的參考圖片的數(shù)量并且使得該數(shù)量等于基本視圖的參考圖片的數(shù)量，則出現(xiàn)了如何選擇參考圖片的問題。因此，期望提供如下的圖像編碼設備、圖像編碼方法和程序其能夠通過針對其他視點的參考圖片的數(shù)量選擇時間方向或視差方向上的參考圖片候選來生成參考圖片列表，以改進編碼效率。根據(jù)本技術(shù)的實施例，提供了一種圖像編碼設備，其包括特征量生成單元，通過將在時間方向上與第一視點圖片不同的第一視點圖片和與第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及參考圖片列表生成單元，通過基于特征量從參考圖片的候選中選擇與第二視點圖片的參考圖片一樣多的第一視點圖片的參考圖片，生成參考圖片列表。根據(jù)本技術(shù)的圖像編碼設備通過將在時間方向上與第一視點圖片(例如，從屬視片)不同的參考圖片和第二視點圖片(例如，與第一視點圖片不同的基本視圖)的參考圖片設置為參考圖片的候選，針對參考圖片的每個候選來計算表示圖片之間的相關(guān)性的特征量(例如，SAD值或SATD值)。通過基于特征量從參考圖片的候選中選擇與基本視片的參考圖片一樣多的從屬視片的參考圖片來生成參考圖片列表。如果基于針對從屬視片是GOP起始圖片的情況的特征量的判別值等于或小于閾值，則基本視片(即，視 差方向上的參考圖片)包括在下一圖片的參考圖片列表中。如果判別值大于閾值，則參考圖片列表僅包括下一圖片的在時間方向上的參考圖片。作為另一種方法，根據(jù)基于在第一視點圖片是第一個圖片時所獲得的特征量的判別值與閾值之間的比較結(jié)果，更新參考圖片的圖案或者保持之前緊接的參考圖片的圖案。如果基本視圖的參考圖片包括在參考圖片列表中，則保持針對包括基本視圖的參考圖片的情況的特征量，并且如果參考圖片列表僅在預定時段內(nèi)包括時間方向上的參考圖片，則用針對錨圖片(anchor picture)所算出的特征量更新所保存的特征量。如果圖片的參考圖片列表僅包含時間方向上的參考圖片，則將針對該圖片所算出的特征量和所保存的特征量進行比較，并且基于比較結(jié)果選擇下一圖片的參考圖片。另外，如果該圖片的參考圖片列表包括基本視圖的參考圖片，則僅估計時間方向上的參考圖片的特征量，并且基于估計特征量與針對包括基本視圖的參考圖片的情況的特征量之間的比較結(jié)果，選擇下一圖片的參考圖片。通過使用針對從屬視片的參考圖片列表僅包括時間方向上的參考圖片的情況的特征量和針對基本視圖的圖片的特征量來預先生成估計處理信息、并且使用與估計特征量的從屬視片對應的基本視片的特征量和估計處理信息，計算估計特征量。如果基本視圖的參考圖片包含在參考圖片列表中的狀態(tài)持續(xù)了預定時段，則通過僅包括時間方向上的參考圖片來更新參考圖片列表。另外，如果第一圖片和第二圖片是隔行素材(interlaced material)并且參考圖片列表包含基本視圖的參考圖片，則基于特征量而從時間方向上的參考圖片中選擇同相或反相的參考圖片。也使用參考索引比等作為特征量。根據(jù)本技術(shù)的另一實施例，提供了一種圖像編碼方法，包括通過將在時間方向上與第一視點圖片不同的第一視點圖片和與第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及通過基于特征量從參考圖片的候選中選擇與第二視點圖片的參考圖片一樣多的第一視點圖片的參考圖片，生成參考圖片列表。根據(jù)本技術(shù)的另一實施例，提供了一種用于使計算機通過使用參考圖片列表對第一視點圖片和第二視點圖片執(zhí)行編碼處理的程序，該程序使得計算機執(zhí)行如下過程通過將在時間方向上與第一視點圖片不同的第一視點圖片和與第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及通過基于特征量從參考圖片的候選中選擇與第二視點圖片的參考圖片一樣多的第一視點圖片的參考圖片，生成參考圖片列表。根據(jù)本技術(shù)的程序是例如可以通過存儲介質(zhì)或通信介質(zhì)(例如，通過諸如光盤、磁盤和半導體存儲器的存儲介質(zhì)或者諸如網(wǎng)絡的通信介質(zhì))以計算機可讀形式提供給可以執(zhí)行各種程序代碼的通用計算機的程序。通過以計算機可讀形式提供這樣的程序，在計算機上實現(xiàn)根據(jù)該程序的處理。根據(jù)本技術(shù)，特征量生成單元通過將在時間方向上與第一視點圖片不同的第一視點圖片和與第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對參考圖片的每個候選來計算表示圖片之間的相關(guān)性的特征量。參考圖片列表生成單元通過基于特征量從參考圖片的候選中選擇與第二視點圖片的參考圖片一樣多的第一視點圖片的參考圖片，生成參考圖片列表。因此，可以通過從時間方向和視差方向上的參考圖片的候選中選擇參考圖片來生成參考圖片的數(shù)量等于第二視點圖片的參考圖片的數(shù)量的參考圖片列表，以使得編碼效率得到改進?！?br>

圖I是示出圖像編碼設備的實施例的配置的圖；圖2是示出圖像編碼處理操作的流程圖；圖3是示出特征量生成單元的配置的圖；圖4是示出參考圖片列表生成單元的配置的圖；圖5是示出參考圖片列表生成單元的操作的流程圖；圖6是示出基本視圖與從屬視圖之間的一般參考關(guān)系的圖；圖7是示出當使得基本視圖和從屬視圖具有相等數(shù)量的參考圖片時的參考關(guān)系的圖；圖8是示出第一個圖片的參考關(guān)系的圖；圖9是示出判別值大于閾值的情況的圖；圖10是示出判別值等于或小于閾值的情況的圖；圖11是示出在之前緊接的預定時段內(nèi)從未采用視線方向上的參考圖片作為包含視差方向上的參考圖片的圖案的情況的圖；圖12是示出當前圖片僅包含時間預測的情況的圖；圖13是示出當前圖片包含視差預測的情況的圖；圖14是示出B圖片形式的當前圖片僅包含時間預測的情況的圖；圖15是示出通過將參考圖案設置為僅在時間方向上的參考圖片的圖案來更新估計處理信息的情況的圖；圖16是示出在基本視圖與從屬視圖為隔行素材時的參考關(guān)系的圖；圖17是示出在使得隔行素材中的基本視圖和從屬視圖具有相等數(shù)量的參考圖片時的參考關(guān)系的圖；圖18是示出從屬視圖中的頂場的第一個圖片的參考關(guān)系的圖；圖19是示出從屬視圖中的底場的第一個圖片的參考關(guān)系的圖20是示出從屬視圖中的底場的第一個圖片的處理的圖；圖21是示出當前圖片僅包含時間預測的情況的圖；圖22是示出當前圖片包括視差預測的情況的圖；圖23是示出在使得隔行素材中的基本視圖和從屬視圖具有相等數(shù)量的包括B圖片的參考圖片時的參考關(guān)系的圖；圖24是示出在將參考索引比用作特征量時的操作的流程圖；圖25是示出通過使用參考索引比確定是否選擇關(guān)于視差同相或反相的參考圖片的操作的流程圖；圖26是例示記錄和再現(xiàn)設備的示意性配置的圖；以及
圖27是例示成像設備的示意性配置的圖。
具體實施例方式下文中，將參照附圖詳細地描述本公開內(nèi)容的優(yōu)選實施例。應注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件以相同的附圖標記表示，并且省略對這些結(jié)構(gòu)元件的重復說明。以下將描述執(zhí)行本技術(shù)的實施例。將按以下所示順序提供描述I.圖像編碼設備的配置2.圖像編碼設備的操作3.特征量生成單元的配置和操作4.參考圖片列表生成單元的配置和操作5.在使用逐行素材(progressive material)時的操作6.在使用隔行素材時的操作7.參考圖案的其他確定操作8.軟件處理9.應用示例〈I.圖像編碼設備的配置〉圖I示出根據(jù)本技術(shù)的圖像編碼設備的實施例的配置。圖像編碼設備10包括模/數(shù)轉(zhuǎn)換器(A/D轉(zhuǎn)換器)11、畫面排序緩沖器12、減法器13、正交變換單元14、量化單元15、無損編碼單元16、存儲緩沖器17和速率控制器18。另外，圖像編碼設備10包括逆量化單元21、逆正交變換單元22、加法器22、解塊濾波處理單元24、幀存儲器25、選擇器26、幀內(nèi)預測單元31、運動預測/補償單元32、預測圖像/最佳模式選擇單元33、特征量生成單元35和參考圖片列表生成單元36。A/D轉(zhuǎn)換器11將模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并將數(shù)字圖像數(shù)據(jù)輸出到畫面排序緩沖器12。畫面排序緩沖器12對從A/D轉(zhuǎn)換器11輸出的圖像數(shù)據(jù)的幀進行排序。畫面排序緩沖器12根據(jù)與編碼處理相關(guān)聯(lián)的GOP (圖片組)對幀進行排序，并且將排序后的圖像數(shù)據(jù)輸出到減法器13、幀內(nèi)預測單元31和運動預測/補償單元32。從畫面排序緩沖器12輸出的圖像數(shù)據(jù)和由稍后描述的預測圖像/最佳模式選擇單元33選擇的預測圖像數(shù)據(jù)被提供給減法器13。減法器13計算作為從畫面排序緩沖器12輸出的圖像數(shù)據(jù)與從預測圖像/最佳模式選擇單元33提供的預測圖像數(shù)據(jù)之間的差的預測誤差數(shù)據(jù)，并且將預測誤差數(shù)據(jù)輸出到正交變換單元14。正交變換單元14對從減法器13輸出的預測誤差數(shù)據(jù)執(zhí)行諸如離散余弦變換(DCT)和卡-洛變換(Karhunen-Loeve transform)的正交變換處理。正交變換單兀14將通過執(zhí)行正交變換處理所獲得的轉(zhuǎn)換因子數(shù)據(jù)輸出到量化單元15。量化單元15具有從正交變換單元14輸出的轉(zhuǎn)換因子數(shù)據(jù)和從稍后描述的速率控制器I8向其提供的速率控制信號。量化單元15對轉(zhuǎn)換因子數(shù)據(jù)進行量化，并將量化數(shù)據(jù)輸出到無損編碼單元16和逆量化單元21。量化單元15通過基于來自速率控制器18的速率控制信號切換量化參數(shù)(量化位階)來改變量化數(shù)據(jù)的比特率。無損編碼單元16具有從量化單元15輸出的量化數(shù)據(jù)和從幀內(nèi)預測單元31、運動預測/補償單元32、預測圖像/最佳模式選擇單元33向其提供的預測模式信息。預測模式信息包括使得能夠根據(jù)幀內(nèi)預測或幀間預測、預測模式、運動矢量信息和參考圖片信息識別預測塊大小的宏塊類型。無損編碼單元16通過對量化數(shù)據(jù)進行例如可變長度編碼或算·術(shù)編碼來執(zhí)行無損編碼處理以生成編碼流，并將編碼流輸出到存儲緩沖器17。此外，無損編碼單元16對從稍后描述的參考圖片列表生成單元36提供的參考圖片列表信息和預測模式
息進行編碼并將其包括在編碼流中。存儲緩沖器17存儲來自無損編碼單元16的編碼流。此外，存儲緩沖器17以根據(jù)傳輸路徑的傳輸速度輸出所存儲的編碼流。速率控制器18監(jiān)控存儲緩沖器17的空閑空間，并且根據(jù)空閑空間生成速率控制信號，以將速率控制信號輸出到量化單元15。速率控制器18從例如存儲緩沖器17獲取表示空閑空間的信息。如果空閑空間小，則速率控制器18利用速率控制信號降低量化數(shù)據(jù)的比特率。如果存儲緩沖器17的空閑空間充分大，則速率控制器18利用速率控制信號提高量化數(shù)據(jù)的比特率。逆量化單元21對從量化單元15提供的量化數(shù)據(jù)執(zhí)行逆量化處理。逆量化單元21將通過執(zhí)行逆量化處理所獲得的轉(zhuǎn)換因子數(shù)據(jù)輸出到逆正交變換單元22。逆正交變換單元22將通過對從逆量化單元21提供的轉(zhuǎn)換因子數(shù)據(jù)執(zhí)行逆正交變換處理而獲得的數(shù)據(jù)輸出到加法器23。加法器23將從逆正交變換單元22提供的數(shù)據(jù)與從預測圖像/最佳模式選擇單元33提供的預測圖像數(shù)據(jù)相加，以生成解碼圖像數(shù)據(jù)，并且將解碼圖像數(shù)據(jù)輸出到解塊濾波處理單元24和幀存儲器25。解塊濾波處理單元24執(zhí)行濾波處理以減小當對圖像進行編碼時所產(chǎn)生的塊失真。解塊濾波處理單元24執(zhí)行濾波處理以從自加法器23提供的解碼圖像數(shù)據(jù)去除塊失真，并將濾波處理后的圖像數(shù)據(jù)輸出到幀存儲器25。幀存儲器25保存從加法器23提供的解碼圖像數(shù)據(jù)和從解塊濾波處理單元24提供的濾波處理后的解碼圖像數(shù)據(jù)作為參考圖像的圖像數(shù)據(jù)。選擇器26將為了進行幀內(nèi)預測而從幀存儲器25讀取的在濾波處理之前的參考圖像數(shù)據(jù)提供給幀內(nèi)預測單元31。此外，選擇器26將為了進行幀間預測而從幀存儲器25讀取的在濾波處理之后的參考圖像數(shù)據(jù)提供給運動預測/補償單元32。幀內(nèi)預測單元31通過使用從畫面排序緩沖器12輸出的待編碼的圖像的圖像數(shù)據(jù)以及從幀存儲器25讀取的在濾波處理之前的參考圖像數(shù)據(jù)，執(zhí)行作為候選的全部幀內(nèi)預測模式的幀內(nèi)預測處理。另外，幀內(nèi)預測單元31針對每個幀內(nèi)預測模式計算成本函數(shù)值，并且選擇具有所算出的最小成本函數(shù)值的幀內(nèi)預測模式(即，實現(xiàn)了最優(yōu)編碼效率的幀內(nèi)預測模式)作為最佳幀內(nèi)預測模式。幀內(nèi)預測單元31將在最佳幀內(nèi)預測模式下所生成的預測圖像數(shù)據(jù)、關(guān)于最佳幀內(nèi)預測模式的預測模式信息和最佳幀內(nèi)預測模式下的成本函數(shù)值輸出到預測圖像/最佳模式選擇單元33。此外，幀內(nèi)預測單元31將在每種幀內(nèi)預測模式的幀內(nèi)預測處理中的關(guān)于幀內(nèi)預測模式的預測模式信息輸出到無損編碼單元16，以如稍后將描述的那樣獲得用于計算成本函數(shù)值的生成代碼量。運動預測/補償單元32針對對應于宏塊的全部預測塊大小執(zhí)行運動預測/補償處理。運動預測/補償單元32通過使用從幀存儲器25讀取的在濾波處理之后的參考圖像數(shù)據(jù)，針對從畫面排序緩沖器12讀取的待編碼的圖像中的每個預測塊大小的每個圖像而檢測運動矢量。另外，運動預測/補償單元32通過基于所檢測到的運動矢量對參考圖像執(zhí)行運動補償處理來生成預測圖像。此外，運動預測/補償單元32針對每個預測塊大小來計算成本函數(shù)值，并且選擇具有所算出的最小成本函數(shù)值的預測塊大小(即，實現(xiàn)最優(yōu)編碼效 率的預測塊大小)作為最佳幀間預測模式。運動預測/補償單元32將在最佳幀間預測模式下所生成的預測圖像數(shù)據(jù)、關(guān)于最佳幀間預測模式的預測模式信息和最佳幀間預測模式下的成本函數(shù)值輸出到預測圖像/最佳模式選擇單元33。運動預測/補償單元32將在每個預測塊大小的幀間預測處理中的關(guān)于幀間預測模式的預測模式信息輸出到無損編碼單元16，以獲得用于計算成本函數(shù)值的生成代碼量。作為幀間預測模式，運動預測/補償單元32還對跳過的宏塊進行預測或者在直接模式下進行預測。預測圖像/最佳模式選擇單元33以宏塊為單位對從幀內(nèi)預測單元31提供的成本函數(shù)值與從運動預測/補償單元32提供的成本函數(shù)值進行比較，并且選擇具有較小的成本函數(shù)值的模式作為實現(xiàn)最優(yōu)編碼效率的最佳模式。此外，預測圖像/最佳模式選擇單元33將在最佳模式下所生成的預測圖像數(shù)據(jù)輸出到減法器13和加法器23。另外，預測圖像/最佳模式選擇單元33將最佳模式的預測模式信息輸出到無損編碼單元16。特征量生成單元35生成表示待編碼的圖片與參考圖片之間的相關(guān)性的特征量。對于生成特征量，例如，使用作為為了由運動預測/補償單元32檢測運動矢量而算出的差值絕對值和的SAD (絕對差值和)值、或者作為通過對編碼圖片與參考圖片之間的差數(shù)據(jù)執(zhí)行哈達瑪變換而獲得的差值絕對值和的SATD (絕對變換差值和)值，生成特征量。基于運動預測/補償單元32檢測到的運動矢量而算出的全局運動矢量可以用作特征量。另外，也可以使用由速率控制器獲得的復雜度、由預測圖像/最佳模式選擇單元33獲得的參考索引t匕、或者攝影技巧(固定/平移/傾斜/縮放)、視差信息或者深度信息。參考圖片列表生成單元36基于特征量生成單元35生成的特征量，確定是否將視差方向上的圖片包括在參考圖片列表中。參考圖片列表生成單元36以每個預定單位進行確定。例如，如果針對每個場景進行確定，則參考圖片列表生成單元36區(qū)分場景以在進行確定之前生成同一場景的全部的特征量。如果針對每個GOP進行確定，則參考圖片列表生成單元36在進行確定之前生成整個GOP的特征量。另外，如果針對每個圖片進行確定，則參考圖片列表生成單元36在進行確定之前分別針對每種圖片類型而生成特征量。參考圖片列表生成單元36基于通過以每個預定單位進行確定所獲得的確定結(jié)果來生成參考圖片列表，并且將參考圖片列表輸出到無損編碼單元16。此外，參考圖片列表生成單元36通過從幀存儲器25向運動預測/補償單元32提供參考圖片列表中所示出的參考圖片來執(zhí)行編碼處理?！?.圖像編碼設備的操作〉圖2是示出圖像編碼處理操作的流程圖。在步驟STll中，A/D轉(zhuǎn)換器11對輸入圖像信號進行A/D轉(zhuǎn)換。在步驟ST12中，畫面排序緩沖器12對畫面進行排序。畫面排序緩沖器12存儲從A/D轉(zhuǎn)換器11提供的圖像數(shù)據(jù)，以將由每個圖片表示的順序排序成編碼順序。在步驟ST13中，減法器13生成預測誤差數(shù)據(jù)。減法器13通過計算在步驟ST12中所排序的圖像的圖像數(shù)據(jù)與由預測圖像/最佳模式選擇單元33選擇的預測圖像數(shù)據(jù)之間的差，生成預測誤差數(shù)據(jù)。預測誤差數(shù)據(jù)相比于原始圖像數(shù)據(jù)具有較小的數(shù)據(jù)量。因此，當與直接對圖像進行編碼的情況相比時，能夠壓縮數(shù)據(jù)量。當預測圖像/最佳模式選擇單·元33以切片(slice)為單位選擇從幀內(nèi)預測單元31提供的預測圖像和來自運動預測/補償單元32的預測圖像時，在從幀內(nèi)預測單元31提供的預測圖像被選擇的切片中進行幀內(nèi)預測。在來自運動預測/補償單元32的預測圖像被選擇的切片中進行幀間預測。在步驟ST14中，正交變換單元14執(zhí)行正交變換處理。正交變換單元14對從減法器13提供的預測誤差數(shù)據(jù)執(zhí)行正交變換。更具體地，對預測誤差數(shù)據(jù)執(zhí)行諸如離散余弦變換和卡-洛變換的正交變換，并輸出轉(zhuǎn)換因子數(shù)據(jù)。在步驟ST15中，量化單元15執(zhí)行量化處理。量化單元15對轉(zhuǎn)換因子數(shù)據(jù)進行量化。對于量化，控制速率，如將在稍后描述的步驟ST25的處理中所述的那樣。在步驟ST16中，逆量化單元21執(zhí)行逆量化處理。逆量化單元21以與量化單元15的屬性對應的屬性對經(jīng)量化單元15量化后的轉(zhuǎn)換因子數(shù)據(jù)進行逆量化。在步驟ST17中，逆正交變換單元22執(zhí)行逆正交變換處理。逆正交變換單元22以與正交變換單元14的屬性對應的屬性對經(jīng)逆量化單元21逆量化后的轉(zhuǎn)換因子數(shù)據(jù)執(zhí)行逆正交變換。在步驟ST18中，加法器23生成解碼圖像數(shù)據(jù)。加法器23將從預測圖像/最佳模式選擇單元33提供的預測圖像數(shù)據(jù)與處于對應于預測圖像的位置的在逆正交變換之后的數(shù)據(jù)相加，以生成解碼圖像數(shù)據(jù)。在步驟ST19中，解塊濾波處理單元24執(zhí)行解塊濾波處理。解塊濾波處理單元24通過對從加法器23輸出的解碼圖像數(shù)據(jù)進行濾波來去除塊失真。此外，解塊濾波處理單元24使得即使存儲圖像數(shù)據(jù)的線存儲器的存儲容量減小也能夠進行垂直濾波處理。更具體地，解塊濾波處理單元24根據(jù)通過邊界檢測在垂直方向上在塊之間檢測到的邊界，控制用于對位于邊界之上的塊的濾波操作的圖像范圍。在步驟ST20中，幀存儲器25存儲解碼圖像數(shù)據(jù)。幀存儲器25存儲解塊濾波處理之前的解碼圖像數(shù)據(jù)。在步驟ST21中，幀內(nèi)預測單元31和運動預測/補償單元32均執(zhí)行預測處理。即，幀內(nèi)預測單元31在幀內(nèi)預測模式下執(zhí)行幀內(nèi)預測處理，并且運動預測/補償單元32在幀間預測模式下執(zhí)行運動預測/補償處理。采用上述處理，分別執(zhí)行在作為候選的預測模式下的預測處理，以計算在作為候選的預測模式下的每個成本函數(shù)值。然后，基于所算出的成本函數(shù)值來選擇最佳幀內(nèi)預測模式和最佳幀間預測模式，并且將在所選擇的預測模式下所生成的預測圖像、其成本函數(shù)和預測模式信息提供給預測圖像/最佳模式選擇單元33。在預測處理中，運動預測/補償單元32通過使用參考圖片列表生成單元36生成的參考圖片列表中所示出的參考圖片來生成預測圖像。在步驟ST22中，預測圖像/最佳模式選擇單元33選擇預測圖像數(shù)據(jù)。預測圖像/最佳模式選擇單元33基于從幀內(nèi)預測單元31和運動預測/補償單元32輸出的每個成本函數(shù)值，判定實現(xiàn)最優(yōu)編碼效率的最佳模式。另外，預測圖像/最佳模式選擇單元33選擇所判定的最佳模式下的預測圖像數(shù)據(jù)，并且將預測圖像數(shù)據(jù)提供給減法器13和加法器23。如上所述，預測圖像用于步驟ST13和ST18中的操作。在步驟ST23中，無損編碼單元16執(zhí)行無損編碼處理。無損編碼單元16對從量化單元15輸出的量化數(shù)據(jù)進行無損編碼。即，通過對量化數(shù)據(jù)執(zhí)行諸如可變長度編碼和算術(shù) 編碼的無損編碼來壓縮數(shù)據(jù)。此時，還對在上述步驟ST22中輸入到無損編碼單元16中的預測模式信息和參考圖片列表信息進行無損編碼。另外，將預測模式信息的無損編碼數(shù)據(jù)與通過對量化數(shù)據(jù)進行無損編碼所生成的編碼流的報頭信息相加。在步驟ST24中，存儲緩沖器17通過執(zhí)行存儲處理來存儲編碼流。存儲在存儲緩沖器17中的編碼流在適當時被讀取并且經(jīng)由傳送路徑傳送到解碼側(cè)。在步驟ST25中，速率控制器18控制速率。當存儲緩沖器17存儲編碼流時，速率控制器18控制量化單元15的量化操作的速率，使得存儲緩沖器17中不會發(fā)生上溢或下溢。<3.特征量生成單元的配置和操作>圖3示出特征量生成單元的配置。下文中將說明用于生成從屬視圖的參考圖片列表的特征量的生成。特征量生成單元35通過例如使用在被選擇作為圖片中的每個塊的最佳模式時圖片中的SATD值的平均值，生成特征量。特征量生成單元35通過將基本視圖的參考圖片設置為候選來生成在時間方向上與從屬視圖中的圖片不同的參考圖片以及針對參考圖片的每個候選的表示圖片相關(guān)性的特征量，并且將所生成的特征量輸出到參考圖片列表生成單元36。特征量生成單元35生成估計處理信息以估計特征量，并且將估計處理信息輸出到參考圖片列表生成單元36。另夕卜，特征量生成單元35基于參考圖片列表生成單元36生成的參考圖片列表來更新所存儲的特征量和估計處理信息。特征量生成單元35包括視差存在(parallax present)特征量更新單元351、視差存在特征量存儲單元352、估計處理信息更新單元353和估計處理信息存儲單元354。當進行時間預測和視差預測時，視差存在特征量更新單元351將針對視差方向上的參考圖片用于運動預測的情況的特征量作為視差存在特征量SATDiv存儲在視差存在特征量存儲單元352中。然后，每當計算視差存在特征量SATDiv時，視差存在特征量更新單元351更新存儲在視差存在特征量存儲單元352中的視差存在特征量SATDiv。另外，如將在稍后所述的那樣，如果在預定時段(例如，一個或多個GOP時段)內(nèi)從未更新視差存在特征量SATDiv，則視差存在特征量更新單元351針對每種圖片類型而更新視差存在特征量SATDiv。視差存在特征量更新單元351將更新后的視差存在特征量SATDiv輸出到參考圖片列表生成單元36。因此，視差存在特征量更新單元351防止視差存在特征量SATDiv變?yōu)椴幌嚓P(guān)的特征量，而無需通過更新視差存在特征量SATDiv來更新。
估計處理信息更新單元353計算估計處理信息Psc并使得估計處理信息存儲單元354存儲估計處理信息Psc，其中該估計處理信息Psc用于估計針對僅進行時間預測的情況的特征量。然后，估計處理信息更新單元353更新存儲在估計處理信息存儲單元354中的估計處理信息Psc。當從屬視圖僅包含時間預測時，如公式(I)所示，估計處理信息更新單元353計算從屬視圖的特征量SATDdv與基本視圖的特征量SATDbv之比，以將該比設置為估計處理信息Psc。如果使用時間預測和視差預測，則使用所算出的估計處理信息Psc(H-I)。這是因為實驗表明，如果在不同時間處的圖像之間的時間距離很近，則估計處理信息Psc甚至針對這些圖像也能取相似值(高相關(guān))。
權(quán)利要求
1.ー種圖像編碼設備，包括 特征量生成単元，通過將在時間方向上與第一視點圖片不同的所述第一視點圖片和與所述第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對所述參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及 參考圖片列表生成単元，通過基于所述特征量從所述參考圖片的候選中選擇與所述第ニ視點圖片的參考圖片一祥多的所述第一視點圖片的參考圖片，生成參考圖片列表。
2.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，在基于針對所述第一視點圖片是圖片組GOP起始圖片的情況的特征量的判別值等于或小于閾值的情況下，所述參考圖片列表生成單元將第二視點參考圖片包括在下ー圖片的參考圖片列表中，而在所述判別值大于所述閾值的情況下，所述參考圖片列表生成單元僅將所述時間方向上的參考圖片包括在所述下ー圖片的參考圖片列表中。
3.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，所述參考圖片列表生成単元根據(jù)基于在所述第一視點圖片是圖片組起始圖片時所獲得的特征量的判別值與閾值之間的比較結(jié)果，更新所述參考圖片的圖案或者保持之前緊接的參考圖片的圖案。
4.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，在第二視點參考圖片被包括在所述參考圖片列表中的情況下，所述參考圖片列表生成単元保存針對包括所述第二視點參考圖片的情況的特征量，而在所述參考圖片列表在預定時段內(nèi)僅包含所述時間方向上的參考圖片的情況下，所述參考圖片列表生成單元更新由針對圖片組起始幀中的圖片或者每個場的起始圖片所算出的特征量保存的特征量。
5.根據(jù)權(quán)利要求4所述的圖像編碼設備， 其中，在所述圖片的所述參考圖片列表僅包含所述時間方向上的參考圖片的情況下，所述參考圖片列表生成単元將針對所述圖片所算出的特征量與所保存的特征量進行比較，并且基于比較結(jié)果選擇下ー圖片的參考圖片。
6.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，在所述圖片的參考圖片列表包括第二視點參考圖片的情況下，所述參考圖片列表生成単元基于估計特征量與針對包括所述第二視點參考圖片的情況的特征量之間的比較結(jié)果，選擇下ー圖片的參考圖片，其中，所述估計特征量用于估計僅所述時間方向上的參考圖片的特征量。
7.根據(jù)權(quán)利要求6所述的圖像編碼設備， 其中，所述特征量生成単元通過使用針對所述第一視點圖片的參考圖片列表僅包含所述時間方向上的參考圖片的情況的特征量以及針對所述第二視點圖片的特征量來預先生成估計處理信息，并且根據(jù)與用于估計特征量的所述第一視點圖片對應的所述第二視點圖片的特征量以及所述估計處理信息，計算所述估計特征量。
8.根據(jù)權(quán)利要求7所述的圖像編碼設備， 其中，在所述參考圖片列表包含所述第二視點參考圖片的狀態(tài)持續(xù)預定時段的情況下，所述參考圖片列表生成単元僅將所述時間方向上的參考圖片包括在所述參考圖片列表中，并且 其中，所述特征量生成単元通過使得所述參考圖片列表僅包含所述時間方向上的參考圖片來更新所述估計處理信息。
9.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，所述特征量生成單元通過使用絕對變換差值和值即SATD值或絕對差值和值即SAD值生成所述特征量。
10.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，所述特征量生成單元使用參考索引比作為所述特征量。
11.根據(jù)權(quán)利要求I所述的圖像編碼設備， 其中，所述第一視點圖片和所述第二視點圖片是隔行素材，并且 其中，在所述參考圖片列表包含第二視點參考圖片的情況下，所述參考圖片列表生成單元基于所述特征量而從所述時間方向上的參考圖片中選擇同相或反相的參考圖片。
12.—種圖像編碼方法，包括 通過將在時間方向上與第一視點圖片不同的所述第一視點圖片和與所述第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對所述參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及 通過基于所述特征量從所述參考圖片的候選中選擇與所述第二視點圖片的參考圖片一樣多的所述第一視點圖片的參考圖片，生成參考圖片列表。
13.一種用于使計算機通過使用參考圖片列表來執(zhí)行第一視點圖片和第二視點圖片的編碼處理的程序，所述程序使得所述計算機執(zhí)行如下過程 通過將在時間方向上與第一視點圖片不同的所述第一視點圖片和與所述第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對所述參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及 通過基于所述特征量從所述參考圖片的候選中選擇與所述第二視點圖片的參考圖片一樣多的所述第一視點圖片的參考圖片，生成所述參考圖片列表。
全文摘要
本發(fā)明提供了一種圖像編碼設備、圖像編碼方法和程序，其中，該圖像編碼設備包括特征量生成單元，通過將在時間方向上與第一視點圖片不同的第一視點圖片和與第一視點圖片不同的第二視點圖片設置為參考圖片的候選，針對參考圖片的每個候選來生成表示圖片之間的相關(guān)性的特征量；以及參考圖片列表生成單元，通過基于特征量從參考圖片的候選中選擇與第二視點圖片的參考圖片一樣多的第一視點圖片的參考圖片，生成參考圖片列表。
文檔編號H04N7/50GK102957910SQ20121027376
公開日2013年3月6日 申請日期2012年8月2日 優(yōu)先權(quán)日2011年8月9日
發(fā)明者染谷清登 申請人:索尼公司