專利名稱：通過圖像區(qū)域來編碼和解碼視頻圖像序列的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及視頻圖像序列的編碼和解碼。當(dāng)前的視頻編碼器(MPEG、H264標(biāo)準(zhǔn)等)使用視頻序列的塊表現(xiàn)。將圖像切割為宏塊，將每個(gè)宏塊自身切割為塊，并且通過圖像內(nèi)或圖像間預(yù)測(cè)來對(duì)每個(gè)塊或宏塊進(jìn)行編碼。本發(fā)明不但應(yīng)用于這種類型的編碼的上下文中，而且還應(yīng)用于基于區(qū)段(region) 的編碼器(MPEG 4，JVT-ISO/IEC JTC1/SC29/WG11標(biāo)準(zhǔn)中的基于區(qū)段的編碼，“Text of IS0/IEC 14496-10:200X/FDIS Advanced Video Coding”，草擬國際標(biāo)準(zhǔn)，w9198，2007 年) 的上下文中。本發(fā)明更具體地涉及要編碼的圖像的塊、宏塊、區(qū)段的預(yù)測(cè)，或一般地涉及要編碼的圖像的區(qū)塊(zone)的預(yù)測(cè)。
背景技術(shù)：
預(yù)測(cè)在幀內(nèi)模式(intra mode)中(即，基于正經(jīng)歷編碼的圖像的數(shù)據(jù)來)進(jìn)行， 或者在幀間模式(inter mode)中(即，基于該序列的一個(gè)或多個(gè)其他圖像來進(jìn)行)。在幀內(nèi)模式中，根據(jù)以下九個(gè)可能的模式，基于宏塊或塊的因果鄰域(已經(jīng)被編碼并然后解碼的相鄰像素)來預(yù)測(cè)該宏塊或塊八個(gè)模式是通過根據(jù)給定的定向來復(fù)制像素，并且一個(gè)模式是用于平均值。在幀間模式中，基于宏塊或塊的時(shí)間鄰域來預(yù)測(cè)該宏塊或塊，H. 264標(biāo)準(zhǔn)使用運(yùn)動(dòng)意義上的位移。然后，對(duì)至少一個(gè)運(yùn)動(dòng)向量進(jìn)行編碼和傳送。在全部?jī)煞N情況下，預(yù)測(cè)就其本身而言都是不充分的，故此，必須對(duì)預(yù)測(cè)誤差(殘差)進(jìn)行編碼。相應(yīng)地，使用了 DCT變換，其后跟隨有量化，并且跟隨有系數(shù)的傳統(tǒng)編碼。而且，在圖像合成的領(lǐng)域中，Wei和Levoy已經(jīng)提出了所謂的“模板匹配”技術(shù)(或紋理(texture)的馬爾可夫(Markov)預(yù)測(cè))，以基于源圖像來對(duì)圖像進(jìn)行合成?？梢詫?duì)文章 Wei,L.& Levoy, Μ· Akeley, K. (ed. )Fast Texture Synthesis Using Tree-Structured Vector Quantization Siggraph 2000, Computer Graphics Proceedings, ACM Press/ACM SIGGRAPH/Addison Wesley Longman，2000，479-488)做出參考?！澳０迤ヅ洹钡募夹g(shù)是基于鄰居像素之間的相關(guān)性。通過比較此像素(目標(biāo))的每個(gè)鄰居與源圖像的所有鄰居來確定要合成的圖像的每個(gè)像素(或像素組)的值。要合成的像素的鄰居是因果鄰域的(即，預(yù)先合成的像素的)像素。向要合成的圖像的對(duì)應(yīng)像素 (或，像素組)指派具有最相似鄰域的源圖像的像素(或像素組)。通過按照精確的順序 (一般地，從上到下并且從左到右(所謂的“光柵掃描”)順序)進(jìn)行復(fù)制，來合成要合成的區(qū)塊(像素或像素組)。經(jīng)由用于使得目標(biāo)與源鄰域之間的距離最小化的準(zhǔn)則(例如，二次誤差(或平方差之和)或者絕對(duì)誤差(或絕對(duì)差之和))來選定在源圖像中最接近的鄰域?！澳０迤ヅ洹狈桨甘亲鳛閷?duì)于H264編碼器的幀內(nèi)預(yù)測(cè)的替換方案而在某些編碼器中使用的數(shù)據(jù)合成方案(Tan等人的文章Intra prediction by template matching, 2006年IEEE，第1693頁到第1696頁)。在實(shí)踐中，將“模板匹配”模式添加到幀內(nèi)預(yù)測(cè)的九個(gè)其它模式。在Tan的文章中，“模板匹配”方案用于預(yù)測(cè)尺寸為4X4個(gè)像素的塊，它們自身被切割為2X2個(gè)像素的子塊。將要預(yù)測(cè)的塊認(rèn)為是目標(biāo)(要合成的圖像)，源是部分地解碼的圖像。在30%數(shù)量級(jí)的新“模板匹配”巾貞內(nèi)預(yù)測(cè)模式的使用比率的情況下，比率方面的增益上升到11%。已經(jīng)改善了 “模板匹配”的構(gòu)思(Suzuki等人的文章Video Encoding Scheme Employing Intra and Inter Prediction Based on Averaged Template Matching Predictors,2008 年，The Institute of Electronics, Information and Communication Engineers，第1127頁到第1134頁)。Suzuki等人已經(jīng)注意到在“模板匹配”方案意義上的最佳候選者不一定是用于預(yù)測(cè)圖像的最佳代表。基于這個(gè)發(fā)現(xiàn)，Suzuki等人已經(jīng)改編了模板匹配方案基于N個(gè)最佳候選者的平均值來預(yù)測(cè)目標(biāo)。利用此方案，在“模板匹配”方案意義上，通過四個(gè)最佳候選者的加權(quán)來預(yù)測(cè)工作區(qū)塊。因此，由于平均化效果，所以該預(yù)測(cè)具有“較模糊的”再現(xiàn)(rendition)。盡管比率減少是可觀的，但是對(duì)于標(biāo)準(zhǔn)方案的這種改善幾乎沒有(如果說存在任何改善的話)改善幀內(nèi)預(yù)測(cè)，而是使得殘差均勻(homogenize)。在圖像間預(yù)測(cè)的情況下，“模板匹配”方案用于基于塊或宏塊的鄰域而從一個(gè)圖像到另一個(gè)圖像地估計(jì)該塊或宏塊的運(yùn)動(dòng)(Suzuki，Y. ；Boon, C. S. &Kato, S. Block-Based Reduced Resolution Inter Frame Coding with Template Matching Prediction Image Processing, 2006IEEE International Conference on，2006 年，1701—1704)。目標(biāo)在于減少對(duì)運(yùn)動(dòng)向量進(jìn)行編碼所必需的額外信息。對(duì)于每個(gè)在時(shí)間上預(yù)測(cè)的宏塊，通過搜索和編碼運(yùn)動(dòng)向量，而對(duì)“模板匹配”方案和標(biāo)準(zhǔn)方式進(jìn)行比較。比率失真準(zhǔn)則使得可能確定最佳的方案。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決現(xiàn)有技術(shù)的缺陷。為此，本發(fā)明提出了一種用于對(duì)視頻圖像的序列進(jìn)行編碼的方法，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)目標(biāo)區(qū)塊的編碼，它包括以下步驟-在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合，使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化，-作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)，來在所述候選區(qū)塊的集合中形成候選區(qū)塊的組的集合，-在所述組的集合中標(biāo)識(shí)最佳組，使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化，-確定代表了所述標(biāo)識(shí)的最佳組的指示，以及-對(duì)所述指示進(jìn)行編碼。借助于本發(fā)明，將所謂的“模板匹配”方案用于確定候選集合，從而對(duì)圖像區(qū)塊進(jìn)行預(yù)測(cè)。因此，人們致力于(work on)要預(yù)測(cè)的區(qū)塊的鄰域。其后，確定此集合之中的最佳候選者，但是這與“模板匹配”方案是不同的。該最佳候選者的確定依賴于對(duì)于區(qū)塊自身、而不是其鄰域所執(zhí)行的預(yù)測(cè)誤差計(jì)算。最終，本發(fā)明提出致力于候選區(qū)塊的組。根據(jù)優(yōu)選特性，該編碼方法此外包括以下步驟-確定用于該組集合的每個(gè)組的代表，-對(duì)使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的最佳代表進(jìn)行標(biāo)識(shí)。根據(jù)替換的優(yōu)選特性，對(duì)于給定組-該代表是該組的候選區(qū)塊的平均值，-該代表是用于使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的組的候選區(qū)塊。根據(jù)優(yōu)選特性，基于當(dāng)前圖像的已編碼并解碼的區(qū)塊來執(zhí)行所述確定候選區(qū)塊的集合的步驟。于是，這需要“巾貞內(nèi)”編碼模式，根據(jù)該模式來使用空間預(yù)測(cè)。根據(jù)另一替換的優(yōu)選特性，基于在當(dāng)前圖像之前所編碼并解碼的圖像的區(qū)塊，來執(zhí)行所述確定候選區(qū)塊的集合的步驟。在此情況下，這需要“幀間，，編碼模式，根據(jù)該模式來使用時(shí)間預(yù)測(cè)。因而，與本發(fā)明良好地適用于“幀間”編碼一樣，本發(fā)明同樣良好地適用于“幀內(nèi)”編碼。根據(jù)優(yōu)選特性，對(duì)組的集合進(jìn)行排序，并且代表所述標(biāo)識(shí)的最佳組的指示是取決于其在該集合中的順序的索引。本發(fā)明還涉及一種用于對(duì)視頻圖像的序列進(jìn)行解碼的方法，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)要解碼的目標(biāo)區(qū)塊的解碼， 它包括以下步驟-在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合，使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化，-作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)，來形成候選區(qū)塊的組的集合，-讀取代表最佳組的指示，-基于該最佳組來重構(gòu)要解碼的區(qū)塊。該解碼方法包括與編碼方法的那些步驟非常相似的步驟。根據(jù)優(yōu)選特性，基于當(dāng)前圖像的已解碼的區(qū)塊，來執(zhí)行所述確定候選區(qū)塊的集合的步驟。根據(jù)另一替換的優(yōu)選特性，基于在當(dāng)前圖像之前所解碼的圖像的區(qū)塊，來執(zhí)行所述確定候選區(qū)塊的集合的步驟。這兩個(gè)替換方案對(duì)應(yīng)于“幀內(nèi)，，和“幀間，，編碼/解碼的情況。當(dāng)然，相同的模式
用于編碼并且用于解碼。根據(jù)優(yōu)選特性，根據(jù)預(yù)定的準(zhǔn)則來對(duì)組的集合進(jìn)行排序，并且在于，代表所述標(biāo)識(shí)的最佳組的指示取決于其在該集合中的順序。本發(fā)明此外涉及一種用于對(duì)視頻圖像的序列進(jìn)行編碼的裝置，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)目標(biāo)區(qū)塊的編碼，它包括-用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)、來在所述候選區(qū)塊的集合中形成候選區(qū)塊的組的集合的部件，_用于在所述組的集合中標(biāo)識(shí)最佳組、使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的部件，_用于確定代表所述標(biāo)識(shí)的最佳組的指示的部件，以及_用于對(duì)所述指示進(jìn)行編碼的部件。本發(fā)明還涉及一種用于對(duì)視頻圖像的序列進(jìn)行解碼的裝置，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)要解碼的目標(biāo)區(qū)塊的解碼， 它包括-用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)、來形成候選區(qū)塊的組的集合的部件，-用于讀取代表最佳組的指示的部件，_用于基于該最佳組來重構(gòu)要解碼的區(qū)塊的部件。所述編碼和解碼裝置展現(xiàn)出與所述方法的那些優(yōu)點(diǎn)類似的優(yōu)點(diǎn)。本發(fā)明此外涉及計(jì)算機(jī)程序，包括用于實(shí)現(xiàn)以上所呈現(xiàn)的方法的指令。


一旦閱讀了參考附圖所描述的優(yōu)選實(shí)施例，其他特性和優(yōu)點(diǎn)就將變得明顯，在附圖中-圖1表現(xiàn)了根據(jù)本發(fā)明的編碼方法實(shí)施例，-圖2表現(xiàn)了正經(jīng)歷根據(jù)本發(fā)明的方法進(jìn)行的編碼的圖像，-圖3表現(xiàn)了根據(jù)本發(fā)明的解碼方法實(shí)施例，-圖4表現(xiàn)了根據(jù)本發(fā)明的編碼裝置實(shí)施例，-圖5表現(xiàn)了根據(jù)本發(fā)明的解碼裝置實(shí)施例。
具體實(shí)施例方式根據(jù)在圖1中表現(xiàn)的本發(fā)明的一個(gè)實(shí)施例，視頻圖像序列編碼的方法包括步驟El 到E8。一個(gè)接一個(gè)地對(duì)圖像進(jìn)行編碼。對(duì)于要編碼的圖像，在圖像中預(yù)先地形成要編碼的至少一個(gè)區(qū)塊(叫做目標(biāo)區(qū)塊)。此區(qū)塊可以是像素的塊、宏塊，或者更一般地，是區(qū)段。 在下文中，更加具體地考慮其中在圖像中形成塊的情況。逐塊地對(duì)圖像進(jìn)行編碼。對(duì)于要編碼的塊(叫做目標(biāo)塊)，實(shí)現(xiàn)步驟El到E8。
步驟El是選擇要編碼的塊P(叫做目標(biāo)塊)。目標(biāo)塊具有預(yù)定的尺寸。還考慮目標(biāo)塊的鄰域Tp(叫做目標(biāo)鄰域)。目標(biāo)鄰域是目標(biāo)塊的鄰居像素的預(yù)定集合。目標(biāo)塊的鄰域是因果掩膜(causal mask)。目標(biāo)塊按照一對(duì)一的方式而與鄰域相關(guān)聯(lián)。因而，對(duì)于尺寸2X2個(gè)像素的目標(biāo)塊，因果掩膜例如是以下五個(gè)像素的集合，所述五個(gè)像素與目標(biāo)塊毗接在該目標(biāo)塊的左邊并且在該目標(biāo)塊的上邊。根據(jù)另一示例，用作本發(fā)明的含義內(nèi)的鄰域的因果掩膜包括十二個(gè)像素，所述像素在2 X 2個(gè)像素的目標(biāo)塊的左邊和上邊形成兩個(gè)像素粗的邊界。當(dāng)然，根據(jù)本發(fā)明，目標(biāo)塊和鄰域的其它形狀和尺寸是可用的。例如，鄰域此外可以包括目標(biāo)塊的上邊界的右邊延伸部分中的像素。接下來的步驟E2是搜索N個(gè)候選區(qū)塊Tn，所述候選區(qū)塊Tn的鄰域最接近目標(biāo)鄰域Τρ。在此步驟中，如在所謂的“模板匹配”方案中一樣，人們致力于鄰域。在圖像的已編碼并解碼的部分之中進(jìn)行搜索?？紤]按照一對(duì)一的方式而與源鄰域相關(guān)聯(lián)的源區(qū)塊。按照與對(duì)于目標(biāo)所做的相似的方式，而相對(duì)于源區(qū)塊來構(gòu)造源鄰域。從如此形成的源區(qū)塊之中尋找候選區(qū)塊。在所謂的“幀內(nèi)”模式中，相對(duì)于當(dāng)前鄰域區(qū)塊在預(yù)先編碼并然后解碼的當(dāng)前圖像的部分中，進(jìn)行對(duì)于候選區(qū)塊的搜索，如在圖2中表現(xiàn)的。在所謂的“幀間”模式中，在當(dāng)前圖像之前編碼并然后解碼的圖像中進(jìn)行該搜索。圖2表現(xiàn)了正經(jīng)歷編碼的圖像UL該圖像的一部分IM1已被編碼，并且用作用于候選區(qū)塊的源。一部分IM2尚未被編碼。考慮“光柵掃描”類型的掃掠(sweep)順序，但是其它的掃掠是可能的。搜索方案是基于候選區(qū)塊的鄰域與目標(biāo)鄰域之間的相關(guān)性。例如，作為候選區(qū)塊的鄰域與目標(biāo)區(qū)塊的鄰域之間的二次或絕對(duì)誤差的最小化的函數(shù)，來選擇候選區(qū)塊。在步驟E2之后跟隨有步驟E3，其中形成候選區(qū)塊的K個(gè)組(或簇)Ck的集合。相應(yīng)地，按照使得將相似的候選區(qū)塊分組到一起的這種方式，來使用所謂的“成
簇”方案。組的數(shù)目是預(yù)定的，或者被動(dòng)態(tài)地確定。在第一種情況下，例如使用用于將K個(gè)平均值分組到一起的方案(叫做“K均值成簇”)。此方案考慮在表現(xiàn)要分組到一起的對(duì)象的空間中的K個(gè)點(diǎn)。這K個(gè)點(diǎn)定義與K個(gè)組對(duì)應(yīng)的K個(gè)質(zhì)心(centroid)。將要分組到一起的每個(gè)對(duì)象指派到具有最接近質(zhì)心的組。當(dāng)已經(jīng)向組指派了所有的對(duì)象時(shí)，重新計(jì)算K個(gè)質(zhì)心的位置。重復(fù)對(duì)象指派的步驟和重新計(jì)算質(zhì)心的位置的步驟，直到不再修改質(zhì)心為止。當(dāng)沒有先驗(yàn)地指定要形成的組的數(shù)目時(shí)，例如使用用于“質(zhì)量閾值成簇”的基于質(zhì)量的閾值的方案(叫做“QT成簇”)。通過以下事實(shí)來定義質(zhì)量準(zhǔn)則，即向同一組指派的對(duì)象是充分接近的。迭代地形成組，從而在一方面包含預(yù)定的最小數(shù)目的對(duì)象，并且在另一方面使得同一組的對(duì)象分開少于預(yù)定的閾值距離。無論用于形成組的方案是什么，在此形成期間都對(duì)各組進(jìn)行排序。然后，作為此順序的函數(shù)來向每個(gè)組指派索引。可以根據(jù)相對(duì)于目標(biāo)區(qū)塊的質(zhì)心的鄰域的相似性的準(zhǔn)則， 或者通過構(gòu)成各組的候選者的數(shù)目，來進(jìn)行分類。確實(shí)地，如果組的基數(shù)(cardinal)很大， 則這指明了圖案在圖像中經(jīng)常重復(fù)，并因此，它在統(tǒng)計(jì)上可能性更大。根據(jù)變體，在步驟E3之后跟隨有步驟E4，該步驟E4是在每個(gè)組內(nèi)部對(duì)候選區(qū)塊的集合進(jìn)行細(xì)化。在此步驟中，對(duì)于給定的組，執(zhí)行相似性測(cè)量。作為相似性準(zhǔn)則的函數(shù)，如果候選區(qū)塊太接近于或太遠(yuǎn)離于該組的其他候選區(qū)塊，則去除該候選區(qū)塊，這是由于它可能歪曲(falsify)預(yù)測(cè)。去除候選區(qū)塊的兩個(gè)可能性之間的選擇取決于用于確定每個(gè)組的代表(步驟E5) 的變體。當(dāng)實(shí)現(xiàn)步驟E3或步驟E4時(shí)，在它之后跟隨有步驟E5，該步驟E5是確定用于組集合的每個(gè)組Ck的代表Rk。根據(jù)第一變體，組的代表是所考慮的組的候選區(qū)塊的平均值。在此情況下，如果實(shí)現(xiàn)步驟E4，則它將去除太遠(yuǎn)離該組的其他候選區(qū)塊的候選區(qū)塊。根據(jù)第二變體，組的代表是相對(duì)于目標(biāo)塊而使得重構(gòu)誤差最小化的候選區(qū)塊。在此步驟中，現(xiàn)在考慮各塊，而不是鄰域?；叵肫鸬氖牵徲虬凑瘴ㄒ坏姆绞蕉鴮?duì)應(yīng)于塊。在此情況下，如果實(shí)現(xiàn)步驟E4，則它將去除太接近于該組的其他候選區(qū)塊的候選區(qū)塊。對(duì)于步驟E5的第二變體，搜索是基于候選塊與目標(biāo)塊之間的相關(guān)性。作為候選塊與目標(biāo)塊之間的二次或絕對(duì)誤差的最小化的函數(shù)，來選擇候選塊。然后，根據(jù)預(yù)定的準(zhǔn)則來在每個(gè)組內(nèi)部對(duì)候選塊進(jìn)行排序。例如，按照候選塊的鄰域?qū)τ谀繕?biāo)區(qū)塊的鄰域的接近度的降序，來對(duì)組進(jìn)行分類。向組的每個(gè)候選塊指派索引。將在步驟E5的此第二變體中選擇的候選塊的索引表不為m。根據(jù)步驟E5的第三變體，確定全部?jī)煞N類型的代表，并且基于各候選者之間的距離(例如，方差(variance))的測(cè)量來應(yīng)用選擇準(zhǔn)則，從而選定一個(gè)或另一個(gè)代表。如果候選者彼此相對(duì)接近(低方差)，則最佳代表是平均值的概率很高；如果候選者相對(duì)遠(yuǎn)離，則可能的是，平均代表可能不重要，并且在此情況下，將選定它以傳送索引m。當(dāng)組的數(shù)目是預(yù)定的時(shí)，此第三變體是特別有利的。確實(shí)地，于是可能存在不非常均勻的組。接下來的步驟E6是標(biāo)識(shí)使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的最佳代表。在此步驟中，現(xiàn)在考慮各塊，而不是鄰域?；叵肫鸬氖?，塊按照唯一的方式而對(duì)應(yīng)于鄰域。搜索是基于組的代表與目標(biāo)塊之間的相關(guān)性。作為組的代表與目標(biāo)塊之間的二次或絕對(duì)誤差的最小化的函數(shù)，來選擇代表。代表的選擇對(duì)應(yīng)于與此代表相關(guān)聯(lián)的組的選擇。將在步驟E6中選擇的組的索引表示為η。接下來的步驟Ε7是對(duì)預(yù)先選擇的組的索引η的編碼。在其中代表是候選塊的變體中，還對(duì)在步驟Ε5中確定的它的索引m進(jìn)行編碼。應(yīng)該注意到，如果已經(jīng)發(fā)生了細(xì)化(步驟E4)，則已經(jīng)在候選區(qū)塊的相應(yīng)組中對(duì)所述候選區(qū)塊進(jìn)行了排序，于是更加可能的是，所選擇的候選塊是來自其組的最初幾個(gè)之中。 因此，索引不具有正在使用的相同概率。通過向該集合的每個(gè)索引分配出現(xiàn)的概率，借助于傳統(tǒng)的熵編碼器來減少對(duì)索引m進(jìn)行編碼的成本。
接下來的步驟E8是基于在步驟E6中選擇的組來重構(gòu)目標(biāo)塊。目標(biāo)塊的重構(gòu)包括首先預(yù)測(cè)目標(biāo)塊，即將代表塊的數(shù)據(jù)復(fù)制到目標(biāo)塊。接下來，目標(biāo)塊的重構(gòu)包括計(jì)算目標(biāo)塊與預(yù)測(cè)的塊之間的殘差。對(duì)此殘差進(jìn)行編碼，并然后進(jìn)行解碼， 從而將它添加到預(yù)測(cè)，以構(gòu)建重構(gòu)的塊。重構(gòu)的塊豐富了可以用于對(duì)接下來的塊進(jìn)行編碼的塊的資源。根據(jù)在圖3中表現(xiàn)的本發(fā)明的一個(gè)實(shí)施例，視頻圖像序列解碼的方法包括步驟 ElO 到 E15一個(gè)接一個(gè)地對(duì)圖像進(jìn)行解碼。對(duì)于要解碼的圖像，在圖像中預(yù)先地考慮要解碼的至少一個(gè)區(qū)塊。此區(qū)塊可以是像素的塊、宏塊，或者更一般地，是區(qū)段。在下文中，更加具體地考慮其中在圖像中形成塊的情況。逐塊地對(duì)圖像進(jìn)行解碼。對(duì)于要解碼的塊(稱作目標(biāo)塊)，實(shí)現(xiàn)步驟ElO到E15。步驟ElO到E13分別與先前描述的步驟El到E4非常相似。步驟ElO是選擇要解碼的塊P(叫做目標(biāo)塊)。目標(biāo)塊具有預(yù)定的尺寸。還考慮目標(biāo)塊的鄰域Tp (叫做目標(biāo)鄰域)。該鄰域與對(duì)于編碼所考慮的鄰域一致。接下來的步驟Ell是搜索最接近鄰域Tp的候選區(qū)塊Tn 個(gè)鄰域。在此步驟中， 如在所謂的“模板匹配”方案中一樣，人們致力于鄰域。從圖像的已解碼的部分之中進(jìn)行搜索。在叫做“幀內(nèi)”的模式中，相對(duì)于當(dāng)前鄰域區(qū)塊在預(yù)先解碼的當(dāng)前圖像的部分中，進(jìn)行對(duì)于候選區(qū)塊的搜索。在叫做“幀間”的模式中， 在當(dāng)前圖像之前解碼的圖像中進(jìn)行該搜索。搜索方案是基于候選區(qū)塊的鄰域與目標(biāo)鄰域之間的相關(guān)性。例如，作為候選區(qū)塊的鄰域與目標(biāo)區(qū)塊的鄰域之間的二次或絕對(duì)誤差的最小化的函數(shù)，來選擇候選區(qū)塊的鄰域。接下來的步驟E12是形成候選區(qū)塊的K個(gè)組Ck的集合。相應(yīng)地，按照使得將相似的候選區(qū)塊分組到一起的這種方式來使用所謂的“成簇”方案。組的數(shù)目是預(yù)定的，或者被動(dòng)態(tài)地確定。所使用的方案與在編碼期間所使用的方案一致。通過用于形成組的方案來對(duì)各組進(jìn)行排序。根據(jù)變體，在步驟E12之后跟隨有步驟E13，該步驟E13是在每個(gè)組內(nèi)部對(duì)候選區(qū)塊進(jìn)行細(xì)化。在此步驟中，對(duì)于給定的組，執(zhí)行相似性測(cè)量。作為相似性準(zhǔn)則的函數(shù)，如果候選區(qū)塊太接近于或太遠(yuǎn)離于該組的其他候選區(qū)塊，則去除該候選區(qū)塊，這是由于它可能歪曲預(yù)測(cè)。如果當(dāng)在先的編碼期間執(zhí)行了相似的細(xì)化步驟，則執(zhí)行此細(xì)化。于是，對(duì)于解碼所執(zhí)行的細(xì)化與在編碼期間所執(zhí)行的細(xì)化一致。當(dāng)實(shí)現(xiàn)步驟E12或步驟E13時(shí)，在它之后跟隨有步驟E14，該步驟E14是對(duì)組索引 η進(jìn)行解碼。此解碼取決于在步驟Ε7中執(zhí)行的索引的編碼。根據(jù)變體，步驟Ε14此外包括對(duì)作為組的代表的候選區(qū)塊的索引m進(jìn)行解碼。接下來的步驟E15是基于通過組索引η所標(biāo)識(shí)的并且代表(例如，組的各塊的平均值)所對(duì)應(yīng)于的組來重構(gòu)目標(biāo)塊。作為變體，基于通過索引η和m所標(biāo)識(shí)的組及其代表， 來進(jìn)行目標(biāo)塊的重構(gòu)。在全部?jī)煞N情況下，此步驟包括基于組的代表塊來預(yù)測(cè)目標(biāo)塊、和對(duì)添加到預(yù)測(cè)的結(jié)果的殘差進(jìn)行解碼。其后，重構(gòu)的塊形成可以用于預(yù)測(cè)接下來的塊的數(shù)據(jù)的部分。圖4和5表現(xiàn)了分別用于實(shí)現(xiàn)編碼技術(shù)和解碼技術(shù)(諸如在上文中描述的編碼技術(shù)和解碼技術(shù))的編碼裝置和解碼裝置的簡(jiǎn)化結(jié)構(gòu)。諸如圖4所圖示的編碼裝置包括存儲(chǔ)器61，包括緩沖存儲(chǔ)器；處理單元62，例如裝備有微處理器，并且通過用于實(shí)現(xiàn)根據(jù)本發(fā)明的編碼方法的計(jì)算機(jī)程序63來驅(qū)動(dòng)。在初始化時(shí)，在通過處理單元62的處理器來運(yùn)行計(jì)算機(jī)程序63的代碼指令之前， 例如將它加載到RAM存儲(chǔ)器中。處理單元62接收要編碼的當(dāng)前圖像。處理單元62的微處理器根據(jù)計(jì)算機(jī)程序63的指令來實(shí)現(xiàn)先前描述的編碼方法的步驟，從而對(duì)當(dāng)前圖像進(jìn)行編碼。對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)目標(biāo)區(qū)塊的編碼，除了緩沖存儲(chǔ)器61之外， 該編碼裝置還包括-用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為相似性準(zhǔn)則的函數(shù)來在所述候選區(qū)塊的集合中形成候選區(qū)塊的組的集合的部件，_用于在所述組的集合中標(biāo)識(shí)最佳組、使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的部件，_用于確定代表所述標(biāo)識(shí)的最佳組的指示的部件。通過處理單元62的微處理器來驅(qū)動(dòng)這些部件。諸如圖5所圖示的解碼裝置包括存儲(chǔ)器71，包括緩沖存儲(chǔ)器；處理單元72，例如裝備有微處理器，并且通過用于實(shí)現(xiàn)根據(jù)本發(fā)明的解碼方法的計(jì)算機(jī)程序73來驅(qū)動(dòng)。在初始化時(shí)，在通過處理單元72的處理器來運(yùn)行計(jì)算機(jī)程序73的代碼指令之前， 例如將所述代碼指令加載到RAM存儲(chǔ)器中。處理單元72作為輸入而接收代表至少一個(gè)編碼圖像的信號(hào)。處理單元72的微處理器根據(jù)計(jì)算機(jī)程序73的指令來實(shí)現(xiàn)先前描述的解碼方法的步驟，從而對(duì)當(dāng)前圖像進(jìn)行重構(gòu)。對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)要解碼的目標(biāo)區(qū)塊的解碼，除了緩沖存儲(chǔ)器71之外，該解碼裝置還包括-用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為相似性準(zhǔn)則的函數(shù)來形成候選區(qū)塊的組的集合的部件，-用于讀取代表最佳組的指示的部件，-用于基于最佳組來重構(gòu)要解碼的區(qū)塊的部件。通過處理單元72的微處理器來驅(qū)動(dòng)這些部件。
權(quán)利要求
1.一種用于對(duì)視頻圖像的序列進(jìn)行編碼的方法，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)目標(biāo)區(qū)塊的編碼，它包括以下步驟_在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合，使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化，-作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)，來在所述候選區(qū)塊的集合中形成候選區(qū)塊的組的集合，-在所述組的集合中標(biāo)識(shí)最佳組，使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化， -確定代表所述標(biāo)識(shí)的最佳組的指示；以及 -對(duì)所述指示進(jìn)行編碼。
2.根據(jù)權(quán)利要求1的編碼方法，其特征在于，它進(jìn)一步包括以下步驟 -確定用于該組集合的每個(gè)組的代表，-對(duì)使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的最佳代表進(jìn)行標(biāo)識(shí)。
3.根據(jù)權(quán)利要求2的編碼方法，其特征在于，對(duì)于給定組，該代表是該組的候選區(qū)塊的平均值。
4.根據(jù)權(quán)利要求2的編碼方法，其特征在于，對(duì)于給定組，該代表是用于使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的組的候選區(qū)塊。
5.根據(jù)權(quán)利要求1到4中任一項(xiàng)的編碼方法，其特征在于，基于當(dāng)前圖像的已編碼并解碼的區(qū)塊來執(zhí)行所述確定候選區(qū)塊的集合的步驟。
6.根據(jù)權(quán)利要求1到4中任一項(xiàng)的編碼方法，其特征在于，基于在當(dāng)前圖像之前所編碼并解碼的圖像的區(qū)塊來執(zhí)行所述確定候選區(qū)塊的集合的步驟。
7.根據(jù)權(quán)利要求1到6中任一項(xiàng)的編碼方法，其特征在于，對(duì)組的集合進(jìn)行排序，并且其特征在于，代表所述標(biāo)識(shí)的最佳組的指示是取決于其在該集合中的順序的索引。
8.一種用于對(duì)視頻圖像的序列進(jìn)行解碼的方法，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)要解碼的目標(biāo)區(qū)塊的解碼，它包括以下步驟-在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合，使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化，-作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)，來形成候選區(qū)塊的組的集合， -讀取代表最佳組的指示， -基于該最佳組來重構(gòu)要解碼的區(qū)塊。
9.根據(jù)權(quán)利要求8的解碼方法，其特征在于，基于當(dāng)前圖像的已解碼的區(qū)塊來執(zhí)行所述確定候選區(qū)塊的集合的步驟。
10.根據(jù)權(quán)利要求8的解碼方法，其特征在于，基于在當(dāng)前圖像之前所解碼的圖像的區(qū)塊來執(zhí)行所述確定候選區(qū)塊的集合的步驟。
11.根據(jù)權(quán)利要求8到10中任一項(xiàng)的解碼方法，其特征在于，根據(jù)預(yù)定的準(zhǔn)則來對(duì)組的集合進(jìn)行排序，并且其特征在于，代表所述標(biāo)識(shí)的最佳組的指示取決于其在該集合中的順序。
12.一種用于對(duì)視頻圖像的序列進(jìn)行編碼的裝置，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)目標(biāo)區(qū)塊的編碼，它包括 -用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)、來在所述候選區(qū)塊的集合中形成候選區(qū)塊的組的集合的部件，-用于在所述組的集合中標(biāo)識(shí)最佳組、使得相對(duì)于目標(biāo)區(qū)塊的重構(gòu)誤差最小化的部件， -用于確定代表所述標(biāo)識(shí)的最佳組的指示的部件； _用于對(duì)所述指示進(jìn)行編碼的部件。
13.一種用于對(duì)視頻圖像的序列進(jìn)行解碼的裝置，包括將該序列的至少一個(gè)當(dāng)前圖像切割為區(qū)塊，其特征在于，對(duì)于所述至少一個(gè)當(dāng)前圖像的至少一個(gè)要解碼的目標(biāo)區(qū)塊的解碼，它包括-用于在該序列的圖像的預(yù)先編碼并然后解碼的部分中確定候選區(qū)塊的集合、使得在目標(biāo)區(qū)塊的鄰域上計(jì)算的預(yù)測(cè)誤差最小化的部件，-用于作為候選區(qū)塊之間的相似性的準(zhǔn)則的函數(shù)、來形成候選區(qū)塊的組的集合的部件， -用于讀取代表最佳組的指示的部件， -用于基于該最佳組來重構(gòu)要解碼的區(qū)塊的部件。
14.一種計(jì)算機(jī)程序，包括指令，用于當(dāng)通過處理器來運(yùn)行所述程序時(shí)，實(shí)現(xiàn)根據(jù)權(quán)利要求1到7中任一項(xiàng)的編碼方法。
15.一種計(jì)算機(jī)程序，包括指令，用于當(dāng)通過處理器來運(yùn)行所述程序時(shí)，實(shí)現(xiàn)根據(jù)權(quán)利要求8到11中任一項(xiàng)的解碼方法。
全文摘要
本發(fā)明涉及一種用于對(duì)視頻圖像序列進(jìn)行編碼的方法，包括將該序列的至少一個(gè)公共圖像切割為區(qū)域，其特征在于，對(duì)于所述至少一個(gè)公共圖像的至少一個(gè)目標(biāo)區(qū)域的編碼，所述方法包括以下步驟在已經(jīng)預(yù)先編碼并然后解碼的該序列的圖像的部分中確定(E2)候選區(qū)域的集合，因而使得在目標(biāo)區(qū)域的附近上計(jì)算的預(yù)測(cè)誤差最小化；基于候選區(qū)域之間的相似性的準(zhǔn)則，來在所述候選區(qū)域的集合內(nèi)形成(E3)候選區(qū)域的組的集合；在所述組的集合內(nèi)標(biāo)識(shí)(E6)最佳組，因而使得相關(guān)于目標(biāo)區(qū)域的重構(gòu)誤差最小化；確定(E6)代表所述標(biāo)識(shí)的最佳組的指示(n)；以及對(duì)所述指示(n)進(jìn)行編碼(7)。
文檔編號(hào)H04N7/26GK102484705SQ201080037456
公開日2012年5月30日 申請(qǐng)日期2010年6月21日 優(yōu)先權(quán)日2009年6月23日
發(fā)明者I.科羅格, I.阿莫諾, M.莫伊納德 申請(qǐng)人:法國電信公司