基于低復(fù)雜度差錯(cuò)傳播追蹤的速率失真優(yōu)化的視頻編碼模式選擇的制作方法
【專利摘要】一種方法，包括：針對幀中要被編碼的每個(gè)目標(biāo)圖像部分，通過優(yōu)化包括針對目標(biāo)圖像部分的失真的估計(jì)和編碼該目標(biāo)圖像部分所要求的比特率的量度的函數(shù)來選擇一組編碼模式中的一個(gè)，使用所選擇的模式將該目標(biāo)圖像部分編碼到編碼的視頻流中。已編碼的視頻流在有損的信道上被發(fā)送。差錯(cuò)傳播失真映射被保持，其包括映射到相應(yīng)幀分區(qū)的多個(gè)差錯(cuò)傳播失真值，所述差錯(cuò)傳播失真值是基于先前的編碼模式選擇。被使用來為目標(biāo)圖像部分中的每一個(gè)選擇編碼模式的失真估計(jì)是基于來自差錯(cuò)傳播失真映射的相對應(yīng)的部分，并且該相對應(yīng)的部分被約束成與目標(biāo)圖像部分協(xié)同定位。
【專利說明】基于低復(fù)雜度差錯(cuò)傳播追蹤的速率失真優(yōu)化的視頻編碼模式選擇
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及當(dāng)選擇用于對視頻信號的各部分編碼的編碼模式時(shí)，權(quán)衡在比特率和失真之間的折衷。
【背景技術(shù)】
[0002]在圖1a中示意性地圖示了將被編碼的視頻數(shù)據(jù)流。所述流包括多個(gè)幀(F)，每一幀代表在不同的相應(yīng)時(shí)刻的視頻圖像。正如本領(lǐng)域技術(shù)人員所熟知的，出于編碼的目的，每一幀(F)都被劃分成一些部分，并且每個(gè)部分還可以被再分成更小的子部分，每個(gè)部分或子部分包括多個(gè)像素。例如，根據(jù)一種專門名詞，要被編碼的視頻流的每一幀被劃分成宏塊(MB)并且每個(gè)宏塊被再分成塊或子塊(b)，每個(gè)塊或子塊包括多個(gè)像素。每一幀還可以劃分成可獨(dú)立解碼的片段(S)，每一片段包括一個(gè)或多個(gè)宏塊。注意在圖1a中示出的劃分僅僅是出于圖示目的的示意性的，并且應(yīng)理解這些并不必然地意味對應(yīng)于任何實(shí)際的編碼方案一例如，每一幀都可能含有更大數(shù)目的宏塊。
[0003]在圖2的框圖中示意性地圖示了在其中可以運(yùn)用視頻編碼的示例性通信系統(tǒng)。該通信系統(tǒng)包括第一發(fā)送終端12和第二接收終端22。例如，每個(gè)終端12、22可以包括移動(dòng)電話或智能電話、平板電腦、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)，或諸如電視機(jī)、機(jī)頂盒、立體音響系統(tǒng)等等的其它家用電器。第一和第二終端12、22的每一個(gè)被可操作地耦合到通信系統(tǒng)32，并且第一發(fā)送終端12由此被安排成發(fā)送將由第二接收終端22接收的信號。當(dāng)然，發(fā)送終端12也可能能夠從接收終端22接收信號并且反之亦然，但是出于討論的目的，在本文中發(fā)送是從第一終端12的角度來描述，而接收是從第二終端22的角度來描述。通信網(wǎng)絡(luò)32可以包括例如基于分組的網(wǎng)絡(luò)(諸如廣域互聯(lián)網(wǎng)和/或局域網(wǎng))，和/或移動(dòng)蜂窩網(wǎng)絡(luò)。
[0004]第一終端12包括存儲(chǔ)介質(zhì)14，諸如閃速存儲(chǔ)器或其它電子存儲(chǔ)器、磁存儲(chǔ)設(shè)備和/或光存儲(chǔ)設(shè)備。第一終端12還包括:處理裝置16，其采取具有一個(gè)或多個(gè)核的CPU形式；收發(fā)器，諸如至少具有發(fā)送器18的有線或無線調(diào)制解調(diào)器；以及攝像機(jī)15，其可以被或可以不被罩在與終端12的其余部分相同的外殼內(nèi)。存儲(chǔ)介質(zhì)14、攝像機(jī)15和發(fā)送器18各自可操作地耦合到處理裝置16，并且發(fā)送器18可操作地經(jīng)由有線或無線鏈路被耦合到網(wǎng)絡(luò)32。類似地，第二終端22包括諸如電子的、磁的和/或光學(xué)的存儲(chǔ)設(shè)備的存儲(chǔ)介質(zhì)24 ；以及以具有一個(gè)或多個(gè)核的CPU形式的處理裝置26。第二終端包括收發(fā)器，諸如至少具有接收器28的有線或無線調(diào)制解調(diào)器；以及包括屏幕25，其可以被或可以不被罩在與終端22的其余部分相同的外殼內(nèi)。第二終端的存儲(chǔ)介質(zhì)24、屏幕25和接收器28各自可操作地耦合到相應(yīng)的處理裝置26，并且接收器28可操作地經(jīng)由有線或無線鏈路被耦合到網(wǎng)絡(luò)32。
[0005]在第一終端12上的存儲(chǔ)介質(zhì)14至少存儲(chǔ)被安排成在處理裝置16上執(zhí)行的視頻編碼器。當(dāng)被執(zhí)行時(shí)，該編碼器從攝像機(jī)15接收“未加工的”(未編碼的)輸入視頻流，編碼該視頻流以便將它壓縮成較低比特率流，并且輸出已編碼的視頻流以用于經(jīng)由發(fā)送器18和通信網(wǎng)絡(luò)32發(fā)送到第二終端22的接收器28。在第二終端22上的存儲(chǔ)介質(zhì)至少存儲(chǔ)被安排成在它自身的處理裝置26上執(zhí)行的視頻解碼器。當(dāng)被執(zhí)行時(shí)，該解碼器從接收器28接收已編碼的視頻流，并且將它解碼以用于輸出到屏幕25?？梢员挥脕碇妇幋a器和/或解碼器的通用術(shù)語是編解碼器。
[0006]視頻編解碼器的目的是降低發(fā)送視頻信號所需要的比特率，同時(shí)保持可能的最高質(zhì)量。這個(gè)目的通過利用統(tǒng)計(jì)學(xué)的冗余(在視頻信號中的相似性)和感知的不相干(涉及人類視覺系統(tǒng)的敏感性)來實(shí)現(xiàn)。
[0007]當(dāng)今的視頻編解碼器中的大多數(shù)是基于這樣的一種體系結(jié)構(gòu)，其包含從其它像素塊的對像素塊的預(yù)測、預(yù)測殘差的變換、變換系數(shù)的量化和量化索引的熵編碼。這些步驟有助于降低冗余和不相干。
[0008]參考下面的文獻(xiàn):
[1]ITU-T，推薦標(biāo)準(zhǔn)H.264，“用于通用視聽服務(wù)的增強(qiáng)視頻編碼”，2007 ；
[2]Zhang 等人在 2004 年 Proc.1EEE International Conference on ImageProcessing (IEEE有關(guān)圖像處理的國際會(huì)議論文集)第163-166頁的“Error resiliencevideo coding in H.264 encoder with potential distortion tracking (在具有潛在失真追蹤的H.264編碼器中的差錯(cuò)恢復(fù)視頻編碼)”；
預(yù)測典型地可以從在除了當(dāng)前幀之外的視頻幀中的像素(幀間預(yù)測)和從在相同幀中的像素(幀內(nèi)預(yù)測)執(zhí)行。也就是說，如果使用幀內(nèi)編碼來編碼，則塊、子塊或幀的其它部分(目標(biāo)塊或部分)相對于在相同幀中的另一個(gè)塊、子塊或圖像部分(參考塊或部分)進(jìn)行編碼；以及如果使用幀間編碼來編碼，則目標(biāo)塊或部分相對于在另一幀中的參考塊或部分進(jìn)行編碼。該過程通常被稱作預(yù)測或預(yù)測編碼。幀間或幀內(nèi)預(yù)測模塊將因此產(chǎn)生預(yù)測，例如在幀內(nèi)編碼的情況下以相鄰塊或子塊的指示的形式，和/或在幀間編碼的情況下以運(yùn)動(dòng)向量的形式。典型地編碼器還產(chǎn)生代表在被預(yù)測的塊和實(shí)際的塊(或被預(yù)測的子塊和實(shí)際的子塊等等)之間的“剩余”差異的殘差信號。與幀內(nèi)預(yù)測相關(guān)聯(lián)的殘差、運(yùn)動(dòng)向量和任何需要的數(shù)據(jù)然后被輸出到編碼的視頻流中，典型地經(jīng)由諸如量化器和熵編碼器之類的另外的編碼級。因此在視頻中的大多數(shù)塊可以依據(jù)塊之間的差異被編碼，這與編碼絕對像素值相比需要更少的比特來編碼，并且因此節(jié)省了比特率。幀內(nèi)預(yù)測編碼典型地比幀間預(yù)測需要更多的比特，然而仍然表現(xiàn)出優(yōu)于對絕對值編碼的節(jié)省。用于視頻的適合的幀間和幀內(nèi)編碼技術(shù)的細(xì)節(jié)對本領(lǐng)域技術(shù)人員來說會(huì)是熟知的。
[0009]現(xiàn)代的編解碼器允許針對幀內(nèi)的不同部分使用不同的預(yù)測編碼模式。具有不同編碼選項(xiàng)的可能性增加了視頻編解碼器的速率失真效率。不得不針對每個(gè)幀區(qū)域?qū)ふ易罴训木幋a表示。典型地，這樣的區(qū)域是例如16X16像素的宏塊，S卩，因此有可能單獨(dú)為每個(gè)宏塊選擇幀內(nèi)預(yù)測或幀間預(yù)測模式，使得在相同幀內(nèi)的不同宏塊可以用不同模式編碼。在一些編解碼器中還有可能基于宏塊的分區(qū)的不同級別而使用不同的模式，例如，在較高復(fù)雜度模式或較低復(fù)雜度模式之間進(jìn)行選擇，其中較高復(fù)雜度模式為宏塊內(nèi)的每個(gè)4X4子塊執(zhí)行單獨(dú)的預(yù)測，而較低復(fù)雜度模式僅基于8X8或8X 16塊或甚至全部宏塊執(zhí)行預(yù)測?？捎玫哪Ｊ竭€可以包含用于執(zhí)行預(yù)測的不同選項(xiàng)。例如像在圖1b中示意性圖示的，在一種幀內(nèi)模式中4X4子塊(b)的像素可以通過從來自緊接在上方的子塊的相鄰像素向下外推來確定，或者通過從緊接在左面的子塊側(cè)向外推來確定。被稱作“跳過模式”的另一種特殊預(yù)測模式也可以被提供在一些編解碼器中，其可以被看作是幀間模式的可替換類型。在跳過模式(PSkip)中基于頂部和左側(cè)的運(yùn)動(dòng)向量來推斷目標(biāo)的運(yùn)動(dòng)向量，并且不存在殘差系數(shù)的編碼。運(yùn)動(dòng)向量被推斷的方式與運(yùn)動(dòng)向量預(yù)測一致，于是運(yùn)動(dòng)向量差是零，并且因此僅需要發(fā)信號通知:該宏塊是跳過塊。
[0010]圖3是示意性地圖示諸如可被實(shí)施在發(fā)送終端12上的編碼器的高級別框圖。該編碼器包括:離散余弦變換(DCT)模塊51、量化器53、反變換模塊61、逆量化器63、幀內(nèi)預(yù)測模塊41、幀間預(yù)測模塊43以及減法級(_)。該編碼器還包括交換器47和模式選擇模塊49。每個(gè)模塊優(yōu)選地被實(shí)施為代碼的一部分，所述代碼被存儲(chǔ)在發(fā)送終端的存儲(chǔ)介質(zhì)14上并且被安排用于在它的處理裝置16上執(zhí)行，然而不排除這些模塊中的一些或所有模塊被全部地或部分地實(shí)施在專用硬件電路中的可能性。
[0011]交換器47和模式選擇模塊49中的每一個(gè)被安排成接收包括多個(gè)宏塊MB的輸入視頻流的實(shí)例。模式選擇模塊49被安排成為每個(gè)宏塊選擇編碼模式“?！?，并且它可操作地耦合到復(fù)用器47以便控制其按適于所選擇的模式那樣將逆量化器63的輸出傳遞到或是幀內(nèi)預(yù)測模塊41或是幀間預(yù)測模塊43的輸入。模式選擇模塊49還可以被安排成向相關(guān)的預(yù)測模塊41、43指示所選擇的模式”(例如指示4X4分區(qū)模式、8X8模式、跳過模式等等)，并且從預(yù)測模塊41、43接收反饋的信息以用于選擇針對下一幀的模式。幀內(nèi)預(yù)測模塊41或幀間預(yù)測模塊43的輸出然后被耦合到減法級(_)的輸入上，所述減法級被安排成在它的其它輸入處接收未編碼的輸入視頻流并且從它們的未編碼副本中減去所預(yù)測的塊，從而產(chǎn)生殘差信號。殘差塊隨后被傳遞通過變換(DCT)模塊51 (在這里它們的殘差值被轉(zhuǎn)換到頻域中)，然后被傳遞到量化器53，在這里所變換的值被轉(zhuǎn)換成離散的量化索引。經(jīng)量化、變換的信號被通過逆量化器63和反變換模塊61反饋來產(chǎn)生塊或子塊的預(yù)測版本(如將在解碼器處看到的)，以供所選擇的預(yù)測模塊41、43使用。被使用在預(yù)測模塊41、43中的預(yù)測的指示、由幀間預(yù)測模塊43所產(chǎn)生的運(yùn)動(dòng)向量、以及由變換和量化模塊51、53產(chǎn)生的殘差的被量化、變換的索引，都被輸出以用于包含在已編碼的視頻流中；典型地經(jīng)由諸如熵編碼器之類的另外的、無損的編碼級(未示出)，其中預(yù)測值和被變換、量化的索引可以通過使用本領(lǐng)域已知的無損編碼技術(shù)被進(jìn)一步壓縮。
[0012]根據(jù)上文，編碼表示可以因此包含塊分區(qū)信息、預(yù)測模式、運(yùn)動(dòng)向量、量化精確度等等。最佳的編碼選項(xiàng)取決于視頻內(nèi)容、比特率、較早的編碼判決等等。變換系數(shù)的量化的精確度典型地被選擇成滿足比特率約束。此外，失真應(yīng)當(dāng)被最小化。
[0013]例如，H.264視頻編碼器提供了在選擇預(yù)測模式中的巨大靈活性[I]。對于亮度分量的幀間預(yù)測，16X16像素的宏塊可以被表示為16X16像素的一個(gè)塊，或者16X8像素的兩個(gè)塊，或者8X16像素的兩個(gè)塊，或者8X8像素的四個(gè)塊。此外，8X8的塊可以被表示為8X8像素的一個(gè)塊,或者8X4像素的兩個(gè)子塊,或者4X8像素的兩個(gè)子塊,或者4X4像素的四個(gè)子塊。幀間預(yù)測被嘗試用于宏塊的每個(gè)允許的分區(qū)。塊的幀間預(yù)測通過索引(多個(gè))參考幀和(多個(gè))運(yùn)動(dòng)向量(從相應(yīng)參考幀中的參考塊的空間位移)來表示，其典型地用子像素精度來估計(jì)。對于亮度分量的幀內(nèi)預(yù)測，存在用于16X16的塊的四種可能的模式和用于4X4的子塊的九種可能的模式。此外，存在用于色度分量的四種可能的模式。通過比較幀間和幀內(nèi)預(yù)測模式的性能來選擇最好的預(yù)測模式。
[0014]諸如H.264 AVC[1]之類的視頻編解碼器的速率失真性能在很大程度上取決于宏塊模式選擇的性能。也就是下述的過程，即:確定就速率失真折衷而言，宏塊是否使用例如幀內(nèi)模式或幀間模式被最好地編碼。從魯棒性的角度來看，幀內(nèi)編碼的宏塊是有益的，因?yàn)樗鼈冏柚箷r(shí)間差錯(cuò)傳播(假設(shè)使用受約束的幀內(nèi)預(yù)測，即從幀間預(yù)測的宏塊進(jìn)行幀內(nèi)預(yù)測是被禁止的)。然而，幀內(nèi)編碼的宏塊一般來說就速率而言相比于幀間編碼的宏塊是更昂貴的，并且因此重要的是系統(tǒng)地引入幀內(nèi)編碼的宏塊，以使得在給定某一比特預(yù)算和信道條件的情況下在解碼器處的失真(例如平均失真)被最小化。Zhang等人[2]提出了這樣的系統(tǒng)框架來基于在解碼器處預(yù)期的平均的、差的平方和(SSD)的最小化而引入幀內(nèi)編碼的宏塊。通過追蹤潛在失真，Zhang等人能夠計(jì)算涉及預(yù)期差錯(cuò)傳播失真(在解碼器處)的偏項(xiàng)(bias term)，該偏項(xiàng)在計(jì)算用于編碼器速率失真環(huán)路內(nèi)的宏塊間的成本時(shí)被添加到源編碼失真。
[0015]可以依據(jù)在比特率約束R下最小化失真來用公式表示速率失真性能優(yōu)化問題。拉格朗日優(yōu)化框架常常被用來解決該問題，根據(jù)它優(yōu)化準(zhǔn)則可以用公式表示為:
【權(quán)利要求】
1.一種編碼包括多個(gè)幀的視頻流的方法，該方法包括: 針對在幀中要被編碼的多個(gè)目標(biāo)圖像部分中的每一個(gè)，通過優(yōu)化包括針對目標(biāo)圖像部分的失真的估計(jì)和編碼該目標(biāo)圖像部分所要求的比特率的量度的函數(shù)，來選擇一組編碼模式中的優(yōu)選的一個(gè)，并且使用所選擇的編碼模式將該目標(biāo)圖像部分編碼到編碼的視頻流中； 在有損的信道上發(fā)送已編碼的視頻流；以及 保持包括映射到相應(yīng)幀分區(qū)的多個(gè)差錯(cuò)傳播失真值的差錯(cuò)傳播失真映射，所述差錯(cuò)傳播失真值是基于先前的編碼模式選擇； 其中被使用來為目標(biāo)圖像部分中的每一個(gè)選擇編碼模式的失真估計(jì)是基于來自差錯(cuò)傳播失真映射的相對應(yīng)的部分；并且 其中所述相對應(yīng)的部分被約束成與該目標(biāo)圖像部分協(xié)同定位。
2.一種用于編碼包括多個(gè)幀的視頻流的裝置，該裝置包括: 編碼器，其被安排成針對在幀中要被編碼的多個(gè)目標(biāo)圖像部分中的每一個(gè)，通過優(yōu)化包括針對目標(biāo)圖像部分的失真的估計(jì)和編碼該目標(biāo)圖像部分所要求的比特率的量度的函數(shù)，來選擇一組編碼模式中的優(yōu)選的一個(gè)，并且使用所選擇的編碼模式將該目標(biāo)圖像部分編碼到編碼的視頻流中；以及 發(fā)送器，其用于在有損的信道上發(fā)送已編碼的視頻流；并且 其中該編碼器被配置成保持包括映射到相應(yīng)幀分區(qū)的多個(gè)差錯(cuò)傳播失真值的差錯(cuò)傳播失真映射，該差錯(cuò)傳播失真值是基于先前的編碼模式選擇，并且被使用來為目標(biāo)圖像部分中的每一個(gè)選擇編碼模式的失真估計(jì)是基于來自差錯(cuò)傳播失真映射的相對應(yīng)的部分；并且其中該編碼器被配置成將所述相對應(yīng)的部分約束成與該目標(biāo)圖像部分協(xié)同定位。
3.權(quán)利要求1的方法或權(quán)利要求2的裝置，在針對目標(biāo)圖像部分的編碼模式選擇之后更新差錯(cuò)傳播失真映射，并且使用更新的映射來為目標(biāo)圖像部分中的每一個(gè)確定后續(xù)編碼模式選擇；并且 其中，相對于其中相對應(yīng)的部分是基于來自多個(gè)所述幀分區(qū)的差錯(cuò)傳播失真值的加權(quán)和的情況而言，作為所述約束的結(jié)果，差錯(cuò)傳播映射的更新包括較低復(fù)雜度的計(jì)算。
4.權(quán)利要求1、2或3的方法或裝置，其中所述幀分區(qū)的每一個(gè)與目標(biāo)圖像部分中的相應(yīng)的一個(gè)尺寸相同，以使得所述相對應(yīng)的部分是所述幀分區(qū)中的一個(gè)。
5.前述任一項(xiàng)權(quán)利要求的方法或裝置，其中差錯(cuò)傳播映射按每個(gè)幀分區(qū)保持僅一個(gè)差錯(cuò)傳播失真值。
6.權(quán)利要求4或5的方法或裝置，其中失真的估計(jì)是基于所述幀分區(qū)中的僅僅協(xié)同定位的那個(gè)幀分區(qū)的差錯(cuò)傳播失真值。
7.前述任一項(xiàng)權(quán)利要求的方法或裝置，其中失真的估計(jì)包括代表源編碼失真的第一項(xiàng)，以及代表由于在所述信道上的丟失而將經(jīng)歷的失真的估計(jì)的偏項(xiàng)；其中該偏項(xiàng)被設(shè)定成等于針對相對應(yīng)的協(xié)同定位的部分的差錯(cuò)傳播失真值。
8.權(quán)利要求7的方法或裝置，其中為了保持差錯(cuò)傳播失真映射，針對當(dāng)前幀的幀分區(qū)的差錯(cuò)傳播失真值是基于來自針對在前幀中的該幀分區(qū)的差錯(cuò)傳播失真值的貢獻(xiàn)，以及基于代表由于在所述信道上丟失的事件中的隱藏而將經(jīng)歷的失真的估計(jì)的貢獻(xiàn)。
9.權(quán)利要求8的方法，其中分組將在信道上被丟失的概率P被確定并且:其中
10.一種用于編碼包括多個(gè)幀的視頻流的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品被體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上并且包括代碼，所述代碼被配置成使得當(dāng)其被執(zhí)行時(shí)完成根據(jù)權(quán)利要求I和權(quán)利要求3到9中的任一項(xiàng)的方法的操作。
【文檔編號】H04N19/89GK103733621SQ201280040401
【公開日】2014年4月16日 申請日期:2012年8月17日 優(yōu)先權(quán)日:2011年8月19日
【發(fā)明者】M.尼爾森, R.瓦芬, S.V.安德森 申請人:微軟公司