用于確定用于空間可縮放視頻編解碼器的預(yù)測(cè)塊的方法
【專利說(shuō)明】用于確定用于空間可縮放視頻編解碼器的預(yù)測(cè)塊的方法
【背景技術(shù)】
[0001] 本發(fā)明涉及一種用于從第二低分辨率層圖像的塊確定第一高分辨率層圖象的預(yù) 測(cè)塊的方法，并且涉及一種用于在不同的分辨率塊之間進(jìn)行代碼轉(zhuǎn)換的空間可縮放視頻編 解碼器。
[0002] 由于現(xiàn)代視頻廣播和電話會(huì)議系統(tǒng)迅速擴(kuò)展，可以使用各種視頻啟用設(shè)備，從低 成本的移動(dòng)電話到高端HDTV遠(yuǎn)程呈現(xiàn)終端，因此出現(xiàn)了解決分辨率可縮放視頻流的需要。 雖然高性能HDTV視頻終端能夠?qū)崟r(shí)解碼和播放高清晰度視頻流，但移動(dòng)設(shè)備經(jīng)常在使得 此類設(shè)備的標(biāo)準(zhǔn)清晰度（SD)分辨率最佳的顯示分辨率和計(jì)算資源兩方面受到限制。針對(duì) 這個(gè)問(wèn)題的廣泛使用的解決方案之一是視頻轉(zhuǎn)碼。專用轉(zhuǎn)碼服務(wù)器解碼傳入的高分辨率視 頻流，將其重新縮放至較低分辨率，然后編碼重新縮放后視頻序列以產(chǎn)生用于發(fā)送至低性 能客戶的視頻流。這種解決方案嚴(yán)重地受到轉(zhuǎn)碼過(guò)程的高計(jì)算復(fù)雜性的不利影響，尤其是 在多視頻流處理的情況下，這種情況需要將昂貴的高性能轉(zhuǎn)碼服務(wù)器集成至廣播或電話會(huì) 議系統(tǒng)中，從而顯著增加了系統(tǒng)構(gòu)建成本和維護(hù)成本。轉(zhuǎn)碼解決方案的其它缺點(diǎn)是由有損 視頻編碼算法引入的圖像質(zhì)量劣化的累積。較低分辨率視頻流是從已經(jīng)由于有損視頻編碼 偽像而發(fā)生失真的解碼后高分辨率數(shù)據(jù)流（而不是在轉(zhuǎn)碼服務(wù)器上不可用的原始無(wú)失真 視頻序列），所以第二編碼階段增加了甚至更多的編碼失真。
[0003] -種更精妙的解決方案來(lái)自于可縮放視頻編解碼器，如H. 263+和H. 264/SVC。編 碼為若干不同的分辨率的操作由在視頻流源設(shè)備上操作的視頻編碼器執(zhí)行，使得發(fā)送至 視頻廣播或電話會(huì)議服務(wù)器的視頻流確實(shí)已經(jīng)包含了嵌入為可縮放層的所有所需要的分 辨率，并且服務(wù)器只需要向每個(gè)視頻客戶端發(fā)送最適合客戶端的性能和能力的適當(dāng)層數(shù)據(jù) (或者廣播所有層的數(shù)據(jù)，使得每個(gè)客戶端將自己提取最合適的層）。因?yàn)榭煽s放層的調(diào)度 是比多信道視頻流的轉(zhuǎn)碼計(jì)算密集性小得多的任務(wù)，因此廣播/電話會(huì)議服務(wù)器的成本大 幅降低。此外，這種解決方案提供了一種良好的網(wǎng)絡(luò)包丟失保護(hù)手段。如果包含較高分辨率 層數(shù)據(jù)的包在網(wǎng)絡(luò)傳輸過(guò)程中丟失，那么接收器仍然可以解碼和顯示較低分辨率圖像，從 而避免圖像凍結(jié)或破壞，這是在易錯(cuò)網(wǎng)絡(luò)中使用的許多視頻編解碼器的共同問(wèn)題。另外，由 于不同層的不相等的重要性，例如基本層比增強(qiáng)層更為重要，可以使用高效的不等FEC技 術(shù)來(lái)改善包丟失保護(hù)，同時(shí)保持FEC額外數(shù)據(jù)開(kāi)銷較低。
[0004]同時(shí)，這種解決方案仍然存在兩個(gè)嚴(yán)重的缺點(diǎn)。它通過(guò)多分辨率編碼計(jì)算在視頻 源設(shè)備之間的分配從服務(wù)器移除了難以應(yīng)對(duì)的轉(zhuǎn)碼負(fù)擔(dān)，這提高了這些設(shè)備上的計(jì)算和存 儲(chǔ)資源利用率。由于根據(jù)受約束的比特率預(yù)算對(duì)若干個(gè)視頻序列進(jìn)行編碼（以不同分辨率 表示同一移動(dòng)圖像）而該比特率預(yù)算否則可能僅由最高分辨率視頻序列更高效地利用，因 此觀察到編碼效率的顯著惡化。
[0005] 為了減輕上述問(wèn)題，現(xiàn)代可縮放視頻編解碼器標(biāo)準(zhǔn)引入了層間預(yù)測(cè)編碼模式。較 高分辨率層幀的每個(gè)宏塊可以使用放大后較低分辨率層幀的并置宏塊進(jìn)行預(yù)測(cè)，而不是使 用同一幀的相鄰宏塊（如在幀內(nèi)預(yù)測(cè)中那樣）或同一層的參考幀（如在幀間預(yù)測(cè)中那樣）。 層間預(yù)測(cè)有助于減輕這兩個(gè)問(wèn)題。它不要求針對(duì)較高分辨率層的計(jì)算密集型運(yùn)動(dòng)估計(jì)程 序，因?yàn)樗褂迷诜糯蠛筝^低分辨率幀中與正在編碼的宏塊位置相同的預(yù)測(cè)宏塊。從同一 圖像的較低分辨率版本預(yù)測(cè)較高分辨率圖像有助于降低由于編碼同一圖像的若干版本而 引入的信息性冗余，并因此提高了編碼效率。
[0006] 但層間預(yù)測(cè)仍然無(wú)法完全解決編碼效率惡化的問(wèn)題。即使是在使用層間編碼時(shí)， 多層空間可縮放性編解碼器的編碼效率也比單層編解碼器的編碼效率差高達(dá)20%。因此， 提高多層空間可縮放性編解碼器的編碼效率對(duì)于使得基于可縮放編解碼器的廣播/電話 會(huì)議系統(tǒng)具有成本效益而言是一個(gè)重要問(wèn)題。
[0007] 現(xiàn)代的用于空間可縮放性視頻編解碼器的層間預(yù)測(cè)算法應(yīng)滿足以下要求：算法應(yīng) 使預(yù)測(cè)殘差信號(hào)最小化以便提供更好的編碼效率改進(jìn)。算法應(yīng)使最佳預(yù)測(cè)參數(shù)搜索（如果 有的話）的計(jì)算復(fù)雜性和存儲(chǔ)器要求最小化。如果涉及計(jì)算密集型最佳預(yù)測(cè)參數(shù)搜索，那 么算法應(yīng)為靈活的質(zhì)量性能權(quán)衡提供手段。算法應(yīng)使解碼復(fù)雜性增加很少。算法應(yīng)允許簡(jiǎn) 單且無(wú)縫地集成至現(xiàn)有的可縮放視頻編解碼器架構(gòu)和基礎(chǔ)設(shè)施中。
[0008] 如ITU-T建議第102至114頁(yè)的H. 263 : "用于低比特率通信的視頻編碼"描述以 及如圖10描繪的較舊的空間可縮放性啟用編解碼器H.263+(Annex0)僅通過(guò)對(duì)較低分辨 率層信號(hào)的重構(gòu)樣本進(jìn)行上采樣來(lái)執(zhí)行層間預(yù)測(cè)。低分辨率圖像1204是通過(guò)縮小1201高 分辨率圖像1202而獲得的。低分辨率圖像1204被編碼且重構(gòu)1203以獲得低分辨率的SVC 基本層圖像1206,低分辨率的SVC基本層圖像1206被放大1205成高分辨率的放大后SVC 基本層圖像1208。向該放大后SVC基本層圖像1208應(yīng)用層間空間預(yù)測(cè)1207以重構(gòu)高分辨 率的原始SVC空間層圖像1202。
[0009] 現(xiàn)有技術(shù)的可縮放視頻編解碼器標(biāo)準(zhǔn)H. 264/SVC另外規(guī)定了層間運(yùn)動(dòng)預(yù)測(cè)模式， 其中較高分辨率層的運(yùn)動(dòng)參數(shù)（參考索引、分區(qū)數(shù)據(jù)、運(yùn)動(dòng)矢量）使用較低分辨率層的放 大后運(yùn)動(dòng)參數(shù)進(jìn)行預(yù)測(cè)或?qū)С?，以及層間殘差預(yù)測(cè)模式，其中較高分辨率層的殘差信號(hào)使 用較低分辨率層的放大后殘差信號(hào)進(jìn)行預(yù)測(cè)，如由T.Wiegand、G.Sullivan、J.Reichel、 H.Schwarz、M.Wien在"聯(lián)合草案ITU-T建議H. 264 |IS0/IEC14496-10/Amd. 3 可縮放視頻 編碼"第380至562頁(yè)所描述的。
[0010] 然而，這些層間預(yù)測(cè)模式存在以下問(wèn)題：從用于包含不同邊緣的區(qū)域的放大后較 低分辨率信號(hào)預(yù)測(cè)較高分辨率信號(hào)由于以下事實(shí)而效率較低，即這些邊緣在已在使用縮小 后原始較高分辨率圖像作為輸入數(shù)據(jù)的較低分辨率層編碼器中被縮小并且隨后在使用放 大后重構(gòu)后較低分辨率層數(shù)據(jù)作為預(yù)測(cè)值的較高分辨率層編碼器中被放大回來(lái)之后變得 模糊。因此，層間預(yù)測(cè)為此類區(qū)域生成高能量的殘差信號(hào)，這或者通過(guò)降低質(zhì)量以便適合受 約束的比特率或者如果保持質(zhì)量的話通過(guò)提高比特率而使編碼效率惡化。
[0011] 已作出以下描述的一些努力來(lái)改進(jìn)可縮放編碼。如在C.A.Segall和S. _M.Lei 的第7876833號(hào)美國(guó)專利"用于針對(duì)空間可縮放編碼的自適應(yīng)放大的方法和裝置（Method andapparatusforadaptiveup-scalingforspatiallyscalablecoding) ''中所描述 的，選擇性使用針對(duì)局部圖像性質(zhì)自適應(yīng)的不同上采樣過(guò)濾器提高了層間預(yù)測(cè)效率。該方 法增強(qiáng)了H. 264/SVC標(biāo)準(zhǔn)所規(guī)定的具有幾個(gè)計(jì)算上較簡(jiǎn)單的過(guò)濾器的當(dāng)前六抽頭放大過(guò) 濾器，這種放大過(guò)濾器具有可以改進(jìn)針對(duì)平滑圖像區(qū)域的預(yù)測(cè)但沒(méi)有改進(jìn)邊緣脆性，并且 因此沒(méi)有提供針對(duì)包含不同邊緣的區(qū)域的任何編碼效率提高。
[0012] 如在第18屆結(jié)合圖像處理的IEEE國(guó)際會(huì)議中"D.Grois和0.Hadar的"用于針對(duì) 動(dòng)態(tài)過(guò)渡區(qū)域的ROI可縮放視頻編碼的復(fù)雜性感知自適應(yīng)空間預(yù)處理（Complexity-aware adaptivespatialpre-processingforROIscalablevideocodingwithdynamic transitionregion) "中所描述的，圖像的不太重要的背景區(qū)域的自適應(yīng)平滑化降低了此 類區(qū)域所消耗的比特預(yù)算，從而為更為重要的感興趣區(qū)域節(jié)約了比特。該方法移除了被視 為不必要或不重要的圖像細(xì)節(jié)，這并不總是可取的，尤其是對(duì)于應(yīng)該保留圖像脆性的情況。 此外，該方法要求預(yù)處理階段識(shí)別圖像中的R0I(感興趣區(qū)域），這通常涉及復(fù)雜的計(jì)算機(jī) 視覺(jué)技術(shù)，因而顯著增加了整個(gè)系統(tǒng)的計(jì)算復(fù)雜性。
[0013] 如在2005年7月24至29日波蘭波茲南的聯(lián)合視頻工作組第16次會(huì)議的文檔 JVT-P085中W.-J.Han的"用于單環(huán)路解碼的平滑化后參考預(yù)測(cè)（Smoothedreference predictionforsingle-loopdecoding)"中所描述的，層間殘差預(yù)測(cè)模式中的預(yù)測(cè)信號(hào)的 平滑化補(bǔ)償了單環(huán)路解碼方法所施加的約束，并且實(shí)現(xiàn)了針對(duì)該特定方法的更好的層間預(yù) 測(cè)。該方法只對(duì)單環(huán)路解碼方法這種特定情況有意義，在更一般的情況下并沒(méi)有實(shí)際用途。
[0014] 如在2003年關(guān)于多媒體和博覽會(huì)的國(guó)際會(huì)議論文集中Y.Yang和L.Boroczky的 "用于MPEG-2編碼視頻的聯(lián)合分辨率增強(qiáng)和偽像減少（Jointresolutionenhancement andartifactreductionforMPEG_2encodeddigitalvideo)"中所描述的，用于MPEG-2 編碼視頻的聯(lián)合分辨率增強(qiáng)和偽像減少被應(yīng)用于在高清晰度監(jiān)視器上顯示較低分辨率圖 像。在該方法中，銳度增強(qiáng)被應(yīng)用于解碼器處的解碼后圖像，其中正在預(yù)測(cè)的原始圖像不可 用。因此，這種方法缺少選擇最佳銳度增強(qiáng)參數(shù)以便實(shí)現(xiàn)最佳預(yù)測(cè)效率的能力，并且沒(méi)有提 供針對(duì)編碼器側(cè)的編碼效率改進(jìn)。
[0015] 如在1999年關(guān)于甚低比特率視頻編碼的國(guó)際研討會(huì)論文集中E.Asbun,P.S