專利名稱：幀序列的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻壓縮，更具體地說，涉及一種利用三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法，所述編碼涉及應(yīng)用于3D時(shí)空數(shù)據(jù)的空間和時(shí)間濾波步驟，其中3D時(shí)空數(shù)據(jù)對(duì)應(yīng)于所述被視為3D量的幀序列，僅在各級(jí)時(shí)間分解上的低頻時(shí)間子帶中對(duì)各組的幀實(shí)現(xiàn)了基于塊的運(yùn)動(dòng)估計(jì)和補(bǔ)償運(yùn)算之后，才將所述分解應(yīng)用于這些連續(xù)的幀組；并且該補(bǔ)償運(yùn)算導(dǎo)致在過濾像素中產(chǎn)生雙連接像素，這些雙連接像素對(duì)應(yīng)于當(dāng)前幀中運(yùn)動(dòng)期間成為未覆蓋的基準(zhǔn)幀的區(qū)域。
多媒體應(yīng)用的最新發(fā)展以及對(duì)在多機(jī)種網(wǎng)絡(luò)上傳送壓縮比特流的需要已導(dǎo)致把可縮放性看作視頻編碼器的一個(gè)極為重要的特性。三維(3D)小波分解提供了自然的空間分辯率和幀速率的可縮放性。嵌入編碼算法，如在例如B.-J.Kim和W.A.Pearlman的“利用三維分級(jí)樹中集合分割(SPIHT)的內(nèi)嵌小波視頻編碼器”(Proceedings of DataCompressin Conference，Snowbird，USA，March 25-27，1997，pp.251-260)中所述的3D SPIHT算法，該算法通過采用對(duì)多級(jí)樹中系數(shù)的徹底掃描以及位平面編碼，產(chǎn)生所希望的SNR可縮放性。應(yīng)用于幀序列的全局編碼/解碼方案可包括沿連續(xù)幀之間運(yùn)動(dòng)方向的時(shí)域多分辨率分析法，以便考慮較大位移(更準(zhǔn)確地說，在每個(gè)分辯率等級(jí)對(duì)進(jìn)行了運(yùn)動(dòng)補(bǔ)償后的幀應(yīng)用哈爾(Haar)濾波)，所述時(shí)域分析法之后是對(duì)所得到的時(shí)間子帶的空間多分辯率分析。編碼方法是上下文算術(shù)編碼器所遵循的改進(jìn)3D SPIHT。通過這種方法，在時(shí)間和空間分辯率以及在質(zhì)量上實(shí)現(xiàn)了可縮放性。
然而，盡管針對(duì)可縮放編碼算法以及空間小波變換的可能改進(jìn)進(jìn)行了一些工作，但在3D分解中所用的時(shí)間小波變換的特殊性的開發(fā)方面卻幾乎沒有成績(jī)。由于運(yùn)動(dòng)估計(jì)步驟而使時(shí)間小波變換本身是非線性的。在例如I.Daubechies和W.Sweldens的“將小波變換分解為提升(lifting)步驟”(Journal of Fourier Analysis applications，vol.4，N°3，1998，pp.247-269)中描述的所謂的提升方案提供了一種靈活的構(gòu)架來構(gòu)建小波變換(它在處理一維信號(hào)以及為圖像編碼或特征析取提供適當(dāng)分解方面的重要性已經(jīng)得到證明)。這種方案的優(yōu)點(diǎn)在于復(fù)雜度(“就地”計(jì)算)和附加功能兩個(gè)方面不僅可以用這種形式表達(dá)每個(gè)線性小波分解，而且它還允許在預(yù)測(cè)更新步驟中引入非線性運(yùn)算符。
與時(shí)域多分辯率分析法有關(guān)的重要問題是時(shí)間濾波長(zhǎng)度的選擇長(zhǎng)濾波更有利地利用了連續(xù)幀之間存在的時(shí)間相關(guān)性。不過，在J.R.Ohm的“具有運(yùn)動(dòng)補(bǔ)償?shù)娜S子帶編碼”(IEEE Transactions onImage Processing，vol.3，no.5，1994，pp.559-571)中表明，所述長(zhǎng)濾波確實(shí)模糊了運(yùn)動(dòng)并增加了緩沖存儲(chǔ)器的要求(對(duì)應(yīng)于濾波長(zhǎng)度)以及解碼器側(cè)的重構(gòu)延遲，這一點(diǎn)在實(shí)時(shí)應(yīng)用中可能是不希望的。此外，執(zhí)行具有較長(zhǎng)濾波的時(shí)域分析并沒有顯著地提高編碼效率。因此，哈爾濾波更適合用于時(shí)間濾波。另外，當(dāng)哈爾濾波被用于時(shí)間分解時(shí)，由于用2進(jìn)行時(shí)間向下采樣，因而輸入序列中每?jī)蓚€(gè)幀才執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償(ME/MC)。通過在幾個(gè)分解等級(jí)對(duì)時(shí)間近似子帶重復(fù)進(jìn)行該過程，ME/MC運(yùn)算的總數(shù)與預(yù)測(cè)方案大致相同。
但是，運(yùn)動(dòng)補(bǔ)償時(shí)間濾波引起了雙連接或不連接像素的問題、即進(jìn)行了兩次濾波或根本沒有進(jìn)行濾波的像素的問題。S.J.Choi和J.W.Woods的“視頻的運(yùn)動(dòng)補(bǔ)償3D子帶編碼”(IEEE Trans.On ImageProcessing，vol.8，no.2，pp.155-164，F(xiàn)eb.1999)中提議了一種解決方案，這種方案可以在與當(dāng)前幀中的像素相同的位置上計(jì)算高通系數(shù)，以及將運(yùn)動(dòng)補(bǔ)償基準(zhǔn)幀中的共存像素理解為低通系數(shù)。在多連接像素的情況下，可能從上到下、從左到右掃描當(dāng)前幀，并可能為低通系數(shù)的計(jì)算考慮當(dāng)前幀中指向它的第一像素。盡管如此，它看來不是最佳策略。
在給定分辯率等級(jí)上，可以用H[m，n]表示時(shí)間高頻子帶中的像素，用L[m，n]表示低頻子帶中的像素，以及用(um，n，vm，n)表示與像素(m，n)相關(guān)的運(yùn)動(dòng)矢量的兩個(gè)分量。如果允許分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)，則運(yùn)動(dòng)矢量的整數(shù)部分將由(um，n，vm，n)表示。因此，在Choi的方法中，用于計(jì)算連接像素的高通及低通子帶的方程式如下所示(1)---H[m,n]=(B[m,n]-A~[m-um,n,n-vm,n])/2]]>(2)---L[m-u‾m,n,n-v‾m,n]=(B~[m-u‾m,n+um,n,n-v‾m,n+vm,n]+A[m-u‾m,n,n-v‾m,n])/2]]>其中， 表示場(chǎng)X的內(nèi)插值。對(duì)于未連接像素，和前面一樣得到高頻分量，而低頻值只是參考像素的換算值(3)---L[m,n]=A[m,n]·2]]>作為哈爾變換提升方案的特例，可能將運(yùn)動(dòng)方向中的時(shí)間低通濾波寫為(4)---L[m-u‾m,n,n-v‾m,n]=H~[m-u‾m,n+um,n,n-v‾m,n+vm,n]+2A[m-u‾m,n,n-v‾m,n]]]>綜合(1)來考慮，該等式能夠推導(dǎo)出用于時(shí)間哈爾提升中非線性運(yùn)算符P(預(yù)測(cè))和U(更新)的形式。可以看出，P是運(yùn)動(dòng)補(bǔ)償運(yùn)算符(C)，在分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)的情況下，其后進(jìn)行內(nèi)插(I)。同時(shí)，U可被確定為運(yùn)動(dòng)補(bǔ)償運(yùn)算符，它采用與P中相同的運(yùn)動(dòng)矢量，但符號(hào)相反，其后是一個(gè)內(nèi)插。結(jié)果，這些運(yùn)算將表示為P{.}＝I{C{.}}以及U{.}＝I{C{.}}以及(p，q)的位置(m-um，n，n-vm，n)。
采用這些符號(hào)表示法，連接像素的時(shí)域分析可以寫為H[m,n]12(B[m,n]-I{C{A[m,n]}})]]>L[p,q]=I{C‾{H[p,q]}}+A[p,q]·2]]>對(duì)于綜合部分，有(7)---A[p,q]=12(L[p,q]-I{C‾{H[p,q]}})]]>
對(duì)于連接像素(基準(zhǔn)幀中的未連接像素直接由上述式(3)得出)，以及(8)---B[m,n]=2H[m,n]+I{C{A[m,n]}}}]]>因此，本發(fā)明的第一目的是采用這種提升公式來修改更新運(yùn)算符，以便改善未覆蓋區(qū)的處理。
為此，本發(fā)明涉及一種在說明書的前言部分中定義的編碼方法，其特征還在于在雙連接像素的所述識(shí)別步驟之后判定步驟，該步驟基于最小化標(biāo)準(zhǔn)，提供所述最小化標(biāo)準(zhǔn)用于在當(dāng)前幀中挑選得到細(xì)目子帶(detail subband)的最低能量的像素，作為進(jìn)行時(shí)間濾波的基準(zhǔn)幀的雙連接像素，所考慮能量是高頻時(shí)間子帶中所述雙連接像素的平均能量，以及通過低通濾波運(yùn)算計(jì)算所述平均能量。
所提議的技術(shù)解決方案用于將基準(zhǔn)幀A中給定位置上的像素與當(dāng)前幀B中其最接近的值相關(guān)，該像素通過使細(xì)目子帶的能量最小而獲得。
在一個(gè)有利的特定實(shí)施例中，提供了所述最小化標(biāo)準(zhǔn)，用于將執(zhí)行與候選連接像素相關(guān)的運(yùn)動(dòng)矢量標(biāo)準(zhǔn)的最小化的第二標(biāo)準(zhǔn)與所述能量標(biāo)準(zhǔn)結(jié)合在一起。
在這種情況下，所述根據(jù)運(yùn)動(dòng)矢量標(biāo)準(zhǔn)的最小化標(biāo)準(zhǔn)可采用適用于所述標(biāo)準(zhǔn)的值的閾值，以便不考慮太大的運(yùn)動(dòng)矢量的優(yōu)化。
本發(fā)明的另一目的是采用提升公式來對(duì)更新運(yùn)算符進(jìn)行修改，以便減少與基于塊的運(yùn)動(dòng)補(bǔ)償有關(guān)的成塊人工信號(hào)。
為此，本發(fā)明涉及一種如上所定義的編碼方法，其中，所述3D分解的時(shí)間部分是時(shí)間小波變換，該變換包括以所謂提升方案為基礎(chǔ)的時(shí)間濾波，該方案包括在各分解等級(jí)依次地分離步驟、預(yù)測(cè)步驟以及更新步驟；所述方法的特征還在于所述時(shí)間濾波包括在預(yù)測(cè)步驟中利用基準(zhǔn)幀中相鄰窗口的像素的平均的重疊運(yùn)動(dòng)補(bǔ)償，以減少由基于塊的運(yùn)動(dòng)估計(jì)引起的成塊人工信號(hào)。
未連接及雙連接像素的問題與運(yùn)動(dòng)目標(biāo)所移去覆蓋的區(qū)域密切相關(guān)。實(shí)際上，考慮與時(shí)間T時(shí)某幀中的公共部分對(duì)應(yīng)而在時(shí)間T+ΔT時(shí)變得分開的兩個(gè)對(duì)象。在這種情況下，當(dāng)前幀中的兩個(gè)區(qū)域?qū)⑼ㄟ^運(yùn)動(dòng)補(bǔ)償而對(duì)應(yīng)基準(zhǔn)幀(或前幀)中的相同區(qū)域。對(duì)于這些對(duì)象之一，該區(qū)域?qū)⑹俏锤采w區(qū)域。該區(qū)域?qū)⒆鳛榛鶞?zhǔn)幀中的雙連接。對(duì)于所引用文件“視頻的運(yùn)動(dòng)補(bǔ)償3D子帶編碼”中所述的方法，將運(yùn)動(dòng)補(bǔ)償過程中遇到的第一個(gè)塊與這些雙連接像素相關(guān)，該方法提議通過應(yīng)用基于提升方案的某些標(biāo)準(zhǔn)來優(yōu)化該選擇。這里所用的主要結(jié)構(gòu)屬性為可能將所有從預(yù)測(cè)步驟(高頻子帶)中得到的信息以及低頻子帶中的原因信息用于更新步驟(時(shí)間低頻子帶的計(jì)算)。
與提議的第一種標(biāo)準(zhǔn)相應(yīng)的基本思想涉及兩個(gè)移動(dòng)對(duì)象的細(xì)目子帶的能量。如果在時(shí)間T第一對(duì)象處于前臺(tái)，則第二對(duì)象中的未覆蓋區(qū)域?qū)a(chǎn)生較高的細(xì)目因數(shù)能量。第二標(biāo)準(zhǔn)是運(yùn)動(dòng)場(chǎng)正則化的條件如果幾個(gè)像素連接到基準(zhǔn)幀中的同一個(gè)像素，則具有最小位移的那個(gè)像素將被選擇用于濾波。
這些思想可以在上述非線性提升構(gòu)架中形式化。在基準(zhǔn)幀中多連接像素的情況下，如果考慮這些像素中處于位置(p，q)上的一個(gè)像素以及當(dāng)前幀中位置(m1，n1)和(m2，n2)上由運(yùn)動(dòng)估計(jì)算法找到的兩個(gè)像素，這兩個(gè)像素具有兩個(gè)相應(yīng)運(yùn)動(dòng)矢量(Um1,n1,vm1,n1)]]>和(Um2,n2,vm2,n2),]]>則有(9)---m1-u‾m1,n1=m2-u‾m2,n2=p,n1-v‾m1,n1=n2-v‾m2,n2=q]]>采用這個(gè)結(jié)果，可以對(duì)兩個(gè)像素(m1，n1)和(m2，n2)中的每個(gè)像素寫成等式(5)和(6)，在細(xì)目子帶中得到兩個(gè)不同的值H[m1，n1]和H[m2，n2]。因此，可以用這兩個(gè)值中的任何一個(gè)來計(jì)算近似子帶中的值(可以注意到，兩個(gè)值允許完全重構(gòu))。實(shí)際上，P(p，q)表示當(dāng)前幀中與基準(zhǔn)幀中像素(p，q)連接的所有像素(m，n)的集，可以注意到，對(duì)任何運(yùn)算符f均保證完全重構(gòu)特性，從而(10)---L[p,q]=f(H~[m-u‾m,n+um,n,n-v‾m,n+vm,n],(m,n)∈P(p,q))+A[p,q]·2]]>選擇運(yùn)算符f的一個(gè)標(biāo)準(zhǔn)是使細(xì)目子帶的能量最小，從而將A[p，q]與其在幀B中“最接近”的值相關(guān)聯(lián)。這就意味著對(duì)像素(m0，n0)進(jìn)行低通濾波，從而(11)---|I{C‾{H[m0-u‾m0,n0,n0-v‾m0,n0]}}|=min(m,n)∈P(p,q)|I{C‾{H[m-u‾m,nn-v‾m,n]}}|]]>對(duì)于Choi的算法，在所提議的算法中，不必向解碼器發(fā)送分類映射(例如哪些像素已連接而哪些像素未連接)。由于解碼器遵循與編碼器對(duì)稱的過程，因此理論上將用相同分類圖得到對(duì)高頻系數(shù)的能量的決定。
盡管如此，根據(jù)單個(gè)像素的值所做的決定并不夠穩(wěn)固。具體地說，在上一例示中，高頻子帶中的兩個(gè)值可能因SPIHT算法中所用的分次量化策略而沒有在相同的量化步驟進(jìn)行量化。因此，將會(huì)作出錯(cuò)誤決定。然后，通過比較所考慮像素周圍的位移幀差(DFD)的平均能量，可以更穩(wěn)固地作出上述決定。(12)---e(p,q)2=Σ(k,l)∈S(p,q)(H(p-k,q-l)u(k,l))2]]>其中S(p，q)是像素(p，q)周圍的鄰域，而u(k，l)根據(jù)其到中心點(diǎn)的距離而對(duì)應(yīng)于鄰域S(p，q)中各像素的加權(quán)因子。例如，可以選擇u(k，l)＝α(|k|+[l])，其中α＞0是遺忘因子。
最小化標(biāo)準(zhǔn)中的第二項(xiàng)是運(yùn)動(dòng)矢量規(guī)范，‖dm，n‖＝(u2m，n+v2m，n)1/2。正則化標(biāo)準(zhǔn)可以表示為J(p，q)＝e(p，q)2+λ‖dm，n‖，λ是正則化參數(shù)。如果運(yùn)動(dòng)矢量太大，則其值就不是很可靠，因此可以選擇不將其納入優(yōu)化的考慮之列。這樣得出下列標(biāo)準(zhǔn)(13)J(p，q)＝e(p，q)2+λ‖dm，n‖，如果‖dm，n‖≤s(14)J(p，q)＝e(p，q)2+λs，如果‖dm，n‖＞s其中s是根據(jù)經(jīng)驗(yàn)確定的閾值。因此，在大于所述閾值的運(yùn)動(dòng)矢量上出現(xiàn)某種損失。
然而，基于塊的運(yùn)動(dòng)估計(jì)算法遭致成塊人工信號(hào)。如果應(yīng)用于所產(chǎn)生的運(yùn)動(dòng)補(bǔ)償幀的空間變換是小波分析，則這些人工信號(hào)將導(dǎo)致不希望的大小波系數(shù)，進(jìn)而導(dǎo)致編碼效率的降低。因此，可從上述非線性提升公式推導(dǎo)出的改進(jìn)涉及時(shí)間濾波算法中引入重疊運(yùn)動(dòng)補(bǔ)償?shù)目赡苄?，從而減少成塊人工信號(hào)。這個(gè)運(yùn)算涉及在預(yù)測(cè)步驟中采用對(duì)基準(zhǔn)幀中相鄰窗口的像素平均。
例如，如果考慮一個(gè)像素的重疊，則屬于某塊第一行(相應(yīng)的最后一行)的像素的高通濾波在這種情況下為(9)---H[m,n]=12[B[m,n]-((1-β)A~[m-um,n,n-vm,n]+βA~[m-l-um-l,n,n-vm-l,n)]]]>相應(yīng)的(10)---H[m,n]=12[B[m,n]-((1-β)A~[m-um,n,n-vm,n]+βA~[m+l-um+l,n,n+l-vm+l,n])]]]>其中β為常數(shù)，0＜β＜1。
根據(jù)下式，對(duì)各塊的第一(相應(yīng)地最后的)列應(yīng)用類似的處理(11)---H[m,n]=12[B[m,n]-((1-β)A~[m-um,n,n-vm,n]+βA~[m-um,n-l,n-l-vm,n-l)]]]>相應(yīng)地(12)---H[m,n]=12[B[m,n]-((1-β)A~[m-um,n,n-vm,n]+βA~[m-um,n+l,n+l-vm,n+l])]]]>常數(shù)β用實(shí)驗(yàn)方法確定。在本發(fā)明的情況下，常數(shù)β＝0.2產(chǎn)生最佳結(jié)果。
權(quán)利要求
1.一種利用三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法，所述編碼涉及對(duì)對(duì)應(yīng)于被視為3D量的所述幀序列的3D時(shí)空數(shù)據(jù)所應(yīng)用的空間和時(shí)間濾波步驟，僅在各級(jí)時(shí)間分解上的低頻時(shí)間子帶中對(duì)各組的幀實(shí)現(xiàn)了基于塊的運(yùn)動(dòng)估計(jì)和補(bǔ)償運(yùn)算之后才對(duì)所述連續(xù)幀組應(yīng)用所述分解；并且這種補(bǔ)償運(yùn)算導(dǎo)致過濾后的像素中的雙連接像素，所述雙連接像素對(duì)應(yīng)于當(dāng)前幀中運(yùn)動(dòng)期間成為未覆蓋的基準(zhǔn)幀的區(qū)域，所述方法的特征還在于所述雙連接像素識(shí)別步驟之后進(jìn)行基于最小化標(biāo)準(zhǔn)的決定步驟，提供所述最小化標(biāo)準(zhǔn)用于在當(dāng)前幀中挑選產(chǎn)生所述細(xì)目子帶的最低能量的所述像素作為進(jìn)行時(shí)間濾波的所述基準(zhǔn)幀的雙連接像素，所考慮能量是所述高頻時(shí)間子帶中所述雙連接像素的平均能量，并且通過低通濾波運(yùn)算計(jì)算所述平均能量。
2.如權(quán)利要求1所述的編碼方法，其特征在于提供所述最小化標(biāo)準(zhǔn)，用于將執(zhí)行與候選連接像素有關(guān)的運(yùn)動(dòng)矢量規(guī)范的最小化的第二標(biāo)準(zhǔn)與所述能量標(biāo)準(zhǔn)結(jié)合。
3.如權(quán)利要求2所述的編碼方法，其特征在于根據(jù)所述運(yùn)動(dòng)矢量規(guī)范的所述最小化標(biāo)準(zhǔn)采用適用于所述規(guī)范的值的閾值，以便不將太大的運(yùn)動(dòng)矢量納入優(yōu)化的考慮之列。
4.如權(quán)利要求1所述的編碼方法，其特征在于所述3D分解的所述時(shí)間部分是時(shí)間小波變換，它包括基于所謂的提升方案的時(shí)間濾波，所述提升方案包括在各分解等級(jí)依次進(jìn)行的分離步驟、預(yù)測(cè)步驟和更新步驟；所述方法的特征還在于所述時(shí)間濾波包括在所述預(yù)測(cè)步驟中利用所述基準(zhǔn)幀中相鄰窗口像素的平均的重疊運(yùn)動(dòng)補(bǔ)償，以減少由所述基于塊的運(yùn)動(dòng)估計(jì)引起的成塊人工信號(hào)。
全文摘要
本發(fā)明涉及一種利用三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法，它涉及對(duì)被視為3D量的幀應(yīng)用的濾波步驟，在運(yùn)動(dòng)估計(jì)和補(bǔ)償之后，對(duì)連續(xù)幀組應(yīng)用分解，所述補(bǔ)償導(dǎo)致對(duì)應(yīng)于未覆蓋區(qū)的雙連接像素。提供了最小化標(biāo)準(zhǔn)用于在當(dāng)前幀中挑選產(chǎn)生細(xì)目子帶的最小能量的像素作為基準(zhǔn)幀的雙連接像素的時(shí)間濾波。3D分解的時(shí)間部分可以是時(shí)間小波變換，它包括基于提升方案的時(shí)間濾波，包括在所述方案的預(yù)測(cè)步驟中利用對(duì)基準(zhǔn)幀中相鄰窗口的像素平均的重疊運(yùn)動(dòng)補(bǔ)償。
文檔編號(hào)H04N7/36GK1461563SQ02801121
公開日2003年12月10日 申請(qǐng)日期2002年4月2日 優(yōu)先權(quán)日2001年4月10日
發(fā)明者B·佩斯奎特－波佩斯庫(kù), V·博特雷奧 申請(qǐng)人:皇家菲利浦電子有限公司