專利名稱：用于視頻壓縮的時間分類濾波的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻壓縮，更具體地說，涉及基于預(yù)測圖像數(shù)據(jù)幀的壓縮。
版權(quán)/通知允許
本專利文件的一部分公開含有受版權(quán)保護(hù)的資料。版權(quán)所有人不反對當(dāng)本專利出現(xiàn)在專利和商標(biāo)局的專利文檔或記錄中時由任何人傳真復(fù)制本專利文件或本專利的公開內(nèi)容，但在其他情況下，版權(quán)所有人保留其所有版權(quán)。以下通知適用于如下所述及其附圖中的軟件和數(shù)據(jù)版權(quán)
2003，索尼電子有限公司，所有權(quán)保留。
背景技術(shù)：
通過去除各幀的時間冗余可以獲得視頻序列的高壓縮增益。為編碼當(dāng)前幀，首先根據(jù)以前編碼的“基準(zhǔn)”幀預(yù)測當(dāng)前幀，并僅對預(yù)測誤差進(jìn)行編碼。基于塊的運(yùn)動估計和補(bǔ)償一直是用于時間(temporal)預(yù)測的流行方法，而且被廣泛使用。如圖1所示，其基本概念就是在基準(zhǔn)幀101中找出類似的配對塊，以預(yù)測在當(dāng)前幀103中的目標(biāo)塊，所以只有目標(biāo)塊中的預(yù)測殘差(residual)需被編碼。
為獲得精確時間預(yù)測的傳統(tǒng)方法是使用子像素運(yùn)動搜索，這會導(dǎo)致大量的運(yùn)動矢量開銷。此外，它不能提供任意的子像素分辨率，而是僅能獲得預(yù)定的子像素分辨率，例如1/2、1/4或1/8。但實際上，圖片中的物體可能具有以任意子像素分辨率的運(yùn)動，這種分辨率不能從傳統(tǒng)的純運(yùn)動補(bǔ)償方法來估計。要用純運(yùn)動補(bǔ)償獲得精細(xì)的運(yùn)動分辨率，就要花費更多的比特來表示每個運(yùn)動矢量，這將導(dǎo)致不良的壓縮性能。


發(fā)明內(nèi)容
時間分類濾波通過應(yīng)用分配給目標(biāo)幀中像素類別的濾波器以預(yù)測像素的值來編碼圖像數(shù)據(jù)。像素根據(jù)它們相關(guān)聯(lián)的運(yùn)動矢量進(jìn)行分類，且運(yùn)動矢量用于將濾波器定位在基準(zhǔn)幀上。還計算預(yù)測誤差值。濾波器、運(yùn)動矢量以及預(yù)測誤差表示編碼的圖像數(shù)據(jù)中的像素?；鶞?zhǔn)幀可以是過去的或?qū)淼膱D像數(shù)據(jù)幀，且各種組合的過去和將來幀的多個基準(zhǔn)幀可用于預(yù)測。用于多個基準(zhǔn)幀預(yù)測的濾波器是三維濾波器，包括用于每個基準(zhǔn)幀的二維濾波器。濾波器可以是預(yù)定的，或是在幀被編碼時產(chǎn)生的。通過將濾波器應(yīng)用到基準(zhǔn)幀并用預(yù)測誤差值校正所得的預(yù)測，來重新創(chuàng)建圖像數(shù)據(jù)。
現(xiàn)結(jié)合系統(tǒng)、客戶機(jī)、服務(wù)器、方法以及可變范圍的機(jī)器可讀介質(zhì)對本發(fā)明加以說明。除了在本摘要中所描述的本發(fā)明各方面，通過參閱附圖以及閱讀以下的詳細(xì)說明，本發(fā)明的其他方面將顯而易見。



圖1示出現(xiàn)有技術(shù)的基于塊的運(yùn)動估計和補(bǔ)償?shù)膱D解； 圖2示出數(shù)據(jù)編碼和使用時間分類濾波實施例的系統(tǒng)級總圖； 圖3A-C示出使用單個基準(zhǔn)幀的時間分類濾波的實施例圖解； 圖4A-D示出按照各種實施例由計算機(jī)執(zhí)行的時間分類濾波的方法流程圖； 圖5A-D示出使用多個基準(zhǔn)幀的時間分類濾波的實施例的圖解； 圖6A示出適用于實踐本發(fā)明的操作環(huán)境的一個實施例的圖解； 圖6B示出適于圖6A操作環(huán)境的計算機(jī)系統(tǒng)一個實施例圖解。

具體實施例方式 在對本發(fā)明實施例的以下詳細(xì)說明中，要參閱附圖，附圖中相同的參考編號表示類似的元件，附圖中以圖示方式示出可實現(xiàn)本發(fā)明的具體實施例。對這些實施例都作了足夠詳細(xì)的說明，以使本領(lǐng)域技術(shù)人員能夠?qū)嵺`本發(fā)明，而且應(yīng)理解，在不背離本發(fā)明范圍的前提下，可以使用其它的實施例，且可以作邏輯、機(jī)械，電氣、功能以及其他的改變。所以，以下的詳細(xì)說明不應(yīng)認(rèn)為有限制意義，且本發(fā)明的范圍僅由所附權(quán)利要求書限定。
圖2示出編碼和解碼系統(tǒng)200，它使用時間分類濾波(TCF)和傳統(tǒng)的運(yùn)動補(bǔ)償一起對圖像數(shù)據(jù)的源幀201進(jìn)行編碼，以獲得更高的壓縮增益和更好的視覺結(jié)果。編碼器203使用基于塊的運(yùn)動估計，找出用于待編碼幀(目標(biāo)幀)中每個塊的運(yùn)動矢量。目標(biāo)幀中的像素根據(jù)它們的運(yùn)動屬性被分組為不同的類別，所以基本上是使用運(yùn)動矢量將幀分段。將指定濾波器分配給一類中的所有像素。為預(yù)測目標(biāo)像素，將相應(yīng)的濾波器放置在一個或多個以前編碼的幀(基準(zhǔn)幀)上，由目標(biāo)像素的運(yùn)動矢量進(jìn)行定位。通過在基準(zhǔn)幀中對其他像素的濾波操作，來獲得目標(biāo)像素的時間預(yù)測。編碼器203還計算目標(biāo)像素的預(yù)測誤差，即，實際像素值和預(yù)測值之間的差。隨繼對編碼的幀、運(yùn)動矢量和預(yù)測誤差進(jìn)行編碼，以便通過通信鏈路，圖示為網(wǎng)絡(luò)205，傳送到解碼器207。濾波系數(shù)也可被傳輸，或由解碼器207重新創(chuàng)建。具體的傳輸編碼與TCF的操作關(guān)系不大，并可以采用任何常用的編碼技術(shù)。解碼器207使用濾波器和運(yùn)動矢量預(yù)測目標(biāo)像素的值，并將預(yù)測誤差施加到預(yù)測值上，以創(chuàng)建圖像數(shù)據(jù)的輸出幀209。因此，TCF僅要求粗略的，即，像素方式(pixel-wise)分辨率、運(yùn)動矢量，并在時間預(yù)測中提供任意子像素分辨率。所以，像素預(yù)測誤差會很小，并可獲得高壓縮增益。此外，使用多個基準(zhǔn)幀中的像素數(shù)據(jù)來預(yù)測目標(biāo)像素提供了更高的預(yù)測精度。
圖3A-C示出在一個實施例中使用TCF來編碼目標(biāo)幀。圖3A-C假定使用單個基準(zhǔn)幀，過去的或?qū)淼亩伎?。使用多個基準(zhǔn)幀的實施例在下面進(jìn)一步說明。
圖3A示出目標(biāo)幀301，其中根據(jù)像素的運(yùn)動矢量(以箭頭表示)已將像素分類成六個分段，例如分段303。一般來說，具有相似運(yùn)動矢量的像素將被一起分組到同一分段中。在使用眾所周知的塊匹配運(yùn)動估計技術(shù)已經(jīng)獲得運(yùn)動矢量后，將運(yùn)動矢量分類，并將類別ID分配給每個運(yùn)動矢量。對應(yīng)于該運(yùn)動矢量的像素也分配有該類別ID。分類之后，一個分段可含有互相連接或互相不連接的像素。
例如，回過來參閱圖1，設(shè)t為以時間順序(時間域)的幀索引。假定目標(biāo)幀F(xiàn)t 103中的像素p(i，j，t)具有運(yùn)動矢量[mi，mj]105，其參考基準(zhǔn)幀

101(在時間tr的幀)。則基于傳統(tǒng)運(yùn)動補(bǔ)償?shù)臅r間預(yù)測可以看作為 式中v(i'，j'，tr)是在以前幀

中i’列j’行上的像素值。該基準(zhǔn)像素的位置由運(yùn)動矢量[mi，mj]定位。在此情況下，mi＝i’-i而mj＝j(luò)’-j。
將目標(biāo)幀中的所有像素都分類為Nc類或分段，其中Nc為正整數(shù)。使唯一的濾波器與每個類別或分段c相關(guān)聯(lián)，因此對于每個目標(biāo)幀就有Nc個濾波器。這些濾波器稱為分類濾波器。濾波器的系數(shù)可以預(yù)先定義，或可通過訓(xùn)練或以下描述的其他技術(shù)來創(chuàng)建。每個濾波器是任意的二維形狀，例如矩形、圓形、菱形等，由一組像素位置或濾波器抽頭來定義。菱形濾波器305示于圖3B。注意，每個分類濾波器可具有不同的形狀和不同的系數(shù)。
如圖3C所示，對于目標(biāo)幀F(xiàn)t 311中的每個像素p(i，j)，像素v(i，j，t)317的值可以通過應(yīng)用對應(yīng)于像素類別ID c的濾波器Wc315，從基準(zhǔn)幀

313中的一組像素進(jìn)行估計。每個濾波器抽頭將對準(zhǔn)基準(zhǔn)幀中的一個像素，且由濾波器抽頭覆蓋的所有像素形成區(qū)域R。像素值v可以表示為其預(yù)測值

319加上用作預(yù)測誤差的殘差值ε 321 式中 基準(zhǔn)幀中的濾波器位置可以表示為像素坐標(biāo)。備選的是，可將濾波器中的一個抽頭選作“錨抽頭”，在此情況下，濾波器位置定義為濾波器錨抽頭所對準(zhǔn)的幀中的像素的坐標(biāo)。目標(biāo)像素的運(yùn)動矢量[mi，mj]323用來定位基準(zhǔn)位置(i’，j’): i′＝i+mi且j′＝j(luò)+mj (4) 當(dāng)使用錨抽頭時，濾波器Wc放置在基準(zhǔn)幀

上，其錨抽頭與基準(zhǔn)像素位置匹配。一旦提供了濾波器抽頭(換句話說，濾波器形狀)以及濾波器位置，輸入抽頭像素的區(qū)域也就唯一定義了。
設(shè)所有輸入抽頭像素的值以及濾波器系數(shù)分別形成矢量X和W。每個矢量有n個元素，其中n是濾波器抽頭數(shù)，即X＝[x1，x2...xn]且W＝[w1，w2...wn]。兩個矢量中的元素應(yīng)遵循同一順序，即，元素xi是在空間域中對準(zhǔn)濾波器抽頭wi的輸入抽頭。相應(yīng)地，公式2的濾波操作可以表示為以下矢量積 預(yù)測值用來表示編碼幀中的像素。預(yù)測誤差使用下式產(chǎn)生 并傳輸?shù)浇獯a器，以在解碼該幀時校正該預(yù)測。
為清晰起見，圖3A-C示出使用單個基準(zhǔn)幀的時間分類濾波的實施例操作，但本發(fā)明不限于此。使用多個基準(zhǔn)幀的TCF像素預(yù)測能很容易從單個幀實施例中擴(kuò)展出來，如以下詳述的。
參閱圖4A-D所示各圖，對由編碼器例如圖2的編碼器203執(zhí)行的時間分類濾波方法400的一個實施例加以說明。
先看圖4A，輸入到TCF方法400的是目標(biāo)或當(dāng)前幀以及(預(yù)編碼的)單個基準(zhǔn)幀。應(yīng)理解，TCF方法400不限于僅使用單個基準(zhǔn)幀，并對使用多個幀的TCF方法的應(yīng)用在下面結(jié)合圖5A-D進(jìn)行討論。
在框401，TCF方法根據(jù)基準(zhǔn)幀找出用于目標(biāo)幀中所有像素的運(yùn)動矢量。這類似于標(biāo)準(zhǔn)的視頻壓縮(例如MPEG)。如上所述，將目標(biāo)幀分成固定大小的塊，并進(jìn)行塊匹配，以找出用于每個塊的運(yùn)動矢量。同一塊中的所有像素共享同一運(yùn)動矢量。運(yùn)動矢量可具有像素分辨率或子像素分辨率。
在框403，根據(jù)以上結(jié)合圖3A所述的像素的運(yùn)動矢量將目標(biāo)幀中的像素分類為幾個分段。一般來說，具有類似運(yùn)動矢量的像素將一起分組到同一分段中。分類之后，一個分段可含有互相連接或互相不連接的像素。對每個像素根據(jù)其運(yùn)動矢量的分類分配一個類別ID c。
將唯一濾波器Wc分配給每個類別c的像素。濾波器抽頭和濾波器形狀可以預(yù)定義。幀中的類別(或分段)數(shù)Nc可以是預(yù)定值，或可根據(jù)幀的特征來確定。例如，圖3A示出Nc＝6的幀。在框403的分類可以看作為具有Nc質(zhì)心的一般二維分段問題，其中待分類的元素是目標(biāo)幀的運(yùn)動矢量。在一個實施例中，使用傳統(tǒng)的k均值分段方法，即其中k＝Nc。在一個備選實施例中，如圖4B所示，與k均值分段相比，根據(jù)預(yù)定的最大類別數(shù)Nmax可迅速且不太復(fù)雜地對像素進(jìn)行分類，如以下詳述。
如上所述，每個濾波器可具有不同的形狀(濾波器抽頭)和不同的系數(shù)。系數(shù)可以預(yù)定義，或可選擇在必要時使用各種途徑產(chǎn)生，如虛線框405所示。例如，系數(shù)可以是對應(yīng)于輸入抽頭和基準(zhǔn)位置(i’，j’)(或濾波器位置)之間時間間隔的加權(quán)。濾波器系數(shù)也可用來自基準(zhǔn)和目標(biāo)幀的數(shù)據(jù)，通過在線自訓(xùn)練來產(chǎn)生，如以下結(jié)合圖4C所述。
對于具有類別ID c的目標(biāo)像素，TCF方法400使用相關(guān)聯(lián)的分類濾波器Wc預(yù)測像素的值(框407)，如以上結(jié)合圖3C所述。
在框409，計算預(yù)測誤差。如上所述，預(yù)測誤差和運(yùn)動矢量都被發(fā)送到解碼器。如果類別ID不能從運(yùn)動矢量導(dǎo)出，且如果濾波器系數(shù)在框405已產(chǎn)生，則類別ID和濾波器系數(shù)也必須傳輸?shù)浇獯a器。
圖4B示出分類方法410，它取目標(biāo)幀的運(yùn)動矢量，并輸出每個像素的類別ID。在框411，分類方法410將具有相同值的運(yùn)動矢量分組到一個倉(bin)中。在框413產(chǎn)生Nmv個倉，每個倉b含有nb個相同的運(yùn)動矢量。在此實施例中，如果而且只有如果mi1＝mi2且mj1＝mj2 x時，兩個運(yùn)動矢量mv1＝[mi1，mj1]和mv2＝[mi2，mj2]被定義為相同。
如果Nmax≥Nmv(框415)，則倉數(shù)小于Nmax，所以方法410進(jìn)到框421。
另一方面，如果Nmax<Nmv(框415)，則一些倉將必須被組合，以將倉數(shù)減到Nmax。在框417，這些倉按nb(倉中的運(yùn)動矢量數(shù))的遞減順序排序。因此第一倉將具有最大的運(yùn)動矢量數(shù)。在最初Nmax-1個倉中的每個倉將形成一個類別，而將從Nmax到Nmv的其余倉分在一組，以形成單個類別(框419)，得到總共Nmax個倉。在框421，每個倉被分配一個類別ID c，它例如可以是整數(shù)。
由于一個類別中的所有像素共享同一濾波器，因此當(dāng)濾波器系數(shù)被傳送到解碼器時(例如，系數(shù)是通過在線訓(xùn)練獲得的)，類別越大(例如含有更多像素)，壓縮性能就越有效。所以，為了增加壓縮增益，分類方法410可有選擇地消除具有非常少像素(即，非常少的運(yùn)動矢量)的類別。選擇閾值Tmv，并將所含運(yùn)動矢量數(shù)少于該閾值的類別合并到最鄰近的類別中(框423)。閾值Tmv可以預(yù)先確定，例如Tmv＝10。最鄰近的類別是基于測量各對類別之間的距離da，b。在一個實施例中，該距離是在類別的兩個質(zhì)心之間的歐幾里得距離: da，b＝(Ma，1-Mb，1)2+(Ma，2-Mb，2)2 (7) 式中[Ma，1，Ma，2]和[Mb，1，Mb，2]分別為類別a和b的質(zhì)心。類別c的質(zhì)心([Mc，1，Mc，2]，它是兩個元素的矢量)是類別c中運(yùn)動矢量的平均值，定義為 且 式中mk，i和mk，，j是類別c中第k個運(yùn)動矢量的兩個元素；且nc是類別c中運(yùn)動矢量的總數(shù)。給定類別c的最鄰近類別是具有距c最小距離的類別。
可有選擇地將含有非常少運(yùn)動矢量的類別分組為一特殊類別(框425)，而不是在框423將它們合并到其他鄰近類別。將非常“短”的濾波器，即具有很少抽頭的濾波器，分配給這個特殊類別，以最小化用于此類別的濾波器系數(shù)開銷，因為濾波器系數(shù)的代價在最大化總體壓縮增益方面是一個考慮因素。圖1是只有一個抽頭的“短”濾波器實例，其中目標(biāo)像素只是僅由其基準(zhǔn)像素進(jìn)行預(yù)測。
圖4C示出使用在線自訓(xùn)練過程431來獲得濾波器系數(shù)。注意，有Nc個濾波器，目標(biāo)幀中每個類別有一個。如圖所示，自訓(xùn)練過程431的輸入是含有用于像素的運(yùn)動矢量和類別ID的目標(biāo)幀433以及基準(zhǔn)幀435。輸出是用于被訓(xùn)練的特定分類濾波器的濾波器系數(shù)437。分配給類別c的濾波器中的系數(shù)僅由屬于類別c的數(shù)據(jù)(像素)進(jìn)行訓(xùn)練。
在一個實施例中，訓(xùn)練的濾波器系數(shù)W*根據(jù)以下標(biāo)準(zhǔn)獲得: 式中minw是一個函數(shù)，它最小化‖X·W-Y‖2關(guān)于自變量W的值。W*是當(dāng)‖X·W-Y‖2達(dá)最小值時的W值。此式中，X、Y和W例如是以下矩陣和矢量，X是輸入數(shù)據(jù)矢量，W是系數(shù)矢量，且Y對應(yīng)于目標(biāo)數(shù)據(jù)矩陣。X、Y和W的實例為

且 這樣，根據(jù)公式9獲得的W*的分類濾波器系數(shù)wi對于同一類別中的所有像素都最小化了總體預(yù)測誤差。
訓(xùn)練過程可以進(jìn)一步精煉，以獲得提供更好預(yù)測的濾波器系數(shù)。由于可能有在塊匹配運(yùn)動補(bǔ)償階段獲得的“錯誤”運(yùn)動矢量，因此一些像素可能被分配有不精確的運(yùn)動矢量，例如，它們不表示物體的實際運(yùn)動。在這種情況下，這些像素可能會破壞用于濾波器系數(shù)的訓(xùn)練過程。為了避免這種情況，在訓(xùn)練過程431中可使用多次迭代，如圖4D所示。
在框441，訓(xùn)練方法440的第一迭代使用同一分段c中的所有像素來獲得用于該分段類別的濾波器系數(shù)。所得的濾波器系數(shù)用來預(yù)測目標(biāo)幀的各類別中的目標(biāo)像素(框443)，并計算用于每個像素的預(yù)測誤差(框445)。誤差大于預(yù)定義誤差閾值(框447)的像素被從類別c中去除(框449)，所以在該類別濾波器系數(shù)的下一次迭代中它們被排除在訓(xùn)練之外。訓(xùn)練方法440返回到框441，在此對分段c中其余的像素進(jìn)行操作。當(dāng)?shù)鷶?shù)超過預(yù)定值Ttr時，例如Ttr＝3，或當(dāng)具有大預(yù)測誤差的像素數(shù)低于預(yù)定數(shù)時，訓(xùn)練方法退出(框451)。由于訓(xùn)練方法440從訓(xùn)練數(shù)據(jù)中去除了預(yù)測很差的像素，從最終迭代獲得的濾波器系數(shù)就會對分段中的其余像素提供更精確的預(yù)測。
在迭代期間從分段c中去除的像素可以分組成一個特殊類別，分配給它一個新的濾波器(圖4B的框425)，或保留在同一類別中，并用在最終迭代中獲得的濾波器系數(shù)進(jìn)行預(yù)測(圖4A的框407)。
實際上，方法400可以構(gòu)成由機(jī)器可執(zhí)行指令組成的一個或多個程序。參閱圖4A-D的流程圖說明此方法使本領(lǐng)域技術(shù)人員能開發(fā)這種程序，包括這些指令，以執(zhí)行由適當(dāng)配置的機(jī)器上(從機(jī)器可讀介質(zhì)中執(zhí)行指令的機(jī)器的處理器)的邏輯塊所表示的操作(動作)。機(jī)器可執(zhí)行指令可以用計算機(jī)編程語言寫入，或可以在固件邏輯或在硬件電路中實施。如果用符合公認(rèn)標(biāo)準(zhǔn)的編程語言寫入，這些指令就可在各種硬件平臺上執(zhí)行，并用于與各種操作系統(tǒng)對接。此外，本發(fā)明不是就任何特定的編程語言來說明的。應(yīng)理解，各種編程語言都可用來實現(xiàn)如本文所述的本發(fā)明內(nèi)容。而且，在本領(lǐng)域通常以一種形式或另一種形式提及軟件(例如程序、步驟、過程、應(yīng)用、模塊、邏輯...)是作為采取一種措施或?qū)е乱环N結(jié)果。這種表達(dá)不過是一種簡化說法，表示由機(jī)器執(zhí)行的軟件使機(jī)器的處理器執(zhí)行一個動作，或產(chǎn)生一個結(jié)果。還應(yīng)理解，在不背離本發(fā)明范圍的前提下，可以將更多或更少的過程結(jié)合到圖4A-D所示的方法中，而且本文給出和所述的框排列并不隱含有特定的順序。
現(xiàn)參閱圖5A-D說明使用多個基準(zhǔn)幀的TCF的具體實現(xiàn)方案。以前所述的TCF實施例是基于單個基準(zhǔn)幀來預(yù)測像素。這可很容易地擴(kuò)展到用多個基準(zhǔn)幀的情況。對于某個目標(biāo)幀，可以通過為基準(zhǔn)幀作索引根據(jù)幾個基準(zhǔn)幀進(jìn)行預(yù)測，這些基準(zhǔn)幀可以是過去或?qū)淼膸?，或是它們的任何組合。圖5A和5B示出從多個過去基準(zhǔn)幀501、503以及過去505、507基準(zhǔn)幀和將來509基準(zhǔn)幀對目標(biāo)幀的預(yù)測。
假定Nr基準(zhǔn)幀，每個塊(或像素)具有與每個基準(zhǔn)幀相關(guān)聯(lián)的Nr運(yùn)動矢量。運(yùn)動矢量將被構(gòu)建為[mi，mj，mt]，其中mt是一個新元素，表示用于每個基準(zhǔn)幀的索引。由于有Nr個運(yùn)動矢量用于每個目標(biāo)像素，因此分類過程與上述用單個基準(zhǔn)幀即Nr＝1的情況略有不同。對于每個像素塊，運(yùn)動矢量是從所有可用的Nr個運(yùn)動矢量中選擇的。在一個實施例中，該選擇基于哪個運(yùn)動矢量導(dǎo)致用于整個像素塊的最小平均預(yù)測誤差。所選的運(yùn)動矢量如前所述用來對塊進(jìn)行分類。
分配給類別的濾波器可具有三維形狀，其中其抽頭可跨越幾個幀。換句話說，3D濾波器含有Nr個二維濾波器，如上所述。圖5C示出一個用于系數(shù)訓(xùn)練或像素預(yù)測的3D濾波器，它含有兩個具有不同2D濾波器形狀的2D濾波器511、513。當(dāng)3D濾波器被放在多個基準(zhǔn)幀上時，每個其2D濾波器就被放在對應(yīng)的基準(zhǔn)幀515、517上，并由與該基準(zhǔn)幀相關(guān)聯(lián)的目標(biāo)像素運(yùn)動矢量519、521定位。一旦濾波器被放在基準(zhǔn)幀上，輸入抽頭像素即被標(biāo)識，它可來自不同的幀。其余的訓(xùn)練或預(yù)測步驟與針對單個基準(zhǔn)幀實施例所述的相同。
用多個基準(zhǔn)幀的TCF的另一實例示于圖5D。在這種情況下，有三個基準(zhǔn)幀(Nr＝3)，兩個過去的基準(zhǔn)幀531、533和一個將來的基準(zhǔn)幀535。目標(biāo)像素537具有三個運(yùn)動矢量(mv 1539、mv2 541和mv3543)，它們每一個標(biāo)識每個基準(zhǔn)幀中的一個基準(zhǔn)像素?；貞浺幌聦τ诿總€基準(zhǔn)幀，3D TCF濾波器可具有任意形狀。圖5D示出一種極端情況，其中TCF濾波器在每個基準(zhǔn)幀上僅有一個抽頭，每個抽頭對準(zhǔn)基準(zhǔn)像素。濾波器總共有三個抽頭，并且從對三個基準(zhǔn)像素的濾波操作就可對目標(biāo)像素進(jìn)行預(yù)測。
對圖6A-B的以下說明旨在提供適合執(zhí)行上述本發(fā)明方法的計算機(jī)硬件和其他操作成分的概述，而不是旨在限制其適用環(huán)境。例如，圖2所示的編碼器203和/或解碼器207可在通用計算機(jī)系統(tǒng)中實現(xiàn)，如以下結(jié)合圖6B所述，或在特別配置成執(zhí)行本文所述功能的裝置中實現(xiàn)。通信鏈路205可以是公用或?qū)Ｓ玫倪B接，該連接可以是客戶機(jī)-服務(wù)器或?qū)Φ汝P(guān)系，如以下結(jié)合圖6A所述。本領(lǐng)域技術(shù)人員會立即理解，本發(fā)明可以用其它計算機(jī)系統(tǒng)配置實現(xiàn)，包括手持裝置、多處理器系統(tǒng)、基于微處理器的或可編程的消費電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計算機(jī)、大型計算機(jī)等等。本發(fā)明也可在分布式計算環(huán)境中實現(xiàn)，此時由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理裝置執(zhí)行任務(wù)。
圖6A示出通過網(wǎng)絡(luò)3例如因特網(wǎng)連接在一起的幾個計算機(jī)系統(tǒng)1。本文中使用的術(shù)語“因特網(wǎng)”是指網(wǎng)絡(luò)中的一種網(wǎng)絡(luò)，它使用某些協(xié)議，例如TCP/IP協(xié)議，可能還有其它協(xié)議，例如用于構(gòu)成萬維網(wǎng)(web)的超文本標(biāo)記語言(HTML)文件的超文本傳輸協(xié)議(HTTP)。因特網(wǎng)的物理連接以及因特網(wǎng)的協(xié)議和通信過程對本領(lǐng)域技術(shù)人員來說都已眾所周知。對因特網(wǎng)3的接入通常由因特網(wǎng)服務(wù)提供商(ISP)提供，如ISP5和7?？蛻魴C(jī)系統(tǒng)的用戶，例如客戶機(jī)計算機(jī)系統(tǒng)21、25、35和37通過因特網(wǎng)服務(wù)提供商例如ISP5和7獲得對因特網(wǎng)的接入。接入因特網(wǎng)就允許客戶機(jī)計算機(jī)系統(tǒng)的用戶交換信息、接收和發(fā)送電子郵件以及觀看文件，例如以HTML格式準(zhǔn)備的文件。這些文件常常由web服務(wù)器提供，例如被認(rèn)為是在因特網(wǎng)上的web服務(wù)器9。這些web服務(wù)器常由ISP例如ISP5提供，雖然沒有也是ISP的系統(tǒng)，計算機(jī)系統(tǒng)也可被安裝和連接到因特網(wǎng)，這是本領(lǐng)域眾所周知的。
web服務(wù)器9通常至少是一個計算機(jī)系統(tǒng)，它作為服務(wù)器計算機(jī)系統(tǒng)工作，并配置成用萬維網(wǎng)協(xié)議工作，并連接到因特網(wǎng)。可選的是，web服務(wù)器9可以是為客戶機(jī)系統(tǒng)提供因特網(wǎng)接入的ISP的一部分。web服務(wù)器9顯示為連接到服務(wù)器計算機(jī)系統(tǒng)11，服務(wù)器計算機(jī)系統(tǒng)11本身又連接到web內(nèi)容10，web內(nèi)容10可被認(rèn)為是一種形式的媒體數(shù)據(jù)庫。應(yīng)理解，雖然在圖6A中示出兩個計算機(jī)系統(tǒng)9和11，但web服務(wù)器系統(tǒng)9和服務(wù)器計算機(jī)系統(tǒng)11可以是具有不同軟件成分的一個計算機(jī)系統(tǒng)，它提供web服務(wù)器功能和由服務(wù)器計算機(jī)系統(tǒng)11所提供的服務(wù)器功能，這將在下面詳述。
客戶機(jī)計算機(jī)系統(tǒng)21、25、35和37，每個都可用適當(dāng)?shù)膚eb瀏覽軟件觀看由web服務(wù)器9提供的HTML頁面。ISP5通過調(diào)制解調(diào)器接口23提供因特網(wǎng)到客戶機(jī)計算機(jī)系統(tǒng)21的連接，調(diào)制解調(diào)器接口23可以認(rèn)為是客戶機(jī)計算機(jī)系統(tǒng)21的一部分?？蛻魴C(jī)計算機(jī)系統(tǒng)可以是個人計算機(jī)系統(tǒng)、網(wǎng)絡(luò)計算機(jī)、Web TV系統(tǒng)、手持裝置或其它這種計算機(jī)系統(tǒng)。同樣，ISP7為客戶機(jī)系統(tǒng)25、35和37提供因特網(wǎng)連接，雖然如圖6A所示，用于這三個計算機(jī)系統(tǒng)的連接是不同的?？蛻魴C(jī)計算機(jī)系統(tǒng)25通過調(diào)制解調(diào)器接口27連接，而客戶機(jī)計算機(jī)系統(tǒng)35和37是LAN的一部分。雖然圖6A將接口23和27一般示為“調(diào)制解調(diào)器”，但應(yīng)理解，這些接口中的每個接口都可以是模擬調(diào)制解調(diào)器、ISDN調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器、衛(wèi)星傳輸接口、或用于將計算機(jī)系統(tǒng)連接到其它計算機(jī)系統(tǒng)的其它接口。客戶機(jī)計算機(jī)系統(tǒng)35和37通過網(wǎng)絡(luò)接口39和41連接到LAN 33，這些接口可以是以太網(wǎng)或其它網(wǎng)絡(luò)接口。LAN 33還連接到網(wǎng)關(guān)計算機(jī)系統(tǒng)31，網(wǎng)關(guān)計算機(jī)系統(tǒng)31可以為局域網(wǎng)提供防火墻以及其它與因特網(wǎng)有關(guān)的業(yè)務(wù)。該網(wǎng)關(guān)計算機(jī)系統(tǒng)31連接到ISP 7，以提供因特網(wǎng)到客戶機(jī)計算機(jī)系統(tǒng)35和37的連接。網(wǎng)關(guān)計算機(jī)系統(tǒng)31可以是常規(guī)的服務(wù)器計算機(jī)系統(tǒng)。而且，web服務(wù)器系統(tǒng)9可以是常規(guī)的服務(wù)器計算機(jī)系統(tǒng)。
備選的是，眾所周知，服務(wù)器計算機(jī)系統(tǒng)43可以通過網(wǎng)絡(luò)接口45直接連接到LAN 33，以向客戶機(jī)35、37提供文檔47和其它業(yè)務(wù)，而不需通過網(wǎng)關(guān)系統(tǒng)31連接到因特網(wǎng)。而且，客戶機(jī)系統(tǒng)21、25、35、37的任何組合可以通過使用LAN 33、因特網(wǎng)3或作為通信介質(zhì)的組合的對等系統(tǒng)連接在一起。一般來說，對等系統(tǒng)將數(shù)據(jù)分布在用于存儲和檢索的多個機(jī)器的網(wǎng)絡(luò)上，而不使用一個或多個中心服務(wù)器。因此，每個對等系統(tǒng)可結(jié)合有上述客戶機(jī)和服務(wù)器二者的功能。
圖6B示出一個可以用作客戶機(jī)計算機(jī)系統(tǒng)或服務(wù)器計算機(jī)系統(tǒng)或用作web服務(wù)器系統(tǒng)的常規(guī)計算機(jī)系統(tǒng)的實例。還應(yīng)理解，這種計算機(jī)系統(tǒng)可以用來執(zhí)行因特網(wǎng)服務(wù)提供商例如ISP 5的許多功能。計算機(jī)系統(tǒng)51通過調(diào)制解調(diào)器或網(wǎng)絡(luò)接口53與外部系統(tǒng)對接。應(yīng)理解，調(diào)制解調(diào)器或網(wǎng)絡(luò)接口53可以認(rèn)為是計算機(jī)系統(tǒng)51的一部分。該接口53可以是模擬調(diào)制解調(diào)器、ISDN調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器、令牌環(huán)接口、衛(wèi)星傳輸接口、或用于將計算機(jī)系統(tǒng)連接到其它計算機(jī)系統(tǒng)的其它接口。計算機(jī)系統(tǒng)51包括處理單元55，它可以是常規(guī)的微處理器，例如英特爾奔騰微處理器或摩托羅拉Power PC微處理器。存儲器59由總線57連接到處理器55。存儲器59可以是動態(tài)隨機(jī)存取存儲器(DRAM)，并且也可包括靜態(tài)RAM(SRAM)?？偩€57將處理器55連接到存儲器59，還將其連接到非易失性存儲器65、顯示控制器61以及輸入/輸出(I/O)控制器67。顯示控制器61以常規(guī)方式控制顯示裝置上的顯示器63，它可以是陰極射線管(CRT)或液晶顯示器(LCD)。輸入/輸出裝置69可包括鍵盤、磁盤驅(qū)動器、打印機(jī)、掃描器以及其它輸入和輸出裝置，包括鼠標(biāo)或其它指示裝置。顯示控制器61以及I/O控制器67可以用常規(guī)的眾所周知的技術(shù)實現(xiàn)。數(shù)字圖像輸入裝置71可以是數(shù)字照相機(jī)，它連接到I/O控制器67，以便能將圖像從數(shù)字照相機(jī)輸入到計算機(jī)系統(tǒng)51。非易失性存儲器65通常是磁硬盤、光盤或用于大量數(shù)據(jù)的另一種形式的存儲器。一些這種數(shù)據(jù)常常在計算機(jī)系統(tǒng)51中執(zhí)行軟件期間通過直接存儲器存取過程寫入到存儲器59中。本領(lǐng)域技術(shù)人員會立即理解，術(shù)語“計算機(jī)可讀介質(zhì)”和“機(jī)器可讀介質(zhì)”包括可由處理器55存取的任何類型的存儲裝置，而且還包括編碼數(shù)據(jù)信號的載波。
應(yīng)理解，計算機(jī)系統(tǒng)51是具有不同體系結(jié)構(gòu)的許多可能計算機(jī)系統(tǒng)中的一個實例。例如，基于英特爾微處理器的個人計算機(jī)常具有多條總線，其中一條可以是用于外設(shè)的輸入/輸出(I/O)總線，一條直接連接處理器55和存儲器59(常稱為存儲器總線)。這些總線通過橋式組件連接在一起，橋式組件因不同的總線協(xié)議而執(zhí)行任何必要的變換。
網(wǎng)絡(luò)計算機(jī)是能用于本發(fā)明的另一種類型的計算機(jī)系統(tǒng)。網(wǎng)絡(luò)計算機(jī)一般不包括硬盤或其它大容量存儲器，并且可執(zhí)行程序是從網(wǎng)絡(luò)連接下載到存儲器59中，以便由處理器55執(zhí)行。本領(lǐng)域已知的Web TV系統(tǒng)也可認(rèn)為是按照本發(fā)明的計算機(jī)系統(tǒng)，但它可能缺少圖6B所示的一些特征，例如某些輸入或輸出裝置。典型的計算機(jī)系統(tǒng)通常至少包括處理器、存儲器以及將存儲器連接到處理器的總線。
還應(yīng)理解，計算機(jī)系統(tǒng)51由包括文件管理系統(tǒng)的操作系統(tǒng)軟件控制，例如盤操作系統(tǒng)，它是操作系統(tǒng)軟件的一部分。具有其相關(guān)聯(lián)的文件管理系統(tǒng)軟件的操作系統(tǒng)軟件的一個實例是眾所周知的華盛頓雷德蒙的微軟公司的

操作系統(tǒng)系列，以及它們相關(guān)聯(lián)的文件管理系統(tǒng)。文件管理系統(tǒng)通常存儲在非易失性存儲器65中，使處理器55執(zhí)行操作系統(tǒng)所要求的各種動作，以輸入和輸出數(shù)據(jù)，并將數(shù)據(jù)存儲在存儲器中，包括將文件存儲在非易失性存儲器65中。
以上已對時間分類濾波作了說明，它能預(yù)測圖像數(shù)據(jù)中的像素，以使像素值在傳輸后可被重新創(chuàng)建。雖然本文已示出和說明了具體實施例，但本領(lǐng)域技術(shù)人員應(yīng)理解，經(jīng)計算以達(dá)同樣目的的任何結(jié)構(gòu)都可替代所示的具體實施例。本申請旨在覆蓋對本發(fā)明的任何修改或改變。所以應(yīng)很明確，本發(fā)明僅由以下權(quán)利要求書及其等效物限制。
權(quán)利要求
1.一種編碼圖像數(shù)據(jù)的計算機(jī)化方法，包括:
根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，為圖像數(shù)據(jù)目標(biāo)幀中的一組像素確定類別；
使用分配給所述類別的濾波器和基準(zhǔn)幀來預(yù)測所述像素的值；及
計算所預(yù)測值的預(yù)測誤差值，
其中所述濾波器、運(yùn)動矢量和預(yù)測誤差值表示所編碼圖像數(shù)據(jù)中的所述像素。
2.如權(quán)利要求1所述的計算機(jī)化方法，其中所述基準(zhǔn)幀是以前編碼的幀。
3.如權(quán)利要求1所述的計算機(jī)化方法，其中所述預(yù)測包括:
根據(jù)與正在預(yù)測的像素相關(guān)聯(lián)的所述運(yùn)動矢量，將所述濾波器定位在所述基準(zhǔn)幀上。
4.如權(quán)利要求1所述的計算機(jī)化方法，其中所述預(yù)測使用多個基準(zhǔn)幀。
5.如權(quán)利要求4所述的計算機(jī)化方法，其中所述多個基準(zhǔn)幀選自過去幀、將來幀以及過去和將來幀的組合。
6.如權(quán)利要求4所述的計算機(jī)化方法，其中所述濾波器是三維濾波器，包括用于每個基準(zhǔn)幀的二維濾波器。
7.如權(quán)利要求1所述的計算機(jī)化方法，還包括:
產(chǎn)生所述運(yùn)動矢量。
8.如權(quán)利要求1所述的計算機(jī)化方法，其中所述確定包括:
按值對運(yùn)動矢量進(jìn)行分組；以及
給每個組分配類別標(biāo)識符。
9.如權(quán)利要求8所述的計算機(jī)化方法，其中如果組數(shù)大于預(yù)定的最大值，則所述確定還包括:
合并具有少量運(yùn)動矢量的組，直到所述組數(shù)等于所述最大值。
10.如權(quán)利要求8所述的計算機(jī)化方法，其中所述確定還包括:
將具有少量運(yùn)動矢量的組合并到鄰近組中。
11.如權(quán)利要求8所述的計算機(jī)化方法，其中所述確定還包括:
將具有少量運(yùn)動矢量的組合并到特殊類別中。
12.如權(quán)利要求1所述的計算機(jī)化方法，還包括:
根據(jù)所述目標(biāo)幀中所述類別的所述運(yùn)動矢量以及所述基準(zhǔn)幀，產(chǎn)生用于所述類別的所述濾波器的系數(shù)。
13.如權(quán)利要求12所述的計算機(jī)化方法，其中所述產(chǎn)生包括:
產(chǎn)生初始濾波器；
使用所述初始濾波器預(yù)測所述類別中所述像素的值；
將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及
使用所述類別中的其余像素迭代地產(chǎn)生隨后的濾波器、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
14.如權(quán)利要求1所述的計算機(jī)化方法，還包括:
根據(jù)所述運(yùn)動矢量將每個濾波器應(yīng)用到所述基準(zhǔn)幀，并加上所述預(yù)測誤差值，以重新構(gòu)建所述圖像數(shù)據(jù)的所述像素。
15.一種產(chǎn)生時間上分類濾波器的計算機(jī)化方法，包括:
根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別；以及
根據(jù)所述運(yùn)動矢量和預(yù)編碼的基準(zhǔn)幀產(chǎn)生系數(shù)。
16.如權(quán)利要求15所述的計算機(jī)化方法，其中所述產(chǎn)生包括:
產(chǎn)生初始系數(shù)；
使用初始濾波器，預(yù)測所述類別中所述像素的值；
將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及
使用所述類別中的其余像素迭代地產(chǎn)生隨后的系數(shù)、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
17.一種具有可執(zhí)行指令的機(jī)器可讀介質(zhì)，使處理器執(zhí)行圖像數(shù)據(jù)編碼方法，所述方法包括:
根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別；
使用分配給所述類別的濾波器和基準(zhǔn)幀來預(yù)測所述像素的值；及
計算所預(yù)測值的預(yù)測誤差值，
其中所述濾波器、運(yùn)動矢量和預(yù)測誤差值表示所編碼圖像數(shù)據(jù)中的所述像素。
18.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述基準(zhǔn)幀是以前編碼的幀。
19.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述預(yù)測包括:
根據(jù)與正在預(yù)測的像素相關(guān)聯(lián)的所述運(yùn)動矢量，將所述濾波器定位在所述基準(zhǔn)幀上。
20.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述預(yù)測使用多個基準(zhǔn)幀。
21.如權(quán)利要求20所述的機(jī)器可讀介質(zhì)，其中所述多個基準(zhǔn)幀選自過去幀、將來幀以及過去和將來幀的組合。
22.如權(quán)利要求20所述的機(jī)器可讀介質(zhì)，其中所述濾波器是三維濾波器，包括用于每個基準(zhǔn)幀的二維濾波器。
23.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述方法還包括:
產(chǎn)生所述運(yùn)動矢量。
24.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述確定包括:
按值對運(yùn)動矢量進(jìn)行分組；以及
給每個組分配類別標(biāo)識符。
25.如權(quán)利要求24所述的機(jī)器可讀介質(zhì)，其中如果組數(shù)大于預(yù)定的最大值，則所述確定還包括:
合并具有少量運(yùn)動矢量的組，直到所述組數(shù)等于所述最大值。
26.如權(quán)利要求24所述的機(jī)器可讀介質(zhì)，其中所述確定還包括:
將具有少量運(yùn)動矢量的組合并到鄰近組中。
27.如權(quán)利要求24所述的機(jī)器可讀介質(zhì)，其中所述確定還包括:
將具有少量運(yùn)動矢量的組合并到特殊類別中。
28.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述方法還包括:
根據(jù)所述目標(biāo)幀中所述類別的所述運(yùn)動矢量以及所述基準(zhǔn)幀，產(chǎn)生用于所述類別的所述濾波器的系數(shù)。
29.如權(quán)利要求28所述的機(jī)器可讀介質(zhì)，其中所述產(chǎn)生包括:
產(chǎn)生初始濾波器；
使用所述初始濾波器預(yù)測所述類別中所述像素的值；
將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及
使用所述類別中的其余像素迭代地產(chǎn)生隨后的濾波器、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
30.如權(quán)利要求17所述的機(jī)器可讀介質(zhì)，其中所述方法還包括:
根據(jù)所述運(yùn)動矢量將每個濾波器應(yīng)用到所述基準(zhǔn)幀，并加上所述預(yù)測誤差值，以重新構(gòu)建所述圖像數(shù)據(jù)的所述像素。
31.一種具有可執(zhí)行指令的機(jī)器可讀介質(zhì)，使處理器執(zhí)行創(chuàng)建時間上分類濾波器的方法，所述方法包括:
根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別；以及
根據(jù)所述運(yùn)動矢量和預(yù)編碼的基準(zhǔn)幀產(chǎn)生系數(shù)。
32.如權(quán)利要求31所述的機(jī)器可讀介質(zhì)，其中所述產(chǎn)生包括:
產(chǎn)生初始系數(shù)；
使用初始濾波器預(yù)測所述類別中所述像素的值；
將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及
使用所述類別中的其余像素迭代地產(chǎn)生隨后的系數(shù)、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
33.一種系統(tǒng)，包括:
處理器，通過總線連接到存儲器；以及
圖像數(shù)據(jù)編碼過程，由所述處理器從所述存儲器執(zhí)行，以使所述處理器:根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別；使用分配給所述類別的濾波器和基準(zhǔn)幀來預(yù)測所述像素的值；以及計算所預(yù)測值的預(yù)測誤差值，其中所述濾波器、運(yùn)動矢量和預(yù)測誤差值表示所編碼圖像數(shù)據(jù)中的所述像素。
34.如權(quán)利要求33所述的系統(tǒng)，其中所述基準(zhǔn)幀是以前編碼的幀。
35.如權(quán)利要求33所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器，根據(jù)與正在預(yù)測的像素相關(guān)聯(lián)的所述運(yùn)動矢量，將所述濾波器定位在所述基準(zhǔn)幀上。
36.如權(quán)利要求33所述的系統(tǒng)，其中所述預(yù)測使用多個基準(zhǔn)幀。
37.如權(quán)利要求36所述的系統(tǒng)，其中所述多個基準(zhǔn)幀選自過去幀、將來幀以及過去和將來幀的組合。
38.如權(quán)利要求36所述的系統(tǒng)，其中所述濾波器是三維濾波器，包括用于每個基準(zhǔn)幀的二維濾波器。
39.如權(quán)利要求33所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器，產(chǎn)生所述運(yùn)動矢量。
40.如權(quán)利要求33所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器在確定類別時，按值對運(yùn)動矢量進(jìn)行分組，并給每個組分配類別標(biāo)識符。
41.如權(quán)利要求40所述的系統(tǒng)，其中如果組數(shù)大于預(yù)定的最大值，則所述圖像數(shù)據(jù)編碼過程還使所述處理器在確定類別時，合并具有少量運(yùn)動矢量的組，直到所述組數(shù)等于所述最大值。
42.如權(quán)利要求40所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器在確定類別時，將具有少量運(yùn)動矢量的組合并到鄰近組中。
43.如權(quán)利要求40所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器在確定類別時，將具有少量運(yùn)動矢量的組合并到特殊類別中。
44.如權(quán)利要求33所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器，根據(jù)所述目標(biāo)幀中所述類別的所述運(yùn)動矢量以及所述基準(zhǔn)幀，產(chǎn)生用于所述類別的所述濾波器的系數(shù)
45.如權(quán)利要求42所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器:產(chǎn)生初始濾波器；使用所述初始濾波器預(yù)測所述類別中所述像素的值；將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及使用所述類別中的其余像素迭代地產(chǎn)生隨后的濾波器、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
46.如權(quán)利要求33所述的系統(tǒng)，其中所述圖像數(shù)據(jù)編碼過程還使所述處理器，根據(jù)所述運(yùn)動矢量將每個濾波器應(yīng)用到所述基準(zhǔn)幀，并加上所述預(yù)測誤差值，以重新構(gòu)建所述圖像數(shù)據(jù)的所述像素。
47.一種系統(tǒng)，包括:
處理器，通過總線連接到存儲器；以及
時間上分類濾波器創(chuàng)建過程，由所述處理器從所述存儲器執(zhí)行，以使所述處理器，根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量，確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別，并根據(jù)所述運(yùn)動矢量和預(yù)編碼的基準(zhǔn)幀產(chǎn)生系數(shù)。
48.如權(quán)利要求47所述的系統(tǒng)，其中所述時間上分類濾波器創(chuàng)建過程還使所述處理器:產(chǎn)生初始系數(shù)；使用初始濾波器預(yù)測所述類別中所述像素的值；將預(yù)測誤差大于閾值的任何像素從所述類別中去除；以及使用所述類別中的其余像素迭代地產(chǎn)生隨后的系數(shù)、進(jìn)行預(yù)測并去除像素，直到滿足預(yù)定標(biāo)準(zhǔn)。
49.一種編碼圖像數(shù)據(jù)的設(shè)備，包括:
用于根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量確定圖像數(shù)據(jù)目標(biāo)幀中的一組像素的類別的部件；
用于使用分配給所述類別的濾波器和基準(zhǔn)幀預(yù)測所述像素的值的部件；以及
用于計算所預(yù)測值的預(yù)測誤差值的部件，
其中所述濾波器、運(yùn)動矢量和預(yù)測誤差值表示所編碼圖像數(shù)據(jù)中的所述像素。
50.如權(quán)利要求49所述的設(shè)備，其中所述用于預(yù)測的部件包括:
用于根據(jù)與正在預(yù)測的像素相關(guān)聯(lián)的所述運(yùn)動矢量將所述濾波器定位在所述基準(zhǔn)幀上的部件。
51.如權(quán)利要求49所述的設(shè)備，還包括:
用于產(chǎn)生所述運(yùn)動矢量的部件。
52.如權(quán)利要求49所述的設(shè)備，其中所述用于確定的部件包括:
用于按值對運(yùn)動矢量進(jìn)行分組的部件；以及
用于給每個組分配類別標(biāo)識符的部件。
53.如權(quán)利要求49所述的設(shè)備，還包括:
用于根據(jù)所述目標(biāo)幀中所述類別的所述運(yùn)動矢量以及所述基準(zhǔn)幀產(chǎn)生用于所述類別的所述濾波器的系數(shù)的部件。
54.如權(quán)利要求49所述的設(shè)備，還包括:
用于根據(jù)所述運(yùn)動矢量將每個濾波器應(yīng)用到所述基準(zhǔn)幀并加上所述預(yù)測誤差值以重新構(gòu)建所述圖像數(shù)據(jù)的所述像素的部件。
55.一種產(chǎn)生時間上分類濾波器的設(shè)備，包括:
用于根據(jù)與像素相關(guān)聯(lián)的運(yùn)動矢量確定圖像數(shù)據(jù)目標(biāo)幀中一組像素的類別的部件；以及
用于根據(jù)所述運(yùn)動矢量和預(yù)編碼的基準(zhǔn)幀產(chǎn)生系數(shù)的部件。
全文摘要
時間分類濾波通過應(yīng)用分配給目標(biāo)幀中像素類別的濾波器來預(yù)測像素的值，而編碼圖像數(shù)據(jù)。像素的分類根據(jù)它們相關(guān)聯(lián)的運(yùn)動矢量，且運(yùn)動矢量用來將濾波器定位在基準(zhǔn)幀上。還計算預(yù)測誤差值。濾波器、運(yùn)動矢量以及預(yù)測誤差表示被編碼圖像數(shù)據(jù)中的像素?；鶞?zhǔn)幀可以是圖像數(shù)據(jù)的過去或?qū)韼?，且可以使用各種組合的過去和將來幀的多個基準(zhǔn)幀。用于多個基準(zhǔn)幀的濾波器是三維的，包括用于每個基準(zhǔn)幀的二維濾波器。濾波器可以是預(yù)定的或是在幀被編碼時產(chǎn)生的。通過將濾波器應(yīng)用到基準(zhǔn)幀上并用預(yù)測誤差值校正所得的預(yù)測，來重新創(chuàng)建圖像數(shù)據(jù)。
文檔編號H04N7/26GK101375597SQ200580017207
公開日2009年2月25日 申請日期2005年5月9日 優(yōu)先權(quán)日2004年5月27日
發(fā)明者Z·苗, J·J·小卡里格, M·帕尼科尼 申請人:索尼電子有限公司