專利名稱：用于空間可縮放視頻編碼的具有降低的復(fù)雜度的減少塊偽像的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的各實(shí)施例包括用于圖像塊邊界濾波控制的方法和系統(tǒng)。本發(fā)明的某些實(shí)施例包括用于表征用于控制去塊濾波器(deblocking filter)操作的空間可縮放性增強(qiáng)層內(nèi)的相鄰塊之間的塊邊界的方法和系統(tǒng)。
背景技術(shù)：
通過援引結(jié)合于此的H. 264/MPEG-4AVC( ITU-T VCEG和IS0/IEC MPEG聯(lián)合視頻組的“Advanced Video Coding (AVC) _4thEdition(高級(jí)視頻編碼第四版)”，ITU-T Rec. H. 264 和IS0/IEC 14496-10 (MPEG-Part 10)，2005年1月〕是一種為了壓縮效率而使用宏塊預(yù)測及其后的殘余編碼以降低視頻序列中的時(shí)間和空間冗余性的視頻編解碼器規(guī)范?？臻g可縮放性是指可在以任何所支持的空間分辨率保持速率-失真性能的同時(shí)去除比特率的諸部分的功能。單層H. 264/MPEG-4 AVC不支持空間可縮放性。空間可縮放由H. 264/MPEG-4 AVC的可縮放視頻編碼(SVC)擴(kuò)展支持。通過援引結(jié)合于此的H. 264/MPEG-4 AVC的SVC擴(kuò)展〔聯(lián)合可縮放視頻模型(JSVM) 的工作文檔1. 0(WD-1. 0) (MPEG Doc. N6901)〕是其中空間層之間的冗余性被層間預(yù)測機(jī)制所充分利用的分層視頻編解碼器。H. 264/MPEG-4 AVC的SVC擴(kuò)展的設(shè)計(jì)中包括了 3項(xiàng)層間預(yù)測技術(shù)層間運(yùn)動(dòng)預(yù)測、層間殘留預(yù)測、以及層間幀內(nèi)紋理預(yù)測。基于塊的運(yùn)動(dòng)補(bǔ)償視頻編碼被使用在諸如H. 261, H. 263, H. 264, MPEG-1、MPEG-2、 以及MPEG-4等許多視頻壓縮標(biāo)準(zhǔn)中。有損壓縮過程會(huì)在已解碼圖像中造成被稱為圖像偽像的視覺偽像。塊偽像(blocking artifacts)沿著圖像中的塊邊界出現(xiàn)并且是由變換系數(shù)的粗略量化所引起的。圖像濾波技術(shù)可被用于減少重建的圖像中的偽像。重建的圖像是在逆變換和解碼之后生成的圖像。這些技術(shù)中的經(jīng)驗(yàn)法則是應(yīng)保存圖像邊緣同時(shí)平滑圖像的其余部分?；趪@圖像邊緣的一個(gè)或一組特定像素的特性來謹(jǐn)慎選擇低通濾波器?？鐖D像塊邊界延伸的非相關(guān)圖像像素被特別地濾波以減少塊偽像。然而，該濾波會(huì)在圖像中引入模糊偽像。如果相鄰塊之間僅有極少或沒有塊偽像，則低通濾波器不必要地在圖像中并入了模糊而同時(shí)又浪費(fèi)了處理資源。以前，SVC僅著眼于二進(jìn)空間可縮放性。二進(jìn)空間可縮放性是指其中兩個(gè)接連的空間層之間的圖片尺寸的比率是2的冪的配置。已提出了管理其中接連的空間層之間的圖片尺寸的比率不是2的冪并且較高層圖片可以包含在對應(yīng)的較低層圖片中不存在的區(qū)域的配置的新工具，這被稱為具有修剪窗口的非二進(jìn)縮放。所有的層間預(yù)測方法都包括圖片上采樣。圖片上采樣是從較低分辨率圖像生成較高分辨率圖像的過程。一些圖片上采樣過程包括樣本內(nèi)插。SVC設(shè)計(jì)中使用的現(xiàn)有上采樣過程基于H. 264中指定的用于幀間預(yù)測的四分之一亮度樣本內(nèi)插過程。在被應(yīng)用于空間可縮放編碼時(shí)，該現(xiàn)有方法具有以下兩個(gè)缺點(diǎn)該內(nèi)插分辨率被限于四分之一樣本，因此不支持非二進(jìn)縮放；以及需要半樣本內(nèi)插來獲得四分之一樣本定位，從而使得該方法在計(jì)算上較為繁瑣?？朔@些局限的圖片上采樣過程是合乎需要的。

發(fā)明內(nèi)容
本發(fā)明的各實(shí)施例包括用于圖像編碼和解碼的方法和系統(tǒng)。本發(fā)明的某些實(shí)施例包括用于表征空間可縮放性增強(qiáng)層內(nèi)的相鄰塊之間的塊邊界的方法和系統(tǒng)。在某些實(shí)施例中，相鄰塊中的至少一個(gè)使用層間紋理預(yù)測來編碼。在所述相鄰塊中的一個(gè)滿足指定準(zhǔn)則時(shí)，塊邊界可以用邊界強(qiáng)度指示符來表征。一種用于表征空間可縮放增強(qiáng)層內(nèi)的相鄰塊之間的塊邊界的方法，其中所述相鄰塊中的至少一個(gè)塊是使用層間紋理預(yù)測來編碼的，所述方法包括
a)當(dāng)來自所述相鄰塊中的一個(gè)塊的亮度樣本使用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼時(shí)，用第一邊界強(qiáng)度指示符來表征所述塊邊界；b)在下列情形下用第二邊界強(qiáng)度指示符來表征所述塊邊界，i)來自所述相鄰塊中的每一個(gè)塊的亮度樣本中沒有一個(gè)是采用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼的；以及ii)所述相鄰塊當(dāng)中的任意一個(gè)塊具有非零變換系數(shù)；c)在下列情形下用第三邊界強(qiáng)度指示符來表征所述塊邊界，i)來自所述相鄰塊中的每一個(gè)塊的亮度樣本中沒有一個(gè)是采用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼的；以及ii)所述相鄰塊全部都沒有非零變換系數(shù)。在結(jié)合附圖考慮本發(fā)明的以下具體說明的基礎(chǔ)上，本發(fā)明的以上和其它目的、特征和優(yōu)點(diǎn)將更加容易理解。


圖1是示出了如何根據(jù)相鄰圖像塊之間的相似性選擇性地跳過去塊濾波的示圖。圖2是示出了具有相似運(yùn)動(dòng)矢量的兩個(gè)相鄰圖像塊的示圖。圖3是示出了如何為圖像塊之一標(biāo)識(shí)變換系數(shù)的示圖。圖4是示出了如何在兩個(gè)相鄰圖像塊之間比較殘余變換系數(shù)的示圖。圖5是示出了如何對圖像進(jìn)行編碼和解碼的框圖。圖6是示出了如何在編解碼器中選擇性地跳過去塊濾波的框圖。圖7是基于現(xiàn)有塊的圖像濾波技術(shù)的表示。圖8是示出了用于確定要濾波的邊界和要使用的相應(yīng)濾波器的強(qiáng)度的技術(shù)的框圖。圖9是用以解釋本發(fā)明的其它實(shí)施例的附圖。圖10是用以解釋本發(fā)明的其它實(shí)施例的附圖。圖11是用以解釋本發(fā)明的其它實(shí)施例的附圖。圖12是用以解釋本發(fā)明的其它實(shí)施例的附圖。圖13是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于相鄰塊中的編碼參數(shù)的相似性。圖14是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于具有相似運(yùn)動(dòng)矢量的相鄰塊。圖15是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于具有指向同一參考幀的相似運(yùn)動(dòng)矢量的相鄰塊。圖16是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于具有指向單個(gè)參考幀中的相鄰參考?jí)K的相似運(yùn)動(dòng)矢量的相鄰塊。圖17是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于具有包括相似的D. C變換系數(shù)的參數(shù)的相鄰塊。圖18是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于具有包括相似的A. C變換系數(shù)的參數(shù)的相鄰塊。
圖19是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于亮度圖像中具有包括相似運(yùn)動(dòng)矢量以及參考幀中的相似運(yùn)動(dòng)矢量目標(biāo)的參數(shù)的相鄰塊。圖20是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中相鄰塊之間的去塊濾波取決于亮度圖像中具有包括相似運(yùn)動(dòng)矢量、參考幀中的相似運(yùn)動(dòng)矢量目標(biāo)以及相似變換系數(shù)的參數(shù)的相鄰塊。圖21是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中圖像被分裂為分離的亮度和色度通道并且每個(gè)亮度或色度圖像中的相鄰塊之間的去塊濾波取決于亮度圖像中具有包括相似運(yùn)動(dòng)矢量的參數(shù)的相鄰塊。圖22是描述本發(fā)明的一個(gè)實(shí)施例的步驟的流程圖，其中圖像被分裂為分離的亮度和色度通道并且每個(gè)亮度或色度圖像中的相鄰塊之間的去塊濾波取決于亮度圖像中具有包括相似運(yùn)動(dòng)矢量、參考幀中的相似運(yùn)動(dòng)矢量目標(biāo)以及相似變換系數(shù)的參數(shù)的相鄰塊。圖23是示出了本發(fā)明的某些實(shí)施例中基礎(chǔ)空間層與增強(qiáng)空間層之間的幾何關(guān)系的示圖。圖M是示出了本發(fā)明的某些實(shí)施例中經(jīng)上采樣的基礎(chǔ)層圖片與增強(qiáng)層圖片之間的幾何關(guān)系的示圖。圖25是示出了 4X4的塊的像素的示圖。圖沈是示出了 8 X 8的塊內(nèi)的4 X 4的塊的示圖。圖27是示出了預(yù)測宏塊的8X8個(gè)塊的示圖。圖觀是示出了基于相鄰塊屬性來表征塊邊界的一個(gè)示例性方法的流程圖。圖四是示出了基于相鄰塊屬性來表征塊邊界的一個(gè)替換性示例性方法的流程圖。圖30是示出了基于相鄰塊屬性來表征塊邊界的另一替換性示例性方法的流程圖。
具體實(shí)施例方式參照附圖，本發(fā)明的實(shí)施例將得到最好的理解，在全部附圖中，相同部分用相同的附圖標(biāo)記來表示。以上所列附圖作為該詳細(xì)描述的一部分而被明確地包括在內(nèi)。容易理解的是，如此處在附圖中一般性地描述和示出的本發(fā)明的各組件也可以用各種不同的配置來安排和設(shè)計(jì)。因此，以下本發(fā)明的方法和系統(tǒng)的實(shí)施例的更詳細(xì)描述并無意限制本發(fā)明的范圍，而僅表示本發(fā)明當(dāng)前的優(yōu)選實(shí)施例。本發(fā)明的各實(shí)施例中的元素可以用硬件、固件和/或軟件來體現(xiàn)。雖然在此披露的示例性實(shí)施例可能僅描述了這些形式中的一種，然而應(yīng)該理解的是，本領(lǐng)域的技術(shù)人員將能夠以這些形式中的任意一種來實(shí)現(xiàn)這些元素而仍落于本發(fā)明的范圍之內(nèi)。常規(guī)的濾波過程每次考慮單個(gè)重建的圖像幀。基于塊的視頻編碼技術(shù)可使用運(yùn)動(dòng)矢量來估計(jì)像素塊的運(yùn)動(dòng)。在編碼器和解碼器兩者處都可得到運(yùn)動(dòng)矢量信息，然而常規(guī)濾波過程并沒有使用它。例如，如果兩個(gè)相鄰塊關(guān)于同一參考圖像幀共享相同的運(yùn)動(dòng)矢量 (對于多參考幀系統(tǒng))每個(gè)塊的圖像殘余之間可能沒有顯著差異，因此不需要被濾波。實(shí)際上，圖像的相鄰部分關(guān)于同一參考幀具有相同運(yùn)動(dòng)，因此將可以預(yù)期圖像殘余之間沒有顯著差異。在許多情形中，這種兩個(gè)相鄰塊的塊邊界可能已經(jīng)在參考幀中被濾波，因此不應(yīng)該針對當(dāng)前幀被再次濾波。如果使用去塊濾波器而不考慮這種運(yùn)動(dòng)矢量信息，那么常規(guī)濾波過程可能在諸幀間一次又一次地對相同的邊界進(jìn)行濾波。這種不必要的濾波不僅導(dǎo)致不必要的模糊而且還導(dǎo)致了額外的濾波器計(jì)算。圖1示出了根據(jù)圖像塊之間的相似性來選擇性地對塊偽像濾波的圖像12。應(yīng)該理解的是該圖像同樣可以使用非方形塊或任何其它像素集。某些塊14之間的邊界包括塊偽像18。一般而言，塊偽像是可能由編碼和/或解碼過程所引起的位于塊14之間的任何圖像不連續(xù)性?？墒褂玫屯V波器或其它濾波器來減少相鄰圖像塊的邊界處存在的塊偽像。例如，塊偽像對存在于塊20與22之間。可在塊20與22之間的邊界沈處使用低通濾波器來去除或減少塊偽像24。低通濾波器例如從該邊界沈的兩側(cè)選擇一組像素28。 從像素組觀導(dǎo)出平均像素值或任何其它統(tǒng)計(jì)度量。然后將每個(gè)單獨(dú)像素與該平均像素值相比較。然后，組觀中落于該平均像素值的預(yù)定范圍之外的任何像素都將用該平均像素值來代替。如上所述，如果相鄰像素之間僅有少許或沒有塊偽像24，則像素組觀可能會(huì)被不必要地濾波而導(dǎo)致圖像中的模糊。跳過模式濾波方案可將相鄰圖像塊的運(yùn)動(dòng)估計(jì)和/或補(bǔ)償信息用作選擇性地濾波的基礎(chǔ)。如果運(yùn)動(dòng)估計(jì)和補(bǔ)償信息足夠相似，則可以跳過濾波。這避免了不必要的圖像模糊并且顯著減少了所需的濾波操作次數(shù)或任何其它適當(dāng)值。作為一個(gè)示例，可在編碼過程中確定相鄰圖像塊30和32具有相似的編碼參數(shù)。因此，可以跳過對跨過相鄰塊30與32之間的邊界31延伸的像素組34的去塊濾波。跳過模式濾波可被用于圖像12中相鄰塊之間的任何水平、垂直、或其它任何邊界。圖2示出了參考幀42、參考幀48、以及當(dāng)前正被編碼或解碼的當(dāng)前幀40。將塊44 和46的編碼參數(shù)相比較以確定在兩個(gè)相鄰塊44與46之間是否應(yīng)該跳過去塊濾波?？梢员容^的編碼參數(shù)之一是塊44和46的運(yùn)動(dòng)矢量(MV)。運(yùn)動(dòng)矢量MVl從當(dāng)前圖像幀40中的塊44指向參考圖像42中相關(guān)聯(lián)的塊44，。運(yùn)動(dòng)矢量MV2從當(dāng)前圖像幀40中的塊46指向參考幀42中相關(guān)聯(lián)的塊46，。跳過模式濾波檢查運(yùn)動(dòng)矢量MVl和MV2是否指向同一參考幀42中的相鄰塊。如果運(yùn)動(dòng)矢量指向同一參考幀中的相鄰塊(MVl =MV2)，則可以跳過去塊濾波。該運(yùn)動(dòng)矢量信息可以與其它編碼信息一起使用以決定是否在兩個(gè)圖像塊44和46之間跳過去塊濾波。在編碼和解碼過程中可使用一個(gè)以上的參考幀。例如，可以有另一參考幀48。相鄰塊44和46可以具有指向不同參考幀的運(yùn)動(dòng)矢量。在一個(gè)示例中，跳過去塊濾波的決策取決于這兩個(gè)相鄰塊的運(yùn)動(dòng)矢量是否指向同一參考幀。例如，圖像塊44可具有指向參考幀 48的運(yùn)動(dòng)矢量49，而圖像塊46可具有指向參考幀42的運(yùn)動(dòng)矢量MV2。在該示例中，由于運(yùn)動(dòng)矢量49和MV2指向不同參考幀，所以不跳過去塊濾波。圖3示出了可被用來決定是否選擇性地跳過去塊濾波的編碼參數(shù)的另一示例。將來自圖像幀40的圖像塊44與先前如圖2中所示地為運(yùn)動(dòng)矢量MV所指向的來自參考幀42 的參考?jí)K44相比較。根據(jù)圖像塊44和參考?jí)K44’之間的比較輸出殘余塊44”。對殘余塊 44”執(zhí)行變換50以創(chuàng)建變換系數(shù)的變換塊44”。在一個(gè)示例中，變換50是離散余弦變換。 變換塊44”包括D. C.分量52和A. C.分量53。D. C分量52是指圖像塊44中最低頻率的變換系數(shù)。例如，表示圖像塊44中的平均能量的系數(shù)。A. C分量53是指表示圖像塊44中最高頻率分量的變換系數(shù)。例如，表示圖像塊44中像素之間的較大能量差異的變換系數(shù)。圖4示出了經(jīng)變換的殘余塊44”和46”。在處理器M中將來自兩個(gè)經(jīng)變換的塊 44”和46”的D.C.分量52相比較。如果D. C.分量相同或在彼此的某一范圍內(nèi)，則處理器 M通知去塊濾波器操作56跳過兩個(gè)相鄰塊44和46的邊界之間的去塊濾波。如果D.C.分量52不相似，則不發(fā)起跳過通知，且塊44和46之間的邊界被去塊濾波。在一個(gè)示例中，可將跳過模式濾波結(jié)合在國際電信聯(lián)盟電信部門(ITU-T)提出的 H.26L編碼方案中。H. 26L方案使用4X4的整數(shù)離散余弦變換(DCT)塊。在需要的情況下，可以僅檢查兩個(gè)相鄰塊的D.C分量。然而，也可同樣地檢查某些有限的低頻A. C.系數(shù)， 特別是當(dāng)圖像塊為諸如9X9或16X16塊等較大的大小時(shí)。例如，可以將塊44”的上部的 D. C.分量52和三個(gè)較低頻率的A. C.變換系數(shù)53與塊46”的上部的D. C.分量52和三個(gè)較低頻率的A. C.變換系數(shù)53相比較?？墒褂肈.C.和/或任意A. C變換系數(shù)的不同組合來標(biāo)識(shí)兩個(gè)相鄰塊44和46之間的相對相似性。處理器M還可接收在編碼過程中生成的其它編碼參數(shù)55。這些編碼參數(shù)包括如前所述的相鄰塊44和46的運(yùn)動(dòng)矢量和參考幀信息。處理器M可使用這些編碼參數(shù)中的部分或全部來確定是否在相鄰塊44和46之間跳過去塊濾波。對該圖像執(zhí)行的其它編碼和變換功能可在相同的處理器M或不同的處理單元中執(zhí)行。在所有或大部分編碼都在同一處理器中實(shí)現(xiàn)的情形中，跳過模式通過設(shè)置濾波例程中的跳過參數(shù)來簡單地啟用。圖5示出了在基于塊的運(yùn)動(dòng)補(bǔ)償編碼器解-碼器(編解碼器)60中如何使用跳過模式濾波。編解碼器60被用于幀間編碼。來自當(dāng)前幀的輸入視頻塊從框62被送進(jìn)比較器 64。幀緩沖框80的輸出根據(jù)所估計(jì)的運(yùn)動(dòng)矢量(以及可能的參考幀編號(hào))生成參考?jí)K81。 輸入視頻塊與參考?jí)K81之間的差異在框66中被變換并且隨后在框68中被量化。被量化的變換塊在框70中被可變長度編碼器(VLC)編碼并隨后被發(fā)送、存儲(chǔ)等。編解碼器60的編碼部分通過在框72中首先逆量化(IQ)經(jīng)變換的圖像來重建經(jīng)變換和量化的圖像。經(jīng)逆量化的圖像然后在框74中被逆變換以生成重建的殘余圖像。該重建的殘余圖像然后在框76中被添加到參考?jí)K81以生成重建的圖像塊。一般而言，重建的圖像塊在框78中被環(huán)路濾波以減少由量化和變換處理引起的塊偽像。該經(jīng)濾波的圖像然后在框80中被緩沖以形成參考幀?？?0中的幀緩沖將重建的參考幀用于運(yùn)動(dòng)估計(jì)和補(bǔ)償。參考?jí)K81在比較器64中被與輸入視頻塊相比較。經(jīng)編碼的圖像在節(jié)點(diǎn)71處從編碼部分輸出并且然后被存儲(chǔ)或發(fā)送。在編解碼器60的解碼器部分中，可變長度解碼器(VLD)在框82中對已編碼圖像進(jìn)行解碼。已解碼圖像在框84中被逆量化并在框86中被逆變換。來自框86的重建的殘余圖像在在求和框88中被添加到參考?jí)K91，然后在框90中被環(huán)路濾波以減少塊偽像，并在框92中被緩沖作為參考幀。參考?jí)K91根據(jù)接收到的運(yùn)動(dòng)矢量信息從框92生成。來自框 90的環(huán)路濾波輸出可以任選地在框94中被后置濾波以進(jìn)一步減少圖像偽像，然后在框96 中被顯示為視頻圖像?？稍诳?8、90和94中的濾波功能的任意組合中執(zhí)行跳過模式濾波方案。視頻編碼過程中可得到的運(yùn)動(dòng)估計(jì)和補(bǔ)償信息被用于確定何時(shí)跳過框78、90和/ 或94中的去塊濾波。由于這些編碼參數(shù)已經(jīng)在編碼和解碼過程中生成，所以沒有必須專門為跳過模式濾波生成或傳輸?shù)母郊泳幋a參數(shù)。圖6示出了在圖5的編碼器和解碼器中的濾波器78、90、和/或94中如何使用跳過模式濾波的進(jìn)一步細(xì)節(jié)。首先在框100中標(biāo)識(shí)任意兩個(gè)相鄰塊“i”和“k”之間的塊間邊界。這兩個(gè)塊可以在圖像幀中水平或垂直地相鄰。決策框102將塊j的運(yùn)動(dòng)矢量mv(j)與塊k的運(yùn)動(dòng)矢量mv(k)相比較。首先確定這兩個(gè)相鄰塊j和k是否具有指向同一參考幀的相同運(yùn)動(dòng)矢量。換言之，相鄰塊的運(yùn)動(dòng)矢量指向同一參考幀(ref(j) =ref(k))中的相鄰塊(mv(j) = mv(k))。然后確定這兩個(gè)相鄰塊的殘余系數(shù)是否相似。如果相鄰塊的圖像殘余之間沒有顯著差異，例如這兩個(gè)塊j和k具有相同或相似的D. C.分量(dc(j)dc(k))，則跳過框104中的去塊濾波。跳過模式濾波然后移到框106中的下一塊間邊界并在決策框102中進(jìn)行下一比較?？蓪λ较噜弶K或垂直相鄰塊兩者執(zhí)行跳過模式濾波。在一個(gè)實(shí)施例中，僅使用相鄰圖像塊的參考幀和運(yùn)動(dòng)矢量信息來確定塊跳過。在其它實(shí)施例中，僅使用D. C.和/或A.C.殘余系數(shù)來確定塊跳過。在其它實(shí)施例中，運(yùn)動(dòng)矢量、參考幀和殘余系數(shù)全部被用來確定塊跳過。可將跳過模式濾波方案應(yīng)用于經(jīng)空間子采樣的色度通道。例如在具有4:2:0色彩格式序列的情形中，塊邊界的跳過模式濾波可僅依賴于該圖像的亮度分量的運(yùn)動(dòng)矢量和 D.C.分量的相等。如果運(yùn)動(dòng)矢量和D. C.分量相同，則對相鄰圖像塊的亮度和色度分量兩者都跳過去塊濾波。在另一實(shí)施例中，對相鄰塊的每個(gè)亮度和色度分量分開地考慮運(yùn)動(dòng)矢量和D.C.分量。在該情形中，相鄰塊的一個(gè)亮度或色度分量可以被去塊濾波而同一相鄰塊的其它亮度或色度分量不被去塊濾波。參照圖7，一些已知技術(shù)定義“塊強(qiáng)度”參數(shù)以供環(huán)路濾波器控制環(huán)路濾波過程。 圖像的每個(gè)塊具有與該塊相關(guān)聯(lián)并且控制在其全部4個(gè)塊邊界上執(zhí)行的濾波的強(qiáng)度值。塊強(qiáng)度值是基于比特流中可得到的運(yùn)動(dòng)矢量和變換系數(shù)導(dǎo)出的。然而，在考慮對塊的所有四個(gè)邊緣使用塊強(qiáng)度值之后，本發(fā)明人意識(shí)到這導(dǎo)致去除一些邊緣處的某些塊偽像但又沿其它邊緣不必要地引起模糊。與逐塊方式的濾波形成對比，本發(fā)明人意識(shí)到應(yīng)該結(jié)合其它信息以逐邊緣的方式作出濾波判定。其它信息可包括例如塊的塊內(nèi)編碼、具有殘余信息的塊的運(yùn)動(dòng)估計(jì)、沒有殘余信息的塊的運(yùn)動(dòng)估計(jì)、以及沒有具有足夠差異的殘余的塊的運(yùn)動(dòng)估計(jì)。這些信息特性中的一個(gè)、兩個(gè)、三個(gè)或四個(gè)可被用來以逐邊緣的方式提高濾波能力?；诓煌奶匦约?，可根據(jù)需要修改濾波。對于每個(gè)塊邊界優(yōu)選地定義一個(gè)控制參數(shù)，即邊界強(qiáng)度Bs。參照圖8，共享一公共邊界的一對塊被表示為j和k。第一框110檢查這兩個(gè)塊中的任意一個(gè)是否為幀內(nèi)編碼的。 如果任意一個(gè)為幀內(nèi)編碼的，則邊界強(qiáng)度在框112被設(shè)為3?？?10確定是否這兩個(gè)塊都沒有進(jìn)行運(yùn)動(dòng)預(yù)測。如果沒有使用運(yùn)動(dòng)預(yù)測，則該塊源自幀本身并且相應(yīng)地應(yīng)在邊界上執(zhí)行濾波。由于幀內(nèi)編碼塊邊界通常包括塊偽像，所以這通常是恰當(dāng)?shù)?。如果塊j和k兩者都至少部分地是從先前或?qū)淼膸A(yù)測的，則在框114檢查塊 j和k以確定是否有任何系數(shù)被編碼。這些系數(shù)可以是例如離散余弦變換系數(shù)。如果塊j 和k中的任意一個(gè)包括非零系數(shù)，則塊中的至少一個(gè)使用一般被稱為殘余的該系數(shù)表示根據(jù)先前或?qū)淼膸念A(yù)測以及對塊的修改。如果塊j和k中的任意一個(gè)包括非零系數(shù)(并且是經(jīng)運(yùn)動(dòng)預(yù)測的)，則邊界強(qiáng)度在框116被設(shè)為2。這表示圖像被預(yù)測但該預(yù)測使用殘余來糾正的事件。因此，圖像可能包括塊偽像。如果塊j和k兩者都是經(jīng)運(yùn)動(dòng)預(yù)測的并且不包括一般被稱為殘余的非零系數(shù)，則在框118作出判定以檢查邊界的任何一側(cè)的像素是否與另一側(cè)足夠不同。這也可同樣被用來確定殘余是否足夠小。如果存在足夠的差異，則可能存在塊偽像。首先作出判定以確定這兩個(gè)塊是否使用不同參考幀，即R(j)興R(k)。如果塊j和k來自兩個(gè)不同參考幀，則邊界強(qiáng)度在框120被分配值1?；蛘撸瑱z查兩個(gè)圖像塊的運(yùn)動(dòng)矢量的絕對差以確定在垂直或水平方向中的任一方向上是否大于或等于1個(gè)像素，即，IV (j，χ) -V (k，χ) I彡1像素或IV (j， y)-V(k,y)彡1像素。根據(jù)需要也可同樣使用其它閾值，包括根據(jù)使用的測試的小于或大于。如果運(yùn)動(dòng)矢量的絕對差大于或等于1，則邊界強(qiáng)度被分配值1。如果兩個(gè)塊j和k都是經(jīng)運(yùn)動(dòng)預(yù)測的、沒有殘余、基于同一幀、并且具有輕微的差異，則邊界強(qiáng)度值被分配0值。如果邊界強(qiáng)度值被分配0值，則該邊界不被濾波或者根據(jù)邊界強(qiáng)度的值自適應(yīng)地濾波。應(yīng)該理解的是，根據(jù)需要在邊界強(qiáng)度為0時(shí)系統(tǒng)也可輕微地濾波。邊界強(qiáng)度值，即1、2、和3被用于控制環(huán)路濾波器中的像素值自適應(yīng)范圍。根據(jù)需要，每個(gè)不同邊界強(qiáng)度可以是一不同濾波的基礎(chǔ)。例如，在某些實(shí)施例中，可使用三種濾波器，其中在Bs = 1時(shí)使用第一濾波器，在Bs = 2時(shí)使用第二濾波器而在Bs = 3時(shí)使用第三濾波器。應(yīng)該理解的是，相比于產(chǎn)生較顯著差異的其它濾波，未濾波可通過最小濾波來執(zhí)行。在圖8所示的示例中，Bs的值越大，濾波越大。濾波可通過任何合適的技術(shù)來執(zhí)行，諸如IS0/IEC MPEG的聯(lián)合視頻組(JVT)的聯(lián)合委員會(huì)草案(CD)中描述的方法以及用于濾除圖像偽像的其它已知方法。跳過模式濾波可與編碼或解碼多個(gè)圖像幀的任何系統(tǒng)一起使用。例如，DVD播放器、錄像機(jī)、或通過諸如電視頻道或因特網(wǎng)等通信信道發(fā)送圖像數(shù)據(jù)的任何系統(tǒng)。應(yīng)該理解的是，系統(tǒng)可使用量化參數(shù)作為編碼參數(shù)，或者單用或者與其它編碼參數(shù)一起使用。另外， 應(yīng)該理解的是，系統(tǒng)也可不單獨(dú)使用量化參數(shù)或?yàn)榱藶V波而根本不使用量化參數(shù)。以上描述的跳過模式濾波可用執(zhí)行部分或所有操作的專用處理器系統(tǒng)、微控制器、可編程邏輯器件或微處理器來實(shí)現(xiàn)。以上所述操作的一部分可以用軟件來實(shí)現(xiàn)，而其它操作可以用硬件來實(shí)現(xiàn)。為方便起見，各操作被描述為各種互聯(lián)的功能塊或不同的軟件模塊。然而這并不是必需的，在許多情形中這些功能塊或模塊被等效地集合到?jīng)]有清晰邊界的單個(gè)邏輯器件、程序或操作中?？傊?，這些功能塊和軟件模塊或所述特征可以單獨(dú)或結(jié)合硬件或軟件中的其它操作來實(shí)現(xiàn)。在如圖9所示的本發(fā)明的某些實(shí)施例中，圖像數(shù)據(jù)902可被輸入到包括如以上針對本發(fā)明的某些實(shí)施例所述的自適應(yīng)濾波部分的圖像數(shù)據(jù)編碼裝置904中。圖像數(shù)據(jù)編碼裝置904的輸出是已編碼圖像數(shù)據(jù)，并且隨后可被存儲(chǔ)在任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)906上。 存儲(chǔ)介質(zhì)可包括，但并不限于，盤介質(zhì)、存儲(chǔ)卡介質(zhì)、或數(shù)字磁帶介質(zhì)。存儲(chǔ)介質(zhì)906可用作短期存儲(chǔ)設(shè)備。已編碼圖像數(shù)據(jù)可以從存儲(chǔ)介質(zhì)906中讀出并由包括如以上針對本發(fā)明的某些實(shí)施例所述的自適應(yīng)濾波部分的圖像數(shù)據(jù)解碼裝置908解碼?？蔀榘l(fā)送到顯示器或其它設(shè)備的輸出已解碼圖像數(shù)據(jù)910提供已解碼圖像數(shù)據(jù)。
在如圖10所示的本發(fā)明的某些實(shí)施例中，圖像數(shù)據(jù)1002可被編碼并且已編碼圖像可隨后被存儲(chǔ)在存儲(chǔ)介質(zhì)1006上，并且圖像數(shù)據(jù)解碼裝置1008與圖9中所示的相同。在圖10中，Bs數(shù)據(jù)編碼部分1012接收每個(gè)塊邊界的邊界強(qiáng)度值Bs并通過包括DPCM、多值游程長度編碼、具有無損特征的變換編碼等在內(nèi)的任何數(shù)據(jù)編碼方法來編碼。邊界強(qiáng)度Bs可如圖8中所示地生成。已編碼邊界強(qiáng)度可隨后被存儲(chǔ)在存儲(chǔ)介質(zhì)1006上。在一個(gè)示例中， 已編碼邊界強(qiáng)度可與已編碼圖像數(shù)據(jù)分開存儲(chǔ)。在其它示例中，已編碼邊界強(qiáng)度和已編碼圖像數(shù)據(jù)可于存儲(chǔ)在存儲(chǔ)介質(zhì)1006上之前被多路復(fù)用。已編碼邊界強(qiáng)度可由Bs數(shù)據(jù)解碼部分1014從存儲(chǔ)介質(zhì)1006讀取并解碼以將已解碼邊界強(qiáng)度輸入到圖像數(shù)據(jù)解碼裝置1008中。當(dāng)在圖像數(shù)據(jù)解碼裝置1008中利用已解碼邊界強(qiáng)度來執(zhí)行本發(fā)明的自適應(yīng)濾波時(shí)，不需要重復(fù)圖8中所示的過程來生成邊界強(qiáng)度，而這可節(jié)省自適應(yīng)濾波的處理能力。在如圖11所示的本發(fā)明的某些實(shí)施例中，圖像數(shù)據(jù)1102可被輸入到包括如上針對本發(fā)明的某些實(shí)施例所述的自適應(yīng)濾波部分的圖像數(shù)據(jù)編碼裝置1104中。圖像數(shù)據(jù)編碼裝置1104的輸出是已編碼圖像并且可隨后通過諸如LAN、WAN或因特網(wǎng)1106等網(wǎng)絡(luò)來發(fā)送。已編碼圖像數(shù)據(jù)可由同樣與網(wǎng)絡(luò)1106通信的圖像解碼裝置1108接收和解碼。圖像數(shù)據(jù)解碼裝置1108包括如上針對本發(fā)明的某些實(shí)施例所述的自適應(yīng)濾波部分?？蔀榘l(fā)送到顯示器或其它設(shè)備的輸出已解碼圖像數(shù)據(jù)1110提供已解碼圖像數(shù)據(jù)。在如圖12所示的本發(fā)明的某些實(shí)施例中，圖像數(shù)據(jù)1202可被編碼且已編碼數(shù)據(jù)可隨后通過諸如LAN、WAN或因特網(wǎng)1206等網(wǎng)絡(luò)來發(fā)送。圖像數(shù)據(jù)編碼裝置1204和圖像數(shù)據(jù)解碼裝置1208的基本過程與圖11中相同。在圖12中，Bs數(shù)據(jù)編碼部分1212接收每個(gè)塊的邊界強(qiáng)度值Bs，并通過包括DPCM、多值游程長度編碼、具有無損特征的變換編碼等在內(nèi)的任何數(shù)據(jù)編碼方法來編碼。邊界強(qiáng)度Bs可如圖11中所示地生成。已編碼邊界強(qiáng)度可隨后通過網(wǎng)絡(luò)1206發(fā)送。在一個(gè)示例中，已編碼邊界強(qiáng)度可與已編碼圖像數(shù)據(jù)分開發(fā)送。 在其它示例中，已編碼邊界強(qiáng)度和已編碼圖像數(shù)據(jù)可于通過網(wǎng)絡(luò)1206發(fā)送前被多路復(fù)用。已編碼邊界強(qiáng)度可由Bs數(shù)據(jù)解碼部分1114從網(wǎng)絡(luò)1206讀取并解碼以將已解碼邊界強(qiáng)度輸入到圖像數(shù)據(jù)解碼裝置1208來執(zhí)行本發(fā)明的自適應(yīng)濾波，不需要重復(fù)圖11中所示的生成邊界強(qiáng)度的過程從而節(jié)省了自適應(yīng)濾波的處理能力。本發(fā)明的某些實(shí)施例可參照圖13來說明。在這些系統(tǒng)和方法中，標(biāo)識(shí)視頻幀中的相鄰塊150并標(biāo)識(shí)這些相鄰塊的編碼參數(shù)。然后比較這些相鄰塊的編碼參數(shù)以確定它們的相似性154。在編碼參數(shù)不相似時(shí)，沿相鄰塊之間的邊界應(yīng)用去塊濾波器156。當(dāng)編碼參數(shù)相似時(shí)，跳過去塊濾波且該過程進(jìn)入下一步驟158。同樣地，當(dāng)執(zhí)行去塊濾波時(shí)，該過程在濾波后進(jìn)入下一步驟158。在如圖14所示的本發(fā)明的某些實(shí)施例中，編碼參數(shù)是運(yùn)動(dòng)矢量。在這些實(shí)施例中，標(biāo)識(shí)視頻幀中的相鄰塊160并且標(biāo)識(shí)包括運(yùn)動(dòng)矢量的編碼參數(shù)162。比較這些運(yùn)動(dòng)矢量以確定它們的相似性164。在運(yùn)動(dòng)矢量不相似時(shí)，可在相鄰塊之間執(zhí)行去塊濾波166且該過程可進(jìn)入下一步驟168。當(dāng)運(yùn)動(dòng)矢量相似時(shí)，跳過去塊濾波并且直接實(shí)現(xiàn)下一步驟168。如圖15所示的本發(fā)明的其它實(shí)施例可使用多個(gè)編碼參數(shù)來確定是否跳過濾波。 在這些實(shí)施例中，標(biāo)識(shí)相鄰塊170并且確定這些相鄰塊的編碼參數(shù)172。這些編碼參數(shù)可包括運(yùn)動(dòng)矢量屬性，該屬性包括運(yùn)動(dòng)矢量的目標(biāo)幀。當(dāng)相鄰塊的運(yùn)動(dòng)矢量不相似時(shí)174，可在相鄰塊之間執(zhí)行去塊濾波176。當(dāng)運(yùn)動(dòng)矢量相似時(shí)174，可使用其它參數(shù)來進(jìn)一步限定濾波過程。在該示例中，可比較運(yùn)動(dòng)矢量來確定它們是否指向同一參考幀178。如果矢量不是指向同一參考幀，則可在塊之間執(zhí)行去塊濾波176。如果矢量指向同一參考幀，則可跳過濾波并且該過程可進(jìn)入下一步驟179?？墒褂闷渌\(yùn)動(dòng)矢量參數(shù)來確定濾波。在如圖16所示的實(shí)施例中，矢量所指向的塊的位置是可被用來確定濾波選項(xiàng)的參數(shù)。在這些實(shí)施例中，標(biāo)識(shí)相鄰塊200并且標(biāo)識(shí)相鄰塊的編碼參數(shù)202。然后比較運(yùn)動(dòng)矢量以確定它們的相似性204。如果矢量不相似，則可繼續(xù)進(jìn)行去塊濾波208。如果運(yùn)動(dòng)矢量相似，則作另一比較以確定相鄰塊的運(yùn)動(dòng)矢量是否指向同一參考幀。如果矢量不是指向同一參考幀，則可繼續(xù)進(jìn)行去塊濾波208。如果矢量指向同一參考幀，則可比較矢量所指向的塊210。當(dāng)運(yùn)動(dòng)矢量不是指向同一參考幀中的相鄰塊時(shí)，則可繼續(xù)進(jìn)行去塊濾波208。當(dāng)運(yùn)動(dòng)矢量指向同一參考幀中的相鄰塊時(shí)，可跳過去塊濾波并且可執(zhí)行下一步驟212。以這種方式，參考一個(gè)參考幀中的相鄰塊并且之間可能沒有顯著偽像的相鄰塊不被去塊濾波。這種去塊濾波跳過避免了由濾波過程引起的任何模糊和圖像退化。同時(shí)還節(jié)省了處理時(shí)間，因?yàn)楸苊饬瞬槐匾臑V波。由此改善了圖像質(zhì)量并且該過程中僅需要較少計(jì)算。應(yīng)該注意，可使用這些運(yùn)動(dòng)矢量參數(shù)的各種組合來確定濾波跳過。 這些眾多組合并沒有被具體說明，然而應(yīng)被認(rèn)為在本領(lǐng)域的技術(shù)人員所能領(lǐng)會(huì)的范圍內(nèi)且旨在落入所附權(quán)利要求的范圍內(nèi)。本發(fā)明的其它實(shí)施例可使用變換系數(shù)來確定是否應(yīng)進(jìn)行去塊濾波。參照圖17，標(biāo)識(shí)一幀中的相鄰塊180并且標(biāo)識(shí)相鄰塊的編碼參數(shù)182。這些編碼參數(shù)可包括運(yùn)動(dòng)矢量參數(shù)以及變換系數(shù)。然后比較運(yùn)動(dòng)矢量184以確定相似性。如果運(yùn)動(dòng)矢量不相似，則可執(zhí)行去塊濾波 186。如果運(yùn)動(dòng)矢量相似，則分析運(yùn)動(dòng)矢量數(shù)據(jù)以確定運(yùn)動(dòng)矢量是否指向同一參考幀。如果運(yùn)動(dòng)矢量不是指向同一參考幀185，則可繼續(xù)進(jìn)行濾波186。如果運(yùn)動(dòng)矢量指向同一參考幀185，則可比較變換系數(shù)以進(jìn)一步限定濾波過程。在該示例中，可針對相鄰塊比較通過離散余弦變換(DCT)方法或其它方法得到的DC變換系數(shù)。如果DC變換系數(shù)不相似187，則可執(zhí)行去塊濾波186。如果DC變換系數(shù)相似，則可跳過濾波并且該方法和系統(tǒng)可進(jìn)入下一步驟188。本發(fā)明的其它實(shí)施例可利用AC變換系數(shù)來確定濾波選項(xiàng)。參照圖18，與關(guān)于圖 17所述的相似的實(shí)施例被示為具有評價(jià)AC變換系數(shù)的額外步驟。在這些實(shí)施例中，標(biāo)識(shí)塊 190及其編碼參數(shù)191。還比較運(yùn)動(dòng)矢量中的相似性192、運(yùn)動(dòng)矢量目標(biāo)幀193以及DC變換系數(shù)194。當(dāng)這些參數(shù)中存在相似性時(shí)，比較AC變換系數(shù)196，并且如果它們相似，則跳過去塊濾波并且執(zhí)行該過程中的下一步驟197。如果AC系數(shù)不相似，則在相鄰塊之間執(zhí)行濾波并且該過程進(jìn)入下一步驟197。AC變換系數(shù)在較大塊中更可能有重要性，但是也可在利用諸如4X4塊等較小塊的方法中使用。在本發(fā)明的某些實(shí)施例中，圖像可根據(jù)圖像的格式和所利用的色彩空間而被分為各種亮度和色度通道。在以下示例中，描述了 YUV色彩空間，然而，在這些實(shí)施例中也可使用許多其它格式和色彩空間?？墒褂肅ieLAB、YcfCb以及其它空間。在替換實(shí)施例中，可使用諸如RGB等色彩空間。
本發(fā)明的某些實(shí)施例可參照圖19進(jìn)行說明。在這些實(shí)施例中，從圖像提取亮度數(shù)據(jù)并且創(chuàng)建亮度圖像220。然后標(biāo)識(shí)亮度圖像中的相鄰塊222并且還標(biāo)識(shí)相鄰塊的編碼參數(shù)224。如在其它實(shí)施例中一樣，比較相鄰塊的運(yùn)動(dòng)矢量以確定相似性226。當(dāng)運(yùn)動(dòng)矢量不相似時(shí)，執(zhí)行去塊濾波230，當(dāng)矢量相似時(shí)執(zhí)行進(jìn)一步分析以確定矢量是否指向同一參考幀 228。當(dāng)矢量指向不同參考幀時(shí)，在原始圖像當(dāng)中對應(yīng)于亮度圖像中的相鄰塊的相鄰塊之間執(zhí)行去塊濾波230。當(dāng)矢量指向同一參考幀時(shí)，跳過去塊濾波并在沒有先前濾波的情況下執(zhí)行下一步驟232。在執(zhí)行濾波時(shí)，在濾波過程之后執(zhí)行下一步驟232。因此，使用對亮度通道中的數(shù)據(jù)的分析來確定包含亮度和色度數(shù)據(jù)兩者的原始圖像中的濾波處理。在圖20所示的其它相關(guān)實(shí)施例中，創(chuàng)建亮度圖像240并且標(biāo)識(shí)亮度和原始圖像中的對應(yīng)的相鄰塊對2。還標(biāo)識(shí)亮度圖像塊的編碼參數(shù)對4。隨后，比較運(yùn)動(dòng)矢量以確定相似性對6。如果不存在顯著相似性，則在原始圖像的相鄰塊之間執(zhí)行濾波252。如果運(yùn)動(dòng)矢量相似，則比較運(yùn)動(dòng)矢量的目標(biāo)幀以確定矢量是否指向同一參考幀。如果矢量不是指向同一參考幀，則執(zhí)行濾波。如果矢量指向同一參考幀，則比較亮度⑴圖像的變換系數(shù)。如果Y 變換系數(shù)不相似，則執(zhí)行濾波。如果變換系數(shù)相似，則跳過濾波并且執(zhí)行下一步驟254。同樣地在任何濾波操作之后執(zhí)行下一步驟254。圖像還可被進(jìn)一步分為通常對應(yīng)于亮度和色度通道的分量通道。在本發(fā)明的某些實(shí)施例中，可根據(jù)對該通道唯一的參數(shù)來對每個(gè)通道進(jìn)行濾波。作為一個(gè)示例，可參照圖21說明各實(shí)施例，其中圖像被分為單獨(dú)的亮度⑴和多個(gè)色度(U，V)通道沈0。在這些實(shí)施例中，標(biāo)識(shí)圖像中對應(yīng)于每個(gè)通道的相鄰塊沈2、272、 2820還標(biāo)識(shí)每個(gè)通道中的這些塊的諸如運(yùn)動(dòng)矢量數(shù)據(jù)等編碼參數(shù)沈4、274、洲4。然后如其它實(shí)施例中一樣可比較這些編碼參數(shù)以確定相似性。在這些示例性實(shí)施例中，可使用信道特有運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量相似性來確定每個(gè)通道中的濾波選項(xiàng)。當(dāng)一個(gè)通道圖像的運(yùn)動(dòng)矢量不相似時(shí)沈6、276、觀6，在該特定通道中的相鄰塊之間執(zhí)行濾波270J80J90。如果運(yùn)動(dòng)矢量相似，則比較目標(biāo)參考幀268、278、觀8。當(dāng)通道中相鄰塊的矢量指向同一參考幀時(shí)，跳過濾波。當(dāng)矢量指向不同參考幀時(shí)，執(zhí)行濾波270 J80J90。如在其它實(shí)施例中一樣，這些被通道化的實(shí)施例可利用變換系數(shù)數(shù)據(jù)來限定濾波選項(xiàng)。如圖22中所示，關(guān)于圖21所述的方法和系統(tǒng)可進(jìn)一步比較通道變換系數(shù)310、322、 334。當(dāng)系數(shù)不相似時(shí)，執(zhí)行濾波312、324、336。當(dāng)系數(shù)相似時(shí)，跳過濾波。應(yīng)該注意，可采用參數(shù)的各種組合來限定每個(gè)通道中的濾波操作。DC和AC變換系數(shù)可被用于這些實(shí)施例。此外，可使用各種通道和通道組合來確定濾波選項(xiàng)和執(zhí)行濾波。 例如，在某些實(shí)施例中，兩個(gè)色度通道可被組合在一起并一同分析。來自一個(gè)通道的數(shù)據(jù)和參數(shù)也可用于確定另一通道中的濾波選項(xiàng)。例如，可比較從U色度通道取得的參數(shù)以確定 V色度通道中的濾波選項(xiàng)，反之亦然。本發(fā)明的某些實(shí)施例涉及H. 264/AVC的可縮放視頻編碼擴(kuò)展。某些實(shí)施例涉及用于解決空間可縮放視頻編碼的圖片上采樣問題的濾波。更具體地，本發(fā)明的某些實(shí)施例提供了為H. 264/MPEG-4 AVC的可縮放視頻編碼、特別是為JVT(MPEG和VCEG的聯(lián)合視頻組) 在2005年4月采用的擴(kuò)展空間可縮放(ESQ視頻編碼特征所設(shè)計(jì)的上采樣過程。當(dāng)前，通過援引結(jié)合于此的JSVM WD-1.0[MPEG Doc. N6901]僅解決了二進(jìn)空間可縮放性，即其中兩個(gè)接連的空間層的圖片寬度和高度(按照像素?cái)?shù)目計(jì)算)之比等于2的配置。這在諸如用于廣播的SD到HD可縮放性等更為一般性的應(yīng)用中將明顯是一個(gè)局限性。通過援引結(jié)合于此的[MPEG Doc.mll669]提出了一種工具，其提供了擴(kuò)展空間可縮放性，即其中兩個(gè)接連的空間層的圖片寬度和高度之比不必等于2的冪，并且較高層的圖片可包含相應(yīng)的較低層圖片中不存在的區(qū)域(通常在圖片邊界周圍)的管理配置。該提案[MPEG Doc.mll669]將WD_1.0[MPEG Doc. N6901]的層間預(yù)測擴(kuò)展到用于較高層與較低層圖片尺寸之比不是2的冪的更為一般的情形。本發(fā)明的實(shí)施例提供了將擴(kuò)展空間可縮放性，即具有修剪窗口的非二進(jìn)縮放應(yīng)用于圖片層從而更好地滿足了更為普遍的應(yīng)用的需求的方法。為了支持空間可縮放性的圖片級(jí)自適應(yīng)，本發(fā)明的實(shí)施例提供了對先前提出的層間預(yù)測方法的進(jìn)一步改進(jìn)。另外，現(xiàn)有提案未解決的若干問題也在這些實(shí)施例中得到了解決。為了說明書和權(quán)利要求書起見，術(shù)語“圖片”可包括像素陣列、數(shù)字圖像、數(shù)字圖像的細(xì)分、數(shù)字圖像的數(shù)據(jù)通道或圖像數(shù)據(jù)的其它表示。圖23示出了對應(yīng)于圖像圖片的兩張圖片。本發(fā)明的實(shí)施例涉及兩個(gè)或多個(gè)接連的空間層，較低層(被認(rèn)為是基層)253和較高層(被認(rèn)為是增強(qiáng)層)251。這些層可通過以下幾何關(guān)系(圖1中所示)來聯(lián)系。增強(qiáng)層圖片的寬度250和高度252可分別被定義為Wenh和henh。以這種方式，基層圖片的尺寸可被定義為wbase2M和hbasJ56?；鶎?53可以是增強(qiáng)層圖片Wl當(dāng)中位于增強(qiáng)層圖片坐標(biāo)系統(tǒng)中的坐標(biāo)262(x ig，yorig)處、尺寸為wextra。t258和hextea。t260的子區(qū)域的經(jīng)二次采樣洸4的版本。參數(shù)(x ig，y ig，wextM。t，hextra。t，Wbase，hbaJ定義較高層圖片251與較低層圖片253之間的幾何關(guān)系。本發(fā)明的實(shí)施例解決的一個(gè)問題是知道已解碼基層時(shí)增強(qiáng)層的宏塊的編碼/解碼。如圖M中所示，增強(qiáng)層的宏塊可能沒有對應(yīng)于塊(在增強(qiáng)層圖片的邊界上)的基層， 或者有對應(yīng)于宏塊的一個(gè)到多個(gè)基層。因此，與WD-1. 0 [MPEG Doc.N6901]中不同的層間預(yù)測管理是必要的。圖2示出了重疊于經(jīng)上采樣的基層圖片272——其中宏塊邊界由虛線274 標(biāo)記——與增強(qiáng)層圖片——其中宏塊邊界由實(shí)線276標(biāo)記——之間的宏塊。[MPEG Doc.mll669]已經(jīng)提出Wexteaet和hextea。t被限于16的倍數(shù)。該約束限制了圖片級(jí)自適應(yīng)。相反，本發(fā)明的實(shí)施例將Wraiteart和hratra。t限于2的倍數(shù)。本發(fā)明的實(shí)施例還要求x。Hg和y。Hg為2的倍數(shù)以避免對色度上/下采樣中可能的相移進(jìn)行調(diào)整時(shí)的復(fù)雜度。 先前還沒有解決色度相移問題。圖23中示出的尺寸和其它參數(shù)可由以下符號(hào)或變量名來表示。scaled—base—left—offset = Xorigscaled—base_top_off set = yorigscaled—base—right—offset = wenh-xorig-wextractscaled—base—bottom—offset = henh-yorig-hextractscaled—base—width = Wextractscaled—base—height = hextract層間運(yùn)動(dòng)預(yù)測給定的較高層宏塊可使用“BASE_LAYER_M0DE” 或 “QPEL_REFINEMENT_M0DE” 來利用使用經(jīng)縮放的基層運(yùn)動(dòng)數(shù)據(jù)的層間預(yù)測。如在WD-1.0[MPEG Doc.N6901]中一樣，這些宏塊模式指示包括宏塊分割在內(nèi)的運(yùn)動(dòng)/預(yù)測信息是直接從基層導(dǎo)出的。通過繼承來自基層的運(yùn)動(dòng)數(shù)據(jù)可以構(gòu)造預(yù)測宏塊MB_pred。當(dāng)使用“BASE_LAYER_MODE”時(shí)，宏塊分割以及參考索引和運(yùn)動(dòng)矢量都是預(yù)測宏塊MB_pred中的那一些?！癚PEL_REFINEMENT_MODE”相類似，但具有四分之一樣本運(yùn)動(dòng)矢量改進(jìn)。已經(jīng)提出在以下四個(gè)步驟中導(dǎo)出MB_pred -對MB_pred的每個(gè)4X4塊，繼承來自基層運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)數(shù)據(jù)，-對MB_pred的每個(gè)8X 8塊，進(jìn)行分割選擇，-對MB_pred，進(jìn)行模式選擇，以及-運(yùn)動(dòng)矢量縮放。然而，本發(fā)明的實(shí)施例提供了支持圖片級(jí)自適應(yīng)的若干等效方案的修改。4X4塊繼承圖25示出了具有4個(gè)角觀1、觀2、觀3、觀4的4父4塊13觀0。該過程包括檢查塊的4個(gè)角觀1、觀2、觀3、觀4中的每一個(gè)。令(X，y)為角像素c在高層坐標(biāo)系統(tǒng)中的位置。 令( ., Ybase)為基層坐標(biāo)系統(tǒng)中的相應(yīng)位置，定義如下像素(x，y)處相同位置的宏塊就是包含像素Ub_，ybaJ的基層宏塊。同樣地，像素(X，y)處相同位置的8X8塊是包含像素Ub_，yb_)的基層8X8塊，而像素(x，y)處相同位置的4X4塊是包含像素Ubase，ybaJ的基層4X4塊。b的運(yùn)動(dòng)數(shù)據(jù)繼承過程可描述如下-對每個(gè)角c，每個(gè)列表listx(listx= IistO或listl)的參考索引r (c，listx) 和運(yùn)動(dòng)矢量mv(c，listx)被設(shè)置為相同位置的基層4X4塊的參考索引和運(yùn)動(dòng)矢量。-對每個(gè)角，如果相同位置的宏塊不存在或處于幀內(nèi)模式，則b被設(shè)為幀內(nèi)塊。-否則，對每個(gè)列表listx〇如果沒有一個(gè)角使用該列表，則該列表沒有參考索引和運(yùn)動(dòng)矢量被設(shè)置為b。〇否則■為b設(shè)置的參考索引rb (listx)為這4個(gè)角的現(xiàn)有參考索引的最小值rb (listx) = min(r(c, listx))(2)
C■為b設(shè)置的運(yùn)動(dòng)矢量Hivb(Iistx)為這4個(gè)角的現(xiàn)有運(yùn)動(dòng)矢量的平均值，且具有參考索引rb(listx)8X8分割選擇一旦設(shè)置了每個(gè)4X4塊運(yùn)動(dòng)數(shù)據(jù)，就需要一合并過程以確定其所屬的8X8塊的實(shí)際分割并避免被禁止的配置。以下，8X8塊的4X4塊如圖沈中所指示地被標(biāo)識(shí)。對于每個(gè)8X8塊B，可應(yīng)用以下過程-如果這4個(gè)4X4塊已被分類為幀內(nèi)塊，則B被認(rèn)為是幀內(nèi)塊。-否則，實(shí)現(xiàn)B分割選擇〇應(yīng)用用于為每個(gè)4X4塊分配相同的參考索引的以下過程
對于每個(gè)列表Iistx■如果沒有4X4塊使用該列表，則該列表沒有參考索引和運(yùn)動(dòng)矢量被設(shè)為B■否則 將B的參考索引rB(Iistx)計(jì)算為這4個(gè)4X4塊的現(xiàn)有參考索引的最小值rB (listx) = min(rb (Iistx))(3)
b 計(jì)算具有相同參考索引rB(listx)的4X4塊的平均運(yùn)動(dòng)矢量Hivmean(Iistx)· (1)被分類為幀內(nèi)塊或者(2)沒有使用該列表或者(3)具有與I^(Iistx)不同的參考索引rb(listx)的4X4塊被強(qiáng)制將rB(listX)和mV_(listX)作為參考索引和運(yùn)動(dòng)矢量。〇然后實(shí)現(xiàn)B的分割模式的選擇。如果兩個(gè)4X4塊的運(yùn)動(dòng)矢量相同，則認(rèn)為這兩個(gè)塊相同。合并過程被應(yīng)用如下■如果Id1與、相同并且133與、相同，則 如果bl與b3相同，則選擇BLK_8X8 否則選擇 BLK_8X4■否則如果Id1與b3相同并且ID2與b4相同，則選擇BLK_4 X 8■否則選擇 BLK_4 X 4預(yù)測宏塊模式選擇在以下實(shí)施例中，可實(shí)現(xiàn)用以確定MB_pred模式的過程。以下，宏塊300的8X8 塊301-304如圖27中所指示地被標(biāo)識(shí)。在以下情形中認(rèn)為兩個(gè)8X8塊相同-兩個(gè)8X8塊中的一個(gè)或兩個(gè)都被分類為幀內(nèi)塊或者-兩個(gè)塊的分割模式都是BLK_8X8并且如果每個(gè)8X8塊的IistO和Iistl的參考索引和運(yùn)動(dòng)矢量都存在則彼此相同。使用以下過程完成模式選擇-如果所有8X8塊都被分類為幀內(nèi)塊，則MB_pred被分類為INTRA宏塊-否則，MB_pred是INTER宏塊。其模式選擇如下實(shí)現(xiàn)〇被分類為幀內(nèi)的8X8塊被強(qiáng)制進(jìn)行BLK_8X8分割。它們的參考索引和運(yùn)動(dòng)矢量被如下計(jì)算。令為這樣一個(gè)8X8塊。對于每個(gè)列表Iistx■如果沒有8X8塊使用該列表，則不向Bintka分配該列表的參考索引和運(yùn)動(dòng)矢量■否則，應(yīng)用以下步驟 將參考索引rmin(listx)計(jì)算為8X8塊的現(xiàn)有參考索引中的最小值Irajn (listx) = min(rB (listx))(4)
B 計(jì)算具有相同參考索引rmin(listx)的4X4塊的平均運(yùn)動(dòng)矢量Hivmean(Iistx) 將rmin(listx)分配給Bintea并且Bintea的每個(gè)4X4塊被強(qiáng)制將rmin(listx)和 HlVmean(IiStx)作為參考索引和運(yùn)動(dòng)矢量。〇然后實(shí)現(xiàn)B的分割模式的選擇。如果兩個(gè)8X8塊的分割模式為BLK_8X8并且如果每個(gè)8X8塊的IistO和Iistl的參考索引和運(yùn)動(dòng)矢量如果存在就相同，則認(rèn)為這兩個(gè)塊相同。合并過程被應(yīng)用如下■如果B1與化相同并且 與氏相同，則 如果Bl與B3相同，則選擇M0DE_16X16 否則選擇 M0DE_16X8■否則如果B1與 相同并且化與B4相同，則選擇M0DE_8X 16■否則選擇 M0DE_8 X 8運(yùn)動(dòng)矢量縮放運(yùn)動(dòng)矢量重新縮放可被應(yīng)用于如上導(dǎo)出的預(yù)測宏塊MB_pred的每個(gè)現(xiàn)有運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量mv = (dx，d￥)可使用下式被縮放為矢量mvs = (dsx，dS￥)。
權(quán)利要求
1.一種用于表征空間可縮放增強(qiáng)層內(nèi)的相鄰塊之間的塊邊界的方法，其中所述相鄰塊中的至少一個(gè)塊是使用層間紋理預(yù)測來編碼的，所述方法包括a)當(dāng)來自所述相鄰塊中的一個(gè)塊的亮度樣本使用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼時(shí)，用第一邊界強(qiáng)度指示符來表征所述塊邊界；b)在下列情形下用第二邊界強(qiáng)度指示符來表征所述塊邊界，i)來自所述相鄰塊中的每一個(gè)塊的亮度樣本中沒有一個(gè)是采用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼的；以及 )所述相鄰塊當(dāng)中的任意一個(gè)塊具有非零變換系數(shù)；c)在下列情形下用第三邊界強(qiáng)度指示符來表征所述塊邊界，i)來自所述相鄰塊中的每一個(gè)塊的亮度樣本中沒有一個(gè)是采用不同于所述層間紋理預(yù)測模式的幀內(nèi)預(yù)測模式來編碼的；以及 )所述相鄰塊全部都沒有非零變換系數(shù)。
2.如權(quán)利要求1所述的方法，其特征在于，在對所述塊邊界應(yīng)用去塊濾波時(shí)，所述第一邊界強(qiáng)度指示符觸發(fā)比所述第二邊界強(qiáng)度指示符更劇烈的去塊濾波，所述第二邊界強(qiáng)度指示符觸發(fā)比所述第三邊界強(qiáng)度指示符更劇烈的去塊濾波。
全文摘要
公開了用于空間可縮放視頻編碼的具有降低的復(fù)雜度的減少塊偽像的方法和系統(tǒng)。本發(fā)明的實(shí)施例包括用于在空間可縮放視頻編碼中對用于濾波操作的塊邊界進(jìn)行表征的系統(tǒng)和方法。本發(fā)明的某些實(shí)施例包括被設(shè)計(jì)成用于H.264/MPEG-4AVC的可縮放視頻編碼擴(kuò)展的方法和系統(tǒng)。
文檔編號(hào)H04N7/46GK102387366SQ20111033779
公開日2012年3月21日 申請日期2006年2月28日 優(yōu)先權(quán)日2005年3月18日
發(fā)明者孫式軍 申請人:夏普株式會(huì)社