專利名稱：：一種提高圖像幀內(nèi)編碼速率的方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻壓縮編碼技術(shù)，具體涉及一種提高基于H.264圖像楨內(nèi)編碼速率的方法。
背景技術(shù)：
：枧頻/圖像編碼的方法多種多樣，其應(yīng)用涉及方方面面，為了使不同廠商生產(chǎn)的終端能互相交換信息，或從一個公共的信號源接收信息，20世紀(jì)80年代末期，一些國際組織開始致力于視頻/圖像編碼的標(biāo)準(zhǔn)化工作。同時，各大廠商對此產(chǎn)生濃厚的興趣，并直接推動了視頻/圖像編碼標(biāo)準(zhǔn)化的研究進(jìn)程。最終于1988年國際電話與電報顧問委員會(CCITT，JntemationalTelephoneandTelegr^hConsultativeCommittee,于1992年更名為UU-T，InternationalTelecommunicationUnionTelecommunicationStandardizationSector)制定第一個視頻編碼標(biāo)準(zhǔn)——H.26i,從衝成為視頻編碼史上的里程碑。隨后ISOMPEG(MovingPictureExpertsGroup)和而-TVCEG(VideoCodingExpertsGroup)根據(jù)不同應(yīng)用環(huán)境和需求進(jìn)行整合，以H.261為基礎(chǔ)和核心，相繼制定了一系列視頻編碼標(biāo)準(zhǔn)。ITU-T專注于實時視頻通信應(yīng)用領(lǐng)域，發(fā)布了H.26x系列標(biāo)準(zhǔn)(如R26KH.262、H.263和H-264等)，ISOMPEG則主要面向視頻存鍺媒體、電枧廣播和多媒體邇信應(yīng)用，制定了MPEGx系列標(biāo)準(zhǔn)(如MPEG-l、MPEG-2和MPEG-4等)。圖1所示為視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程，下面簡要介紹國際視頻編碼標(biāo)準(zhǔn)的發(fā)展過程。1985年CCITT組織了第15專家組，進(jìn)一步研究會議電視的標(biāo)準(zhǔn)化，并于1988年制定了針對64kbit/s電電話/會議應(yīng)用的H.26i標(biāo)準(zhǔn)P氣在H.261標(biāo)準(zhǔn)中定義了幀內(nèi)(I幀，Intraframe)編碼和幀間(P幀，Predictiveframe)編碼，并采用幀間預(yù)溯、DCT變換、Huffinan編碼等技術(shù)。為了增強(qiáng)靈活性，H.261僅對與兼容性有關(guān)的碼流語法、碼流復(fù)用、解碼過程等作了嚴(yán)格的限制性規(guī)定，而對諸如量化級的自適應(yīng)控制、運動估計、碼率控制等對重構(gòu)圖像質(zhì)量指標(biāo)有重要影響但不影響兼容性的部分不作限制性規(guī)定，給開發(fā)者、廠商和用戶提供了很大的活動空間。R261標(biāo)準(zhǔn)的成功推出，各大廠商、國際標(biāo)準(zhǔn)組織和科研院所等受到極大鼓舞，掀起了視頻壓縮編碼的研究和應(yīng)用高991年ISOMPEG開始制定MPEG-1標(biāo)準(zhǔn)，主要目標(biāo)是要建立一個適用于數(shù)字存儲、媒體存儲和檢索的活動圖像，相關(guān)聲音及其組合編碼的標(biāo)準(zhǔn)，并于1993年11月成為國際標(biāo)準(zhǔn)。MPEG-1標(biāo)準(zhǔn)以R261為基本框架，引入了雙向預(yù)測幀(B鯪，Bi-directionalpredictionframe)、半像素精度運動估計，以及圖像組(GOP，GroupOfPicture)的概念，實行了隨機(jī)讀取、快速進(jìn)退搜索和反向重放等功能。隨后ISOMPEG聯(lián)合ITU-TVCEG啟動了MPEG-2草案的制定[321(在ITU-T標(biāo)準(zhǔn)系列中又稱為H.262)，并于1994年確定威為標(biāo)準(zhǔn)。MPEG-2以MPEG-1為基礎(chǔ)，作了重要擴(kuò)晨。針對隔行掃描的常規(guī)電視圖像專門設(shè)置了"按幀編碼"和"按場編碼"方法；創(chuàng)立了二元碼流結(jié)賴節(jié)目流(programstream)和傳送流(transportstream),傳送流的運行環(huán)境有可能出現(xiàn)嚴(yán)重的差錯，而節(jié)目流的運行環(huán)境頻裉少出現(xiàn)差錯；按照編碼技術(shù)的復(fù)雜度，首次引入了檔次(Profile)和級別(Level)的概念，巧妙地解決了比特流的可交換性和國際性。此外，還增加了可分級性(scalability)概念，允許從一個編碼數(shù)據(jù)流中得到不同質(zhì)量等綴或不同時空分辨率的視頻信號，可分緩性包括空間域、信噪比、時間域等。MPEG-2是一個非常成功的標(biāo)難，已經(jīng)廣泛融入到了人們的生活和工作中。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和普及，網(wǎng)絡(luò)帶寬日益成為阻礙人們應(yīng)用禊頻/圖像的一個瓶頸。為了緩解這個問題，ITU-TVCEG于1995年提出針對低碼率應(yīng)用的H.263編碼標(biāo)準(zhǔn)。它以H.261為基礎(chǔ)，并吸引了MPEG1/2等建議中有效合理的技術(shù)，同時提供了四種可選的編碼算法，即無約束運動矢量算法、基于語法的算法編碼、高級預(yù)測法和PB楨算法，進(jìn)一步提髙編碼效率。此外，R263擴(kuò)展了圖像格式，支持包括QCIF、Sub-QCIF、CIF、4CIF和16C[F等多種格式的圖像。此外，標(biāo)準(zhǔn)中沒有限定每秒中幀數(shù)，因此可以通過減少每秒幀數(shù)來限制最大速率。在H.263標(biāo)準(zhǔn)的基礎(chǔ)上，ITU-TVCEG提出了兩個工作計劃一個是所謂短期(ShortTerm)計劃5即在R263基礎(chǔ)上添加一些新的功能選項，進(jìn)一步提高壓縮效率和擴(kuò)展一些功能，同時開始一個所謂的長期(LongTerm)計劃以發(fā)展一個適應(yīng)于低碼率視頻通信的新國際標(biāo)準(zhǔn)。在短期計劃中，相繼推出H.263+和11263++新版本。長期計劃預(yù)計生成的標(biāo)準(zhǔn)稱之為IL263L，但在1998年改名為R26L。1998年ISOMPEG又提出了MPEG4標(biāo)準(zhǔn)，它綜合了數(shù)字電視、交互式圖形學(xué)和Inteniet等領(lǐng)域的技術(shù)和功能，在H.263、MPEG-1和MPEG-2基礎(chǔ)上進(jìn)一步進(jìn)行擴(kuò)展和補充。MPEG4的編碼碼率攬括了從低至5kbit/s到高于2Mbit/s的一個很大的范圍，提出了與以往圖像編碼標(biāo)準(zhǔn)完全不同的編碼概念，它吸取了基于對象的編碼方法的思想，它的編碼方案建立在任意形狀的對象模型之上，在對圖像的描述上，比傳統(tǒng)編碼標(biāo)準(zhǔn)增加了形狀信息。MPEG4不再是一個標(biāo)準(zhǔn)化的固定算法，而是建立一個可擴(kuò)展的編碼工具集，由工具集構(gòu)造各種算法。在不作解碼的情況下，它支持基于內(nèi)容的處理和碼流的編輯，支持人工圖像/聲音與自然圖像/聲音的合成，支持基于內(nèi)容的隨機(jī)存取等等，同時在不同應(yīng)用環(huán)境下都具有較好的魯棒性，支持基于內(nèi)容的可分級編碼。與此同時，ISOMPEG還制定了MPEG-7和MPEG-21等標(biāo)準(zhǔn)，為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述，以及一種高效、透明和可互搡作的媒體框架。為了進(jìn)一步提高視頻編碼效率，2001年12月ISO與ITU-T正式成立聯(lián)合視頻小組(JointVideoTeam,JVT),開始致力于H.264/MPEG-4part10(AVC，AdvancedVideoCoding)的標(biāo)準(zhǔn)化(本論文中統(tǒng)一簡稱為H.264)，于2003年5月正式確定為國際標(biāo)準(zhǔn)。它以R26L為基礎(chǔ)，擴(kuò)展了從低碼率到髙碼率的應(yīng)用。H.264除繼承以往標(biāo)準(zhǔn)的優(yōu)點外，還引入了許多新技術(shù)，從而使得在相同解碼質(zhì)量條件下，編碼效率比H.263和MPEG-4高近50%。此外，值得關(guān)注的是我國信息產(chǎn)業(yè)部于2002年6月開始制定擁有自主知識產(chǎn)權(quán)的音視頻編碼標(biāo)準(zhǔn)(簡稱AVS，AudioVideocodingStendard)。AVS的目標(biāo)是制訂數(shù)字音視頻的編解碼、處理和表示等共性技術(shù)標(biāo)準(zhǔn)，為數(shù)字音視頻設(shè)備與系統(tǒng)提供高效經(jīng)濟(jì)的編解碼技術(shù)，主要針對HDTV、HD-DVD、無線寬帶多媒體通訊、互聯(lián)網(wǎng)寬帶流媒體等重大信息產(chǎn)業(yè)應(yīng)用。與以往視頻編碼標(biāo)準(zhǔn)相同，R264系統(tǒng)也采用MC-DCT結(jié)構(gòu)，即運動補償加變換編碼的混合(hybrid)結(jié)抅，其編碼技術(shù)框架如圖2所示。H.264編碼主要由幀內(nèi)預(yù)測、幀間蔑測(運動估計與補償)、整數(shù)變換、量化和熵編碼等構(gòu)成。H.264采用幀內(nèi)(Intra)和幀間(Inter)兩種編碼模式。支持的鏡頻源格式包括(YUV)4:2:0、4:2:2和4:4:4，同時支持逐行掃描和簡行掃描的視頻序列，對于隔行掃描的視頻楨，H.264支持將奇偶場獨立編碼，也支持將奇偶場一起編碼的方式.對于I(幀內(nèi)編碼幀)幀圖像，采用幀內(nèi)模式編碼；對于P幀(前向預(yù)測幀)和B幀(雙向預(yù)測幀)圖像，則采用幀間模式編碼，但在宏塊層，也可以選擇幀內(nèi)模式編碼。編碼以互不重疊的宏塊(MB,Macro-Block)為單位進(jìn)行，宏塊一般定義為16x16個像素塊。對于I幀圖像，首先進(jìn)行幀內(nèi)預(yù)測，然后對預(yù)測殘差信號(原始值與預(yù)測值之差)進(jìn)行整數(shù)變換和量化，再對量化系數(shù)進(jìn)行變長編碼或算術(shù)編碼，生成壓縮碼流，同時經(jīng)反變換、反量化等過程重構(gòu)圖像,以用作后續(xù)幀編碼時的參考。對于P楨圖像，首先進(jìn)行多模式多參考幀的高精度運動估計和幀內(nèi)預(yù)測，并根據(jù)率失真優(yōu)化(RDO，Rate-DistortionOptimization)選擇幀間、幀內(nèi)編碼模式和相應(yīng)的分塊模式，然后對殘差信號進(jìn)行變換、量化和熵編碼，生成壓縮碼流，同時經(jīng)反變換、反量化重構(gòu)圖像。對于B幀圖像，與P幀固像相似，首先采用雙向預(yù)測技術(shù)進(jìn)行多模式多參考幀的運動估計和幀內(nèi)預(yù)測，并根據(jù)率失優(yōu)化選擇最佳編碼模式，然后對殘差信號進(jìn)行變換、量化和熵編碼，生成壓縮碼流。此外，R264還定義了SI、SP幀。為了提高編碼的網(wǎng)絡(luò)適應(yīng)能力，H.264采用視頻編碼層(VCL，VideoCodingLayer)與網(wǎng)絡(luò)抽象層(NAL,NetworkAbstractionLayer)相分離的編碼結(jié)構(gòu)，如圖3所示，VCL完成對視頻圖像的高效壓縮，NAL負(fù)責(zé)以網(wǎng)絡(luò)所要求的恰當(dāng)?shù)姆绞綄?shù)凝進(jìn)行打包和傳送。H.264實現(xiàn)了視頻的更高壓縮比、更好的圖像質(zhì)量和良好的網(wǎng)絡(luò)適應(yīng)性，因此，R264的應(yīng)用場合相當(dāng)廣泛，包括可視電話(固定或移動)、實時視頻會議系統(tǒng)、視頻監(jiān)控系統(tǒng)、因特網(wǎng)視頻傳輸以及多媒體信息存儲等。為了符合廣泛應(yīng)用的特點，H.264只對比特流、語法元素和解碼過程作了規(guī)定，沒有對編碼器做限制，使得H.264編碼器的實現(xiàn)非常靈活。IL264的幀內(nèi)預(yù)瀕在H.264中，4x4塊的9種可選預(yù)賴模式集為{mode0、modei、...、mode8),即垂直預(yù)測方向是mode0，水平預(yù)測方向是mode1,以此類推。16xl6塊的4種可選預(yù)測模式集(mode0、model.....mode3}，即對應(yīng)垂直、水平、DC和平面預(yù)測方向。8x8色度預(yù)測模式與16x16的預(yù)賴方式相同。除DC預(yù)測模式外，每一種預(yù)測模式都有相應(yīng)的預(yù)測方向和預(yù)測權(quán)重，DC預(yù)測方式是采用相鄰邊界像素的平均值作預(yù)測，即預(yù)測塊的所有像素值等于相鄰邊界像素的平均值。宏塊的幀內(nèi)預(yù)測基本過程如下(1)判斷當(dāng)前宏塊周圍可用宏塊信息，包括上邊、左邊和右上邊宏塊是否可用。(2)將亮度宏塊劃分為16個4x4小塊，采用9種不同的預(yù)測模式，依次計算每個4x4小塊的率失真代價，率失真代價由拉格朗曰函數(shù)定義J(《,c,modcI^尸，義咖咖)=然Z)(、v,c,model2尸)+義孤^'7"c，modt，1(尸)其中，s是原像素塊信號，c是重構(gòu)塊信號，^是宏塊的量化參數(shù)，義"為拉格朗日乘數(shù)，4,ode=0.85-2GTO,/^,c，model(尸)是在相應(yīng)附Ofife和^P下的編碼碼率，包括頭信息、預(yù)測模式和所有DCT系數(shù)的編碼比特數(shù)。SSD(.)是4x4原像素塊與重構(gòu)塊之間的平方誤差和依次完成所有4x4的幀內(nèi)預(yù)測模式選擇，并得到所有4x4塊的率失真代價和。(3)采用16x16塊模式，從4種不同的預(yù)測模式中逸擇最佳預(yù)測模式，方法是計算所有模式下的SATD(SumofAbsoluteTransformedDifference)值，選取最小值的模式作為最佳16x16預(yù)灤模式。SATD值作為16x16塊的率失真(RD)代價，是殘差值分成16個4x4塊并分別經(jīng)Hardamard變換后的絕對值和的一半，如式下所示，D欲7yi',》是Hardamard變換系數(shù)。(4)比較l2)和(3)得到率失真代價，從中選擇一個最佳褒測模式作為宏塊的編碼模式。色度塊的計算與16x16塊相同。一個宏塊中亮度塊和色度塊一共有JVSx^^x/6+JV/^種模式組合m，廁、W和iV7(5分別表示色度塊、4x4和16x16亮度塊的預(yù)測模式數(shù)量。也就是說，一個宏塊要得到最佳RDO模式，一共要計算592次不同的RDO計算。由此可見，幀內(nèi)預(yù)賴模式選擇的計算復(fù)雜度是非常高的，影響H.264的編碼速度。為了降低楨內(nèi)預(yù)測的復(fù)雜度，許多學(xué)者進(jìn)行了廣泛的研究。如FengPan在.文獻(xiàn)(F.Pan,X.Lin.FastModeDecisionforIntraPrediction.ISO/正CJTC1/SC29/WG11andITU-TSG16JVT-G013.doc,JVT7thMeetingPattayaII，Thailand,7-14,March2003.，下面簡稱FengPan法)中提出幀內(nèi)預(yù)測快速模式選擇算法，基本思想是首先采用Sobel算子作邊緣檢測，得到圖像塊中物體的邊緣走向，再根據(jù)邊緣方向確定相應(yīng)的候選預(yù)測模式；ChangsungKim在文獻(xiàn)[C.Kim.Feature-basedintra-predictionmodedecisionforh.264.正EE.，2004，pp:769-772.]中提出基于特征的幀內(nèi)預(yù)測快速算法，采用SAD和SATD兩個因素表征特征，通過復(fù)雜的計算與比較，得到最終編碼模式。這些方法在一定程度上提高了幀內(nèi)編碼速度，但是同時引入了復(fù)雜的前期計算，因此存在局限性，其中FengPan提出的算法是眾多算法中公認(rèn)最好，并已經(jīng)被JVT組織所采納。
發(fā)明內(nèi)容本發(fā)明的目的在于在保持良好的圖像質(zhì)量基礎(chǔ)上，提高圖像編碼速率。為實現(xiàn)本發(fā)明的目的，本發(fā)明思想是通過減少械內(nèi)預(yù)瀏模式集中的侯選模式數(shù)量來提高編碼速率。本發(fā)明方法根據(jù)圖像的紋理方向，篩選出沿紋理方向的預(yù)測模式，再進(jìn)行RDO計算。上述圖像的紋理方向通過如下方法獲得首先，將相鄰邊界像素擴(kuò)展為兩行，再根據(jù)標(biāo)準(zhǔn)中提出的9預(yù)測方向，定義4個紋理方向0°、45°、卯。和135。；接著計算相鄰兩行像素的在紋理方向上的平均灰度差，并分別記為ZVDW#A"，然后取ZVZ^和D^中最小值所對應(yīng)的方向作為邊緣的紋理方向，并令然后取￡>必、D卯和D^中最小值D^所對應(yīng)的方向作為邊緣的紋理方向。具體地說，ZVDw、D卯和Dw的值可分別通過如下公式計算獲得:<formula>formulaseeoriginaldocumentpage5</formula>其中，/"，力是像素在6c,y乂坐標(biāo)處的灰度值，"。,力J為預(yù)測塊的左上角像素坐標(biāo)，AT是編碼塊的大小。本發(fā)明中，所述AT的值優(yōu)選為4、8或16。當(dāng).V值為8或16時，取ZVD必和Aw中最小值A(chǔ)^所對應(yīng)的方向作為邊緣的紋理方向。沿紋理方向的預(yù)測模式可按照如下方式進(jìn)行令4x4塊的9種預(yù)測模式侯選集為F4x4=!mode0,modeU...，mode8},16x16塊的4種預(yù)褒f模式侯選集為F16xl6={mode0，mode1，…，mode3}，8x8塊的4種預(yù)測模式侯選集為F8x8=《mode0,mode1，...，mode3}，則通過如下方法餘選出沿紋理方向的預(yù)測模式(1)判斷當(dāng)前宏塊周圍可用宏塊信息，包括上邊、左邊和右上邊宏塊；(2)如果上邊、左邊宏塊都采用16x16預(yù)測模式，則判斷當(dāng)前宏塊的幀內(nèi)復(fù)雜性，如果當(dāng)前宏塊復(fù)雜性小于規(guī)定閥值，則跳轉(zhuǎn)到步驟(4);當(dāng)前宏塊的復(fù)雜性可通過下述公式計算<formula>formulaseeoriginaldocumentpage5</formula>其中，M是宏塊大小。(3)4x4塊預(yù)測模式選擇將宏塊分成4x4塊，預(yù)測模式候選集的選擇采取以下策略1)如果A附/i:Aw,候選集F4X4=(mode0，mode7,mode5，mode2};2)如果￡)卵=/)0，候選集F4x4={mode1,mode8,mode6,mode2);3)如果/)附//7=/^5，候選集F4x4={mode4，mode5，mode6，mode2);4)如.果Z)所,"侯選集F4x4={mode3，mode7，mode8,mode2〗；經(jīng)過以上計算后，候選預(yù)測模式由原來的9種降為4種。編碼器采用侯選集中的預(yù)測模式進(jìn)行RDO計算，求得最佳模式，并計算所有塊的率失真代價和；(4)16x16亮度塊和8x8色度塊預(yù)測模式逸擇將宏塊采用16x16塊進(jìn)行預(yù)測，預(yù)測模式侯選集的選擇采取以下策略1)如果D，她-Aw,候選集F版i6^mode0，mode2};2)如果D'附扭-A;,候選集F16xl6={mode1,mode2〗；3)如果D，股,D必，候式集F版tdmode3，mode2};8xg色度塊采用與16x16塊相同的預(yù)薰模式。經(jīng)過以上計算后，預(yù)瀾模式由原來的4種降為2種。編碼器采用侯逸集中的豫測模式進(jìn)行RDO計算，求得最佳模式；(5)比較(3)和(4)的率失真代價，逸擇最小代價模式作為最終編碼模式。通過上述方法能減少RDO計算，有效地提高圖像的幀內(nèi)編碼速度，面圖像質(zhì)量和碼率變化很少。圖l是國際標(biāo)準(zhǔn)發(fā)展歷程；圖2是H.264編碼框架示意圖；圖3是H.264分層設(shè)計示意圖；圖4是Foreman(QCIF)序列第一幀圖像；圖5是圖4中第69個宏塊(16x16宏塊);圖6是圖5的第12個4x4小塊；圖7是4x4小塊相鄰邊界擴(kuò)展兩行的示意圖；圖8是紋理定義方向；圖9是Foreman序列PSNR比較；圖10是Stefan序列PSNR比較；圖11是Carphone序列PSNR比較;圖12是Tempete序列PSNR比較。具體實施方式下面結(jié)合附圖進(jìn)一步說明本發(fā)明。應(yīng)當(dāng)理解，以下實施例僅用于說明本發(fā)萌，而不能作為本發(fā)明的限制，在不背離本發(fā)明精神和實質(zhì)的前提下，進(jìn)行的修改或替換，均屬于本發(fā)萌的范圍。實施銅11.紋理方向估計眾所周知，自然圖像具有很強(qiáng)的空間賴關(guān)性，相鄰宏塊之間的紋理走向也是非常相似的，特別對于4x4小塊，相關(guān)性則更強(qiáng)。如圖4顯示的是Foreman(QCIF)序列第一幀圖像，圖5是圖像中第69個宏塊，圖6中白色框內(nèi)顯示的是第69個宏塊的第12個4x4小塊。從圖中可以看出，相鄰宏塊(或塊)之間的紋理走向非常相似。下面分別對44亮度、16x16亮度和8x8色度塊進(jìn)行紋理方向估計。U)4x4塊紋理方向估計首先將相鄰邊界像素擴(kuò)展為兩行，如ffl7所示。再根據(jù)標(biāo)準(zhǔn)中提出的9預(yù)測方向，定義4個紋理方向0°、45°、90°和135°，如圖8所示。接著計算相鄰兩行像素的在紋理方向上的平均灰度差，并分別記為ZV￡>必>Z),斧Z)w5。方法如下1=]^/(JC0—2，-V。+0——"+'ID45=:^7(宏l"Jfo+M'_y0-2)—/(jfa十"一1)|+-2,Jo+/—!)-/"-l，_y0+,)))Ac=;Z!17(、+"-2)-A;+/，h-UAM=T^F('￡V(A+'+U。-2)—+,—+-2，je+/)-/"-lj。+/+鄰其中，/^，w是像素在",y入坐標(biāo)處的灰度值，"ft》)為預(yù)測塊的左上角像素坐標(biāo)，#是編碼塊的大小，在4x4塊中A^4。然后取A*D必.￡>卯和/)/35中最小值所對應(yīng)的方向作為邊緣的紋理方向，并令16x16亮度塊與8x8色度塊紋理方向估計對于16x16亮度塊與8x8色度塊，只有垂直、水平和平面預(yù)測方向，再加上DC預(yù)滅模式。因此只需要定義3個紋理方向(f、45°和9(f。按照與4x4塊同樣的方法，分別求得最小的D;和D^,并將此方向作為邊緣的紋理方向。通過以上計算，初步確定了編碼塊的紋理方向。2.幀內(nèi)模式選擇算法令4x4塊的9種預(yù)測模式侯選集為F4x4={mode0,mode1,...,mode8}，16x16塊的4種預(yù)測模式候選集為F16xl6={mode0,mode1，...，mode4},8x8塊的4種預(yù)測模式候逸集為F8x8=〖mode0，mode1,...，mode4}。算法描述如下(1)判斷當(dāng)前宏塊周圍可用宏塊信息，包括上邊、左邊和右上邊宏塊；(2)如果上邊、左邊宏塊都采用16x16預(yù)測模式，則計算當(dāng)前宏塊的幀內(nèi)復(fù)雜性戶o、AlM"o>其中，M是宏塊大小，在本文中等于16。如果&小于一閾值T(由實驗測試獲得，本例中等于256),則直接跳到(4)，采用16x16宏塊進(jìn)行預(yù)測。(3)4x4塊預(yù)測模式選擇將宏塊分成4x4塊，預(yù)測模式候選集的選擇采取以下策略1)如果Z^":D鄰，候選集F4X4={mode0,mode7,mode5，mode2};2)如果候選集F4x4={inode1，mode8，mode6，mode2〗；3)如果/)斑紐=/>/5，候選集F4x4={mode4，mode5,mode6,mode2〗；4)如果/)附扭=1)/35，候選集F4x4={mode3，mode7,mode8,mode2};經(jīng)過以上計算后，候選預(yù)測模式由原來的9種降為4種。編碼器采用候選集中的預(yù)測模式進(jìn)行RDO計算，求得最佳模式，并計算所有塊的率失真代價和。(4)16x16亮度塊和8x8色度塊預(yù)測模式選擇將宏塊采用16x16塊進(jìn)行預(yù)測，預(yù)溯模式候選集的選擇釆取以下策略1)如果D，鵬切-Z)90,候選集Fl6x^={mode0，mode2};2)如果D'卵fD。，候選集F16xl6={mode1，mode2};3)如果/)'她=/^5,候式集F,6x!6-(mode3，mode2};色度塊釆取相同的方法進(jìn)行選擇。經(jīng)過以上計算后，預(yù)測模式由原來的4種降為2種。編碼器采用候選集中的預(yù)測模式進(jìn)行RDO計算，求得最佳模式。(5)比較(3)和(4)的率失真代價，選擇最小代價模式作為最終編碼模式。實驗結(jié)果與分析為了驗證算法的有效性，實驗采用H.264的參考模型JM7.5(H.S.Malvarand夂Hallapuro.Low-complexitytransformandquantizationinH264/AVC.IEEETrans.CSVT.,vol.13(7),pp:5鄰402,2003,)作為平臺，在其中實現(xiàn)本方法。實驗方法是采用CAVLC熵編碼、參考幀為2、搜索范圍為32、釆用Hardmard變換、使用率失真優(yōu)化(RDO)、序列結(jié)構(gòu)采用IPPP和全I(xiàn)格式，量化參數(shù)選擇2g和32，對多個標(biāo)準(zhǔn)視頻序列進(jìn)行瀏試。本方法實驗結(jié)果與全模式算法計算結(jié)果、FengPan算法計算結(jié)果進(jìn)行比較，全模式算法就是窮盡搜索計算所有預(yù)測模式的方法。由于算法的運行速度跟硬件平臺有很大關(guān)系，因此在相同的硬件平臺上實驗上面的三個算法，對測試結(jié)果的比值進(jìn)行比較，從而可以排除硬件環(huán)境對算法的干擾，即對測試序列的編碼碼率變化(B_CHG)、編碼時間變化(T—CHG)和圖像質(zhì)量變化(PSNR—CHG)進(jìn)行比較，計算方法如下g—o/g=朋s-a//xl00%r一c恥="鵬_""膨—薩xl00%尸纖OfG二尸S湖畫一尸纖"http://其中Bits—ours和Bits_all分別為使用本發(fā)明方法和全模式算法產(chǎn)生的比特數(shù)，Time—ours和Time—all分別為使用本發(fā)明方法和全模式算法的編碼時間，PSNR_ours和PSNR—all分別為使用本發(fā)明方法和全模式算法的圖像質(zhì)量。FengPan算法的計算方法與之相同。1.IPPP結(jié)構(gòu)，編碼120幀，幀率-30^s，GOP=15，編碼結(jié)果比較如下表1QCIF標(biāo)準(zhǔn)序列實驗結(jié)果(QP=28)<table>tableseeoriginaldocumentpage18</column></row><table>表2CIF標(biāo)準(zhǔn)序列實驗結(jié)果(QP=32)測試序列FengPan算法本發(fā)明方法<table>tableseeoriginaldocumentpage18</column></row><table>由表1和表2可以看出，對于IPPP結(jié)抅，本方法在編碼速度方面較全模式方法平均將提高21.5%，而圖像質(zhì)量下降只有0.026dB，碼率平均增加0.593%左右。同時可以看出，本方法與文獻(xiàn)[7]算法相比，兩者較全模式算法的碼率增加和圖像質(zhì)量下降相當(dāng)，但本方法平均有2%的提髙。主要原因是FengPan算法中使用Sobd算法估計邊緣的計算量比較大。下面圖9和圖10分別是是Foreman(QCIF)和Stefan(CIF)序列的亮度PSNR對照圖，虛線是全模式算法下的圖像質(zhì)量，實線是本方法下的圖像質(zhì)量，P幀圖像的質(zhì)量下降是由于用于預(yù)測的I幀圖像質(zhì)量下降造成的。2.全I(xiàn)幀結(jié)構(gòu)，編碼120幀，幀率-3(^s，編碼結(jié)果比較如下表3QCIF標(biāo)準(zhǔn)序列實驗結(jié)果(QP-28)<table>tableseeoriginaldocumentpage19</column></row><table>表4CIF標(biāo)準(zhǔn)序列實驗結(jié)果(Q^32)<table>tableseeoriginaldocumentpage19</column></row><table>Tempetc3.8738.26■01293.5443.66-0.125Stefan4.1237.64，984.7739.48■0.084Mobile4.3633.630.1354.5137.89-O.J39平均4.0738.180.1174:1842.36-0:120由表3和表4可以看出，對于全I(xiàn)幀結(jié)構(gòu)，本方法性能表現(xiàn)更明顯，在編碼速度方面較全模式方法平均將提髙43%，而圖像質(zhì)量下降只有0.12dB，碼率平均增加4.0%左右。同樣本方法也優(yōu)于文獻(xiàn)[7]算法，兩者的碼率增加和圖像質(zhì)量下降相差不多，而本方法平均有近4%的提高。下面圖11和圖12分別是是Carphone(QCIF)和Tempete(CIF)序列的亮度PSNR比較圖，虛線是全模式算法下的圖像質(zhì)量，實線是本方法下的圖像質(zhì)量。由以上實驗結(jié)果表明，本方法能有效地提高圖像的幀內(nèi)編碼速度，而圖像質(zhì)量和碼率變化很少。權(quán)利要求1、基于H.264標(biāo)準(zhǔn)提高圖像幀內(nèi)編碼速率的方法，該方法根據(jù)圖像的紋理方向，篩選出沿紋理方向的預(yù)測模式，再進(jìn)行RDO計算。2、如權(quán)利要求l所述的方法，其特征在于，所述圖像的紋理方向通過如下方法獲得首先，將相鄰邊界像素擴(kuò)展為兩行，再根據(jù)標(biāo)準(zhǔn)中提出的9預(yù)測方向，定義4個紋理方向0°、45°、90°和135°;接著計算相鄰兩行像素的在紋理方向上的平均灰度差，并分別記為IVZ)45,然后取A),Aw和A"中最小值所對應(yīng)的方向作為邊緣的紋理方向，并令然后取z^、d45>A^和d^中最小值ru所對應(yīng)的方向作為邊緣的紋理方向。3、如權(quán)利要求2所述的方法，其特征在于，所述A,、D必.Dw和Dm的值通過如下方法計算獲得<formula>formulaseeoriginaldocumentpage2</formula>其中，/f3c,力是像素在6r,:F7坐標(biāo)處的灰度值，"。,y"為預(yù)測塊的左上角像素坐標(biāo)，AT是編碼塊的大小。4、如權(quán)利要求3所述的方法，其特征在于，所述#值為4、8或16。5、如權(quán)利要求4所述的方法，其特征在于，當(dāng)W值為8或16時，取ZVZ^-和A^中最小值Z)^所對應(yīng)的方向作為邊緣的紋理方向。6、如權(quán)利要求15任一項所述的方法，其特征在于，令44塊的9種預(yù)測模式候選集為F4x4={mode0,mode1,...，mode8}，16x16塊的4種預(yù)測模式候選集為F16xi6={mode0,mode1,...,mode3},8x8塊的4種預(yù)測模式候選集為F8x8={mode0,mode1,...，mode3},則通過如下方法篩選出沿紋理方向的預(yù)測模式(1)判斷當(dāng)前宏塊周圍可用宏塊信息，包括上邊、左邊和右上邊宏塊；(2)如果上邊、左邊宏塊都采用16x16預(yù)測模式，則判斷當(dāng)前宏塊的鱗內(nèi)復(fù)雜性，如果當(dāng)前宏塊復(fù)雜性小于規(guī)定閥值，則跳轉(zhuǎn)到步驟(4);(3)4x4塊預(yù)測模式選擇將宏塊分成44塊，預(yù)測模式候選集的選擇采取以下策略1)如果Dm^=Z)w，i"矣選集F4x4={mode0，mode7,mode5，mode2);2)如果/\^=1)0,候選集F4x4={mode〗，mode8,mode6，mode2);3)如果Z)OT,-=D45，候選集F4x4={mode4，mode5，mode6，mode2);4)如果D撤,Z)，候選集F4x4;(mode3，mode7，mode8，mode2》；編碼器采用候選集中的預(yù)測模式進(jìn)行RDO計算，求得最佳模式，并計算所有塊的率失真代價和；(4)16x16亮度塊和8x8色度塊預(yù)測模式選擇將宏塊采用16x16塊進(jìn)行預(yù)測，預(yù)測模式侯選集的選擇采取以下策略1)如果D'冊,A^，候選集Fi6xt6^modeO，mode2};2)如果"；;^Aj，候選集F16xl6={mode1，mode2};3)如果￡>'她=/)必，候式集F,6x!6-(mode3,mode2);8x8色度塊釆用與16x16塊相同的預(yù)測模式，編碼器采用候選集中的預(yù)測模式進(jìn)行RDO計算，求得最佳模式；(5)比較(3)和(4)的率失真代價，選擇最小代價模式作為最終編碼模式。7、如權(quán)利要求6所述的方法，其特征在于，當(dāng)前宏塊的復(fù)雜性邇過下述公式計算v=0tM)、MM"其中，M是宏塊大小。全文摘要本發(fā)明公開了一種基于H.264標(biāo)準(zhǔn)提高圖像幀內(nèi)編碼速率的方法，該方法根據(jù)圖像的紋理方向，篩選出沿紋理方向的預(yù)測模式，再進(jìn)行RDO計算，從而大幅減少了RDO的計算次數(shù)。本發(fā)明方法在保持良好的圖像質(zhì)量基礎(chǔ)上，有效提高了圖像編碼速率。文檔編號H04N7/50GK101247525SQ20081010251公開日2008年8月20日申請日期2008年3月24日優(yōu)先權(quán)日2008年3月24日發(fā)明者段大高,鄧中亮申請人:北京郵電大學(xué)