專利名稱：空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種編碼方法，具體是一種立體視頻編碼的優(yōu)化方法。
背景技術(shù)：
隨著三維技術(shù)的日趨成熟，由多視點(diǎn)攝像系統(tǒng)采集的立體視頻信號的應(yīng)用正在迅速發(fā)展，視頻顯示技術(shù)在未來的發(fā)展方向必定由單純的平面顯示向立體顯示轉(zhuǎn)變。和普通的單通道視頻相比，立體視頻增加了景物的深度信息，增強(qiáng)視覺的現(xiàn)實(shí)感和逼真感。立體視頻信號將是未來多媒體通信的重要內(nèi)容，將被廣泛應(yīng)用于數(shù)字電視、遠(yuǎn)程教育、遠(yuǎn)程工業(yè)控制、三維視頻會議系統(tǒng)和虛擬現(xiàn)實(shí)系統(tǒng)等多個(gè)方面，但是與普通的單通道視頻相比，立體視頻傳輸和存儲的數(shù)據(jù)量至少增加一倍以上；而在空間遙操作環(huán)境下，由于通訊帶寬有限， 為了對立體視頻數(shù)據(jù)進(jìn)行有效的存儲和傳輸，必須充分利用空間、時(shí)間和兩個(gè)通道之間的信息冗余，采用運(yùn)動補(bǔ)償預(yù)測技術(shù)和視差補(bǔ)償預(yù)測技術(shù)來對立體圖像視頻數(shù)據(jù)進(jìn)行有效壓縮。
立體視頻是由相距65mm左右的兩個(gè)平行光軸攝像機(jī)同時(shí)對一個(gè)場景進(jìn)行拍攝得到，因此圖像對之間有很強(qiáng)的雙目視相關(guān)性。
立體視頻總體框架如圖I所示，采集部分采用多通道數(shù)據(jù)采集技術(shù)，利用兩個(gè)攝像頭，對現(xiàn)場的立體景象進(jìn)行實(shí)時(shí)數(shù)據(jù)采集，并且同步傳輸給視頻數(shù)據(jù)編碼器，編碼器對采集的視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮，并且進(jìn)行存儲或者傳輸，視頻數(shù)據(jù)解碼器根據(jù)接收到的碼流進(jìn)行解碼處理，解碼后的圖像分為左右兩路后再進(jìn)行立體顯示。
該系統(tǒng)攝取的視頻包括左右兩個(gè)通道，兩個(gè)通道的圖像對之間有很強(qiáng)的雙目相關(guān)性，H. 264是一種高效的單通道視頻編碼標(biāo)準(zhǔn)，但是對于立體視頻編碼而言，并不是對左右通道分別采用高效的單通道視頻編碼，就可以達(dá)到很好的壓縮效果。這是由于立體視頻編碼中除了要考慮每個(gè)通道幀內(nèi)圖像的空間冗余度和幀間圖像之間的時(shí)間冗余度外，還要考慮左右通道圖像之間的空間冗余度。發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種具有良好壓縮效果的的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法。
本發(fā)明采用以下技術(shù)方案解決上述技術(shù)問題的在兩路視頻信號中，將左路視頻作為參考圖像，使用經(jīng)典的基于運(yùn)動補(bǔ)償預(yù)測的視頻編碼方法進(jìn)行編碼，去除圖像之間的空間相關(guān)性和時(shí)間相關(guān)性，將右路視頻作為目標(biāo)圖像，采用視差估計(jì)/補(bǔ)償技術(shù)消除圖像對之間的冗余。這里的視差是指立體圖像對之間的幾何差異。
具體的，本發(fā)明是基于H. 264編碼技術(shù)，提出下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差，左通道采用H. 264編碼，右通道采用基于左通道的 DCP (視差補(bǔ)償預(yù)測)編碼，右通道視差預(yù)測的殘差也采用H. 264方式進(jìn)行編碼，在進(jìn)行H.264編碼過程中，結(jié)合實(shí)際需要，并對該編碼進(jìn)行了部分優(yōu)化。4
本發(fā)明進(jìn)一步具體為在左通道采用的H. 264編碼中，對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法做了優(yōu)化；
對幀內(nèi)預(yù)測算法優(yōu)化的方法為利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個(gè)模式的SATD值，如果SATD值低于設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法；
對運(yùn)動估計(jì)算法優(yōu)化的方法為使用三步搜索法進(jìn)行運(yùn)動估計(jì)，三步搜索法的實(shí)現(xiàn)步驟如下
①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個(gè)標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個(gè)像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)；
②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2 范圍內(nèi)所選擇的8個(gè)標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個(gè)最佳匹配像素點(diǎn)；
③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
優(yōu)化的，在運(yùn)動估計(jì)算法的運(yùn)動搜索過程中，使用的率失真方程如下
J(m\ AmottJ = SA/|.v,c(m))+AiiwiJR{m-p)
在幀間和幀內(nèi)編碼模式選擇時(shí)，使用下面的率失真方程式 /(.V，c·, palleni ( )1\ ) = SSlc, pallen)
+ U W。山I
其中，J(m| Amotion)是于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，使得該值最小的運(yùn)動矢量被選擇，J (s，c, pattern | QP, λ mode)用于模式選擇的衡量標(biāo)準(zhǔn)，使得該值最小的編碼模式被選擇， SAD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和，SSD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和，Xmotion和λπ_是拉格朗日參數(shù)。
本發(fā)明的優(yōu)化方法還可以對右路視頻的壓縮編碼通進(jìn)行優(yōu)化，或者在對左路視頻的壓縮編碼進(jìn)行優(yōu)化的基礎(chǔ)上同時(shí)對右路視頻的壓縮編碼進(jìn)行優(yōu)化，對右路視頻的壓縮編碼的步驟為對右路視頻進(jìn)行視差估計(jì)，編碼單位可以選擇是16x16的宏塊，首先當(dāng)前編碼的右路圖像中的宏塊在時(shí)間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時(shí)，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼，視察估計(jì)的快速算法包括以下一個(gè)或三個(gè)
首先，根據(jù)視差的偏振約束特性，搜索時(shí)只沿偏振線進(jìn)行，在平行相機(jī)系統(tǒng)中只需沿水平方向進(jìn)行搜索；其次根據(jù)方向性約束，搜索時(shí)優(yōu)先向一個(gè)方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)時(shí)優(yōu)先向右進(jìn)行搜索；利用時(shí)域相關(guān)性或空域相關(guān)性，在進(jìn)行視差估計(jì)時(shí)，用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)。
本發(fā)明的優(yōu)點(diǎn)在于結(jié)合最新的H. 264高效編碼壓縮技術(shù)特點(diǎn)，根據(jù)壓縮率和實(shí)時(shí)性要求，對H. 264編碼算法進(jìn)行了優(yōu)化處理，保證壓縮率的基礎(chǔ)上減少了運(yùn)算量，主要對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法進(jìn)行了優(yōu)化，試驗(yàn)結(jié)果表明，優(yōu)化后的效果明顯，系統(tǒng)的實(shí)時(shí)性得到改善。


圖I是立體視頻總體框架圖。
圖2是H. 264算法流程圖。
具體實(shí)施方式
I、左路視頻的壓縮編碼
首先對立體視頻中的左路視頻使用最新的國際視頻標(biāo)準(zhǔn)H. 264進(jìn)行壓縮。
H. 264是由ITU-T視頻專家小組VCEG和IS0/IEC運(yùn)動圖像專家組聯(lián)合推出的最新視頻編碼標(biāo)準(zhǔn)，和以前的編碼標(biāo)準(zhǔn)相比，H. 264的編碼性能取得了前所未有的提高，采用了一些新的算法，如預(yù)測方法，整數(shù)變換，4x4塊的運(yùn)動估計(jì)/運(yùn)動補(bǔ)償，環(huán)路濾波，新的熵編碼方法，率失真優(yōu)化技術(shù)RDO (rate distortion optimization)等,但H. 264在性能提高的同時(shí)，編碼器的復(fù)雜度也大幅度增加，很難滿足空間遙操作中實(shí)時(shí)性要求，根據(jù)壓縮率和實(shí)時(shí)性的要求，本文只使用了 H. 264標(biāo)準(zhǔn)的基本檔次(baseline prof ile)部分，并對H. 264 的編碼進(jìn)行了優(yōu)化處理。H. 264算法流程圖如圖2所示。
I. I算法的優(yōu)化處理
算法優(yōu)化是在保證壓縮率的基礎(chǔ)上減少運(yùn)算量，在圖2中，我們主要對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法做了優(yōu)化。視頻數(shù)據(jù)中主要存在兩種形式的冗余，即幀內(nèi)的空間冗余和幀間的時(shí)間冗余，幀內(nèi)預(yù)測主要消除幀內(nèi)像素之間的空間冗余，用編碼塊周圍的重建像素值來預(yù)測當(dāng)前編碼塊，由于有多種編碼模式可選，在編碼的過程中，需要進(jìn)行窮盡搜索， 計(jì)算復(fù)雜度比較大。而運(yùn)動估計(jì)模塊，消除的是幀間的時(shí)間冗余，用當(dāng)前編碼幀中的宏塊在前一幀中搜索最優(yōu)匹配塊，然后對匹配殘差和運(yùn)動矢量進(jìn)行編碼，這里搜索過程的復(fù)雜度同樣也很高。
I. I. I快速幀內(nèi)預(yù)測編碼
在幀內(nèi)預(yù)測中，為了確定一個(gè)宏塊的幀內(nèi)預(yù)測模式，需要計(jì)算所有可能模式的 SATD值(Sum of Absolute Transform Difference,殘差變換絕對值和)，然后選擇具有最小SATD的模式作為最終的預(yù)測模式。在H. 264中，是基于16x16的幀內(nèi)預(yù)測模式，色差分量的預(yù)測模式和亮度分量類似。為了減少幀內(nèi)預(yù)測中計(jì)算SATD值的次數(shù)，我們利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個(gè)模式的SATD值，如果SATD值低于我們設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法，從而有效的降低計(jì)算復(fù)雜度。
I. I. 2快速幀間預(yù)測編碼
為了消除圖像幀間的冗余，H. 264中采用了基于塊匹配的運(yùn)動估計(jì)算法，其基本思想是將圖像劃分成許多互不重疊的子塊，并且認(rèn)為塊內(nèi)所有像素的位移量都相同。全搜索算法是塊匹配算法中研究和應(yīng)用最廣泛的一種技術(shù)，但是由于計(jì)算量相當(dāng)大。為了減少計(jì)算量，在本項(xiàng)目中我們使用三步搜索算法進(jìn)行運(yùn)動估計(jì)，三步搜索算法的實(shí)現(xiàn)示意圖如圖3 所示。
三步搜索算法的實(shí)現(xiàn)步驟如下
①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個(gè)標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個(gè)像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)。
②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2 范圍內(nèi)所選擇的8個(gè)標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個(gè)最佳匹配像素點(diǎn)。
③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
1.1.3率失真優(yōu)化算法
率失真優(yōu)化算法是指在有限帶寬的條件下，如何獲得最優(yōu)的圖像質(zhì)量，本方案使用一個(gè)簡單的方程表達(dá)式將碼率和失真聯(lián)系起來，從而在碼率和失真度之間取得一個(gè)的平衡點(diǎn)，從而保證在給定的碼率條件下取得最優(yōu)的圖像質(zhì)量。
在運(yùn)動搜索的過程中，使用的率失真方程如下
./(ot| AmoljJ = SAlMm))+ .mo Κφι-ρ)
在幀間和幀內(nèi)編碼模式選擇時(shí)，使用下面的率失真方程式 /(\ C, pa"en\ ( )l\ Ain^,) = SSIJs, c\ patieri)
+ /U,*/《wock,K」/)
其中，J(m| Amotion)是用于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，使得該值最小的運(yùn)動矢量被選擇。J (s，c，pattern I QP，Amode)是用于模式選擇的衡量標(biāo)準(zhǔn)，使得該值最小的編碼模式被選擇。
SAD (Sum of Absolute Difference,絕對差值和)是衡量失真度的尺度，由源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和。SSD (Sum of Squared Difference，差值平方和)也是用來衡量失真的另一尺度，由源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和。
Amotion是拉格朗日參數(shù)，它的大小決定碼率和失真對于運(yùn)動矢量選擇的影響， λ motion大則碼率對模式選擇的影響更大，λ motion小則模式選擇對失真更為敏感。
Amode是拉格朗日參數(shù)，它的大小決定碼率和失真對模式選擇的影響大小，大則碼率對模式選擇的影響大，λπ_小則模式選擇對失真更為敏感。
使用上述的方法能夠獲得在指定帶寬條件下的最優(yōu)圖像質(zhì)量。
2右路視頻的壓縮編碼
對右路視頻進(jìn)行視差估計(jì)，編碼單位也是16x16的宏塊。首先當(dāng)前編碼的右路圖像中的宏塊在時(shí)間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時(shí)，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼。
塊匹配法是常用的視差估計(jì)方法，其基本思想是將圖像分割成固定尺寸的塊，塊內(nèi)部像素的視差值假定是相同的，在參考圖像中按照一定的匹配準(zhǔn)則尋找最佳匹配塊。但是視差矢量的分布受到一定的約束，一幀圖像內(nèi)前后圖像塊的視差矢量之間，相鄰幀圖像對應(yīng)塊的視差矢量之間都存在相關(guān)性，我們將使用這些特性來進(jìn)行快速的視差估計(jì)。
2. I偏振約束
對于一個(gè)給定的景物點(diǎn)，其在左右圖像平面上的圖像點(diǎn)總是出現(xiàn)在對應(yīng)的左右偏振線上，因此在進(jìn)行視差搜索時(shí)只需要沿著偏振線搜索即可。在平行相機(jī)系統(tǒng)中，偏振線和圖像的水平掃描線是平行的，所以搜索只要沿著右圖像所在的水平線即可。
2. 2方向性約束
在平行相機(jī)系統(tǒng)中，視差矢量只有水平分量，對于同一個(gè)景物，其透視投影左圖像相對于右圖像局部地向右移動，在搜索右圖像在左圖像中的匹配塊時(shí)，可以優(yōu)先向右搜索。
2. 3視差矢量的空域相關(guān)性和時(shí)間相關(guān)性
視差是深度的函數(shù)，深度相同的像素點(diǎn)具有相同的視差。深度就是物體表面到相機(jī)光心的距離，雖然實(shí)際景物表面一般是不連續(xù)的，但在局部區(qū)域內(nèi)有可能看作是連續(xù)變化的，因?yàn)榭臻g景物總是由若干物體構(gòu)成，有些物體表面可近似看作是光滑的或局部光滑的。對于光滑表面，其視差值變化應(yīng)該是連續(xù)的，而連續(xù)變化視差場中的視差矢量有很強(qiáng)的相關(guān)性，即同一幀內(nèi)視差矢量之間存在相關(guān)性。
對于相鄰兩幀圖像，僅有少數(shù)像素發(fā)生了運(yùn)動，多數(shù)像素的位置并沒有變化。對于位置不變的像素來說，其視差基本不變。所以在進(jìn)行視差估計(jì)時(shí)，可以用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)進(jìn)行小范圍內(nèi)的搜索，從而快速找到實(shí)際視差矢量。
2. 4視差估計(jì)的快速算法
基于上述視差分布約束和相關(guān)性分析，視差估計(jì)快速算法描述如下首先，根據(jù)視差的偏振約束特性，搜索時(shí)只沿偏振線進(jìn)行，在平行相機(jī)系統(tǒng)中，偏振線和掃描線是平行的，左右像素的匹配點(diǎn)位于同一水平線上，因此，只需沿水平方向進(jìn)行搜索即可。其次根據(jù)方向性約束，搜索時(shí)優(yōu)先向一個(gè)方向搜索.考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)是搜索右通道圖像中的圖像塊在左通道圖像中的匹配塊，由方向性約束分析可知，視差估計(jì)時(shí)可優(yōu)先向右進(jìn)行搜索。此外，利用時(shí)域相關(guān)性或空域相關(guān)性能確定視差估計(jì)的起始值。對于空域相關(guān)性，由于不同區(qū)域其相關(guān)性不同，平坦區(qū)域相關(guān)性要強(qiáng)一些，非平坦區(qū)域相對弱一些，所以在搜索時(shí)，平坦區(qū)域的搜索范圍可以取得小一些， 而非平坦區(qū)域的搜索范圍可以大一些。
在試驗(yàn)中，使用Miss的CIF立體圖像對進(jìn)行仿真試驗(yàn)，均以左圖像為參考圖像，右圖像為目標(biāo)圖像，分別采用基于H. 264和本發(fā)明的基于H. 264改進(jìn)算法進(jìn)行重建右圖像的質(zhì)量和壓縮比，并對上對上述兩種算法進(jìn)行比較。
從試驗(yàn)結(jié)果圖可以得出以下結(jié)論在壓縮參數(shù)相同的情況下，通過改進(jìn)后的算法重建的圖像明顯好于原算法，塊效應(yīng)得到明顯的改善。
同時(shí)我們以峰值信噪比(PSNR)表示圖像的客觀質(zhì)量上進(jìn)行比較。比較結(jié)果如表一所示
表一實(shí)驗(yàn)數(shù)據(jù)對比
權(quán)利要求
1.一種空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于該方法是基于H. 264 編碼技術(shù)，采用下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差， 左通道采用H. 264編碼，右通道采用基于左通道的視差補(bǔ)償預(yù)測編碼，右通道視差預(yù)測的殘差也采用H. 264方式進(jìn)行編碼。
2.如權(quán)利要求I所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在左通道采用的H. 264編碼中，對幀內(nèi)預(yù)測算法做了優(yōu)化，對幀內(nèi)預(yù)測算法優(yōu)化的方法為利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個(gè)模式的SATD值，如果SATD值低于設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法。
3.如權(quán)利要求2所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在左通道采用的H. 264編碼中，對運(yùn)動估計(jì)算法做了優(yōu)化，對運(yùn)動估計(jì)算法優(yōu)化的方法為使用三步搜索法進(jìn)行運(yùn)動估計(jì)，三步搜索法的實(shí)現(xiàn)步驟如下①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個(gè)標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個(gè)像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)；②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2范圍內(nèi)所選擇的8個(gè)標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個(gè)最佳匹配像素占.③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
4.如權(quán)利要求3所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在運(yùn)動估計(jì)算法的運(yùn)動搜索過程中，使用的率失真方程如下I = SA Φ0)+KlnllJ I^m-P)其中，J(m| Amotion)是于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，最小的運(yùn)動矢量被選擇，SAD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和，λ motion是拉格朗日參數(shù)。
5.如權(quán)利要求4所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在幀間和幀內(nèi)編碼模式選擇時(shí)，使用下面的率失真方程式 /(‘V，c\ paltcn\ 0I\ ) = SSl 叉s, c\ patterf)+ 人,x"(Wock,K」/)其中，J(s，C，pattern|QP，Amode)用于模式選擇的衡量標(biāo)準(zhǔn)，最小的編碼模式被選擇， SSD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和，λπ_是拉格朗日參數(shù)。
6.如權(quán)利要求I至5任一項(xiàng)所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于對右路視頻的壓縮編碼的步驟為對右路視頻進(jìn)行視差估計(jì)，首先當(dāng)前編碼的右路圖像中的宏塊在時(shí)間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時(shí)，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼。
7.如權(quán)利要求6所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法包括根據(jù)視差的偏振約束特性，搜索時(shí)只沿偏振線進(jìn)行。
8.如權(quán)利要求7所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法還包括根據(jù)方向性約束，搜索時(shí)優(yōu)先向一個(gè)方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)時(shí)優(yōu)先向右進(jìn)行搜索。
9.如權(quán)利要求8所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法還包括利用時(shí)域相關(guān)性或空域相關(guān)性，在進(jìn)行視差估計(jì)時(shí)，用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)。
10.如權(quán)利要求6所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于對右路視頻進(jìn)行視差估計(jì)的編碼單位是16x16的宏塊。
全文摘要
本發(fā)明提出了一種空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，該方法是基于H.264編碼技術(shù)，采用下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差，左通道采用H.264編碼，右通道采用基于左通道的視差補(bǔ)償預(yù)測編碼，右通道視差預(yù)測的殘差也采用H.264方式進(jìn)行編碼。在進(jìn)行H.264編碼過程中，結(jié)合實(shí)際需要，并對該編碼進(jìn)行了部分優(yōu)化。本發(fā)明的優(yōu)點(diǎn)在于結(jié)合最新的H.264高效編碼壓縮技術(shù)特點(diǎn)，根據(jù)壓縮率和實(shí)時(shí)性要求，對H.264編碼算法進(jìn)行了優(yōu)化處理，保證壓縮率的基礎(chǔ)上減少了運(yùn)算量，試驗(yàn)結(jié)果表明，優(yōu)化后的效果明顯，系統(tǒng)的實(shí)時(shí)性得到改善。
文檔編號H04N7/26GK102917233SQ20121045729
公開日2013年2月6日 申請日期2012年11月14日 優(yōu)先權(quán)日2012年11月14日
發(fā)明者沈威, 董戴 申請人:中航華東光電有限公司