專利名稱：基于模型的紋理視頻與深度圖的最優(yōu)碼率分配方法
技術領域：
本發(fā)明屬于通信標準領域。涉及到三維立體視頻中的紋理視頻與深度圖的聯合編 碼技術。具體的說，是一種在固定碼率的條件下，對紋理視頻與深度圖進行碼率分配，使合 成虛擬視圖的質量達到最優(yōu)的碼率分配。
背景技術：
三維視頻作為未來主要的視頻應用技術，是指用戶通過三維視頻顯示設備可以 享受到真實的三維視頻內容。三維視頻的相關技術，比如，三維視頻采集、三維視頻編碼、 三維視頻的顯示等技術已經得到廣泛的關注。為了推動三維視頻技術的標準化，2002年， 運動圖像專家組(Motion Picture Experts Group, MPEG)提出任意視點電視(Free View Television, FTV)的概念。它能夠提供生動真實的、交互式的三維視聽系統(tǒng)。用戶可以從 不同的角度觀看該角度的三維視頻，使得用戶有融入視頻場景中的真實感受。FTV可廣泛 應用于廣播通信、娛樂、教育、醫(yī)療和視頻監(jiān)控等領域。為了使用戶可以觀看到任意角度的 三維視頻，FTV系統(tǒng)服務端使用已標定好的攝像機陣列獲得一定視點上的視頻。并對不同 視點上的視頻校正，利用校正過的視頻信息通過虛擬視圖合成技術生成虛擬視點的虛擬視 圖。目前MPEG建議具體使用基于深度-圖像(D印th-Image Based Rendering, DIBR)的虛 擬視圖合成技術。深度信息一般通過深度圖表示。虛擬視圖合成的主要過程如下1).確定要虛擬視點在攝像機陣列中的相對位置。2).確定用于合成虛擬視點的紋理視頻3).確定步驟2)的紋理視頻對應的深度圖4).依據步驟2)與3)中的紋理視頻和深度圖，采用DIBR技術，合成虛擬視圖。FTV的標準化工作分為兩個階段進行[3]。第一階段是2006年至2008年由JVT制 定的H. 264/AVC的擴展方案-MVC (Multi-View Video Coding)。MVC可以對多視點紋理視 頻進行編碼。但是要最終實現FTV系統(tǒng)的功能，還必須要對深度信息進行編碼。目前FTV的 標準化制定工作已經進入第二階段，即3DVC (Three Dimensional VideoCoding)。3DVC主 要關注深度信息的表示與編碼，以及紋理視頻與深度信息的聯合編碼。3DVC中，深度信息通 過深度圖表示。衡量3DVC性能的主要指標是合成虛擬視圖的質量，以及紋理視頻、深度圖的編碼碼率。虛擬視圖的質量通常采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)來衡量視頻的質量。 PSNR的計算公式如(1)式所示，
f 2552 λPSNR = IOxlog --(1)
IMSE )(1)式中MSE表示原始視圖與合成虛擬視圖之間的均方誤差，用來衡量虛擬視圖的失真，以及紋理視頻的編碼失真、深度圖的編碼失真。在實際應用中，虛擬視點的視圖是不存在的，也即不存在原始視圖。但是由于3DVC 主要關注編碼性能，因此為衡量3DVC的性能，首先采用未經編碼的已有紋理視頻及其對應 的深度圖合成虛擬視圖V。Hg，然后采用經過編碼后的重建的紋理視頻以及編碼后重建的深 度圖合成虛擬視圖\ec，最后通過計算\ec與V。Hg之間的的MSE，進而得到PSNR，以衡量3DVC 的性能。紋理視頻、深度圖的編碼碼率編碼碼率R是指紋理視頻、深度圖編碼的總比特數(BT，Bd)除以視頻幀率F(即每 秒顯示多少幅圖像)，如(2)式所示。R = Bt+BD/F(2)編碼碼率R也可以表示為紋理視頻的編碼碼率Rt與深度圖編碼碼率Rd的和，如 (3)式所示，R = Rt+Rd(3)其中Rt與Rd可以分別表示為⑷、(5)式所示的形式，Rt=BT/F(4)RD = BD/F(5)紋理視頻與深度圖的編碼碼率Rt與Rd分別由紋理視頻與深度圖的編碼過程中的 量化步長Qt與Qd決定。要衡量3DVC的性能，必須要綜合考慮虛擬視圖的質量與紋理、深度圖的編碼碼 率。即考慮在合成虛擬視圖的質量相同的條件下，紋理視頻、深度圖的編碼碼率大??；或者 在紋理、深度圖的編碼碼率相同的條件下，合成虛擬視圖的質量高低。3DVC中，當編碼碼率相同時，紋理視頻與深度圖的編碼碼率可以有多種組合方式。 不同的組合方式所得的虛擬視圖的質量有很大差異。本發(fā)明關注在固定編碼碼率條件下如 何分配紋理視頻與深度圖的編碼碼率?，F有的紋理視頻與深度圖的碼率分配方法1).固定比例的碼率分配方法該方法在給定的總碼率的條件下，將深度圖的編碼碼率固定為紋理視頻編碼碼率 的1/5或其它數值，從而確定紋理視頻與深度圖的編碼碼率，并確定紋理視頻的量化步長Qt 以及深度圖的量化步長Qd，繼而對紋理視頻和深度圖進行編碼。該方法認為紋理視頻的編 碼碼率Rt對合成虛擬視圖的質量影響最大。但實際上，在總碼率固定的條件下，合成虛擬 視圖的質量受到Rt與Rd的共同影響。因此該方法并不能保證在碼率分配之后合成虛擬視 圖的質量達到最優(yōu)。2).基于搜索的碼率分配方法該方法在給定總碼率的條件下，通過搜索的方式尋找使虛擬視圖失真達到最小且 滿足總碼率約束條件的紋理視頻與深度圖的量化步長Qt與Qd。即采用量化步長的取值范 圍內所有的Qt與Qd對紋理視頻、深度圖進行多次編碼，并合成虛擬視圖，然后計算虛擬視圖 的質量，選擇能夠使虛擬視圖質量達到最高且滿足總碼率約束條件的紋理視頻、深度圖的量化步長QT°pt與QD°pt，進而實現紋理視頻、深度圖的碼率分配?；谒阉鞯拇a率分配方法雖 然可以對紋理視頻、深度圖進行最優(yōu)的碼率分配，但是其復雜度過高，無實際應用價值。

發(fā)明內容
本發(fā)明的目的在于克服上述已有技術的缺點，提出一種基于模型的紋理視頻與深 度圖的最優(yōu)碼率分配方法，以在固定編碼碼率條件下，以較低的復雜度，實現最優(yōu)的紋理視 頻與深度圖的碼率分配，提高實際應用價值。實現本發(fā)明的技術方案是確定虛擬視圖的MSE失真模型，即確定虛擬視圖的MSE 失真Mv與Qt、Qd之間的模型；最后利用Rt與Qt、Rd與Qd之間的關系通過計算得到最優(yōu)的紋 理視頻與深度圖的碼率分配。具體步驟如下(1)定義虛擬視圖失真Mv為Mv = aTXQT+aDXQD+C(6)其中Qt表示紋理視頻的量化步長，Qd表示深度圖的量化步長，aT表示Qt對Mv的影 響參數；aD表示Qd對Mv的影響參數；C表示虛擬視圖合成過程中固有的失真；(2)任意選取兩個深度圖的量化步長Qim和Qd,2，對深度圖進行兩次預編碼，得到 深度圖的兩個編碼碼率Rim與Rd,2，并得到編碼重建的兩個深度圖D1與D2 ；(3)任意選取兩個紋理視頻的量化步長QT>1和QT,2，對紋理視頻進行兩次預編碼， 得到紋理視頻的兩個編碼碼率RT>1與RT,2，并得到編碼重建的兩個紋理視頻T1與T2 ；(4)依據深度圖量化步長Qim和Qd,2，以及深度圖編碼碼率Rim和Rd,2，確定深度圖 的量化步長對深度圖編碼碼率的影響參數％，以及深度圖的固有特征對深度圖編碼碼率的 影響參數nD <formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(8)(5)依據紋理視頻的量化步長QT,i和QT,2，以及紋理視頻的編碼碼率RT,i和RT,2，確 定紋理視頻的量化步長對紋理視頻的編碼碼率的影響參數mT，以及紋理視頻的固有特征對 紋理視頻編碼碼率的影響參數ητ <formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(6)依據步驟(2)中編碼重建的兩個深度圖D1和D2,以及步驟(3)中編碼重建的 兩個紋理視頻T1和T2，在同一個視點合成三個具有不同質量的虛擬視圖，并計算這三個虛 擬視圖的失真Mv,PMv^Mvi3 ；(7)依據虛擬視圖的失真Mva、Mv,2和Mv,3，紋理視頻的量化步長Qt,工和QT,2，深度圖 的量化步長Qim和Qd,2，確定步驟(1)所定義的參數aT與aD :<formula>formula see original document page 7</formula>(8)依據上述參數mD、nD、mT、nT、aT和aD，計算最優(yōu)的紋理視頻量化步長QT°pt和最 優(yōu)的深度圖的量化步長QD°pt:
<formula>formula see original document page 7</formula>
其中，Rc為紋理視頻與該紋理視頻對應的深度圖的總碼率；(9)采用最優(yōu)的紋理視頻量化步長QT°pt對紋理視頻編碼，得到編碼碼率RT°pt，采用 最優(yōu)的深度圖的量化步長QD°pt對深度圖編碼，得到編碼碼率RD°pt，完成最優(yōu)的紋理視頻與深 度圖的碼率分配。本發(fā)明與現有技術相比具有以下優(yōu)點1)本發(fā)明由于定義了虛擬視圖失真Mv與紋理視頻量化步長Qt和深度圖量化步長 Qd之間的關系，因而通過簡單計算就可以實現紋理視頻與深度圖的最優(yōu)碼率分配，使得合 成虛擬視圖的質量達到最優(yōu)，與基于搜索的碼率分配方法相比極大地降低了計算復雜度。2)本發(fā)明由于對深度圖進行了預編碼，使計算得到的參數HIi^Piid比較準確。3)本發(fā)明由于對紋理視頻進行了預編碼，使計算得到的參數mT和ητ比較準確。4)本發(fā)明由于在同一個視點合成了三個具有不同質量的虛擬視圖，并計算了這三 個不同質量的虛擬視圖的失真，使得計算得到的參數aT與aD比較準確。5)本發(fā)明由于僅需要對深度圖和紋理視頻分別編碼兩次，因此計算復雜度很低， 僅為現有基于搜索的碼率分配方法的10%。


圖1是本發(fā)明的流程圖；圖2是本發(fā)明定義的虛擬視圖失真與紋理視頻量化步長和深度圖量化步長之間 的關系圖；圖3是采用本發(fā)明的方法進行碼率分配后，合成的虛擬視圖的客觀質量比較圖；圖4是采用本發(fā)明的方法進行碼率分配后，合成的虛擬視圖的主觀效果比較圖。
具體實施例方式參照圖1，本發(fā)明的具體實施包括如下步驟步驟1，定義Mv與紋理視頻量化步長Qt、深度圖量化步長Qd之間的關系。理論分析與實驗驗證可得虛擬視圖的失真模型，如(15)式所示，<formula>formula see original document page 7</formula>
(15)式中aT表示Qt對Mv的影響參數；aD表示Qd對Mv的影響參數；C表示虛擬 視圖合成過程的固有失真；該(15)式所示的虛擬視圖失真模型可通過圖2驗證。圖2(a) 所示為采用編碼后的ΑΚΚ0&ΚΑΥ0三維視頻序列的紋理視頻和深度圖合成的虛擬視圖的失 真與該序列的紋理視頻量化步長，和該序列的深度圖量化步長的關系，圖2(b)所示為采用 編碼后的Altmoabit三維視頻序列的紋理視頻和深度圖合成的虛擬視圖的失真與該序列 的紋理視頻的量化步長，和該序列的深度圖量化步長的關系，圖2(c)所示為采用編碼后的 Ballet三維視頻序列的紋理視頻和深度圖合成的虛擬視圖的失真與該序列的紋理視頻的 量化步長，和該序列的深度圖的量化步長之間的關系。步驟2，對深度圖進行兩次預編碼。任意選取兩個量化步長Qm、Qd,2，對深度圖進行兩次預編碼，得到深度圖的兩個編 碼碼率Rim與Rd,2，并得到編碼重建的兩個深度圖D1與D2。步驟3，對紋理視頻進行兩次預編碼。
任意選取兩個量化步長QT>1、QT,2，對紋理視頻進行兩次預編碼，得到紋理視頻的兩 個編碼碼率RT>1與RT,2，并得到編碼重建的兩個紋理視頻T1與T2 ；步驟4，計算深度圖的量化步長對深度圖編碼碼率的影響參數mD和深度圖的固有 特征對深度圖編碼碼率的影響參數nD。依據深度圖量化步長Qim和Qd,2，以及深度圖編碼碼率Rim與Rd,2，建立如下方程 組Rlia = mD/QDa+nD(16)Rd,2 = mD/QD,2+nD解方程組確定深度圖量化步長對深度圖編碼碼率的影響參數mD和深度圖的固有 特征對深度圖編碼碼率的影響參數nD，=(17)
Qd,2 - Qd,ι”d=rd「(rd,「rdxqd’2。(18)
’ Qo,2-Qo,,步驟5，計算紋理視頻的量化步長對紋理視頻的編碼碼率的影響參數mT，以及紋理 視頻的固有特征對紋理視頻編碼碼率的影響參數ητ。依據紋理視頻的量化步長QT,ρ QT,2，以及紋理視頻的編碼碼率RT>1、RT,2，建立如下 方程組RT, 2 = mT/QTa+nT(19)RTa = mT/QT,2+nT解方程組確定紋理視頻的量化步長對紋理視頻的編碼碼率的影響參數mT，以及紋 理視頻的固有特征對紋理視頻編碼碼率的影響參數ητ，mrJR^-R^>Qr^Qr,2(20)
qr,2 - qt,\
<formula>formula see original document page 9</formula>
步驟6，合成虛擬視圖，并計算虛擬視圖的失真。依據步驟2和步驟3編碼后重建的深度圖Dp D2以及編碼后重建的紋理視頻1\、 T2，在同一個虛擬視點合成三個具有不同質量的虛擬視圖Vp V2和V3 ；并采用未經過編碼的 紋理視頻和未經過編碼的深度圖合成的虛擬視圖V ；計算這三個虛擬視圖的失真值Mv,i，Mv,<formula>formula see original document page 9</formula>
<formula>formula see original document page 9</formula>
<formula>formula see original document page 9</formula>
在式(22)、(23)、(24)中，W表示虛擬視圖的圖像寬度；H表示虛擬視圖的圖像高 度；v(i，j)表示虛擬視圖V中的第i行，第j列的像素值J1(Lj)表示虛擬視圖V1中的第 i行，第j列的像素值；V2(i，j)表示虛擬視圖V2中的第i行，第j列的像素值，V3(i, j)表 示虛擬視圖V3中的第i行，第j列的像素值。步驟7，確定紋理視頻的量化步長對虛擬視圖失真的影響參數aT和深度圖的量化 步長對虛擬視圖失真的影響參數aD。依據Mv,工，Mv,2，Mv, 3以及紋理視頻的量化步長Qt,工、QT,2，深度圖的量化步長Qd, 、Qd,2， 以及步驟1中的定義，建立如下方程組Mva = aT XQTj !+BdXQdj !+CMVj2 = aT X QTj !+BdXQdj^C (25)Mv,3 = aTXQT,2+aDXQD,2+C求解該方程組，確定式(15)中紋理視頻的量化步長對虛擬視圖失真的影響參數^ 和深度圖的量化步長對虛擬視圖失真的影響參數aD
Mv, - Mv,aD=κ·2(26)
My 9 - Mv .ατ= " νβ。(27)步驟8，計算紋理視頻的最優(yōu)的量化步長以及深度圖的最優(yōu)量化步長。依據信道帶寬以及存儲設備緩沖區(qū)大小，得到紋理視頻以及該紋理視頻對應的深 度圖的總碼率R。；并依據所述參數mD、nD、mT、nT、aT和aD，通過下式計算出最優(yōu)的紋理視頻量 化步長QT°pt以及深度圖的量化步長QD°pt <formula>formula see original document page 9</formula>
<formula>formula see original document page 10</formula>
步驟9，實現最優(yōu)的紋理視頻與深度圖的碼率分配。將量化步長^設為編碼器的量化步長，對紋理視頻編碼，得到紋理視頻編碼比
特數Bt ；再用Bt除以視頻幀率F，得到;將量化步長QD°pt設為編碼器的量化步長，
F
對深度圖編碼，得到深度圖的編碼比特數BD，再用Bd除以視頻幀率F，得到iC" 。
F本發(fā)明的效果可以通過實驗進一步說明。實驗測試了在不同的總碼率條件下，采用本發(fā)明進行紋理視頻、深度圖碼率分配 之后，合成虛擬視圖的質量。圖3比較了采用本發(fā)明、固定比例的碼率分配方法和基于搜索 的碼率分配方法進行碼率分配后，合成虛擬視圖的客觀質量PSNR。其中圖3(a)是對三維 視頻序列ΑΚΚ0&ΚΑΥ0的紋理視頻和深度圖進行碼率分配的實驗結果，圖3 (b)是對三維視頻 序列Altmoabit的紋理視頻和深度圖進行碼率分配的實驗結果，圖3 (c)是對三維視頻序列 Ballet的紋理視頻和深度圖進行碼率分配的實驗結果。由圖3可見，采用本發(fā)明進行碼率 分配后，合成的虛擬視圖的客觀質量與采用基于搜索的碼率分配方法后，合成的虛擬視圖 的客觀質量相當，說明本發(fā)明可以實現最優(yōu)的碼率分配。此外，由圖3(c)還可以看出，相比 固定比例的碼率分配方法，采用本發(fā)明進行碼率分配后，合成虛擬視圖的客觀質量PNSR最 高可提高1. ldB。本發(fā)明與固定比例的碼率分配方法相比，合成虛擬視圖的主觀質量如圖4所示， 其中圖4(a)為采用固定比例的碼率分配方法為Ballet三維視頻序列的紋理視頻和深度圖 進行碼率分配后合成的虛擬視圖的主觀效果，圖4(b)為采用本發(fā)明為Ballet三維視頻序 列的紋理視頻和深度圖進行碼率分配后合成的虛擬視圖的主觀效果，由圖4可見，采用本 發(fā)明進行碼率分配后，合成的虛擬視圖的主觀質量有明顯提高，相比基于搜索的碼率分配方法，本發(fā)明僅需要分別為紋理視頻及其對應的深度圖 任意選取兩個量化步長QT,i、QT,2與QrM、Qd,2，對紋理視頻與深度圖分別進行兩次預編碼，然 后通過計算即可實現最優(yōu)的紋理視頻與深度圖的碼率分配。而基于搜索的碼率分配方法需 要選取量化步長取值范圍內的所有量化步長對紋理視頻與其對應的深度圖進行編碼，并且 至少需要對紋理視頻和該紋理視頻對應的深度圖分別編碼20次?？梢姳景l(fā)明的復雜度僅 為現有基于搜索的碼率分配算法的10%。
權利要求
一種基于模型的紋理視頻與深度圖的最優(yōu)碼率分配方法，包括如下步驟(1)定義虛擬視圖失真MV為MV＝aT×QT+aD×QD+C其中QT表示紋理視頻的量化步長，QD表示深度圖的量化步長，aT表示QT對MV的影響參數；aD表示QD對MV的影響參數；C表示虛擬視圖合成過程中固有的失真；(2)任意選取兩個深度圖的量化步長QD，1和QD，2，對深度圖進行兩次預編碼，得到深度圖的兩個編碼碼率RD，1與RD，2，并得到編碼重建的兩個深度圖D1與D2；(3)任意選取兩個紋理視頻的量化步長QT，1和QT，2，對紋理視頻進行兩次預編碼，得到紋理視頻的兩個編碼碼率RT，1與RT，2，并得到編碼重建的兩個紋理視頻T1與T2；(4)依據深度圖量化步長QD，1和QD，2，以及深度圖編碼碼率RD，1和RD，2，確定深度圖的量化步長對深度圖編碼碼率的影響參數mD，以及深度圖的固有特征對深度圖編碼碼率的影響參數nD <mrow><msub> <mi>m</mi> <mi>D</mi></msub><mo>=</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>n</mi> <mi>D</mi></msub><mo>=</mo><msub> <mi>R</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(5)依據紋理視頻的量化步長QT，1和QT，2，以及紋理視頻的編碼碼率RT，1和RT，2，確定紋理視頻的量化步長對紋理視頻的編碼碼率的影響參數mT，以及紋理視頻的固有特征對紋理視頻編碼碼率的影響參數nT <mrow><msub> <mi>m</mi> <mi>T</mi></msub><mo>=</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>n</mi> <mi>T</mi></msub><mo>=</mo><msub> <mi>R</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>&times;</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(6)依據步驟(2)中編碼重建的兩個深度圖D1和D2，以及步驟(3)中編碼重建的兩個紋理視頻T1和T2，在同一個視點合成三個具有不同質量的虛擬視圖，并計算這三個虛擬視圖的失真MV，1，MV，2，MV，3；(7)依據虛擬視圖的失真MV，1、MV，2和MV，3，紋理視頻的量化步長QT，1和QT，2，深度圖的量化步長QD，1和QD，2，確定步驟(1)所定義的參數aT與aD <mrow><msub> <mi>a</mi> <mi>D</mi></msub><mo>=</mo><mfrac> <mrow><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>a</mi> <mi>T</mi></msub><mo>=</mo><mfrac> <mrow><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>3</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(8)依據上述參數mD、nD、mT、nT、aT和aD，計算最優(yōu)的紋理視頻量化步長QTopt和最優(yōu)的深度圖的量化步長QDopt <mrow><msup> <msub><mi>Q</mi><mi>D</mi> </msub> <mi>opt</mi></msup><mo>=</mo><mfrac> <mrow><msqrt> <mfrac><msub> <mi>a</mi> <mi>T</mi></msub><msub> <mi>a</mi> <mi>D</mi></msub> </mfrac> <mo>&times;</mo> <mfrac><msub> <mi>m</mi> <mi>D</mi></msub><msub> <mi>m</mi> <mi>T</mi></msub> </mfrac></msqrt><mo>&times;</mo><mrow> <mo>(</mo> <msub><mi>m</mi><mi>T</mi> </msub> <mo>+</mo> <msqrt><mfrac> <mrow><msub> <mi>a</mi> <mi>D</mi></msub><mo>&times;</mo><msub> <mi>m</mi> <mi>T</mi></msub><mo>&times;</mo><msub> <mi>m</mi> <mi>D</mi></msub> </mrow> <msub><mi>a</mi><mi>T</mi> </msub></mfrac> </msqrt> <mo>)</mo></mrow> </mrow> <mrow><msub> <mi>R</mi> <mi>c</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>T</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>D</mi></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msup> <msub><mi>Q</mi><mi>T</mi> </msub> <mi>opt</mi></msup><mo>=</mo><mfrac> <mrow><msub> <mi>m</mi> <mi>T</mi></msub><mo>+</mo><msqrt> <mfrac><mrow> <msub><mi>a</mi><mi>D</mi> </msub> <mo>&times;</mo> <msub><mi>m</mi><mi>T</mi> </msub> <mo>&times;</mo> <msub><mi>m</mi><mi>D</mi> </msub></mrow><msub> <mi>a</mi> <mi>T</mi></msub> </mfrac></msqrt> </mrow> <mrow><msub> <mi>R</mi> <mi>c</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>T</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>D</mi></msub> </mrow></mfrac><mo>,</mo> </mrow>其中，Rc為紋理視頻與該紋理視頻對應的深度圖的總碼率；(9)采用最優(yōu)的紋理視頻量化步長QTopt對紋理視頻編碼，得到編碼碼率RTopt，采用最優(yōu)的深度圖的量化步長QDopt對深度圖編碼，得到編碼碼率RDopt，完成最優(yōu)的紋理視頻與深度圖的碼率分配。
2.根據權利要求1所述的最優(yōu)碼率分配方法，其中步驟(9)所述的采用最優(yōu)的紋理視頻量化步長QT°pt對紋理視頻編碼，得到編碼碼率RT°pt，是將量化步長QT°pt設為編碼器的量化步長，對紋理視頻編碼，得到紋理視頻編碼比特數Bt ；再用Bt除以幀率F，得到/？嚴=<formula>formula see original document page 3</formula>
3.根據權利要求1所述的最優(yōu)碼率分配方法，其中步驟(9)所述的采用最優(yōu)的深度圖量化步長QD°pt對深度圖編碼，得到編碼碼率RD°pt，是將量化步長QD°pt設為編碼器的量化步長，對深度圖編碼，得到深度圖的編碼比特數Bd ；再用Bd除以幀率F，得到代廣=|。
全文摘要
本發(fā)明公開了一種基于模型的紋理視頻與深度圖的最優(yōu)碼率分配方法，主要解決三維立體視頻編碼中的紋理視頻與深度圖的碼率分配問題。其方案是確定虛擬視圖失真與紋理視頻的量化步長、深度圖的量化步長之間的關系；利用紋理視頻的編碼碼率與紋理視頻量化步長的關系、深度圖的編碼碼率與深度圖量化步長的關系，計算最優(yōu)的紋理視頻量化步長與最優(yōu)的深度圖的量化步長；并以最優(yōu)的紋理視頻量化步長和最優(yōu)的深度圖量化步長分別對紋理視頻與深度圖編碼，實現紋理視頻與深度圖的最優(yōu)碼率分配。本發(fā)明具有復雜度低，且能使紋理視頻與深度圖的碼率分配達到最優(yōu)的優(yōu)點，可用于三維立體視頻編碼中的紋理視頻與深度圖碼率分配。
文檔編號H04N13/00GK101835056SQ201010161550
公開日2010年9月15日 申請日期2010年4月29日 優(yōu)先權日2010年4月29日
發(fā)明者元輝, 常義林, 楊付正, 霍俊彥 申請人:西安電子科技大學