專利名稱：一種基于多視點視頻的三維展示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機圖形圖像、視頻、虛擬現(xiàn)實領(lǐng)域，尤其涉及一種基于多視點視頻的三維展示技術(shù)。
背景技術(shù)：
真實場景的三維再現(xiàn)傳統(tǒng)方法是對真實場景進行三維重建，得到一系列的三維模型，然后基于不同的視點位置利用計算機圖形學(xué)對三維模型進行高真實感的渲染繪制，得到真實場景在不同視點下的圖像。獲得場景三維模型的常見方法有以下幾種一是利用三維建模軟件直接創(chuàng)造三維模型，嚴(yán)格上來說，這樣的模型和真實的物體還是存在比較大的差距的；二是通過提取圖像或視頻的信息重建物體的三維形態(tài)；三是通過三維掃描設(shè)備對物體表面進行三維掃描。上述方法得到一定范圍的應(yīng)用，但僅僅局限于靜態(tài)場景，對于動態(tài)場景仍面臨許多富有挑戰(zhàn)性的問題，主要表現(xiàn)在(I)傳統(tǒng)的真實場景重建一般是基于圖像或者采用三維建模軟件的方法進行建模，由于真實的場景過于復(fù)雜，基于圖像的建模方法以及三維建模軟件建模方法都無法得到和真實場景一樣的復(fù)雜度和真實感，無論采用多么先進的真實感渲染算法，得到的圖像在真實感方面都無法和真實的照片相比較。(2)建模的復(fù)雜度。真實場景往往包含很多的場景元素，每個單獨的場景元素建模都是很費時的，當(dāng)場景很大包含的內(nèi)容很豐富的時候，采用三維建模軟件建模和基于圖像的建模來構(gòu)建這樣一個真實的場景是不現(xiàn)實的，況且基于圖像的建模由于圖像的匹配等要求場景不能太復(fù)雜，建立出來的模型隨著場景的復(fù)雜度越高效果越差。(3)實時應(yīng)用限制。真實場景的三維再現(xiàn)主要應(yīng)用在實時再現(xiàn)方面，傳統(tǒng)的方法得到的三維模型的復(fù)雜度是和真實場景的內(nèi)容豐富度成正比的，如果真實場景越復(fù)雜，那么重構(gòu)出來的三維模型的面片數(shù)和紋理數(shù)也就越復(fù)雜，那么高真實感地渲染這樣一個復(fù)雜的三維模型在目前的計算機硬件和計算機圖形學(xué)的技術(shù)條件下是非常耗時的，不能夠滿足實時應(yīng)用領(lǐng)域的速度要求。(4)靜態(tài)場景限制。基于圖像的建模方法或者三維建模軟件建模方法已經(jīng)能夠建立不太復(fù)雜的真實場景，盡管能夠滿足一些領(lǐng)域的應(yīng)用，但是對于復(fù)雜的動態(tài)場景，建立一個序列的復(fù)雜場景模型，在時間耗費上以及復(fù)雜場景模型存儲上都存在很大的問題。傳統(tǒng)的方法適用于靜態(tài)的簡單的真實場景的建模，而對于動態(tài)的真實復(fù)雜場景的建模顯得無能為力。因此，通過部署在動態(tài)真實場景中的多個視頻獲取設(shè)備對動態(tài)場景的每個時刻進行同步地獲取不同視點角度的視頻數(shù)據(jù)，然后對這些視頻數(shù)據(jù)按照時間和視點兩個維度進行視頻數(shù)據(jù)整合建模，利用已有視點視頻圖像以及虛擬視點生成等技術(shù)，支持動態(tài)真實場景的三維再現(xiàn)展示對于復(fù)雜真實場景的再現(xiàn)是非常有意義的
發(fā)明內(nèi)容
本發(fā)明提出了一種基于多視點視頻的三維展示方法，有別于目前的基于三維數(shù)字化模型的三維展示技術(shù)，本發(fā)明是利用多個視點的視頻圖像來模擬三維數(shù)字化模型的各個角度圖像，通過這種方法不僅僅可以快速方便地對真實場景進行全方位的再現(xiàn)，同時避免了真實復(fù)雜場景的建模問題，同時可以達(dá)到和高真實三維數(shù)字化建模同樣甚至更高的效果O本發(fā)明通過多個視點的視頻來對真實場景進行三維展示，主要有數(shù)據(jù)建模和三維渲染兩個部分，包括以下步驟:(I)在多個視點上分別獲取三維場景的視頻數(shù)據(jù)，得到多視點的視頻數(shù)據(jù)，針對多視點的視頻數(shù)據(jù)，從各視點的視頻數(shù)據(jù)中提取時間維度相應(yīng)的幀，并整合為若干數(shù)據(jù)片段；該步驟中視點數(shù)量一般為至少4個，實際過程中可根據(jù)實際需要設(shè)定；(2)構(gòu)建一個多面體盒子，多面體盒子的面數(shù)與多視點的視點數(shù)相對應(yīng)，逐個提取步驟(I)中的數(shù)據(jù)片段，將每個視點的視頻數(shù)據(jù)貼圖到多面體盒子的一對應(yīng)面；這樣構(gòu)成了一個基于真實世界的全景圖，這個全景圖不是靜止的，而是隨著多視點視頻的不同幀的光照不同而動態(tài)變化；(3)將構(gòu)建好的三維模型放在多面體盒子中心，將整個多面體盒子劃分為若干個等面積的小平面，每個小平面虛擬為一個點光源；該步驟每個面上等面積的小平面的數(shù)量一般為十個以上，可根據(jù)實際顯示需要確定；(4)計算三維模型上所有幾何點各個方向的出射亮度值，其中任一幾何點的出射亮度值為k (X，0^)，如下式:
權(quán)利要求
1.一種基于多視點視頻的三維展示方法，其特征在于，包括: (1)在多個視點上分別獲取三維場景的視頻數(shù)據(jù)，得到多視點的視頻數(shù)據(jù)，針對多視點的視頻數(shù)據(jù)，從各視點的視頻數(shù)據(jù)中提取時間維度相應(yīng)的幀，并整合為若干數(shù)據(jù)片段； (2)構(gòu)建一個多面體盒子，多面體盒子的面數(shù)與多視點的視點數(shù)相對應(yīng)，逐個提取步驟(I)中的數(shù)據(jù)片段，將每個視點的視頻數(shù)據(jù)貼圖到多面體盒子的一對應(yīng)面； (3)將構(gòu)建好的三維模型放在多面體盒子中心，將整個多面體盒子劃分為若干個等面積的小平面，每個小平面虛擬為一個點光源； (4)計算三維模型上所有幾何點各個方向的出射亮度值，其中任一幾何點的出射亮度值為Ljx, ω』，如下式:
2.根據(jù)權(quán)利要求1所述的基于多視點視頻的三維展示方法，其特征在于:所述步驟(2)中，將每個視點的視頻數(shù)據(jù)作為紋理貼圖到多面體盒子的一對應(yīng)面。
3.根據(jù)權(quán)利要求1所述的基于多視點視頻的三維展示方法，其特征在于，在指定的視點，針對三維模型渲染后得到的二維圖像進行色調(diào)映射。
4.根據(jù)權(quán)利要求3所述的基于多視點視頻的三維展示方法，其特征在于，進行色調(diào)映射時采用定義在多維度空間的高斯卷積核進行卷積。
5.根據(jù)權(quán)利要求4所述的基于多視點視頻的三維展示方法，其特征在于，進行色調(diào)映射時采用定義在6度空間的高斯卷積核進行卷積，對于每一個像素來說，從最小的尺度Sj開始計算對比度，此時j = I，直到第一個滿足I Contrast (χ, y, Sj) I > ε的S」的出現(xiàn),利用此時得到的I計算最終的像素卷積值，ε為設(shè)定閾值，具體計算步驟為: (I)設(shè)定第j個卷積內(nèi)核區(qū)域面積為Sp第j+Ι個卷積內(nèi)核的區(qū)域面積為Sm，j滿足.6，利用Sj和Sj+1計算得到二維圖像的像素點的高斯卷積結(jié)果V(x，y, Sj)和V(x，y, SJ+1), χ、y表示二維圖像的像素點在χ軸和y軸上的坐標(biāo)值； (2)計算像素卷積值為: W (χ, y, Sj) = V (χ, y, Sj) X Sj3 ； W(x, y, SJ+1) = V (x, y, SJ+1) X SJ+13 ； (3)計算局部對比度Contrast(x, y, Sj):
全文摘要
本發(fā)明公開了一種基于多視點視頻的三維展示方法，包括(1)在多個視點上分別獲取三維場景的視頻數(shù)據(jù)；(2)構(gòu)建一個多面體盒子，多面體盒子的面數(shù)與多視點的視點數(shù)相對應(yīng)，將每個視點的視頻數(shù)據(jù)貼圖到多面體盒子的一對應(yīng)面；(3)將構(gòu)建好的三維模型放在多面體盒子中心，將整個多面體盒子劃分為若干個等面積的小平面，每個小平面虛擬為一個點光源；(4)計算三維模型上所有幾何點各個方向的出射亮度值；(5)對三維模型上的每一個幾何點進行最終顏色值進行計算以完成三維模型的渲染。通過本發(fā)明的方法可以快速方便的對真實場景進行全方位再現(xiàn)，同時避免了真實復(fù)雜場景的建模問題，且可以達(dá)到和高真實三維數(shù)字化建模同樣甚至更高的效果。
文檔編號G06T15/00GK103077552SQ20121058131
公開日2013年5月1日 申請日期2012年12月27日 優(yōu)先權(quán)日2012年12月27日
發(fā)明者趙磊, 張勤飛, 陸勝, 魯東明, 包倪光, 任艷姣 申請人:浙江大學(xué)