專利名稱：立體影像制作裝置以及立體影像制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體影像制作裝置以及立體影像制作方法，尤其涉及從ニ維影像制作三維影像的立體影像制作裝置以及立體影像制作方法。
背景技術(shù)：
作為受人關(guān)注的技術(shù)有關(guān)于3D (Three Dimensions 三維)的技術(shù)。與3D相關(guān)的技術(shù)的適用范圍較廣，從軍用導(dǎo)航到エ業(yè)上的檢查、一般消費者用的電子設(shè)備等均有應(yīng)用。 近些年，像眾多的電視制造商銷售的3D電視機、以及各種3D電影院上映的3D電影等，適用了 3D技術(shù)的應(yīng)用程序或產(chǎn)品不斷地在市場上出現(xiàn)。而且，還有進行實驗性地播放3D頻道的電視廣播公司。這樣，通過適用與3D相關(guān)的技木，從而人們增加了與立體影像(3D影像) 接觸的3D體驗的機會。并且，從1838年開始就已開始了有關(guān)3D技術(shù)的立體圖像的研究。由于人的左眼與右眼之間具有視差，因此能夠感到深度的感覺。因此，對于人來說生成具有恰當(dāng)?shù)囊暡畹淖笱蹐D像和右眼圖像，若能夠?qū)⑸傻淖笱蹐D像和右眼圖像分別傳送到人的左眼和右眼， 則人能夠鑒賞具有臨場感的立體圖像(3D圖像)。因此，為了能夠向人提供良好的3D體驗，因此開發(fā)了各種技木。在被開發(fā)的技術(shù)中具有實現(xiàn)ー連串的3D處理的各種功能的技術(shù)，這些ー連串的3D處理包括3D圖像的攝影技木、3D影像的拍攝技術(shù)、后處理技術(shù)、數(shù)據(jù)包(3D內(nèi)容)、3D內(nèi)容的分發(fā)以及3D顯示。3D電視在近些年雖然有了顯著的發(fā)展，但是用于家庭用戶能夠鑒賞的3D內(nèi)容卻不完備。對于這種狀況能夠利用兩個解決方法來緩解。一個是促進新的3D攝像機的開發(fā)，向市場提供更多的3D攝像機的方法。但是要想實現(xiàn)這些的話需要花費時間。而且，購買新的3D攝像機等對于用戶而言，負擔(dān)較大。還有ー個方法是，將2D (ニ維)影像的內(nèi)容變換為3D (三維)影像。例如有將現(xiàn)有的2D影像的內(nèi)容變換為3D影像的內(nèi)容的方法，以及在以通常攝像機或數(shù)碼攝像機 (Camcorder)拍攝2D影像的同吋，變換為3D影像的內(nèi)容的方法。這種方法的較好之處是， 與開發(fā)新的3D攝像機等相比，可以不必花費成本就能夠向人們提供良好的3D體驗。在專利文獻1中公開的技術(shù)是，能夠應(yīng)對復(fù)雜性(計算成本低)，且自動地從2D圖像(2D影像)變換到3D圖像(3D影像)。在專利文獻1公開的技術(shù)中，首先將幀分類為平坦圖像以及非平坦圖像。接著，平坦圖像直接被變換為3D立體顯示形式，非平坦圖像則根據(jù)預(yù)先估計的深度圖而被變換。并且，根據(jù)深度圖的立體變換與更多的種類相對應(yīng)。專利文獻2公開的技術(shù)是，將2D圖像信號變換為3D圖像信號，并輸出變換后的3D 圖像信號。在專利文獻2公開的技術(shù)中，首先分析各個幀的運動，并將這些幀分類為三種。 具體而言，分類為(1)包含水平方向的運動而不包含場面變化的幀、( 不包含水平方向的運動以及場面變化的幀、C3)不包含水平方向的運動的幀。接著，在包含水平方向的運動而不包含場面變化的情況下，直接利用對象幀和下ー幀來建立立體對。在非專利文獻1中公開了根據(jù)SFM (structure from motion 運動估計結(jié)構(gòu))的
5立體變換方法。在非專利文獻1公開的技術(shù)中，首先通過SFM算法來估計位置、旋轉(zhuǎn)、以及焦距等攝像機參數(shù)。接著，根據(jù)推定的攝像機參數(shù)，從原影像序列中選擇左眼圖像的候補以及與其對應(yīng)的右眼圖像。(現(xiàn)有技術(shù))(專利文獻)專利文獻1美國專利申請公開第2008/0150945號說明書專利文獻2國際公開第2010/0M479號(非專利文獻)非專利又獻 IGuofeng Zhang,Wei Hua, Xueying Qin, Tien-Tsin Wong, and Hujun Bao,"Stereoscopic Video Synthesis from a Monocular Viaeo，，，IEEE iransactions on Visualization and Computer Graphics,13(4) : 686-696 (2007)非專利文獻2"International Joint Conference on Artificial Intelligence，， 中的Bruce D. Lucas 以及Takeo Kanade 的“An Iterative Image Registration Technique with an Application to Stereo Vision(1981)，，非專利文獻3 "Alvey vision conference，，中的 C. Harris 以及 Μ· Stephens 的“A combined corner and edge detector (1988)，，非專禾Ij 文 4R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, London,2000然而，在上述的以往的技術(shù)中，具有以下的問題。首先，在上述專利文獻1公開的技術(shù)中，由于計算過于復(fù)雜，因此不能即時地進行質(zhì)量高的深度圖的估計。并且，在根據(jù)質(zhì)量低的深度圖變換到3D圖像(3D影像)的情況下， 不能滿足變換到使人能夠舒適地感受3D圖像的條件。接著，在專利文獻2公開的技術(shù)中存在不能充分滿足舒適的3D條件的問題。具體而言，在實際的影像中幾乎不會發(fā)生僅包含水平方向的運動的幀。因此，在上述的專利文獻 2公開的技術(shù)中，大多情況是根據(jù)被估計的深度圖來將2D影像變換為3D影像。深度圖的估計由于是根據(jù)水平邊界來估計的，因此容易受到噪聲的影響。并且，在估計質(zhì)量高的深度圖時需要花費時間。最后，在非專利文獻1公開的技術(shù)中存在的問題是，立體變換的性能依存于SFM 的精確度。高精確度的SFM是需要花費時間的處理，因此即時地適用是困難的。而且，雖然記載了在在線的變換中利用離線的SFM，但是實現(xiàn)性較低。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問題，目的在于提供ー種從2D影像制作恰當(dāng)且舒適的3D影像的立體影像制作裝置以及立體影像制作方法。為了達成上述的目的，本發(fā)明的一個實施例所涉及的立體影像制作裝置，從ニ維影像制作三維影像，該立體影像制作裝置包括接收部，接收ニ維影像；選擇部，從構(gòu)成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區(qū)域的共同區(qū)域所占的區(qū)域大小在預(yù)先規(guī)定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構(gòu)成立體圖像的幀的候補；決定部，根據(jù)規(guī)定的基準(zhǔn)，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構(gòu)成立體圖像的幀；立體對生成部，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應(yīng)的構(gòu)成立體圖像的立體對；以及變換部，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用于使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應(yīng)用于所述立體對，來變換所述立體對。根據(jù)此構(gòu)成，可以不必進行由計算成本高的SFM執(zhí)行的推定就能夠生成立體影像。并且，本發(fā)明的立體影像制作裝置可以不必進行花費時間的縱深圖的推定就能夠生成立體影像。據(jù)此，能夠?qū)崿F(xiàn)從ニ維影像制作恰當(dāng)且舒適的三維影像的立體影像制作裝置。本發(fā)明不僅可以作為裝置來實現(xiàn)，而且可以作為具備這些裝置所包括的處理單元的集成電路來實現(xiàn)，并且可以作為將構(gòu)成這些裝置的處理單元作為步驟的方法來實現(xiàn)，還可以作為使計算機執(zhí)行這些步驟的程序來實現(xiàn)。并且，程序也可以通過CD — ROM等記錄介質(zhì)或互聯(lián)網(wǎng)等通信介質(zhì)來分發(fā)。通過本發(fā)明，能夠?qū)崿F(xiàn)ー種從2D影像制作恰當(dāng)且舒適的3D影像的立體影像制作裝置以及立體影像制作方法。


圖1是示出本發(fā)明的實施例1中的立體影像制作裝置的構(gòu)成的方框圖。圖2是示出本發(fā)明的實施例1中的穩(wěn)定化部的詳細構(gòu)成的方框圖。圖3是示出本發(fā)明的實施例1中的立體影像制作部的詳細構(gòu)成的方框圖。圖4是示出本發(fā)明的實施例1中的立體影像變換部的處理的流程圖。圖5是示出本發(fā)明的實施例1中的穩(wěn)定化部的處理的流程圖。圖6示出了本發(fā)明的實施例1中的利用手持式攝像機的成為拍攝對象的場面的例子。圖7示出了本發(fā)明的實施例1中的手持式攝像機所拍攝的穩(wěn)定化之前的2D影像。圖8示出了本發(fā)明的實施例1中的手持式攝像機所拍攝的穩(wěn)定化后的2D影像。圖9示出了本發(fā)明的實施例1中的對象幀以及與其對應(yīng)的立體同伴幀候補的共同區(qū)域。圖10是示出本發(fā)明的實施例1中的決定部的處理的流程圖。圖11是用于說明本發(fā)明的實施例1中的生成變換矩陣的處理的流程圖。圖12A是用于說明本發(fā)明的實施例1中的用語的概念的圖。圖12B是用于說明本發(fā)明的實施例1中的用語的概念的圖。圖13示出了本發(fā)明的實施例1中的對以攝像機拍攝的穩(wěn)定化后的2D影像進行立體變換后的3D影像。圖14是示出本發(fā)明所涉及的立體影像制作裝置的最小構(gòu)成的方框圖。圖15是示出圖14所示的立體影像制作裝置的工作的流程圖。圖16是示出本發(fā)明的實施例2中的立體影像制作裝置的構(gòu)成的方框圖。圖17是示出本發(fā)明的實施例3所涉及的圖像裝置的構(gòu)成的方框圖。
具體實施方式
以下，參照附圖對本發(fā)明的實施例進行說明。(實施例1)圖1是示出本發(fā)明的實施例1中的立體影像制作裝置的構(gòu)成的方框圖。圖2是示出本發(fā)明的實施例1中的穩(wěn)定化部的詳細構(gòu)成的方框圖。圖3是示出本發(fā)明的實施例1中的立體影像制作部的詳細構(gòu)成的方框圖。圖1所示的立體影像制作裝置100從2D (ニ維)影像制作3D影像，并輸出制作的 3D (三維)影像。被輸出的3D影像由外部的顯示部112顯示，或者由外部的存儲發(fā)送裝置 114存儲。該立體影像制作裝置100具備接收部101、立體影像變換部106、影像輸出部 108、以及內(nèi)部緩沖器110。接收部101接收2D影像。接收部101例如由圖1所示的存儲介質(zhì)閱讀器102和視頻解碼器104構(gòu)成。存儲介質(zhì)閱讀器102累積構(gòu)成2D影像的多個幀(圖像數(shù)據(jù))。視頻解碼器104從存儲介質(zhì)閱讀器102獲得圖像數(shù)據(jù)S11，并輸出到立體影像變換部106。視頻解碼器104在圖像數(shù)據(jù)Sll被編碼的情況下，按照需要將解碼了圖像數(shù)據(jù)Sll的2D影像數(shù)據(jù)S13輸出到立體影像變換部106。立體影像變換部106由穩(wěn)定化部116和立體影像制作部118構(gòu)成。立體影像變換部106利用穩(wěn)定化部116和立體影像制作部118將2D影像數(shù)據(jù)S13穩(wěn)定化，之后變換為3D 影像(立體影像)。穩(wěn)定化部116通過在構(gòu)成2D影像(2D影像數(shù)據(jù)S13)的多個幀中校正該多個幀之間的搖晃，從而使該多個幀穩(wěn)定化。在此，多個幀之間的搖晃例如是在拍攝2D影像時的手的震動而造成的影像的晃動。并且，穩(wěn)定化例如是指校正為不搖晃的影像。穩(wěn)定化部116如圖2所示由檢測部121和算出部122構(gòu)成。穩(wěn)定化部116通過利用投影變換矩陣，來對多個幀之間的搖晃進行校正，所述投影變換矩陣是根據(jù)幀中具有特征的、且在規(guī)定幀與多個近鄰幀之間具有對應(yīng)關(guān)系的特征點而被算出的，所述多個近鄰幀是在時間上與規(guī)定幀近的幀。具體而言，檢測部121檢測在規(guī)定幀與近鄰幀之間具有對應(yīng)關(guān)系的多個特征點， 該多個特征點是具有特征的點，所述近鄰幀是與規(guī)定幀近的幀。算出部122，將使規(guī)定幀變形的投影變換矩陣作為穩(wěn)定化矩陣來算出，以使規(guī)定幀的多個特征點與對應(yīng)的近鄰幀中的被加權(quán)后的多個特征點具有相同的坐標(biāo)值。例如，算出部122利用加權(quán)函數(shù)來算出多個近鄰幀的權(quán)重。算出部122在對應(yīng)的近鄰幀為在時間上與規(guī)定幀最近的幀的情況下，利用加權(quán)函數(shù)，算出與1更近的值的權(quán)重。并且，在對應(yīng)的近鄰幀為在時間上與規(guī)定幀遠的幀的情況下，利用加權(quán)函數(shù)，算出比1小的值的權(quán)重。這樣，穩(wěn)定化部116將算出的投影變換矩陣適用于規(guī)定幀，并對所有的幀進行同樣的處理，從而將構(gòu)成2D影像數(shù)據(jù)的多個幀穩(wěn)定化。立體影像制作部118如圖3所示，由選擇部123、決定部124、立體對生成部125、以及變換部1 構(gòu)成，從被穩(wěn)定化后的2D影像數(shù)據(jù)S13制作3D影像。選擇部123從構(gòu)成2D影像的多個幀中，將與對象幀具有共同的圖像的區(qū)域的共同區(qū)域所占區(qū)域的大小為預(yù)先規(guī)定的值以上的多個幀，選擇為立體同伴幀候補，該立體同伴幀候補是與對象幀一起構(gòu)成立體圖像的幀的候補。例如，選擇部123從構(gòu)成2D影像的多個幀中，選擇與對象幀為同一場面拍攝的多個幀，以作為立體同伴幀候補。具體而言，選擇部123在共同區(qū)域占對象幀的大小的比例以及共同區(qū)域占立體同伴幀候補的大小的比例分別為預(yù)先規(guī)定的值(例如0.9)以上的情況下，則判斷為立體同伴幀候補為與對象幀在同一場面被拍攝的幀。在此，共同區(qū)域是根據(jù)特征點而被算出的，該特征點是在對象幀與立體同伴幀候補之間具有對應(yīng)關(guān)系的、幀中具有特征的點。并且，選擇部123例如在構(gòu)成2D影像的多個幀中，也可以將作為在時間上與對象幀接近的幀的近鄰幀作為立體同伴幀候補來選擇。決定部IM根據(jù)第一基準(zhǔn)，從立體同伴幀候補中在決定立體同伴幀，該立體同伴幀是與對象幀一起構(gòu)成立體圖像的幀。換而言之，決定部1 通過利用幀中的具有特征的點的特征點，來判斷是否滿足第一基準(zhǔn)，從而決定立體同伴幀，所述特征點并且是通過執(zhí)行圖像處理能夠檢測到的點。立體對生成部125利用對象幀和立體同伴幀，來生成與對象幀對應(yīng)的構(gòu)成立體圖像的立體對。并且，第一基準(zhǔn)是由垂直方向差基準(zhǔn)、水平視差基準(zhǔn)、平滑化基準(zhǔn)、以及變形減少基準(zhǔn)構(gòu)成的基準(zhǔn)。具體而言，在垂直方向差基準(zhǔn)規(guī)定了，將對象幀的共同區(qū)域與垂直方向的位置的差略等于零的幀作為立體同伴幀。在水平視差基準(zhǔn)規(guī)定了，將對象幀的共同區(qū)域與水平方向的位置的差(視差)包含在規(guī)定的范圍內(nèi)的幀作為立體同伴幀。并且，在平滑化基準(zhǔn)規(guī)定了，將在時間上連續(xù)的立體對之間的、共同區(qū)域的位移為平滑的幀作為立體同伴幀。 在變形減少基準(zhǔn)規(guī)定了，將共同區(qū)域所占區(qū)域的大小與對象幀中的共同區(qū)域所占區(qū)域中的大小均在預(yù)先規(guī)定的值以上的幀作為立體同伴幀。變換部126，從對象幀以及由選擇選擇123選擇的立體同伴幀候補中，生成用于使立體同伴幀候補變形的變換矩陣，并通過將生成的變換矩陣適用于立體對，從而對生成的立體對進行變換。在此，變換部1 根據(jù)在對象幀與立體同伴幀之間具有對應(yīng)關(guān)系的、且是幀中具有特征的特征點來生成變換矩陣。具體而言，變換部126使算出的投影變換矩陣、傾斜變換矩陣以及平移變換矩陣組合，從而生成變換矩陣。更具體而言，首先變換部1 在對象幀與立體同伴幀候補之間算出基本矩陣。接著，變換部126根據(jù)基本矩陣算出投影變換矩陣，以使立體對中的對象幀與立體同伴幀候補之間的垂直方向差最小化。接著，變換部1 在維持由投影變換矩陣變換的立體同伴幀中的共同區(qū)域與變換前的正交性和縱橫比相同的狀態(tài)下，算出傾斜變換矩陣。接著，變換部126算出平移變換矩陣，以使對象幀與被適用了投影變換矩陣以及傾斜變換矩陣的立體同伴幀之間的視差、與該對象幀以前的對象幀和立體同伴幀之間的視差成為相同。內(nèi)部緩沖器110相當(dāng)于本發(fā)明的存儲部，存儲由變換部126變換的立體對。具體而言，內(nèi)部緩沖器存儲在立體影像制作部118生成的立體對，以作為由影像輸出部108輸出之前的數(shù)據(jù)的中間數(shù)據(jù)。換而言之，立體影像變換部106通過內(nèi)部緩沖器110，將生成的立體對數(shù)據(jù)S15發(fā)送到影像輸出部108。影像輸出部108相當(dāng)于本發(fā)明的輸出部，輸出被存儲在內(nèi)部緩沖器110的被變換后的立體對。并且，影像輸出部108輸出由變換部1 變換的立體對，該立體對是與構(gòu)成2D 影像的多個幀的每個幀相對應(yīng)的立體對。并且，影像輸出部108將被輸入的立體對數(shù)據(jù)S15調(diào)整為與優(yōu)選的輸出形式相對應(yīng)的輸出影像形式(立體對數(shù)據(jù)S17)，并輸出到顯示部112。具體而言，影像輸出部108為了能夠使顯示部112進行顯示，從而將輸出影像形式調(diào)整為與顯示部112的顯示形式相一致的形式。例如，作為輸出影像形式例如有用于不佩戴眼鏡而直接用肉眼來看立體裝置的形式，但是并非受此所限。例如也可以是使用眼鏡來看的灰色/彩色立體圖片的形式，也可以是交錯形式。并且，也可以是方格形式，或者可以是利用主動式快門眼鏡來看幀連續(xù)型的立體顯示裝置的其他的形式。并且，影像輸出部108也可以利用存儲發(fā)送裝置114來對立體對數(shù)據(jù)S17進行存儲以及發(fā)送。存儲發(fā)送裝置114例如是以閃存為主的內(nèi)存卡、硬盤驅(qū)動器、或光學(xué)驅(qū)動器，但并非受此所限。例如，存儲發(fā)送裝置114可以是HDMI接ロ(高清晰度多媒體接ロ)、USB接ロ、 無線接ロ或direct-to-printer (直接連接打印機)接ロ，不過并非受此所限。另外，存儲發(fā)送裝置114也可以進行任意地可逆或不可逆壓縮，來進行存儲以及發(fā)送。如以上所述，構(gòu)成了立體影像制作裝置100。并且，立體影像制作裝置100(或構(gòu)成立體影像制作裝置的立體影像變換部106等) 通?？梢杂蒊C (集成電路)、ASIC (專用集成電路)、或LSI (大規(guī)模電路)來實現(xiàn)，并且可以由多個芯片構(gòu)成也可以由ー個芯片構(gòu)成。并且，立體影像制作裝置100或立體影像變換部 106等的實現(xiàn)并非受LSI的形式所限。也可以按照集成度而以被稱為IC (集成電路)、系統(tǒng) LSI、超級LSI、或極超級LSI。并且，立體影像制作裝置100等也可以利用專用電路或通用處理器等被集成化后來實現(xiàn)。作為專用電路例如有能夠按照程序指令來進行控制的DSP (數(shù)字信號處理器)等特殊化后的微處理器。并且，立體影像制作裝置100等在LSI制造后，也可以利用可編程的FPGA(現(xiàn)場可編程門陣列)或LSI的連接或者可重構(gòu)的處理器。將來，在制造以及處理技術(shù)提高之后，在以全新的技術(shù)來取代LSI的情況下，也可以利用該技木，通過進行集成化來實現(xiàn)。并且，立體影像制作裝置100也可以被組裝到以時間序列來顯示圖像(影像)的液晶顯示裝置、等離子體顯示裝置、附加有柱狀透鏡層的顯示裝置、或能夠顯示其他的種類的顯示裝置等的立體圖像的顯示裝置。并且，立體影像制作裝置100也可以被安裝在DVD播放器、藍光盤播放器、以及其他種類的數(shù)字媒體播放器等的數(shù)字媒體播放裝置。也可以安裝在其他種類的裝置中。上述的任何ー種情況均不限定本發(fā)明的范圍。圖4是示出本發(fā)明的實施例1所涉及的立體影像變換部106的工作的流程圖。首先，在S102，2D影像被輸入到立體影像變換部106。具體而言，立體影像變換部 106被輸入有來自接收部101的2D影像數(shù)據(jù)S13。接著，在S104，立體影像變換部106檢測在相鄰的幀之間的具有對應(yīng)關(guān)系的特征
好、ο在此，在具有對應(yīng)關(guān)系的特征點的檢測(注冊/追蹤)中采用現(xiàn)有技術(shù)中公開的方法。并且，用于追蹤特征的現(xiàn)有的方法例如由非專利文獻2公開。并且，注冊特征的現(xiàn)有的方法例如由非專利文獻3公開。并且，特征點的檢測(注冊/追蹤)的方法并非受上述非專利文獻2以及非專利文獻3公開的方法所限。
接著，在S106，立體影像變換部106使2D影像穩(wěn)定化。具體而言，立體影像變換部106利用基于在對象(參考)幀與多個近鄰幀之間的彼此對應(yīng)的特征點而被算出的矩陣， 來進行針對規(guī)定幀的穩(wěn)定化變換。更具體而言，通過利用基于在規(guī)定幀與多個近鄰幀之間的彼此對應(yīng)的幀中的具有特征的特征點而被算出的投影變換矩陣，從而對該多個幀之間的搖晃進行校正，所述多個近鄰幀是指，在時間上與規(guī)定幀接近的幀。這樣，立體影像變換部 106能夠使2D影像穩(wěn)定化。接著，在S108，立體影像變換部106選擇與對象幀對應(yīng)的立體同伴幀候補。具體而言，立體影像變換部106從構(gòu)成2D影像的多個幀中，選擇具有共同區(qū)域的、且該共同區(qū)域所占的區(qū)域的大小在預(yù)先規(guī)定的值(例如0. 9)以上的多個幀，以作為與對象幀一起構(gòu)成立體圖像的幀的候補的立體同伴幀候補，所述共同區(qū)域是與對象幀共同的區(qū)域。例如，立體影像變換部106從構(gòu)成2D影像的多個幀中選擇包含有與對象幀具有相同場面的幀。接著，在S110，立體影像變換部106決定與對象幀對應(yīng)的立體同伴幀。具體而言， 立體影像變換部106根據(jù)第一基準(zhǔn)，從立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與對象幀一起構(gòu)成立體圖像的幀。在此，第一基準(zhǔn)如以上所述，包括以下的基準(zhǔn)a)至基準(zhǔn)d)。即，在決定形成立體對的立體同伴幀和對象幀時需要以下的基準(zhǔn)基準(zhǔn)a)垂直方向差幾乎為零(垂直方向差基準(zhǔn))，基準(zhǔn)b)具有充分且恰當(dāng)?shù)乃揭暡?水平視差基準(zhǔn))，基準(zhǔn)c)與相鄰的立體對的對應(yīng)點的視差相似(平滑化基準(zhǔn))，以及基準(zhǔn)d)變形為最小(變形減少基準(zhǔn))。接著，在Sl 12，立體影像變換部106生成立體對。具體而言，立體影像變換部106 利用對象幀和立體同伴幀，生成與對象幀對應(yīng)的構(gòu)成立體圖像的立體對。即，立體影像變換部106利用被穩(wěn)定化的對象幀與基于第一基準(zhǔn)而被決定的立體同伴幀，生成立體對。接著，在S114，立體影像變換部106保存或顯示生成的立體對(對象立體對)。例如，立體影像變換部106將生成的對象立體對保存到內(nèi)部緩沖器110。接著，在S115，立體影像變換部106確認生成的對象立體對的對象幀是否為構(gòu)成 2D影像的多個幀中的最后的幀。在S115，立體影像變換部106在確認到生成的對象立體對的對象幀不是最后的幀的情況下(sii5的“否”)，返回到Sioe0另外，立體影像變換部106在確認到生成的對象立體對的對象幀是最后的幀的情況下(S115的“是”)，則進入到S116。最后，在S116輸出以在立體影像變換部106被生成的立體對構(gòu)成的立體影像(3D 影像)。如以上所述，立體影像變換部106將2D影像變換為3D影像。接著，對本申請的特征性處理S106、S108、以及SllO進行詳細說明。首先，對S106進行詳細說明。例如，在被輸入到立體影像變換部106的2D影像是由攝像機等拍攝的情況下，將要解決的課題之ー是由于手的晃動以及其他的理由而造成的攝像機的晃動。即，在以因手的晃動等而晃動的攝像機拍攝2D影像吋，則2D影像成為含有搖晃等的不穩(wěn)定影像。因此， 即使從不穩(wěn)定的2D影像制作3D影像，制作后的3D影像也成為不穩(wěn)定的3D影像。不穩(wěn)定的3D影像在由人視聽吋，會給人帶來不健全且不愉快的感覺。
因此，通過對因手的晃動或其他的理由而造成的幀間的晃動進行校正，從而能夠使不穩(wěn)定的2D影像穩(wěn)定化。以下，對穩(wěn)定化部116進行的穩(wěn)定化處理(S106)的詳細進行說明。圖5是示出本發(fā)明的實施例1中的穩(wěn)定化部116的處理的流程圖。首先，在S201，2D影像被輸入到穩(wěn)定化部116。具體而言，2D影像數(shù)據(jù)S13從接收部101被輸入到穩(wěn)定化部116。接著，在S202，穩(wěn)定化部116在構(gòu)成2D影像(2D影像數(shù)據(jù)S13)的多個幀中檢測 (追蹤)在相鄰的幀之間的具有對應(yīng)關(guān)系的特征點。具體而言，檢測部121在構(gòu)成2D影像的多個幀中檢測多個特征點，該多個特征點是在規(guī)定幀與近鄰幀之間的彼此對應(yīng)的具有特征的點，所述近鄰幀是與規(guī)定幀接近的幀。接著，在S204，穩(wěn)定化部116根據(jù)在規(guī)定幀以及多個近鄰幀之間具有對應(yīng)關(guān)系的特征點，算出使規(guī)定幀變形的穩(wěn)定化矩陣。具體而言，算出部122算出作為使規(guī)定幀變形的穩(wěn)定化矩陣的投射變換矩陣，以使規(guī)定幀的多個特征點與對應(yīng)的近鄰幀的被加權(quán)后的多個特征點具有相同的坐標(biāo)值。具體而言，在S204算出穩(wěn)定化矩陣Sm，針對作為規(guī)定幀的第m個幀Lii算出矩陣， 該矩陣能夠平穩(wěn)地變更對應(yīng)的多個近鄰幀Nm= {Im_k，· · ·，Inri，Iffl, Im+1，· · ·，Im+k}的特征點。穩(wěn)定化矩陣、是作為使式1的目標(biāo)函數(shù)最小化的矩陣而被算出的。(數(shù)式1 )
m+kSm = ai-gmin SPm 一 WjVj ||2 (式 ι)
S j~rfi-k在此，S是3X3投影變換矩陣，、是被推定的3X3穩(wěn)定化矩陣。P〗是包含第j個幀的所有的特征點(K個)的3XK矩陣。這些矩陣的各個列是特征點的三維齊次坐標(biāo)。ろ 是在第j個幀的特征點的權(quán)重。在第j個幀離第m個對象幀遠的情況下，權(quán)重變小。在第 j個幀離第m個對象幀近的情況下，權(quán)重變大。權(quán)重是通過式2所示的高斯函數(shù)算出的。(數(shù)式2)
權(quán)利要求
1.ー種立體影像制作裝置，從ニ維影像制作三維影像，該立體影像制作裝置包括 接收部，接收ニ維影像；選擇部，從構(gòu)成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區(qū)域的共同區(qū)域所占的區(qū)域大小在預(yù)先規(guī)定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構(gòu)成立體圖像的幀的候補；決定部，根據(jù)規(guī)定的基準(zhǔn)，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構(gòu)成立體圖像的幀；立體對生成部，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應(yīng)的構(gòu)成立體圖像的立體對；以及變換部，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用于使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應(yīng)用于所述立體對，來變換所述立體對。
2.如權(quán)利要求1所述的立體影像制作裝置，該立體影像制作裝置還包括穩(wěn)定化部，該穩(wěn)定化部通過在構(gòu)成所述ニ維影像的多個幀中對該多個幀之間的搖晃進行校正，從而使該多個幀變得穩(wěn)定；所述選擇部，從由所述穩(wěn)定化部穩(wěn)定后的構(gòu)成所述ニ維影像的多個幀中，選擇立體同伴幀候補。
3.如權(quán)利要求1或2所述的立體影像制作裝置， 所述立體影像制作裝置包括存儲部，用于存儲由所述變換部變換后的立體對；以及輸出部，用于輸出由所述存儲部存儲的被變換后的立體對；所述輸出部，通過輸出由所述變換部變換后的立體對，從而從所述ニ維影像生成三維影像，所述變換后的立體對與構(gòu)成所述ニ維影像的多個幀的每ー個相對應(yīng)。
4.如權(quán)利要求1至3的任一項所述的立體影像制作裝置，所述選擇部，從構(gòu)成所述ニ維影像的多個幀中，選擇與所述對象幀為在同一場面拍攝的多個幀，以作為所述立體同伴幀候補。
5.如權(quán)利要求4所述的立體影像制作裝置，所述選擇部，在所述共同區(qū)域的大小占所述對象幀的比例、以及所述共同區(qū)域的大小占所述立體同伴幀候補的比例分別在所述預(yù)先規(guī)定的值以上的情況下，判斷所述立體同伴幀候補是與所述對象幀在同一場面拍攝的幀；所述共同區(qū)域是根據(jù)幀中具有特征的、且在所述對象幀與所述立體同伴幀候補之間具有對應(yīng)關(guān)系的特征點而被算出的。
6.如權(quán)利要求4或5所述的立體影像制作裝置，所述選擇部，在構(gòu)成所述ニ維影像的多個幀中，選擇在時間上與所述對象幀近的近鄰幀，以作為所述立體同伴幀候補。
7.如權(quán)利要求1至6的任一項所述的立體影像制作裝置，所述規(guī)定的基準(zhǔn)包括垂直方向差基準(zhǔn)、水平視差基準(zhǔn)、平滑化基準(zhǔn)、以及減少失真基準(zhǔn)；在所述垂直方向差基準(zhǔn)中規(guī)定了，將與所述對象幀的所述共同區(qū)域在垂直方向的位置上的差略等于零的幀，作為所述立體同伴幀；在所述水平視差基準(zhǔn)中規(guī)定了，將與所述對象幀的所述共同區(qū)域在水平方向的位置上的差屬于規(guī)定的范圍內(nèi)的幀，作為所述立體同伴幀；在所述平滑化基準(zhǔn)中規(guī)定了，將在時間上連續(xù)的立體對之間的所述共同區(qū)域的變位成為平滑的幀，作為所述立體同伴幀；在所述減少失真基準(zhǔn)中規(guī)定了，將所述共同區(qū)域所占的區(qū)域中的大小與所述對象幀同樣，均為所述預(yù)先規(guī)定的值以上的幀，作為所述立體同伴幀。
8.如權(quán)利要求7所述的立體影像制作裝置，所述決定部，利用通過進行圖像處理而能夠檢測到的、作為幀中的具有特征的點的特征點，來判斷是否滿足所述規(guī)定的基準(zhǔn)，以便決定所述立體同伴幀。
9.如權(quán)利要求1或2所述的立體影像制作裝置，所述變換部，根據(jù)作為幀中具有特征的、且在所述對象幀與所述立體同伴幀之間具有對應(yīng)關(guān)系的特征點來生成所述變換矩陣。
10.如權(quán)利要求1或2所述的立體影像制作裝置，所述變換部，對算出的投影變換矩陣、傾斜變換矩陣以及平移變換矩陣進行組合以便生成所述變換矩陣，并且將生成的所述變換矩陣應(yīng)用于所述立體對；所述變換部，在所述對象幀與所述立體同伴幀候補之間算出基本矩陣； 所述變換部，根據(jù)所述基本矩陣算出所述傾斜變換矩陣，以使所述立體對中的對象幀與所述立體同伴幀候補之間的垂直方向差成為最??；所述變換部，算出所述投影變換矩陣，以使由所述投影變換矩陣變換后的所述立體同伴幀中的所述共同區(qū)域，維持與變換前相同的正交性和縱橫比；所述變換部，算出所述平移變換矩陣，以使以下的兩種視差成為相同，該兩種視差是指所述對象幀與被應(yīng)用了所述投影變換矩陣以及所述傾斜變換矩陣后的立體同伴幀之間的視差、以及所述對象幀之前的對象幀與立體同伴幀之間的視差。
11.如權(quán)利要求2所述的立體影像制作裝置，所述穩(wěn)定化部，通過利用投影變換矩陣來對多個幀之間的搖晃進行校正，該投影變換矩陣是基于幀中具有特征的、且在規(guī)定幀與在時間上和所述規(guī)定幀接近的多個近鄰幀之間具有對應(yīng)關(guān)系的特征點而被算出的。
12.如權(quán)利要求2所述的立體影像制作裝置， 所述穩(wěn)定化部包括檢測部，檢測多個特征點，該多個特征點是在規(guī)定幀和與所述規(guī)定幀鄰近的近鄰幀之間具有對應(yīng)關(guān)系且具有特征的點；以及算出部，算出使所述規(guī)定幀變形的投影變換矩陣，以使所述規(guī)定幀的多個特征點、與對應(yīng)的所述近鄰幀中被加權(quán)后的多個特征點具有相同的坐標(biāo)值；所述穩(wěn)定化部通過將所述投影變換矩陣應(yīng)用于所述規(guī)定幀，從而使該多個幀變得穩(wěn)疋。
13.如權(quán)利要求12所述的立體影像制作裝置， 所述多個近鄰幀是在時間上與所述規(guī)定幀近的幀。
14.如權(quán)利要求12所述的立體影像制作裝置，所述算出部利用加權(quán)函數(shù)，算出所述多個近鄰幀的權(quán)重； 所述算出部，在對應(yīng)的所述近鄰幀為在時間上與所述規(guī)定幀最近的幀的情況下，利用所述加權(quán)函數(shù)，算出值為更近于1的權(quán)重；在對應(yīng)的所述近鄰幀為在時間上離所述規(guī)定幀遠的幀的情況下，利用所述加權(quán)函數(shù)， 算出值為比1小的權(quán)重。
15.如權(quán)利要求2所述的立體影像制作裝置，所述接收部，接收用戶以拍攝裝置拍攝的ニ維影像； 所述立體影像制作裝置進ー步包括分析部，分析所述拍攝裝置的動作，生成用于引導(dǎo)所述用戶的信息，以便拍攝穩(wěn)定的ニ 維影像；反饋部，根據(jù)由所述分析部生成的信息，生成用于向所述用戶反饋的反饋信息；以及顯示部，顯示被生成的所述反饋信息以及所述ニ維影像。
16.ー種立體影像制作方法，從ニ維影像制作三維影像，該立體影像制作方法包括 接收步驟，接收ニ維影像；選擇步驟，從構(gòu)成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區(qū)域的共同區(qū)域所占的區(qū)域大小在預(yù)先規(guī)定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構(gòu)成立體圖像的幀的候補；決定步驟，根據(jù)所述規(guī)定的基準(zhǔn)，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構(gòu)成立體圖像的幀；立體對生成步驟，利用所述對象幀與所述立體同伴幀，生成構(gòu)成立體圖像的立體對；以及變換步驟，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用于使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應(yīng)用于所述立體對，來變換所述立體對。
全文摘要
本發(fā)明的立體影像制作裝置(100)包括接收部(101)，接收二維影像；選擇部(123)，從構(gòu)成所述二維影像的多個幀中，將與對象幀共同的共同區(qū)域所占的區(qū)域大小在預(yù)先規(guī)定的值以上的多個幀選擇為立體同伴幀候補；決定部(124)，根據(jù)第一基準(zhǔn)，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構(gòu)成立體圖像的幀；立體對生成部(125)，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應(yīng)的構(gòu)成立體圖像的立體對；以及變換部(126)，根據(jù)對象幀和被決定的所述立體同伴幀生成變換矩陣，根據(jù)第二基準(zhǔn)將生成的所述變換矩陣應(yīng)用于所述立體對，從而對所述立體對進行變換。
文檔編號H04N13/02GK102598683SQ201180004478
公開日2012年7月18日 申請日期2011年9月16日 優(yōu)先權(quán)日2010年9月17日
發(fā)明者山田整, 李博, 王振珀, 申省梅 申請人:松下電器產(chǎn)業(yè)株式會社