3d建模的對象的紋理化的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機程序和系統(tǒng)的領(lǐng)域，并且更具體地，設(shè)及用于設(shè)計表示實際對 象的3D建模的對象的方法、系統(tǒng)和程序。
【背景技術(shù)】
[0002] 市場上提供了很多系統(tǒng)和程序用于對象的設(shè)計、工程和制造。CAD是計算機輔助設(shè) 計的縮寫，例如，其設(shè)及用于設(shè)計對象的軟件解決方案。CAE是計算機輔助工程的縮寫，例 如，其設(shè)及用于模擬未來產(chǎn)品的物理行為的軟件解決方案。CAM是計算機輔助制造的縮寫， 例如，其設(shè)及用于定義制造過程和操作的軟件解決方案。在運樣的計算機輔助設(shè)計系統(tǒng)中， 圖形用戶接口在技術(shù)的效率方面起到重要作用。運些技術(shù)可W嵌入到產(chǎn)品生命周期管理 (PLM)系統(tǒng)內(nèi)。PLM是指如下商業(yè)策略:其在整個擴展企業(yè)的概念中，幫助公司從產(chǎn)品的立意 到其壽命的終止來共享產(chǎn)品數(shù)據(jù)，應(yīng)用公共過程，并利用企業(yè)知識W用于產(chǎn)品的開發(fā)。 [000引達索系統(tǒng)（DASSAULT SYSTEMS)提供的化M解決方案（商標為CATIA、EN0VIA和 DELMIA)提供了組織產(chǎn)品工程知識的工程中,IMEngineering化b);管理制造工程知識的制 造中屯、（Manufacturing Hub); W及能使企業(yè)整合并連接至工程和制造中屯、的企業(yè)中屯、 化nterpriSe化b)。所有在一起，該系統(tǒng)交付一種鏈接產(chǎn)品、過程、資源的開放對象模型，W 實現(xiàn)動態(tài)的、基于知識的產(chǎn)品創(chuàng)造、W及決定支持，驅(qū)動優(yōu)化的產(chǎn)品定義、制造準備、生產(chǎn)和 服務(wù)。
[0004]在該上下文中，計算機視覺和計算機圖形學(xué)的領(lǐng)域提供越來越有用的技術(shù)。實際 上，該領(lǐng)域具有的申請設(shè)及3D重建、3D模型紋理化、虛擬現(xiàn)實、和需要使用例如一組照片中 的信息作為輸入來精確建立具有準確的幾何形狀的3D場景的所有領(lǐng)域。3D紋理化能夠被用 于設(shè)及創(chuàng)建紋理化的3D模型的任何領(lǐng)域，諸如嚴肅游戲、視頻游戲、建筑、考古、逆向工程、 3D資產(chǎn)數(shù)據(jù)庫、或者虛擬環(huán)境。取決于用于輸入數(shù)據(jù)的傳感器的類型，根據(jù)視頻流和照片集 分析的3D重建在目前工藝水平中W2個不同的方法進行處理。
[000引第一方法使用"接收器"傳感器。運顯著地設(shè)及根據(jù)RGB圖像分析的3D重建。此處， 通過對包含在每個圖像平面的RGB顏色信息的多視點分析來獲得3D重建。下面的論文設(shè)及 該方法：
[0006] R.化；Ttley和A.Zisse;rman:Multiple View Geomehy in Computer Vision,劍橋 大學(xué)出版社2004;
[0007] R.Szeliski：Computer Vision!Algorithms and Applications，Springer片反 2010;W 及
[0008] 0.Faugeras：Three-Dimensional Computer Vision:A Geometric viewpoint， M口出版社1994。
[0009] 第二方法使用"發(fā)射器-接收器"傳感器。運顯著地設(shè)及根據(jù)RGB深度圖像分析的3D 重建。運種傳感器給出了到標準RGB數(shù)據(jù)的附加的深度數(shù)據(jù)，并且在重建過程中主要使用的 是深度信息。下面的論文設(shè)及該方法：
[0010] 化n Qii等人：3D Siape Scanning with a Time-of-Fli曲t Camera,CVPR 2010;
[0011] RS. Izadi 等人：Kinect Fusion ： Real-T ime Dense Surface Mapping and Tracking JSMAR研討會2011; W及
[0012] R.Newcombe等人：Live Dense Reconstruction with a Single Moving Camera， IE邸ICCV 2011。
[0013] 此外，若干學(xué)術(shù)和產(chǎn)業(yè)人員現(xiàn)在提供了通過RGB圖像分析的3D重建的軟件解決方 案，諸如Acute3D、Autodesk、VisualSFM;或者通過RGB-深度分析的3D重建的軟件解決方案， 諸如ReconstructMe或者微軟的Kinect (注冊商標）的SDK。
[0014] 多視點攝影測量重建方法使用包括在視頻序列的圖像平面(或者一系列快照）中 的唯一信息，W便于估計場景的3D幾何形狀。對2D視點中的不同視點之間關(guān)注點的匹配會 產(chǎn)生相機的相對位置。然后，使用優(yōu)化的=角測量來計算與匹配對相對應(yīng)的3D點。深度圖分 析重建方法基于視差圖（disparity map)或者近似的3D點云。運些視差圖是使用立體視覺 或者結(jié)構(gòu)光（例如參見Kinect設(shè)備)或者"飛行時間"3D相機來獲得的。然后，運些目前工藝 水平的重建方法典型地輸出實際對象的離散3D表示，最常見的是3D網(wǎng)格。3D模型是從封閉 了所產(chǎn)生的3D點云的最終的體中導(dǎo)出的。
[0015] 從先前技術(shù)已知的進一步步驟是生成針對3D網(wǎng)格上的每個多邊形的紋理。為了保 證照片真實性，先前技術(shù)要求該擅染使用來自同時捕捉場景的高品質(zhì)設(shè)備的標準圖像。運 在T.化nusch發(fā)表于攝影測量與遙感的ISPRS期刊的A new texture mapping algorithm for photorealistic reconstruction of 3D objects論文中進行了角軍釋。
[0016] 圖I 了示出用于利用照片對3D模型進行紋理化的常用方法，運是公知的投影紋理 映射方法。例如在PiDebeveCiCJayIor和J.Malik發(fā)表于SIGGRAPH 1996的Modeling and Rendering Architecture from Photographs: A hybrid geometry-and image-based approach的論文中對該方法進行了描述。該方法使用與2D視圖（相對于3D模型）相關(guān)聯(lián)的圖 像投影數(shù)據(jù)來計算到3D模型的映射。圖1示出了對于3D網(wǎng)格模型102和校準圖像104的運樣 的視圖相關(guān)的3D模型紋理化原則:使用投影紋理映射（由束106表示，根據(jù)相機投影矩陣計 算并從光學(xué)中屯、108發(fā)出）來估計每個=角形頂點的紋理坐標。
[0017]現(xiàn)在，如圖2所示，投影到3D模型的紋理質(zhì)量高度依賴于相機位姿（camera pose) 估計。實際上，圖2示出的3D模型紋理化存在問題:在左側(cè)，精確的校準數(shù)據(jù)允許一致的紋理 104投影到3D模型102,而在右側(cè)，不精確的校準數(shù)據(jù)會引起紋理104的投影相對于3D模型 102的漂移(drift)。換言之，在快照時對相機旋轉(zhuǎn)(rotation)和平移（translation)的估計 對最終紋理具有很大影響。顯然，相機位姿的任何偏移（bias)會轉(zhuǎn)化到重投影（reprojection) 上，并使紋理化過程惡化。在深度圖分析方法的情況下，運樣的偏移經(jīng)常非常 顯著。其通常源于深度傳感器和RGB傳感器之間的同步的移位(shift),損壞了相機軌道估 計。但是其還可W源于：來自獨立相機的外部拍攝，因為沒有對深度傳感器的剛性依賴 (rigid dependency)所W不能W足夠的精度來估計獨立相機與3D模型的相對位置;噪聲傳 感器，導(dǎo)致不精確的3D模型和相機位姿;3D重建過程的漂移，導(dǎo)致不精確的3D模型；和/或扭 曲的圖像，導(dǎo)致到3D模型的不精確的紋理映射。
[0018]在該上下文內(nèi)，仍然需要用于設(shè)計表示實際對象的3D建模的對象的改善的解決方 案。

【發(fā)明內(nèi)容】

[0019] 因此，提供一種用于設(shè)計表示實際對象的3D建模的對象的計算機實現(xiàn)的方法。該 方法包括W下步驟:提供表示實際對象并具有頂點的3D網(wǎng)格、紋理圖像、W及3D網(wǎng)格的頂點 與紋理圖像的像素之間的映射；然后最大化如下形式的概率P ( L ( V )):
n指代3D網(wǎng)格的頂點的數(shù)量，而Vi 指代3D網(wǎng)格的頂點。L(Vi)指代在將頂點Vi映射到紋理圖像之后要應(yīng)用的、并在預(yù)先確定的 有限集合化）中選擇的像素移位。《忘第C…I：襄sJ#辦分…I：轉(zhuǎn)縱游泌S/))。5? 指代3D網(wǎng)格的多組網(wǎng)格圖塊(mesh tile)的索引的集合。滅;指代與頂點Vi相關(guān)聯(lián)的代價函 數(shù)，并遞減地取決于在將頂點Vi映射到所述紋理圖像之后應(yīng)用針對頂點Vi所選擇的所述像 素移位的結(jié)果遵循所述3D網(wǎng)格的頂點與所述紋理圖像的像素之間的預(yù)先確定的關(guān)系的程 度。Vf指代與3D網(wǎng)格的圖塊f相關(guān)聯(lián)的代價函數(shù)，并取決于針對圖塊f的頂點所選擇的像素 移位之間的全局差異。最大化步驟是利用預(yù)先確定的離散馬爾科夫隨機場優(yōu)化方案來執(zhí)行 的。該方案將3D網(wǎng)格和與3D網(wǎng)格的頂點的紋理坐標相關(guān)聯(lián)的像素移位視為能量 -kjg(p供巧)）…沁《樹品鷄!與豁柄巧女載嗅K按知汾誕滿的馬爾科夫隨機場。該方 法還包括根據(jù)紋理圖像、所述映射、W及最大化步驟的結(jié)果對3D網(wǎng)格進行紋理化。
[0020] 該方法可W包括下面中的一個或多個：
[0021] -代價函數(shù) Vf 的形式為 VK IL(Vi)Usf)= I：{i,j}Ep(f)Vi,J(Uvi) ,L(Vj))，其中，P (f)指代圖塊f的多對頂點的索引的集合，并且預(yù)先確定的離散馬爾科夫隨機場優(yōu)化方案是 成對的離散馬爾科夫隨機場優(yōu)化方案；
[0022] -Vi,j(L(Vi)，L(Vj))的形式為
> 其中A指代正標量；
[0023] -3D網(wǎng)格的頂點與紋理圖像的像素之間的預(yù)先確定的關(guān)系實際上是針對所述3D網(wǎng) 格的頂點的3D曲率值與針對所述紋理圖像的像素的到所述紋理圖像的最近輪廓的距離值 之間的預(yù)先確定的關(guān)系；
[0024] -低于預(yù)先確定的闊值的3D曲率值與所有距離值具有預(yù)先確定的關(guān)系，而高于預(yù) 先確定的闊值的3 D曲率值與根據(jù)遞增的一到一對應(yīng)（i n C r e a S i n g O n e -10 - O n e correspondence)的距離值具有預(yù)先確定關(guān)系；
其中，1￡',.:乂指代指示器函數(shù)， Cl指代頂點Vi的最大3D曲率，并且C指代正標量，丫指代正標量，Tl化(Vi))指代在將頂點Vi映 射到紋理圖像之后應(yīng)用針對頂點Vi選擇的像素移位的結(jié)果處的紋理圖像的距離轉(zhuǎn)換的值， 所述距離轉(zhuǎn)換是相對于紋理圖像的輪廓圖像的；
[0026] -輪廓圖像是利用應(yīng)用到紋理圖像的化nny邊緣檢測器來確定的；
[0027] -紋理圖像的距離轉(zhuǎn)換是利用相對于紋理圖像的輪廓圖像應(yīng)用到紋理圖像的倒角 掩膜(chamfer mask)來確定的；和/或
[0028] -3D網(wǎng)格、紋理圖像和映射全部是由應(yīng)用到實際對象的預(yù)先確定的從運動中恢復(fù) 結(jié)構(gòu)（structure-from-motion)的分析方案輸出的，所述映射對應(yīng)于在從運動中恢復(fù)結(jié)構(gòu) 的分析中針對紋理圖像確定的位姿相機參數(shù)。
[0029] 進一步提供了包括用于執(zhí)行所述方法的指令的計算機程序。
[0030] 進一步提供了其上記錄有計算機程序的計算機可讀存儲介質(zhì)。
[0031] 進一步提供了計算機系統(tǒng)，包括禪合至存儲器和圖形用戶接口的處理器，所述存 儲器上記錄有所述計算機程序。
【附圖說明】
[0032] 現(xiàn)在通過非限制性示例的方式并參考附圖來描述本發(fā)明的實施例，其中：
[0033]圖1-2不出了先前技術(shù)；
[0034] 圖3示出了方法的示例的流程圖；
[0035] 圖4示出了系統(tǒng)的圖形用戶接口的示例；