專利名稱：自動3d成像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)數(shù)字圖像自動構(gòu)建3D表面圖像的方法。
背景技術(shù)：
需要對象的表面形狀(目標(biāo)的表面形貌)的描述來執(zhí)行許多任務(wù)。已知多種用于獲得對對象的表面形狀進行描述的信息的方法。例如，可以利用攝影測量裝置或者利用掃描激光測量設(shè)備來測量對象的表面形狀。在許多情況下，還需要描述該表面的可視屬性或者該表面的其他特性的附加數(shù)據(jù)。用于獲得對對象表面的可視特征進行描述的信息的多種方法也是已知的。
利用攝影測量裝置，可根據(jù)兩個或者更多個二維圖像獲得三維空間數(shù)據(jù)?，F(xiàn)有技術(shù)要求已知多個照相機的位置和視線的取向，或者在使用一個照相機的情況下，已知該照相機的位置和在每個成像位置處的視線。
根據(jù)現(xiàn)有技術(shù)，從兩個或者更多個二維圖像構(gòu)建出三維圖像需要確定兩個圖像中的對應(yīng)點，并且應(yīng)用公知的數(shù)學(xué)公式以利用對應(yīng)位置的信息來估計所確定的對應(yīng)點的絕對或者相對空間位置。
此處理需要開發(fā)強大的處理能力。執(zhí)行該處理以確定場景的圖像中的單個或者多個對應(yīng)。必須執(zhí)行針對對應(yīng)的“全局”檢索，并且可產(chǎn)生多個對應(yīng)，這些對應(yīng)中的一部分會為假或者不唯一。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種改進的處理，所述處理根據(jù)可能是兩個或者更多個圖像的傳感器數(shù)據(jù)來構(gòu)建三維表面圖像。
本發(fā)明以廣泛的形式利用到圖像中的已知(多個)特征的(多個)感測距離來啟動并且控制二維圖像數(shù)據(jù)的處理，從而生成三維表面數(shù)據(jù)。
根據(jù)本發(fā)明的一方面，本發(fā)明提供了一種方法，該方法用于對利用圖像傳感器獲取的多組二維圖像數(shù)據(jù)進行處理，以生成三維表面數(shù)據(jù)，該方法包括以下步驟a)獲取表示從傳感器到每個二維圖像中的至少一個已知特征的距離的距離數(shù)據(jù)；b)利用所述距離數(shù)據(jù)對所述二維圖像數(shù)據(jù)進行處理，以啟動并控制對所述二維圖像數(shù)據(jù)之間的對應(yīng)關(guān)系的確定；c)對經(jīng)處理的圖像數(shù)據(jù)進行結(jié)合，以生成三維表面數(shù)據(jù)。
優(yōu)選但并非必須的是，可進一步將二維圖像數(shù)據(jù)與限定表面的可視特征或者其他特征的數(shù)據(jù)結(jié)合到一起，所述特征例如為電磁波頻譜的其他波段中的反射或者發(fā)射。
三維表面數(shù)據(jù)由限定對象(多個對象)的形狀的空間數(shù)據(jù)組成，所述空間數(shù)據(jù)任選地結(jié)合有可視數(shù)據(jù)或者具有可視圖像格式的其他數(shù)據(jù)(例如，來自除限定了該對象的反射或者發(fā)射特性的可視波長的光譜區(qū)以外的其他光譜區(qū)的光譜數(shù)據(jù))。
所述距離數(shù)據(jù)可以直接從圖像傳感器或者獨立傳感器獲得，并且可能需要與關(guān)于照相機的取向和位置的數(shù)據(jù)結(jié)合在一起。
根據(jù)本發(fā)明的實施，利用測距設(shè)備或者光圖案的投影來控制用于提取三維空間數(shù)據(jù)的處理的啟動，并且根據(jù)需要通過兩個圖像構(gòu)建出三維圖像。
三維圖像是組合了空間數(shù)據(jù)和諸如可視數(shù)據(jù)的數(shù)據(jù)的對表面的完整描述。測距數(shù)據(jù)允許處理器更容易確定場景的多個圖像中的單個或者多個對應(yīng)。在不知道到正被處理的圖像中的特征的距離的情況下，如在現(xiàn)有技術(shù)中，即使在照相機的位置和取向已知時，也必須執(zhí)行針對對應(yīng)的“全局”搜索。這種搜索會產(chǎn)生許多對應(yīng)關(guān)系，這些對應(yīng)關(guān)系中的一部分會為假或者不唯一。
可以利用到已知點(或多個點)的距離的信息，結(jié)合照相機的相對取向和位置的信息(相對取向和位置可以算術(shù)地求得或者可從絕對位置和取向的信息中確定)，以及測距設(shè)備或者光投影設(shè)備來控制針對對應(yīng)關(guān)系的檢索，因為如果特征在一個圖像中的(相對或者絕對)空間位置是已知的，則所述特征在第二圖像中的位置就是已知的。隨后利用此信息來控制用于確定創(chuàng)建三維圖像所需的對應(yīng)關(guān)系的處理并且自動執(zhí)行此處理。
根據(jù)本發(fā)明，通過將已知光圖案投射到其中要創(chuàng)建3D圖像的空間中，可獲得對到圖像中的已知(多個)特征的(多個)距離的信息的使用。在本方法中，隨后使用現(xiàn)有技術(shù)中的已知方法，利用光圖案的圖像的位置來確定到二維圖像中的特征或者一組特征的距離，并且隨后可以應(yīng)用用于直接測量所述特征的距離的處理。
本發(fā)明還包括用于生成三維表面數(shù)據(jù)的裝置和系統(tǒng)，以及適于執(zhí)行本發(fā)明的方法的軟件產(chǎn)品。
應(yīng)該理解，所使用的與圖像主體相關(guān)的術(shù)語“對象”的意思非常廣泛，可包括地理特征和地形以及圖像中的特定對象和特征。術(shù)語“三維表面數(shù)據(jù)”廣泛地用于表示表征對象表面的形狀和可選的其他特征的數(shù)據(jù)。


下面參照附圖對本發(fā)明進行描述，附圖中圖1是可利用單個傳感器實現(xiàn)的典型三維成像系統(tǒng)(傳感器)的圖示；圖2是利用兩個傳感器，例如立體成像傳感器中使用的兩個照相機的3D成像系統(tǒng)(傳感器)的圖示，在立體成像傳感器中3D傳感器的視場是由各個傳感器的視場的交疊來限定的；圖3是利用在兩個位置處使用的兩個照相機，或者在兩個位置處使用的一個照相機的3D成像系統(tǒng)(傳感器)的圖示；圖4是根據(jù)一實施例的適當(dāng)系統(tǒng)的框圖；圖5是使用兩個照相機和一個激光測距儀(中間)的自動3D成像系統(tǒng)的一種實現(xiàn)的圖像；圖6是由如圖5所示的自動3D成像系統(tǒng)的實現(xiàn)創(chuàng)建的3D圖像的計算機表示；圖7是3D圖像的3D數(shù)據(jù)分量的空間點云表示，即，使該3D圖像的每個表面點的空間位置都可視。
具體實施例方式
同時，參照一些具體實施來描述本發(fā)明的操作，應(yīng)該理解大量另選實施也是可行的。
在攝影測量技術(shù)的常規(guī)應(yīng)用中，確定在使用兩個或者更多個照相機的情況下這些照相機的相對位置和取向，或者在僅使用一個照相機的情況下該照相機的位置和取向，并且根據(jù)由多個照相機(或者在使用一個照相機的情況下該照相機)的相對位置和取向確定的對極幾何來對圖像進行采樣并創(chuàng)建視差圖。利用視差圖，使用這些照相機的相對位置和取向來提取三維空間數(shù)據(jù)。
在常規(guī)應(yīng)用中，通過多種方式來啟動針對對應(yīng)的搜索，并且利用多種方法來執(zhí)行這種搜索。這種針對對應(yīng)的搜索的計算量很大。為了減少計算，可以通過多個照相機的幾何布局(其中以固定的已知幾何關(guān)系來使用這些照相機)來限制所述搜索，并且可在人的控制下啟動所述搜索。
通常不獲取距離信息，并且距離信息不用于控制構(gòu)建視差圖的處理。在根據(jù)對極幾何對圖像進行重新采樣之后，針對兩個圖像公用的所有點生成視差圖。一旦生成視差圖，就根據(jù)該視差圖生成三維空間數(shù)據(jù)。
在本發(fā)明中，使用測距和照相機的相對位置和取向來啟動并且控制生成視差信息的搜索處理。利用這種控制能夠自動生成三維圖像。
應(yīng)該理解，雖然本發(fā)明是對常規(guī)技術(shù)的改進，但已知系統(tǒng)的一般原理和技術(shù)也涉及并且形成本發(fā)明的實際實施的一部分。
攝影測量法是有效的三角測量系統(tǒng)，該系統(tǒng)需要傳感器的兩個或者更多個組件，所述組件使得能夠確定三維中到對象空間中的點的方向。傳感器的每個組件的位置和取向都是已知的，并且因為對于傳感器的每個組件，到所述點的角方向都是已知的，所以容易確定點空間中的位置，由此提供三維圖像?？蓪⑷菧y量再分為如下技術(shù)被動三角測量和主動三角測量。
被動三角測量包括諸如航空攝影測量或者地面攝影測量的技術(shù)，其中測量系統(tǒng)的組件是兩個或者更多個照相機，或者拍攝兩個或者更多個圖像的一個照相機。對每個圖像中的點進行匹配，并且通過匹配點在各個圖像中的位置來確定空間位置。利用兩個電視照相機和圖像處理系統(tǒng)的快速系統(tǒng)有時被分類為立體顯示。
主動三角測量包括諸如構(gòu)建光成像的技術(shù)，其中將光條紋投射到對象空間中，并且通過照相機或者類似傳感器從另一位置進行觀測。在某些情況下，使用兩個照相機。已知光條紋的投射方向和(多個)照相機的位置和取向能夠計算出反射光的任何點在空間中的位置。主動三角測量的另一形式涉及利用光斑掃過對象空間。
本領(lǐng)域的技術(shù)人員應(yīng)該明白，可采用這些和其它另選3D成像技術(shù)來實施本發(fā)明。例如在Besl.P.J.，Active Optical Range Imaging Sensors；Machine Vision and Applications Vol 1 1988中討論了這些技術(shù)。
下面更詳細(xì)地描述本發(fā)明的可能實施。應(yīng)該強調(diào)的是，除了距離確定設(shè)備外，系統(tǒng)的其它部分是常規(guī)部件并且可以利用已知方式來實施。
圖1是示出例如使用激光測距儀的本發(fā)明的單個設(shè)備實施的典型視場的示意圖。這種設(shè)備常常提供關(guān)于所感測的表面的三維位置信息。
圖2示出了利用兩個傳感器(例如立體成像結(jié)構(gòu)中使用的數(shù)字照相機)的成像系統(tǒng)。組合傳感器的視場，即他們交疊的視場限定了3D感測區(qū)域。在此情況下，通過自動距離確定機制從每個照相機提供距離信息以及與平臺上每個傳感器的對準(zhǔn)和位置有關(guān)的信息。
圖3示出了在兩個位置處使用一個照相機或者在不同位置處使用兩個照相機的另一種布置。每個位置處的照相機都配置有測距設(shè)備。同樣，3D傳感器的視場由照相機的視場之間的交疊來限定。
下面將描述用于自動創(chuàng)建三維圖像的兩種方法a)利用組合有測距設(shè)備和傳感器的3D成像傳感器，所述傳感器能夠利用除了場景的可見光以外的波長來產(chǎn)生可視表示或者例如光譜表示的其它表示。這種傳感器的示例是數(shù)字照相機中的二維成像傳感器，并且照相機中的測距設(shè)備可提供測距功能。距離和圖像數(shù)據(jù)使得能夠自動構(gòu)建3D圖像。
b)利用組合有用于將已知光圖案投射到其中要構(gòu)建三維圖像的空間中的機制和傳感器的3D成像傳感器，所述傳感器能夠利用除了場景的可見光以外的波長來產(chǎn)生可視表示或者例如光譜表示的其它表示，所述傳感器例如是數(shù)字照相機中的用于獲得借以自動構(gòu)建3D圖像的數(shù)據(jù)的二維成像傳感器。
在優(yōu)選實施例中，當(dāng)使用測距設(shè)備時按如下方式進行創(chuàng)建3D圖像的處理。在說明書中，盡管假設(shè)使用兩個圖像，但顯然處理可容易地擴展為使用兩個以上圖像。
1、利用傳感器獲得場景的二維圖像。
2、利用傳感器獲得該場景的交疊部分的另一二維圖像。
3、可裝備有該傳感器或者可被放置在相對于該傳感器已知的位置處的測距設(shè)備確定到該場景中的特征的距離。隨后利用空間關(guān)系的信息來預(yù)測已進行了測距的該特征在兩個圖像中的位置。
4、處理器利用測距儀測量獲得的到這些特征的距離的信息，在二維圖像中定位這些特征。
5、該處理器利用這些特征在兩個圖像中的位置的信息來控制圖像數(shù)據(jù)的處理以定位用于創(chuàng)建三維圖像的兩個圖像中的對應(yīng)關(guān)系。
6、該處理器確定這兩個圖像中的所有可能對應(yīng)關(guān)系。
7、利用這些對應(yīng)關(guān)系以及限定了傳感器的位置和取向的數(shù)據(jù)，來創(chuàng)建三維圖像。
本發(fā)明的優(yōu)選實際實施需要下列部件。
首先，需要用于獲得二維數(shù)字圖像的裝置。合適的設(shè)備是數(shù)字照相機或者具有用于輸出圖像數(shù)據(jù)的適當(dāng)數(shù)據(jù)接口的照相機。
需要用于測量在相對于照相機的方向上，從照相機到對象的距離的裝置，所述相對于照相機的方向是已知的并且對準(zhǔn)所述照相機。這可以利用大多數(shù)數(shù)字照相機中已有的測距設(shè)備來進行。這種設(shè)備在許多照相機中用于提供自動對焦，并且可以是超聲波測距系統(tǒng)或者可以利用一種圖像處理算法，該圖像處理算法確定何時照相機適當(dāng)聚焦并且從聚焦設(shè)置中推斷出距離。
一個另選方案是利用將已知光圖案(或者其它射線)投射到場景空間中的設(shè)備，通過該設(shè)備響應(yīng)于已知輸出而感測的反射光來確定距離。
需要合適的處理器。處理器的特性到了取決于操作區(qū)域的大小和正處理的數(shù)據(jù)的體積的程度。為了處理相對較小的圖像，可在本地裝備中使用嵌入式數(shù)字信號處理器。對于大圖像則可能需要諸如個人計算機的計算機。
需要用于存儲由成像系統(tǒng)獲得的數(shù)據(jù)和其它數(shù)據(jù)且性能和速度可適應(yīng)所需應(yīng)用的裝置。
通過待由處理器執(zhí)行的適當(dāng)算法來執(zhí)行自動3D圖像構(gòu)建。這種算法在現(xiàn)有技術(shù)中是已知的，并且以如下方式將這種算法包含在系統(tǒng)中1、算法通過執(zhí)行圖像中的類似特征的相關(guān)來估計兩個圖像之間的視差。
2、利用兩個圖像之間的視差以及照相機之間的空間關(guān)系的信息來確定已估計了視差的圖像中的特征相對于照相機的空間位置。
圖4中示出了該系統(tǒng)的實施例。
在優(yōu)選實施例中，當(dāng)使用將光圖案投射到其中要構(gòu)建3維圖像的空間中的機制時，以如下方式進行創(chuàng)建3D圖像的處理1、利用傳感器獲取可包括所投射的光圖案的場景的二維圖像。
2、利用傳感器獲取可包括所投射的光圖案的場景的交疊部分的另一二維圖像。
3、如現(xiàn)有技術(shù)中已知的(例如Close Range Photogrammetry andMachine Vision edited by K.B.Atkinson)，處理器在圖像中定位與所投射光圖案相對應(yīng)的特征，并且確定到這些特征的距離。
4、該處理器利用這些特征在兩個圖像中的位置的信息，來控制圖像數(shù)據(jù)的處理，以查找兩個圖像中用于創(chuàng)建三維圖像的對應(yīng)關(guān)系。
5、該處理器確定兩個圖像之間的全部可能的對應(yīng)關(guān)系。
6、利用這些對應(yīng)關(guān)系以及限定了傳感器的位置和取向的數(shù)據(jù)來創(chuàng)建三維圖像。
圖5是例示了根據(jù)本發(fā)明的3D圖像感測裝置的一種實際實施的照片。中間示出了距離傳感器。左右的設(shè)備是數(shù)字照相機。應(yīng)該理解的是，照相機與圖像傳感器之間的關(guān)系是已知的，并且能夠高度精確地控制它們之間的關(guān)系。因此，這三個感測部件之間的幾何關(guān)系是已知的，并且可以將這種幾何關(guān)系作為因數(shù)代入圖像處理中。
圖6例示了由圖5的系統(tǒng)生成的3D圖像。圖7示出了表示為空間點云的同一3D圖像數(shù)據(jù)。
根據(jù)本發(fā)明一種實施的利用兩個交疊圖像來創(chuàng)建3D圖像的一般處理為1、傳感器系統(tǒng)獲取要據(jù)以創(chuàng)建3D圖像的場景的兩個交疊的數(shù)字圖像。
2、處理系統(tǒng)對每個圖像進行校正，以去除透鏡失真的效果或者使透鏡失真的效果最小化。
3、傳感器系統(tǒng)獲取到場景中的對象的距離的一個或者更多個測量值。對于單次測量，通常是無論怎樣，對象都位于視場的中央。
4、處理系統(tǒng)利用照相機的相對位置和取向的信息來確定數(shù)字圖像的水平交疊度。例如，如果到場景中的對象的距離較之照相機的間距更大，并且照相機的視線平行(或者幾乎平行)，則交疊將接近圖像寬度的百分之百。
5、處理系統(tǒng)利用照相機的相對位置和取向的信息來確定數(shù)字圖像的垂直交疊度?，F(xiàn)有技術(shù)中已知，如果已知照相機的相對視線，則通過對極幾何來確定圖像平面的垂直對準(zhǔn)。
6、通過處理系統(tǒng)來確定利用待處理以確定立體視差的每個圖像的水平交疊區(qū)域和垂直交疊區(qū)域的信息。
7、因此處理系統(tǒng)搜索每個圖像中的處理區(qū)域，并且識別每個圖像中的對應(yīng)點之間的視差。
8、利用照相機的視線的相對位置和取向的信息，處理系統(tǒng)將視差信息轉(zhuǎn)換成相對于照相機的空間位置，由此創(chuàng)建3D圖像。
應(yīng)該理解，除了公開的具體結(jié)構(gòu)外，還可利用另選結(jié)構(gòu)和其它特征來實施本發(fā)明，但本發(fā)明包括這種另選結(jié)構(gòu)。
權(quán)利要求
1.一種用于對利用圖像傳感器獲取的多組二維圖像數(shù)據(jù)進行處理，以生成三維表面數(shù)據(jù)的方法，該方法至少包括以下步驟(a)獲取表示從所述傳感器到每個二維圖像中的至少一個已知特征的距離的距離數(shù)據(jù)；(b)利用所述距離數(shù)據(jù)對所述二維圖像數(shù)據(jù)進行處理，以啟動并且控制對所述二維圖像數(shù)據(jù)之間的對應(yīng)關(guān)系的確定，從而生成經(jīng)處理圖像數(shù)據(jù)；以及(c)對所述經(jīng)處理的圖像數(shù)據(jù)進行結(jié)合，以生成三維表面數(shù)據(jù)。
2.一種利用二維成像傳感器自動生成三維表面數(shù)據(jù)的方法，該方法至少包括以下步驟a)利用第一圖像傳感器，從第一位置獲得對象的第一圖像；b)利用第二圖像傳感器，從第二位置獲得對象的第二圖像；c)獲得從所述第一圖像傳感器到所述第一圖像的視場內(nèi)的點的距離測量值；d)確定所述第一位置和第二位置的相對位移；e)至少利用相對于所述第一圖像的所述距離測量值以及所述第一位置和第二位置的所述相對位移，來引導(dǎo)啟動對所述圖像之間的對應(yīng)關(guān)系的搜索，從而啟動對限定所述兩個圖像之間的圖像特征的位移的視差圖的構(gòu)建；f)利用所述照相機之間的相對位移和所述距離測量值或多個距離測量值來控制用于創(chuàng)建所述視差圖的處理；g)利用所述照相機之間的相對位移和所述距離測量值或多個距離測量值來控制用于創(chuàng)建所述視差圖的處理的終止；以及h)由此構(gòu)建三維表面數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法，其中，使用2個以上圖像。
4.根據(jù)權(quán)利要求2或權(quán)利要求3所述的方法，其中獲得一個以上距離測量值。
5.根據(jù)權(quán)利要求2到4中任意一項所述的方法，其中，還從至少所述第二圖像傳感器到所述第二圖像的視場內(nèi)的點進行一次或者更多次距離測量。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述第二圖像傳感器是移動到所述第二位置的所述第一圖像傳感器。
7.一種用于根據(jù)多組二維圖像數(shù)據(jù)來構(gòu)建三維表面數(shù)據(jù)的裝置，所述裝置包括距離傳感器和至少兩個二維圖像傳感器，所述傳感器被設(shè)置成保持特定物理關(guān)系而進行工作；以及處理器裝置，其適于從所述圖像傳感器中的每一個和所述距離傳感器接收數(shù)據(jù)，這些數(shù)據(jù)包括來自每個圖像傳感器的一組二維圖像數(shù)據(jù)和表示從所述距離傳感器到每個二維圖像中的至少一個已知特征的距離的距離數(shù)據(jù)，所述處理器適于利用所述距離數(shù)據(jù)對所述二維圖像數(shù)據(jù)進行處理，以啟動并控制對所述多組二維圖像數(shù)據(jù)之間的對應(yīng)關(guān)系的確定，從而生成經(jīng)處理的圖像數(shù)據(jù)，所述處理器還適于對所述經(jīng)處理的圖像數(shù)據(jù)進行結(jié)合以生成三維表面數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的裝置，其中，所述至少兩個圖像傳感器是通過在兩個或者更多個位置之間移動的單個圖像傳感器來提供的。
9.一種適于實施根據(jù)權(quán)利要求1到6中任意一項所述的方法的軟件產(chǎn)品。
全文摘要
本發(fā)明提供了自動3D成像的方法。本發(fā)明公開了一種自動構(gòu)建3D圖像的方法，其中測距設(shè)備用于啟動并控制2D圖像的處理，以便生成3D圖像。該測距設(shè)備可以與圖像傳感器，例如來自數(shù)字照相機的距離傳感器集成在一起，或者可以是獨立設(shè)備?？梢允褂脧脑摼嚯x傳感器獲得的表示到特定特征的距離的數(shù)據(jù)來控制3D圖像的構(gòu)建并使之自動進行。
文檔編號G06T15/20GK101065785SQ200580033336
公開日2007年10月31日 申請日期2005年8月30日 優(yōu)先權(quán)日2004年8月30日
發(fā)明者馬克斯韋爾·萊斯利·斯坦雷, 喬治·弗拉迪米爾·波爾波蒂 申請人:聯(lián)邦科學(xué)和工業(yè)研究組織, 馬克斯韋爾·萊斯利·斯坦雷