本發(fā)明屬于立體視頻中基于結(jié)構(gòu)光的復(fù)雜場(chǎng)景采樣與重建領(lǐng)域，特別涉及相機(jī)和投影機(jī)參數(shù)不同且任意位置時(shí)的場(chǎng)景重建。

背景技術(shù)：

人類感知外部事物的主要方式是通過視覺，有研究表明，人類獲取的所有信息中的80％是來自視覺系統(tǒng)。人類觀察到的物體具有立體感，是因?yàn)槿祟惖囊曈X系統(tǒng)能夠從雙眼看到的圖像中計(jì)算場(chǎng)景深度值、恢復(fù)場(chǎng)景三維信息。但是在傳統(tǒng)的2D視頻中，深度信息沒有被記錄下來，導(dǎo)致視覺系統(tǒng)無法從平面圖像中獲得三維信息，使用戶難以獲得立體感和臨場(chǎng)感。3D視頻技術(shù)的出現(xiàn)就是為了保留場(chǎng)景深度信息，使用戶在獲取場(chǎng)景紋理信息的同時(shí)也能感受到場(chǎng)景的深度信息，從而產(chǎn)生立體感受，給用戶帶來真實(shí)的身臨其境的感覺。3D視頻中最重要的前提是深度獲取，目前很多國(guó)家的研究機(jī)構(gòu)提出了各種深度獲取方法并且已經(jīng)搭建了系統(tǒng)，如MIT、斯坦福大學(xué)、德國(guó)HHI以及名古屋大學(xué)等。

由于傳統(tǒng)雙目視覺無法獲取弱紋理區(qū)域的深度值，目前最廣泛采用的深度獲取方法是基于結(jié)構(gòu)光的主動(dòng)視覺技術(shù)?；镜慕Y(jié)構(gòu)光測(cè)量系統(tǒng)由一個(gè)相機(jī)和一個(gè)投影機(jī)組成，投影機(jī)投射經(jīng)過編碼的散斑到場(chǎng)景表面，相機(jī)拍攝帶有散斑的場(chǎng)景圖像，計(jì)算投射散斑和拍攝到的散斑之間的偏移量，可以獲得場(chǎng)景的深度信息。微軟公司研制的Kinect是利用結(jié)構(gòu)光技術(shù)獲取深度的代表，利用光編碼技術(shù)，結(jié)合紅外投影機(jī)和紅外CMOS傳感器直接獲取深度值。Kinect是成熟的商用產(chǎn)品，靈活性較差，并且深度精度和探測(cè)距離有限制。實(shí)際應(yīng)用中常用相機(jī)和投影機(jī)搭建結(jié)構(gòu)光深度測(cè)量系統(tǒng)。

由于相機(jī)和投影機(jī)參數(shù)不同，并且擺放位置很難像Kinect中的相機(jī)和紅外收發(fā)器一樣嚴(yán)格對(duì)齊，所以相機(jī)拍攝到的投影區(qū)域與設(shè)計(jì)的投影散斑形狀不同。為了便于在水平極線上進(jìn)行匹配，需要對(duì)投影散斑進(jìn)行校正，使其與相機(jī)拍攝到的投影區(qū)域形狀相同并且像素大小相同。在傳統(tǒng)雙目立體視覺中，圖像校正前要對(duì)相機(jī)和投影機(jī)進(jìn)行標(biāo)定，獲得其內(nèi)外參數(shù)。標(biāo)定過程是比較復(fù)雜的，需要多方位拍攝標(biāo)定板圖像，進(jìn)行大量計(jì)算，并且標(biāo)定的精度對(duì)圖像校正的結(jié)果影響較大。這會(huì)使深度信息獲取的過程變的復(fù)雜并且結(jié)果穩(wěn)定性變差，不能適應(yīng)實(shí)際中方便快捷的使用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)搭建結(jié)構(gòu)光測(cè)量系統(tǒng)的復(fù)雜性問題，設(shè)計(jì)了一種基于虛擬相機(jī)的投影散斑校正方法，所述方法構(gòu)造了一個(gè)虛擬相機(jī)。由于虛擬相機(jī)和真實(shí)相機(jī)的圖像像素大小相同，可以直接匹配計(jì)算深度圖，二者圖像之間存在水平偏移，這個(gè)偏移量可由圖像坐標(biāo)與世界坐標(biāo)之間的比例關(guān)系計(jì)算。將投影散斑變換到虛擬相機(jī)，即可得到校正后的散斑圖像。

本發(fā)明提供的一種基于虛擬相機(jī)的投影散斑校正方法，包括如下步驟：

步驟一，設(shè)計(jì)帶有棋盤格邊界的隨機(jī)散斑；

步驟二，投影機(jī)投射散斑到場(chǎng)景中，相機(jī)拍攝帶有散斑的場(chǎng)景圖像，確定散斑上棋盤格角點(diǎn)的位置；

步驟三，在相機(jī)圖像平面和過投影機(jī)焦點(diǎn)的屏幕法線相交位置構(gòu)造虛擬相機(jī)的成像位置，虛擬相機(jī)在該位置獲取到校正后的散斑圖像，該圖像和真實(shí)相機(jī)拍攝的散斑圖像形狀相同并且像素大小一致，計(jì)算虛擬相機(jī)上的圖像平移量，確定校正后圖像的位置；

步驟四，計(jì)算校正前的投影散斑和校正后的散斑圖像之間的單應(yīng)性矩陣，確定校正后圖像的灰度值；

步驟五，結(jié)合第三步得到的校正圖像的位置和第四步得到的校正圖像灰度，生成最終的校正圖像。

本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

(1)結(jié)合相機(jī)和投影機(jī)的標(biāo)定和校正過程，并對(duì)這兩個(gè)過程做了簡(jiǎn)化，用確定的對(duì)應(yīng)點(diǎn)直接進(jìn)行圖像校正，避免了標(biāo)定中計(jì)算相機(jī)和投影機(jī)內(nèi)外參數(shù)的過程。

(2)適用于實(shí)際中的各種情況，例如投影機(jī)投射出的圖像變形、相機(jī)與投影機(jī)視角范圍不同、相機(jī)與投影機(jī)圖像平面不平行等情況。

(3)靈活性高，可以方便的增加分辨率來提高深度精度、增加投射光強(qiáng)來提高深度檢測(cè)距離，適用于工業(yè)和科研領(lǐng)域。

附圖說明

圖1是本發(fā)明中基于虛擬相機(jī)的投影散斑校正方法進(jìn)行圖像校正和匹配計(jì)算深度值的示意圖；

圖2是本發(fā)明中設(shè)計(jì)的投影散斑圖像示意圖；

圖3是本發(fā)明中構(gòu)造的虛擬相機(jī)位置示意圖；

圖4是本發(fā)明中計(jì)算虛擬相機(jī)圖像偏移量的示意圖。

具體實(shí)施方式

下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。

如圖1所示，本發(fā)明提供一種基于虛擬相機(jī)的投影散斑校正方法，所述投影散斑校正方法中，在相機(jī)圖像平面與過投影機(jī)焦點(diǎn)的屏幕法線相交位置構(gòu)造虛擬相機(jī)，用來接收校正后的散斑圖像；其后，計(jì)算校正圖像和相機(jī)圖像之間的平移量，結(jié)合相機(jī)圖像提供的投影散斑位置信息，確定校正圖像中投影散斑區(qū)域的位置。通過對(duì)應(yīng)點(diǎn)計(jì)算投影散斑和校正圖像之間的單應(yīng)性矩陣，將投影散斑圖像變換到虛擬相機(jī)中，獲得校正后的圖像。將相機(jī)圖像與校正圖像進(jìn)行匹配，得到場(chǎng)景深度圖。具體實(shí)現(xiàn)步驟如下說明。

步驟一，設(shè)計(jì)帶有棋盤格邊界的隨機(jī)散斑。

如圖2所示，所設(shè)計(jì)的散斑結(jié)合了隨機(jī)散斑和棋盤格散斑的優(yōu)點(diǎn)，結(jié)合并簡(jiǎn)化了標(biāo)定和校正過程。棋盤格區(qū)域的設(shè)計(jì)是相機(jī)標(biāo)定過程中標(biāo)定板的簡(jiǎn)化，只保留在散斑邊緣區(qū)域。由于在對(duì)物體進(jìn)行深度測(cè)量時(shí)，投影散斑完全覆蓋物體，邊緣區(qū)域不會(huì)受到物體影響，可以正確提取對(duì)應(yīng)點(diǎn)。此外，相機(jī)拍攝的圖像在圖像邊緣區(qū)域畸變較嚴(yán)重，將棋盤格散斑設(shè)計(jì)在邊緣區(qū)域能更好地提取畸變特征，從而更容易消除畸變。

步驟二，投影機(jī)投射散斑到場(chǎng)景中，相機(jī)拍攝帶有散斑的場(chǎng)景圖像，確定散斑上棋盤格角點(diǎn)的位置。

相機(jī)拍攝到的圖像中的棋盤格角點(diǎn)檢測(cè)可以使用OpenCV中的函數(shù)完成，保存相機(jī)圖像中角點(diǎn)的位置。

投影機(jī)投射的散斑是在步驟一中設(shè)計(jì)的，其中的棋盤格角點(diǎn)可以直接獲得。保存投影散斑中角點(diǎn)的位置，得到投射前和投射后散斑的對(duì)應(yīng)點(diǎn)。

步驟三，在相機(jī)圖像平面和過投影機(jī)焦點(diǎn)的屏幕法線相交位置構(gòu)造虛擬相機(jī)的成像位置，計(jì)算虛擬相機(jī)上的圖像平移量，確定校正后圖像的位置。

相機(jī)圖像平面是指真實(shí)相機(jī)拍攝的圖像所在的平面。虛擬相機(jī)是設(shè)想出來的一個(gè)成像位置，在這個(gè)位置上獲取的圖像和真實(shí)相機(jī)拍攝的散斑區(qū)域形狀相同、像素大小相等，二者能夠直接進(jìn)行匹配獲取深度，所以虛擬相機(jī)的圖像就是校正后的散斑圖像。虛擬相機(jī)的圖像平面中心位于相機(jī)圖像平面和過投影機(jī)焦點(diǎn)的屏幕法線相交位置，主要因?yàn)橐韵聝牲c(diǎn)因素：

(1)校正后的圖像和相機(jī)拍攝到的圖像形狀相同并且像素大小一致，則要求虛擬相機(jī)和真實(shí)相機(jī)的視角范圍相同、視角方向相同。只有在與相機(jī)平面共面的位置才能保證二者圖像能夠匹配。

(2)校正圖像能與相機(jī)圖像進(jìn)行匹配獲取場(chǎng)景深度信息，則要求虛擬相機(jī)位置能正確反應(yīng)出視差。由于視差和相機(jī)與投影機(jī)的基線距離有關(guān)，設(shè)置虛擬相機(jī)的位置位于相機(jī)圖像平面和過投影機(jī)焦點(diǎn)的屏幕法線上，豎直位置與投影機(jī)相同，水平方向上和相機(jī)基線距離不變。

綜上所述，如圖3所示，表示了實(shí)際應(yīng)用中相機(jī)和投影機(jī)視角范圍不同且圖像平面不平行的情況。V是構(gòu)造的虛擬相機(jī)的焦點(diǎn)位置，C是真實(shí)相機(jī)焦點(diǎn)，P是投影機(jī)焦點(diǎn)。為了更好地說明拍攝到的圖像位置，在相機(jī)前放置了一個(gè)投影屏幕，從P出發(fā)的兩條斜線代表投影機(jī)的視角范圍，與投影屏幕圍成的三角形是投影區(qū)域，在真實(shí)相機(jī)中只占整幅圖像的一部分。如圖1所示，真實(shí)相機(jī)圖像和校正圖像存在水平方向偏移，這個(gè)偏移量反映了相機(jī)焦點(diǎn)到投影屏幕的距離。

由于二維圖像變換不能保留距離信息，在第一次使用本方法時(shí)需測(cè)量相機(jī)到投影屏幕的距離，如果要獲得相對(duì)距離，而不是精確的距離值，相機(jī)到投影屏幕的距離可設(shè)為估計(jì)值。

真實(shí)相機(jī)圖像和校正圖像水平方向的偏移量通過世界坐標(biāo)系和圖像坐標(biāo)系之間的比例關(guān)系計(jì)算。如圖4所示，Z代表相機(jī)焦點(diǎn)到圖像平面的距離，f表示相機(jī)的焦距，dw表示相機(jī)和投影機(jī)水平方向基線距離，即在世界坐標(biāo)系中的平移距離，可以在硬件系統(tǒng)中測(cè)量，di表示圖像坐標(biāo)系中水平方向的偏移量，計(jì)算方法如公式(1)所示。

公式(1)計(jì)算出的di的單位是以世界坐標(biāo)系中厘米為單位的，圖像坐標(biāo)系的單位是像素，從參考手冊(cè)中查得相機(jī)像素大小，記為s，則在圖像平面中偏移的像素?cái)?shù)為di*s。

結(jié)合真實(shí)相機(jī)中確定的投影區(qū)域形狀和圖像平面中平移的像素?cái)?shù)，校正圖像的位置可以被唯一確定。

步驟四，利用特征點(diǎn)計(jì)算校正前的投影散斑和校正后的散斑圖像之間的單應(yīng)性矩陣，確定校正后圖像的灰度值；

利用以上兩個(gè)步驟的結(jié)果，步驟二得到了校正前后的對(duì)應(yīng)點(diǎn)，步驟三得到了校正圖像的位置，需要計(jì)算校正前的投影散斑和校正后圖像上每個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系，即單應(yīng)性矩陣。二維圖像之間的單應(yīng)性矩陣是3階方陣，且右下角元素值為1，如表達(dá)式(2)。

設(shè)校正前投影散斑中的點(diǎn)為p_i＝(x_i,y_i)，對(duì)應(yīng)校正后的點(diǎn)為p_i′＝(x_i′,y_i′)，則二者滿足以下公式關(guān)系：

[xr_i yr_i zr_i]^T＝H*[x_i y_i 1]^T (3)

公式(3)中xr_i，yr_i和zr_i表示校正后的點(diǎn)在三維空間中的坐標(biāo)。公式(4)將三維坐標(biāo)恢復(fù)為二維圖像中的坐標(biāo)。

設(shè)v為H中未知數(shù)連接成的向量，即v＝[a b c d e f g h]^T，v為H按行連接成的單應(yīng)性向量。公式(3)和(4)可以表示成矩陣方程，如下：

為了確定H中的8個(gè)未知數(shù)，至少需要確定4個(gè)對(duì)應(yīng)點(diǎn)，每個(gè)對(duì)應(yīng)點(diǎn)包含橫坐標(biāo)和縱坐標(biāo)兩個(gè)方程。在實(shí)際應(yīng)用中為了利用最小二乘法消除噪聲對(duì)對(duì)應(yīng)點(diǎn)提取的影響，通常確定的對(duì)應(yīng)點(diǎn)個(gè)數(shù)大于4個(gè)。設(shè)確定了n個(gè)對(duì)應(yīng)點(diǎn)，構(gòu)造關(guān)于v的矩陣方程如下：

A*v＝b (6)

公式(6)中的A是公式(5)擴(kuò)展至多行的情況，如下：

公式[6]中的b是校正后圖像中特征點(diǎn)坐標(biāo)連成的向量，b＝[x₁′ y₁′ … x_n′ y_n′]^T。

由于公式(6)是超定方程，利用最小二乘法求解如下：

v＝(A^TA)^-1A^Tb (8)

由于v中的變量是H中的未知數(shù)，可以確定單應(yīng)性矩陣，將校正前投影散斑中所有點(diǎn)變換到校正后的圖像中。

步驟五，結(jié)合第三步得到的校正圖像的位置和第四步得到的校正圖像灰度，生成最終的校正圖像。

如圖1右下角所示，將生成的校正圖像直接與真實(shí)相機(jī)拍攝的圖像進(jìn)行逐行匹配，得到場(chǎng)景的深度圖。

實(shí)施例

該實(shí)施例中，相機(jī)和投影機(jī)的數(shù)量均為1，采用本發(fā)明提供的投影機(jī)散斑校正方法對(duì)投影散斑進(jìn)行校正，與相機(jī)拍攝到的散斑進(jìn)行匹配得到高質(zhì)量的場(chǎng)景深度圖，具體步驟如下：

步驟一，設(shè)計(jì)帶有棋盤格邊界的隨機(jī)散斑；

隨機(jī)散斑的大小根據(jù)投影機(jī)的輸入圖像大小進(jìn)行設(shè)計(jì)，本系統(tǒng)中設(shè)置為912*1140像素。如圖2所示，由MATLAB或C++生成0-1隨機(jī)矩陣，1對(duì)應(yīng)的位置為白色，0對(duì)應(yīng)的位置為黑色。邊緣的棋盤格區(qū)域?qū)挾?0像素。

步驟二，投影機(jī)投射散斑到場(chǎng)景中，相機(jī)拍攝帶有散斑的場(chǎng)景圖像，確定散斑上棋盤格角點(diǎn)的位置；

選取棋盤格4個(gè)角點(diǎn)和4個(gè)邊中點(diǎn)的黑白相交的角點(diǎn)作為特征點(diǎn)，這8個(gè)點(diǎn)的按順時(shí)針順序，依次為左上、中上、右上、右中、右下、中下、左下和左中，本發(fā)明實(shí)施例中對(duì)應(yīng)的坐標(biāo)如下：(10,10)、(10,449)、(10,906)、(549,906)、(1134,906)、(1134,449)、(1134,10)、(549,10)。

相機(jī)的分辨率是1280*960，拍攝到的圖像中這8個(gè)點(diǎn)的坐標(biāo)如下：(25,182)、(32,619)、(34,1069)、(297,1074)、(590,1081)、(588,617)、(586,166)、(289,176)。

步驟三，在相機(jī)圖像平面和過投影機(jī)焦點(diǎn)的屏幕法線相交位置構(gòu)造虛擬相機(jī)，計(jì)算虛擬相機(jī)上的圖像平移量，確定校正后圖像的位置；

在相機(jī)前方120cm的位置放置投影屏幕，相機(jī)中拍攝到的投影圖像形狀與校正后的形狀相同，只是水平位置不同。廣角相機(jī)焦距為5mm，測(cè)量得相機(jī)與投影機(jī)水平方向基線距離為5.7cm，相機(jī)像素大小為3.75um，由公式(1)計(jì)算得平移量0.2375mm，圖像平面平移距離63像素。由于投影機(jī)在相機(jī)左側(cè)，校正后圖像向右平移63像素，至此，校正圖像的位置已確定。

步驟四，計(jì)算校正前的投影散斑和校正后的散斑圖像之間的單應(yīng)性矩陣，確定校正后圖像的灰度值；

將步驟二中得到的8組對(duì)應(yīng)點(diǎn)代入公式(6)中，由公式(8)解得未知數(shù)向量如下：

v＝[0.4822 0.0111 20.5249 -0.0190 1.0005 172.7887 0 0]^T

進(jìn)而得到單應(yīng)性矩陣如下：

將(9)代入公式(3)和(4)，可得到校正后的散斑圖像。

考慮到將原始圖像中的點(diǎn)變換到校正圖像中不一定能覆蓋全部校正圖像區(qū)域，校正圖像中可能會(huì)有空洞，還需額外的圖像修復(fù)方法。實(shí)際應(yīng)用中采用逆向單應(yīng)性矩陣，從校正圖像中計(jì)算原始圖像(校正前圖像)中對(duì)應(yīng)的像素值來填充，如下式：

[xr_i yr_i zr_i]^T＝H^-1*[x_i′ y_i′ z_i′]^T (10)

公式(11)中得出的橫縱坐標(biāo)一般不會(huì)在整數(shù)位置，由于雙線性插值得到的像素灰度接近真實(shí)相機(jī)中兩個(gè)像素之間的模糊，采用雙線性插值得到亞像素級(jí)灰度值，得到最終的校正圖像。

步驟五，結(jié)合第三步得到的校正圖像的位置和第四步得到的校正圖像灰度，生成最終的校正圖像。

用校正后的散斑圖像和真實(shí)相機(jī)拍攝到的圖像按行進(jìn)行匹配，能夠獲得場(chǎng)景的深度值。