本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種全景視頻攝像機組空間位姿標定方法。

背景技術(shù)：

360度全景圖是一種基于圖像拼接技術(shù)實現(xiàn)的低成本虛擬現(xiàn)實技術(shù)，是虛擬現(xiàn)實、計算機視覺技術(shù)領(lǐng)域中的一個研究熱點。全景拼接技術(shù)作為一種廉價、直觀的實現(xiàn)方式已經(jīng)在多個領(lǐng)域得到廣泛的應(yīng)用，比如房地產(chǎn)、裝潢設(shè)計、旅游景點、工程匯報、虛擬校園、街景服務(wù)、視頻監(jiān)控等等，有著廣闊的市場需求。

做全景拼接圖像處理之前，需要對攝像機組的相對位姿進行標定，像機空間關(guān)系排列為固定的，因此不同的像機，其內(nèi)外部參數(shù)以及高度角度均不相同。為了利用最少的像機來獲得全景視頻，不同像機之間的朝向各不相同。為了準確地將不同像機獲得的影像投影到共同坐標系下，需要標定出每個像機的內(nèi)參矩陣和各個像機之間的位姿關(guān)系。

像機內(nèi)參數(shù)的標定方法有多種，而兩個攝像機進行標定的方法，難以適用較大視場的環(huán)境，傳統(tǒng)的雙像機標定或者多像機標定一般都要求待標定的像機對同一個目標(例如標定板)同時進行成像，從而能夠以該目標坐標系為基準，將各個待標定像機統(tǒng)一起來，進而獲得待標定像機間的相對位姿關(guān)系。需要較大視場的場合不適用于上述的標定方法，因為如果需要用較少的機組獲得較大的視場，那么重合影像部分勢必較少，這樣一來，對標定結(jié)果會有較大的影響，要在這有限的重合視場內(nèi)利用標定目標來對像機間的位姿關(guān)系進行標定，十分困難，利用具有高精度立體結(jié)構(gòu)的標定塊時，雖然各個像機采集一張圖片即可，但標定塊的使用非常不便，而當利用標定板時則要求必須采集至少三幅不同姿態(tài)的標定板圖像，在有限的視場內(nèi)讓標定板變換不同的姿態(tài)也是非常的困難；此外，由于圖像扭曲，廣角鏡頭成像在圖像邊緣部分一般都具有很大的畸變，而相鄰像機的公共視場部分又剛好處于各自廣角鏡頭像機視場的邊緣部分，所以，傳統(tǒng)標定方法標定得到的精度也不能保證。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于，提供一種精度較高的位姿標定方法，解決以上技術(shù)問題；

本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)：一種全景視頻攝像機組空間位姿標定方法，提供復(fù)數(shù)個攝像機，還包括以下步驟，

步驟1，對所有相鄰的攝像機進行空間位姿標定以確定相對位姿關(guān)系；

步驟2，根據(jù)相鄰的所述攝像機的相對位姿關(guān)系列出獨立約束關(guān)系；

步驟3，根據(jù)所述獨立約束關(guān)系列出改正數(shù)方程，通過平差法對冗余標定產(chǎn)生的約束進行平差求出改正數(shù)向量；

步驟4，根據(jù)所述改正數(shù)向量求出修正結(jié)果；

步驟5，判斷所述改正數(shù)向量是否小于一預(yù)設(shè)閾值，如果是執(zhí)行步驟7，如果否根據(jù)所述改正數(shù)向量求出修正結(jié)果；

步驟6，將所述修正結(jié)果代入所述獨立約束關(guān)系，并返回所述步驟3；

步驟7，根據(jù)所述獨立約束關(guān)系得到空間位姿關(guān)系。

首先，對相鄰的攝像機組進行空間位姿標定，就可以確定出相鄰兩個攝像機之間的相對位姿關(guān)系，但是這樣確定的相鄰的位姿關(guān)系勢必存在一定的誤差，這個誤差對實際而言，會產(chǎn)生較大的影響，所以本發(fā)明通過對多組攝像機兩兩之間構(gòu)建獨立約束關(guān)系的方法，列出修正參數(shù)方程，再通過計算獲得出修正結(jié)果，通過不斷的迭代，將修正結(jié)果反復(fù)代入約束關(guān)系，直至結(jié)果滿足所有的約束關(guān)系，這樣就能獲得精度較高的空間位姿關(guān)系，滿足圖像拼接的需求。

進一步的，步驟1包括

步驟1-1，任選相鄰的兩個攝像機分別作為第一攝像機和第二攝像機，分別對第一攝像機和第二攝像機進行內(nèi)參數(shù)標定；

步驟1-2，在第一攝像機的視場中放置第一標定板，在第二攝像機的視場中放置第二標定板；

步驟1-3，在第一攝像機和第二攝像機之間設(shè)置一基準攝像機，使基準攝像機的視場中包括第一標定板和第二標定板，基準攝像機同時對第一標定板和第二標定板成像，獲得基準攝像機與第一標定板之間的位姿關(guān)系H_A→C0以及基準攝像機與第二標定板之間的位姿關(guān)系H_C0→B；

步驟1-4，獲得第一標定板和第二標定板的位姿關(guān)系H_A→B＝H_C0→B H_A→C0；

步驟1-5，獲得第一攝像機與第一標定板之間的位姿關(guān)系H_A→C1以及第二攝像機與第二標定板之間的位姿關(guān)系H_B→C2；

步驟1-6，獲得第一攝像機和第二攝像機之間的位姿關(guān)系H_C1→C2＝H_B→C2H_A→BH_C1→A；

步驟1-7，返回步驟1-1，直至得到所有相鄰的兩個攝像機的相對位姿關(guān)系。

為了消除廣角鏡帶來的邊緣成像誤差對相對位姿關(guān)系確定的影響，本發(fā)明通過設(shè)計基準攝像機進行相對位姿關(guān)系的確定，這樣一來，就可以增加重復(fù)視場的大小，保證確定相對位姿關(guān)系的精度。

進一步的，步驟1包括

步驟1-1，任選相鄰的兩個攝像機分別作為第一攝像機和第二攝像機，分別對第一攝像機和第二攝像機進行內(nèi)參數(shù)標定；

步驟1-2，在第一攝像機的視場中放置第一標定板，在第二攝像機的視場中放置第二標定板；

步驟1-3，在第一攝像機和第二攝像機之間設(shè)置一基準攝像機，使基準攝像機的視場中包括第一標定板和第二標定板；

步驟1-4，通過同步觸發(fā)信號使基準攝像機、第一攝像機和第二攝像機分別對第一標定板和第二標定板成像，獲得基準攝像機與第一標定板之間的位姿關(guān)系H_A→C0、基準攝像機與第二標定板之間的位姿關(guān)系H_C0→B、第一攝像機與第一標定板之間的位姿關(guān)系H_A→C1以及第二攝像機與第二標定板之間的位姿關(guān)系H_B→C2；

步驟1-5，獲得第一攝像機和第二攝像機之間的位姿關(guān)系H_C1→C2＝H_B→C2H_C0→B H_A→C0H_C1→A；

步驟1-6，返回步驟1-1，直至得到所有相鄰的兩個攝像機的相對位姿關(guān)系。

與上一改進的區(qū)別在于，此處采用了同步觸發(fā)的方式進行位姿關(guān)系的獲取，這樣一來，可以消除因環(huán)境光線變化而帶來的誤差。

進一步的，步驟1包括

步驟1-1，任選相鄰的兩個攝像機分別作為第一攝像機和第二攝像機，并分別對第一攝像機和第二攝像機進行內(nèi)參數(shù)標定；

步驟1-2，在第一攝像機的視場中放置第一標定板，在第二攝像機的視場中放置第二標定板；

步驟1-3，獲得第一攝像機與第一標定板之間的位姿關(guān)系H_A→C1以及第二攝像機與第二標定板之間的位姿關(guān)系H_B→C2；

步驟1-4，改變第一攝像機和第二攝像機的位姿，重新獲得第一攝像機與第一標定板之間的位姿關(guān)系以及第二攝像機與第二標定板之間的位姿關(guān)系

步驟1-5，根據(jù)公式獲得第一攝像機和第二攝像機之間的位姿關(guān)系H_C1→C2；

步驟1-6，返回步驟1-1，直至得到所有相鄰的兩個攝像機的相對位姿關(guān)系。

而這種改進方式無需增加基準攝像機，只需要通過兩個攝像機的轉(zhuǎn)動就可以求解相對位姿關(guān)系。

進一步的，在步驟1中，保持第一標定板與第二標定板的相對位置不變。

進一步的，所述的攝像機配置為魚眼攝像機。

進一步的，所述內(nèi)參數(shù)標定標定的參數(shù)類型包括該攝像機的等效焦距、成像模型、主點坐標以及像差系數(shù)。

有益效果：由于采用以上技術(shù)方案，本發(fā)明適用于更大更全的視場圖像拼接技術(shù)的要求，位姿確定關(guān)系精度更高，所需攝像機更少。

附圖說明

圖1為像機固聯(lián)結(jié)構(gòu)示意圖；

圖2為實施例1-1中魚眼鏡頭像機組像機間位姿關(guān)系標定方法；

圖3為實施例1-2中魚眼鏡頭像機組像機間位姿關(guān)系標定方法；

圖4為實施例1-3中魚眼鏡頭像機組像機間位姿關(guān)系標定方法；

圖5為魚眼鏡頭像機組像機間位姿關(guān)系標定數(shù)據(jù)修正。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

需要說明的是，在不沖突的情況下，本發(fā)明中的實施例及實施例中的特征可以相互組合。

下面結(jié)合附圖和具體實施例對本發(fā)明作進一步說明，但不作為本發(fā)明的限定。

首先為了方便理解本發(fā)明的實質(zhì)內(nèi)容，以魚眼攝像機為例，對位姿關(guān)系作出解釋，

對于世界坐標系W中任意一個三維空間點P_W，設(shè)其在攝像機坐標系C中的空間點坐標為P_C，則有：

P_C＝R_W→CP_W+t_W→C (1)

其中R_W→C為由世界坐標系W到攝像機坐標系C的旋轉(zhuǎn)矩陣，t_W→C為由世界坐標系W到攝像機坐標系C的平移向量；同樣，如果設(shè)R_C→W為由攝像機坐標系C到世界坐標系W的旋轉(zhuǎn)矩陣，t_C→W為由攝像機坐標系C到世界坐標系W的平移向量，則有：

P_W＝R_C→WP_C+t_C→W (2)

式(2)可以重寫為：

顯然，由上式可得：

為了更簡約的表示坐標系變換，可以將坐標擴展為齊次坐標，如下式所示：

記位姿關(guān)系矩陣齊次坐標則有：

與上述推導(dǎo)類似，有：

對于魚眼鏡頭像機組來說，首先進行的就是相鄰像機空間位姿關(guān)系的標定，不失一般性，下面的闡述均以像機C1和像機C2之間位姿關(guān)系標定為例，其他相鄰像機間空間位姿關(guān)系的標定步驟與像機C1-C2的標定完全相同。

一種全景視頻攝像機組空間位姿標定方法，

步驟1，對所有相鄰的攝像機進行空間位姿標定；

步驟2，根據(jù)相鄰攝像機的相對位姿關(guān)系列出獨立約束關(guān)系；

步驟3，根據(jù)獨立約束關(guān)系列出改正數(shù)方程，通過平差法對冗余標定產(chǎn)生的約束進行平差求出改正數(shù)向量；

步驟4，根據(jù)改正數(shù)向量對測量值進行修正；

步驟5，判斷所述改正數(shù)向量是否小于一預(yù)設(shè)閾值，如果是執(zhí)行步驟7，如果否根據(jù)所述改正數(shù)向量求出修正結(jié)果；

步驟6，將所述修正結(jié)果代入所述獨立約束關(guān)系，并返回所述步驟3；

步驟7，根據(jù)所述獨立約束關(guān)系得到空間位姿關(guān)系。

實施例1-1是在上述基礎(chǔ)上對本發(fā)明中相鄰攝像機的位姿關(guān)系進行確定，如圖2所示，C1和C2為待標定空間位姿關(guān)系的相鄰魚眼鏡頭像機，A和B分別為像機C1和C2視場中的標定板，為了標定C1和C2的位姿關(guān)系；還需引入一個高精度攝像機C0，并利用C0來標定A和B之間的位姿關(guān)系。

理論推導(dǎo)如下：

如圖2左圖所示，與前述式相類似，對于標定板A所在坐標系中的任一空間點P_A來說，其在像機C1坐標系中的空間位置為：

P_C1＝H_A→C1P_A (8)

同樣的，像機C1坐標系中的空間點P_C1在像機C2坐標系中的位置為：

P_C2＝H_C1→C2P_C1 (9)

像機C2坐標系中的空間點P_C2在標定板B坐標系中的位置為：

P_B＝H_C2→BP_C2 (10)

最后，標定板B坐標系中的空間點P_B在標定板A坐標系中的位置為：

P_A＝H_B→AP_B (11)

由上式可得：

H_B→AH_C2→BH_C1→C2H_A→C1＝I (12)

從而有：

H_C1→C2＝H_B→C2H_A→BH_C1→A (13)

上式中H_B→C2和H_C1→A為攝像機C2與標定板B之間的位姿關(guān)系和攝像機C1與標定板A之間的位姿關(guān)系，可利用張正友方法得到，量H_A→B為標定板A和標定板B之間的位姿關(guān)系，為未知量；

如圖2右圖所示，對于攝像機C0和標定板A、標定板B之間，也存在類似于式(12)的關(guān)系：

H_A→BH_C0→AH_B→C0＝I (14)

從而有：

H_A→B＝H_C0→BH_A→C0 (15)

依據(jù)上述理論，具體的標定實施步驟如下：

a).分別對C1和C2進行內(nèi)參數(shù)標定，包括等效焦距、魚眼成像模型、主點坐標以及像差系數(shù)等；

b).在C1的視場中放置一個標定板A，在C2的視場中放置一個標定板B，保持A與B的相對位置不變；

c).保持A與B的相對位置不變，利用高精度像機C0同時對標定板A和標定板B成像，利用張正友方法分別獲得像機C0與標定板A之間的位姿關(guān)系H_A→C0和像機C0與標定板B之間的位姿關(guān)系H_C0→B，根據(jù)公式(15)得到標定板A與B的位姿關(guān)系H_A→B＝H_C0→B H_A→C0；

d).繼續(xù)保持A與B的相對位置不變，利用張正友方法獲得魚眼鏡頭攝像機C1與標定板A之間的位姿關(guān)系H_C1→A和魚眼鏡頭攝像機C2與標定板B之間的位姿關(guān)系H_B→C2；

e).相鄰像機C1和C2之間的位姿關(guān)系H_C1→C2＝H_B→C2H_A→BH_C1→A；這里步驟c與步驟b之間是分開進行的，不要求同步；

f).返回步驟d)和e)分別得到其它相鄰像機之間的位姿關(guān)系。

實施例1-2，與實施例1-1類似，設(shè)C1和C2為待標定空間位姿關(guān)系的相鄰魚眼鏡頭像機，標定方法2也是在魚眼鏡頭像機C1和C2的視場中各放置一個標定板A和標定板B，并利用張正友方法分別標定，如圖3所示。本方法與方法1的區(qū)別在于中間量H_A→B是另外利用像機C0另外標定出來的，而本方法則是不再去得到這個間接量，而是在標定H_C1→A和H_B→C2時就直接同步得到H_C0→B和H_A→C0，這就要求像機C0與魚眼鏡頭像機C1和C2同步；

具體的實施步驟如下：

a).分別對C1和C2進行內(nèi)參數(shù)標定，包括等效焦距、魚眼成像模型、主點坐標以及像差系數(shù)等；

b).在C1的視場中放置一個標定板A，在C2的視場中放置一個標定板B，保持A與B的相對位置不變；

c).利用同步信號觸發(fā)等裝置將魚眼鏡頭像機C1、魚眼鏡頭像機C2、以及高精度像機C0連接起來，保證三個像機同步采圖；

d).分別利用張正友方法，獲得魚眼鏡頭攝像機C1與標定板A之間的位姿關(guān)系H_C1→A和魚眼鏡頭攝像機C2與標定板B之間的位姿關(guān)系H_B→C2，同時，在采集C1對A、C2對B的圖像時，利用高精度像機C0同時對標定板A和標定板B成像，利用張正友方法標定像機C0與標定板A之間的位姿關(guān)系H_A→C0，以及像機C0與標定板B之間的位姿關(guān)系H_C0→B；

e).魚眼鏡頭像機C1和C2間的位姿關(guān)系H_C1→C2＝H_B→C2H_C0→B H_A→C0H_C1→A；

f).返回步驟d)和e)分別得到其它相鄰像機之間的位姿關(guān)系。

實施例1-3，設(shè)C1和C2為待標定空間位姿關(guān)系的相鄰魚眼鏡頭像機，與前面兩種標定方法需要額外的借助一個高精度像機C0，直接或間接的獲得標定板A與B之間的位姿關(guān)系不同，本標定方法只需要待標定像機組中每個像機視場中均包含一塊標定板即可，如圖4所示。設(shè)攝像機C1視場中有標定板A，攝像機C2視場中有標定板B，標定過程中保證A與B的相對位姿關(guān)系不變。

理論推導(dǎo)如下：

如圖4所示，與前述式相類似，對于標定板A所在坐標系中的任一空間點P_A來說，其在像機C1坐標系中的空間位置為：

P_C1＝H_A→C1P_A (16)

同樣的，像機C1坐標系中的空間點P_C1在像機C2坐標系中的位置為：

P_C2＝H_C1→C2P_C1 (17)

像機C2坐標系中的空間點P_C2在標定板B坐標系中的位置為：

P_B＝H_C2→BP_C2 (18)

最后，標定板B坐標系中的空間點P_B在標定板A坐標系中的位置為：

P_A＝H_B→AP_B (19)

由上式可得：

H_B→AH_C2→BH_C1→C2H_A→C1＝I (20)

將H_B→A移到等式右邊即有：

在上式中，H_A→B和H_C1→C2分別為標定板A與B和攝像機C1與C2之間的位姿關(guān)系，均為不變量；而H_C2→B和H_A→C1則分別為攝像機C2與標定板B之間以及標定板A與攝像機C1之間的位姿關(guān)系，均為變化量，當像機組的位姿變化時會跟著變化，也即在另一組狀態(tài)下有：

由(21)和(22)式可得：

等式兩邊分別左乘和右乘后有：

記和X＝H_C1→C2，則有：

AX＝XB (25)

這即典型的機器人手眼標定方程，利用手眼標定法即可求解得到X，也即H_C1→C2；

依據(jù)上述理論，具體的標定實施步驟如下：

a).分別對C1和C2進行內(nèi)參數(shù)標定，包括等效焦距、魚眼成像模型、主點坐標以及像差系數(shù)等；

b).在C1的視場中放置一個標定板A，在C2的視場中放置一個標定板B，保持A與B的相對位置不變；

c).分別利用張正友方法，獲得魚眼鏡頭攝像機C1與標定板A之間的位姿關(guān)系H_A→C1和魚眼鏡頭攝像機C2與標定板B之間的位姿關(guān)系H_C2→B；

d).改變攝像機組的位姿，重新獲得一組攝像機C1與標定板A之間的位姿關(guān)系和攝像機C2與標定板B之間的位姿關(guān)系，分別記為和

e).設(shè)魚眼鏡頭像機C1和C2間的位姿關(guān)系為H_C1→C2，則根據(jù)公式(24)有，利用手眼標定法即可求解出位姿關(guān)系矩陣H_C1→C2；

f).返回步驟a)到e)分別得到其它相鄰像機之間的位姿關(guān)系。

實施例2是對通過構(gòu)建獨立約束關(guān)系求修正向量通過迭代求出最后的位姿關(guān)系的一種算法，也是本發(fā)明的核心，通過實施例2可以與實施例1-1、1-2和1-3中任一一項實施例配合實現(xiàn)對攝像機空間位姿關(guān)系的確定，通過上面步驟，我們解決了如何對任意兩個魚眼鏡頭像機進行空間位姿關(guān)系標定的難題。顯然，對于由N個(N>＝2)魚眼鏡頭像機組成的像機組來說，進行N-1次相鄰像機間相對位姿關(guān)系的標定，即可將所有像機的位姿關(guān)系統(tǒng)一起來。但是，考慮到標定過程中必然會存在誤差，所以為了進一步提高精度，一般我們采用冗余標定的方法來提高最終的標定精度；也即進行N(N-1)次兩兩標定，最后，再對所有的兩兩標定結(jié)果進行平差，也即使所有的標定值能夠自洽。

一般的，對于任意的由n個像機組成的像機組，共有n-1個獨立的相對位姿參數(shù)，共有個可測量的相對位姿參數(shù)，這些可測量的位姿參數(shù)之間共存在個約束關(guān)系，而這些約束關(guān)系間只有個相互獨立。設(shè)R_Ci→Cj，t_Ci→Cj(i≠j)分別表示由攝像機坐標系Ci變換到攝像機坐標系Cj的姿態(tài)旋轉(zhuǎn)矩陣和平移向量，顯然有約束關(guān)系：

如圖5所示為由四個像機組成的像機組，其空間位姿約束為：

在全景像機組中，對拼接效果影響最大的是各個像機間的相對姿態(tài)，下面我們就針對姿態(tài)的平差修正來推導(dǎo)。一般來說，通過兩兩像機位姿標定的方法可以得到任意兩個攝像機之間的相對位姿關(guān)系，這些位姿關(guān)系之間通過不同的組合方式存在大量固有的約束關(guān)系，為了充分利用所有的約束關(guān)系，同時最大程度的減小計算量，需要首先探討多目傳遞站中各個攝像機間之間存在的組合約束關(guān)系。為了簡單起見，下面以如圖5所示的四像機結(jié)構(gòu)為例進行說明，其存在如下的約束關(guān)系：

由于四目傳遞站中獨立的位姿關(guān)系的數(shù)目為n-1＝3，因此由R_C1→C2，R_C2→C3和R_C3→C4即可完全確定四目傳遞站中各攝像機間的相對位姿關(guān)系。四目傳遞站中可以兩兩標定的位姿關(guān)系數(shù)目為即R_C1→C2，R_C1→C3，R_C1→C4，R_C2→C3，R_C2→C4和R_C3→C4，由于R_Ci→Cj·R_Cj→Ci＝I,(i≠j)，因此由R_Ci→Cj即可求出R_Cj→Ci.四目傳遞站中獨立的位姿約束關(guān)系數(shù)目為因此選式(28)中的任意3個即可組成一組獨立的約束關(guān)系，不妨選前3個等式，并記旋轉(zhuǎn)矩陣R_Ci→Cj對應(yīng)的歐拉角為Aq_Ci→Cj(q＝x,y,z)，則存在如下形式的獨立約束關(guān)系：

由于兩兩標定過程中必然帶有誤差，因此，標定得到的歐拉角將不能滿足上述約束關(guān)系，這時可以利用平差法對冗余標定產(chǎn)生的約束進行平差，從而減小誤差，具體步驟如下：

a).首先根據(jù)具體的像機結(jié)構(gòu)列出其獨立的位姿約束關(guān)系；

b).由得到的獨立約束關(guān)系，列出待平差量的改正數(shù)方程；

c).根據(jù)改正數(shù)方程，列出平差方程組并求解改正數(shù)向量；

d).由改正數(shù)向量對測量值進行修正，反復(fù)迭代，直至滿足所有的約束關(guān)系。

以上所述僅為本發(fā)明較佳的實施例，并非因此限制本發(fā)明的實施方式及保護范圍，對于本領(lǐng)域技術(shù)人員而言，應(yīng)當能夠意識到凡運用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案，均應(yīng)當包含在本發(fā)明的保護范圍內(nèi)。