專(zhuān)利名稱(chēng)：一種立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)器人遙操作領(lǐng)域，尤指用于機(jī)器人操作定位的立體視覺(jué)影像與三維
虛擬物體的無(wú)縫融合方法。
背景技術(shù)：
現(xiàn)有的機(jī)器人遙操作控制長(zhǎng)期以來(lái)依賴(lài)于二維影像，其相比現(xiàn)實(shí)環(huán)境中的三維影像差距相當(dāng)大，因此一直以來(lái)采用二維影像對(duì)機(jī)器人遙操作進(jìn)行定位，普遍存在著操作定位不準(zhǔn)的問(wèn)題。 實(shí)現(xiàn)基于真實(shí)環(huán)境的立體影像與三維虛擬對(duì)象物體的無(wú)縫融合，需要將遙操作場(chǎng)景的立體影像與虛擬三維物體、虛擬機(jī)器人姿態(tài)動(dòng)態(tài)融合在一起。這樣做的目的是有助于突破遙操作控制長(zhǎng)期以來(lái)依賴(lài)于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供一種對(duì)機(jī)器人搖操作控制提供虛擬仿真環(huán)境的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法。 為實(shí)現(xiàn)上述目的，本發(fā)明的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，具體為1)采集實(shí)際立體視覺(jué)影像；2)根據(jù)特征信息提取算法對(duì)采集到得立體視覺(jué)影像和虛擬圖像模型進(jìn)行特征提取，進(jìn)而進(jìn)行立體視覺(jué)影像和虛擬圖像模型的匹配；3)通過(guò)旋轉(zhuǎn)匹配后的虛擬圖像模型，進(jìn)行匹配分值計(jì)算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場(chǎng)的真實(shí)對(duì)象物體。
進(jìn)一步，所述虛擬圖像模型存儲(chǔ)于模型庫(kù)中，并可通過(guò)不同指令進(jìn)行調(diào)用、存取模型信息。 進(jìn)一步，步驟3)中虛擬圖像模型的位姿確定的具體步驟為建立位姿匹配的經(jīng)驗(yàn)閥值，每旋轉(zhuǎn)一次虛擬圖像模型，通過(guò)計(jì)算得到實(shí)際閥值，實(shí)際閥值低于經(jīng)驗(yàn)閥值時(shí)，認(rèn)定虛擬圖像模型與立體視覺(jué)影像的位姿不一致，繼續(xù)旋轉(zhuǎn)虛擬圖像模型，當(dāng)實(shí)際閥值高于經(jīng)驗(yàn)閥值時(shí)，將此位姿記錄下來(lái)，最后統(tǒng)計(jì)得到實(shí)際閥值最高時(shí)的虛擬圖像模型位姿即與立體視覺(jué)影像中的對(duì)象物體位姿一致。 進(jìn)一步，步驟4)中虛擬圖像模型的尺度調(diào)整需要對(duì)虛擬圖像模型在維度上進(jìn)行縮放，縮放的比例由真實(shí)場(chǎng)景影像中對(duì)象物體的包容盒與相同位姿下虛擬圖像模型的包容盒的尺度比作為系數(shù)，進(jìn)行調(diào)整。 進(jìn)一步，步驟5)中真實(shí)場(chǎng)景中對(duì)象物體等尺度的虛擬圖像模型被放回到真實(shí)場(chǎng)景中，需要進(jìn)行從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。 本發(fā)明的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，實(shí)現(xiàn)基于真實(shí)環(huán)境的立體影像與三維虛擬對(duì)象物體的無(wú)縫融合，需要將遙操作場(chǎng)景的立體影像與虛擬三維物體、虛擬機(jī)器人姿態(tài)動(dòng)態(tài)融合在一起。這樣做的目的是有助于突破遙操作控制長(zhǎng)期以來(lái)依賴(lài)于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。


圖1為本發(fā)明的融合方法的流程 圖2為虛擬圖像模型位姿計(jì)算流程 圖3為雙目立體成像原理圖； 圖4a和圖4b為基于雙路視頻的虛實(shí)融合示例圖。
具體實(shí)施例方式
如圖1所示，本發(fā)明的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，具體為
1.對(duì)象物體的交互選取 對(duì)象物體的選取可以在左右視頻影像中進(jìn)行，具體操作與屏幕區(qū)域選取相似。
2.模型特征提取及匹配檢索 利用特征信息提取算法進(jìn)行特征提取及與模型知識(shí)庫(kù)內(nèi)的模型進(jìn)行特征提取和匹配。 特征的提取與所選中對(duì)象物體在視頻影像中所處的角度有關(guān)，比較好的角度應(yīng)該
是能最大限度展現(xiàn)對(duì)象特殊性的角度。在進(jìn)行特征匹配時(shí)，系統(tǒng)采用增量轉(zhuǎn)動(dòng)模型的方法
來(lái)保證匹配的準(zhǔn)確度。
特征提取SIFT算法詳細(xì)步驟 (1)尺度空間的生成 尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征。 高斯巻積核是實(shí)現(xiàn)尺度變換的唯一線性核，于是一副二維圖像的尺度空間定義為 "x， y， o ) = G(x， y o )W (x， y) (1) 其中G(x， y， o )是尺度可變高斯函數(shù)，G(xj,o") = /2c72 (x， y)是空
間坐標(biāo)，Q是尺度坐標(biāo)。 為了有效的在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分尺度空間(D0Gscale-space)。利用不同尺度的高斯差分核與圖像巻積生成。 D (x， y， o ) = (G (x， y， k o ) _G (x， y， o ))承I (x， y) = "x， y， k o ) _L (x， y， o )(3) D0G算子計(jì)算簡(jiǎn)單，是尺度歸一化的LoG算子的近似。
(2)構(gòu)建尺度空間需確定的參數(shù)
o-尺度空間坐標(biāo)
0-octave坐標(biāo)
S-sub-level坐標(biāo) o和0、 S的關(guān)系o (o， s) = o 02°+s/s， o G omin+
， s G
其中0。是基準(zhǔn)層尺度。o-octave坐標(biāo)，s-sub-level坐標(biāo)。注octaves的索引可能是負(fù)的。第一組索引常常設(shè)為0或者-1，當(dāng)設(shè)為-1的時(shí)候，圖像在計(jì)算高斯尺度空間前先擴(kuò)大一倍。 空間坐標(biāo)x是組octave的函數(shù)，設(shè)x。是0組的空間坐標(biāo)，則 x = 2ox0， o G Z， x0 G
X
如果(M。， N。)是基礎(chǔ)組o = 0的分辨率，則其他組的分辨率由下式獲得
<formula>formula see original document page 5</formula> (3)精確確定極值點(diǎn)位置 通過(guò)擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度(達(dá)到亞像素精度)，同 時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng))， 以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。
邊緣響應(yīng)的去除 —個(gè)定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂 直邊緣的方向有較小的主曲率。主曲率通過(guò)一個(gè)2x2的Hessian矩陣H求出 77



DD (4)
導(dǎo)數(shù)由采樣點(diǎn)相鄰差估計(jì)得到。
D的主曲率和H的特征值成正比，令a為最大特征值，|3為最小的特征值，則 Tr(H) = Dxx+Dyy = a+|3 ， Det(H) = DxxDyy_(Dxy)2 = a |3. 令a = y P ，則<formula>formula see original document page 5</formula>
:Det(H) r伊 r (r+l)7r的值在兩個(gè)特征值相等的時(shí)候最小，隨著r的增大而增大，因此，為了檢 測(cè)主曲率是否在某域值r下，只需檢測(cè)
<formula>formula see original document page 5</formula> (4)關(guān)鍵點(diǎn)方向分配 利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具 備旋轉(zhuǎn)不變性。
<formula>formula see original document page 5</formula>
式(5)為(x，y)處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自
所在的尺度。 在實(shí)際計(jì)算時(shí)，我們?cè)谝躁P(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域
像素的梯度方向。梯度直方圖的范圍是0 360度，其中每10度一個(gè)柱，總共36個(gè)柱。直
方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。 在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向。 一個(gè)關(guān)鍵點(diǎn)可能會(huì)被指定具有多個(gè)方向(一個(gè)主方向，一 個(gè)以上輔方向)，這可以增強(qiáng)匹配的魯棒性。
至此，圖像的關(guān)鍵點(diǎn)已檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息位置、所處尺度、方向。 由此可以確定一個(gè)SIFT特征區(qū)域(在實(shí)驗(yàn)章節(jié)用橢圓或箭頭表示)。
(5)特征點(diǎn)描述子生成 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。接下來(lái)以關(guān)鍵點(diǎn)為中心 取8 X 8的窗口 ，然后在每4X4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方 向的累加值，即可形成一個(gè)種子點(diǎn)。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的 能力，同時(shí)對(duì)于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性。 實(shí)際計(jì)算過(guò)程中，為了增強(qiáng)匹配的穩(wěn)健性，建議對(duì)每個(gè)關(guān)鍵點(diǎn)使用4X4共16個(gè)種 子點(diǎn)來(lái)描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征 向量。此時(shí)SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特 征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。 當(dāng)兩幅圖像的SIFT特征向量生成后，下一步我們采用關(guān)鍵點(diǎn)特征向量的歐式距
離來(lái)作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像l中的某個(gè)關(guān)鍵點(diǎn)，并找出其與圖 像2中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距 離少于某個(gè)比例閾值，則接受這一對(duì)匹配點(diǎn)。降低這個(gè)比例閾值，SIFT匹配點(diǎn)數(shù)目會(huì)減少， 但更加穩(wěn)定。 3.匹配模型的位姿變換和空間位置計(jì)算 主要目的是確定虛擬模型的方位和在場(chǎng)景中的精確位置和位姿。位姿的確定是通 過(guò)不斷旋轉(zhuǎn)虛擬模型并對(duì)匹配結(jié)果打分，當(dāng)匹配分值最高且達(dá)到設(shè)定的經(jīng)驗(yàn)閥值時(shí)，系統(tǒng) 認(rèn)為這一位模型姿與真實(shí)場(chǎng)景中對(duì)象物體的位姿一致。這個(gè)計(jì)算過(guò)程如圖2所示。
4.模型尺度調(diào)整 對(duì)匹配上的模型，有時(shí)在尺度上有可能與真實(shí)對(duì)象物體不一致，這就需要對(duì)虛擬 模型在維度上進(jìn)行縮放。如圖4a和圖4b所示，縮放的比例由真實(shí)場(chǎng)景影像中對(duì)象物體的 包容盒與相同位姿下虛擬模型的包容盒的尺度比作為系數(shù)。在把虛擬模型代置回真實(shí)場(chǎng)景 中時(shí)，首先進(jìn)行縮放變換，以確保虛擬模型與真實(shí)對(duì)象物體在空間尺度上的一致。
5.虛實(shí)融合 虛實(shí)融合的核心是用模型庫(kù)提取的匹配模型代置遙操作現(xiàn)場(chǎng)的真實(shí)對(duì)象物體。在 這個(gè)過(guò)程中，與真實(shí)場(chǎng)景中對(duì)象物體等尺度的虛擬模型被放回到真實(shí)場(chǎng)景中，需要進(jìn)行從 世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。 —般地，兩攝像機(jī)中心保持同一個(gè)水平面上，即相機(jī)水平放置，則特征點(diǎn)P的圖像 坐標(biāo)Y坐標(biāo)相同，即Yleft = Yright = Y，根據(jù)圖3所示，
由三角幾何關(guān)系得到下列等式<formula>formula see original document page 7</formula> 上式中視差為-Disparity = X丄 的三維坐標(biāo)為
-Xright。由此可計(jì)算出特征點(diǎn)P在相機(jī)坐標(biāo)系下
<formula>formula see original document page 7</formula>
(4+3) 其中，(Xlrft， Y) ， (XHght， Y)是空間點(diǎn)P在左右影像對(duì)中的像點(diǎn)，像點(diǎn)對(duì)可以通過(guò)計(jì) 算像素的相關(guān)性來(lái)得到 Corr(ZJ)=
<formula>formula see original document page 7</formula> 其中(；，？)代表給定的像素點(diǎn)；(Xi， y》代表影像對(duì)另一幅影像中的像素點(diǎn)；m模 板的大小。對(duì)給定的P(x。，y。，z。)在立體影像對(duì)一幅影像中的投影像素點(diǎn)(；，？)，當(dāng)上式在 給定的模板尺寸m下取得最小值時(shí)，則認(rèn)為(Xi， y》是G， ？)在立體影像對(duì)中另一幅影像 中對(duì)應(yīng)的投影。 式4-1-3被用來(lái)建立模型在世界坐標(biāo)系下的實(shí)際坐標(biāo)與其虛擬模型在相機(jī)坐標(biāo) 系下投影坐標(biāo)的關(guān)聯(lián)。 圖4a和圖4b給出了虛實(shí)融合示例在左右視頻影像中的截圖。在這個(gè)實(shí)例中，對(duì) 象物體已經(jīng)被虛擬三維模型所取代，其模型可被選中。 需要指出的是根據(jù)本發(fā)明的具體實(shí)施方式
所作出的任何變形，均不脫離本發(fā)明的 精神以及權(quán)利要求記載的范圍。
權(quán)利要求
一種立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，具體為1)采集實(shí)際立體視覺(jué)影像；2)根據(jù)特征信息提取算法對(duì)采集到得立體視覺(jué)影像和虛擬圖像模型進(jìn)行特征提取，進(jìn)而進(jìn)行立體視覺(jué)影像和虛擬圖像模型的匹配；3)通過(guò)旋轉(zhuǎn)匹配后的虛擬圖像模型，進(jìn)行匹配分值計(jì)算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場(chǎng)的真實(shí)對(duì)象物體。
2. 如權(quán)利要求1所述的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，其特征在于，所述虛擬圖像模型存儲(chǔ)于模型庫(kù)中，并可通過(guò)不同指令進(jìn)行調(diào)用、存取模型信息。
3. 如權(quán)利要求1所述的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，其特征在于，步驟3)中虛擬圖像模型的位姿確定的具體步驟為建立位姿匹配的經(jīng)驗(yàn)閥值，每旋轉(zhuǎn)一次虛擬圖像模型，通過(guò)計(jì)算得到實(shí)際閥值，實(shí)際閥值低于經(jīng)驗(yàn)閥值時(shí)，認(rèn)定虛擬圖像模型與立體視覺(jué)影像的位姿不一致，繼續(xù)旋轉(zhuǎn)虛擬圖像模型，當(dāng)實(shí)際閥值高于經(jīng)驗(yàn)閥值時(shí)，將此位姿記錄下來(lái)，最后統(tǒng)計(jì)得到實(shí)際閥值最高時(shí)的虛擬圖像模型位姿即與立體視覺(jué)影像中的對(duì)象物體位姿一致。
4. 如權(quán)利要求1所述的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，其特征在于，步驟4)中虛擬圖像模型的尺度調(diào)整需要對(duì)虛擬圖像模型在維度上進(jìn)行縮放，縮放的比例由真實(shí)場(chǎng)景影像中對(duì)象物體的包容盒與相同位姿下虛擬圖像模型的包容盒的尺度比作為系數(shù)，進(jìn)行調(diào)整。
5. 如權(quán)利要求1所述的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，其特征在于，步驟5)中真實(shí)場(chǎng)景中對(duì)象物體等尺度的虛擬圖像模型被放回到真實(shí)場(chǎng)景中，需要進(jìn)行從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。
全文摘要
本發(fā)明公開(kāi)了一種立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，具體為1)采集實(shí)際立體視覺(jué)影像；2)對(duì)采集到得立體視覺(jué)影像和虛擬圖像模型進(jìn)行特征提取和匹配；3)進(jìn)行匹配分值計(jì)算，以確定匹配虛擬圖像模型的位姿；4)匹配虛擬圖像模型的尺度調(diào)整；5)將匹配完全的虛擬圖像模型代置遙操作現(xiàn)場(chǎng)的真實(shí)對(duì)象物體。本發(fā)明的立體視覺(jué)影像與三維虛擬物體的無(wú)縫融合方法，實(shí)現(xiàn)基于真實(shí)環(huán)境的立體影像與三維虛擬對(duì)象物體的無(wú)縫融合，需要將遙操作場(chǎng)景的立體影像與虛擬三維物體、虛擬機(jī)器人姿態(tài)動(dòng)態(tài)融合在一起。有助于突破遙操作控制長(zhǎng)期以來(lái)依賴(lài)于二維影像、操作定位精度差的瓶頸，為遙操作控制提供深度沉浸感的虛擬仿真環(huán)境。
文檔編號(hào)G06T17/00GK101794459SQ201010110440
公開(kāi)日2010年8月4日 申請(qǐng)日期2010年2月9日 優(yōu)先權(quán)日2010年2月9日
發(fā)明者王晨升 申請(qǐng)人:北京郵電大學(xué)