專利名稱：一種單攝像機虛擬鼠標系統(tǒng)的校準方法
技術領域：
本發(fā)明屬于機器視覺技術領域，涉及一種單攝像機虛擬鼠標系統(tǒng)的校準方法。
背景技術：
隨著人機交互技術的不斷發(fā)展，有線和無線的實際有形鼠標暴露出越來越多的缺點，極大的限制了交互的速度、距離和自然性。近年來，采用攝像機拍攝空間控制點的圖像，通過跟蹤、分析控制點的圖像坐標，并與計算機屏幕坐標相對應，作為用戶輸入提供給計算機系統(tǒng)，起到真實鼠標的功能，本發(fā)明將這類基于機器視覺原理的鼠標稱為虛擬鼠標。虛擬鼠標的特點是無輻射、非接觸，大大降低了人機交互的認知負荷，有效地實現(xiàn)了交互的快速性和自然性，廣泛應用于殘疾人士服務、多媒體教學、娛樂、輻射控制區(qū)應用及公共設施的傳染病預防與控制等領域。
現(xiàn)有的虛擬鼠標系統(tǒng)主要有兩類。一類是基于激光筆的虛擬鼠標。劉芳等在文章“基于激光筆的遠程人機交互技術”(中國圖像圖形學報，Vol.8(A)，No.11，pp.1356～1360，2003)中陳述了這類虛擬鼠標系統(tǒng)。此類虛擬鼠標系統(tǒng)采用激光筆向投影屏幕投射激光光點，安裝在投影屏幕的攝像機拍攝激光光點圖像，通過跟蹤、分析激光光點的圖像坐標，并與計算機屏幕坐標對應，實現(xiàn)對計算機的控制。該虛擬鼠標系統(tǒng)是一個二維投影屏幕平面對二維圖像平面的映射問題，采用了求解二維平面的單一性映射矩陣的方法進行校準。該虛擬鼠標依賴于激光筆的投射，不能實現(xiàn)三維空間控制點對計算機的控制，校準方法中也沒有考慮攝像機鏡頭畸變和投影屏幕畸變等因素的影響。另一類是基于雙目立體視覺系統(tǒng)的虛擬鼠標。Dmitry O.Gorodnichy等在文章“Nouse-鼻子用作鼠標-用于無手游戲和交互的感知視覺技術”(Nouse“use your nose as a mouse”perceptualvision technology for hands-free games and interfaces)，Elsevier Science國際期刊《圖像與視覺計算》，第22卷，第12期，第931～942頁，2004年(Image and VisionComputing，Vol.22，pp.931～942，2004)中陳述了這類虛擬鼠標系統(tǒng)。此類虛擬鼠標系統(tǒng)基于計算機極線幾何和雙目立體視覺技術實現(xiàn)鼻尖的三維空間定位，并利用這些信息實現(xiàn)計算機的簡單控制。該類虛擬鼠標系統(tǒng)的成本較高、視場范圍小，系統(tǒng)的校準過程復雜，計算量大，實時性較差。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種單攝像機虛擬鼠標系統(tǒng)的校準方法。本發(fā)明所說的單攝像機虛擬鼠標系統(tǒng)由一個攝像機、包含平面顯示屏幕的計算機系統(tǒng)和空間控制點構成。所說的空間控制點為能被攝像機成像的可視特征點，如激光點、人體特征等。根據(jù)單攝像機虛擬鼠標系統(tǒng)的數(shù)學模型，通過三維空間控制點的投影圖像坐標，將空間控制點映射為計算機的屏幕坐標，作為用戶輸入提供給計算機系統(tǒng)，達到控制計算機的目的。以降低成本、增大空間控制點的有效視場范圍、提高系統(tǒng)實時性、簡化系統(tǒng)校準過程、提高校準精度，改善其工程化應用的可操作性和便捷性。
本發(fā)明的技術解決方案是一種單攝像機虛擬鼠標系統(tǒng)的校準方法，其特征在于，校準包括攝像機內部參數(shù)校準階段、屏幕坐標系到攝像機坐標系的變換和屏幕平面校準階段。校準的具體步驟如下1、攝像機內部參數(shù)校準階段1.1、設定實體靶標1。靶標為一個二維平面，靶標上有預先設置的特征點，在靶標平面上布置黑白相間的棋盤格，黑白方塊的邊長為10～50mm，其邊長精度為0.01mm～0.1mm，黑方塊與白方塊公有的頂點稱為格點。選取靶面上格點為特征點，特征點數(shù)量為16～400個；1.2、設定攝像機4的觀測位置，調整攝像機的鏡頭焦距和光圈。攝像機觀測位置位于計算機屏幕上方，定義為觀察用戶控制點的最佳位置，根據(jù)要觀測的控制點三維空間范圍，調整好攝像機的鏡頭焦距，根據(jù)光照環(huán)境，調整好光圈大小。將攝像機固定在觀測位置，并固定好攝像機鏡頭的焦距和光圈；1.3、校準攝像機4的內部參數(shù)。具體步驟如下第一步，在攝像機的視場范圍內，自由、非平行地移動實體靶標1至少3個位置，每移動一個位置，拍攝一幅圖像，稱為攝像機校準圖像，靶標上所有的特征點應包含在拍攝圖像內；第二步，提取所有攝像機校準圖像的特征點的圖像坐標，并與特征點的世界坐標對應；第三步，利用第二步提取的所有特征點的圖像坐標及對應的世界坐標來校準攝像機內部參數(shù)，包括攝像機有效焦距、主點以及畸變系數(shù)；2、屏幕坐標系到攝像機坐標系的變換和屏幕平面校準階段2.1、確定使用計算機系統(tǒng)的屏幕3的可視物理尺寸和顯示分辨率。計算機的顯示分辨率為sl×sh像素，屏幕可視物理尺寸為ls×hs英寸，這些參數(shù)對于實際使用的計算機系統(tǒng)是已知的，可以從相關手冊和操作系統(tǒng)查詢獲得；2.2、設定虛擬靶標2。靶標的形狀與實體靶標1相同，特征點數(shù)量也相同，由計算機生成，直接顯示在屏幕3上。虛擬靶標2方塊的邊長lp為30～150像素，實際大小的長寬尺寸為25.4*lp(lssl×lhsh)mm;]]>2.3、放置實體靶標1，調整攝像機4、實體靶標1和虛擬靶標2的位置關系。實體靶標1在屏幕3前方，靶標平面與屏幕大約成90°～150°的角度，保證攝像機在觀測位置能夠觀測到實體靶標1上所有特征點。保持實體靶標1不動，移動攝像機4，保證攝像機能夠同時觀測到實體靶標1和虛擬靶標2上的所有特征點，此時攝像機所在位置稱為中介位置。固定實體靶標1，在校準過程中，保持實體靶標1的位置和虛擬靶標2的顯示位置及大小不發(fā)生變化；2.4、獲得屏幕坐標系到實體靶標坐標系的變換。具體步驟為；第一步，將攝像機4固定在中介位置，此時攝像機坐標系稱為中介坐標系。拍攝一幅包含實體靶標1和虛擬靶標2所有特征點在內的圖像，稱為雙靶標校準圖像；第二步，提取雙靶標校準圖像內屬于實體靶標1的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的實體靶標坐標，計算實體靶標坐標系到中介坐標系的變換；第三步，提取雙靶標校準圖像內屬于虛擬靶標2的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的屏幕坐標，計算屏幕坐標系到中介坐標系的變換；第四步，由第二步得到的實體靶標坐標系到中介坐標系的變換和第三步得到的屏幕坐標系到中介坐標系變換，計算屏幕坐標系到實體靶標坐標系的變換；2.5、獲得屏幕坐標系到攝像機坐標系的變換。具體步驟為第一步，將攝像機4固定在觀測位置，拍攝一幅包含實體靶標1所有特征點在內的圖像，稱為單靶標校準圖像；第二步，提取單靶標校準圖像內屬于實體靶標1的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的實體靶標坐標，計算實體靶標坐標系到攝像機坐標系的變換；第三步，由第二步得到的實體靶標坐標系到攝像機坐標系的變換和步驟2.4得到的屏幕坐標系到實體靶標坐標系的變換，計算屏幕坐標系到攝像機坐標系的變換；2.6、獲得屏幕平面在攝像機坐標系中的方程。利用虛擬靶標2上特征點的屏幕坐標，根據(jù)由步驟2.5得到的屏幕坐標系到攝像機坐標系的變換，計算虛擬靶標2上特征點的攝像機坐標，利用特征點的攝像機坐標擬合平面得到屏幕平面在攝像機坐標系中的方程；
2.7、將校準的攝像機內部參數(shù)、屏幕坐標系到攝像機坐標系的變換參數(shù)和屏幕平面在攝像機坐標系中的方程系數(shù)保存到系統(tǒng)參數(shù)文件中，以備虛擬鼠標系統(tǒng)使用時調用。
本發(fā)明的優(yōu)點是本發(fā)明提出了一種基于二維實體靶標和二維虛擬靶標的單攝像機虛擬鼠標系統(tǒng)參數(shù)校準方法。該方法以實體靶標坐標系為中介，獲取了非視場范圍內的屏幕平面在攝像機坐標系下的方程，同時通過投影視線與空間屏幕平面相交建立了單攝像機虛擬鼠標系統(tǒng)中三維空間控制點的投影點的圖像坐標與屏幕坐標的一一映射關系。和現(xiàn)有基于視覺的虛擬鼠標系統(tǒng)的校準方法相比，本方法僅采用單個攝像機和二維平面靶標，無需其他輔助校準設備，操作簡單，校準效率高，適用于單攝像機虛擬鼠標系統(tǒng)的現(xiàn)場校準。由于采用單攝像機，增大了空間控制點的有效視場范圍，只需要一幅圖像數(shù)據(jù)，且控制點屏幕坐標估計的算法簡單，計算量小，因此大大地提高了單攝像機虛擬鼠標系統(tǒng)的實時性，改善了其工程化應用的可操作性和便捷性。


圖1是二維平面實體靶標示意圖。圖1中，1是實體靶標體。
圖2是虛擬鼠標系統(tǒng)的數(shù)學模型示意圖。
圖3是計算攝像機坐標系到屏幕坐標系的變換和屏幕平面校準示意圖。圖3中，2是虛擬靶標體，3是計算機屏幕，簡稱屏幕，4是攝像機。
具體實施例方式
下面對本發(fā)明方法做進一步詳細說明。本發(fā)明使用二維平面靶標，對單攝像機虛擬鼠標系統(tǒng)的模型參數(shù)進行了校準。
虛擬鼠標系統(tǒng)數(shù)學模型如圖2所示，ow-xwywzw為三維世界坐標系，oc-xcyczc為三維攝像機坐標系，os-xsyszs為三維屏幕坐標系，其中zs＝0。ou-xuyu為二維理想圖像坐標系，on-xnyn為二維投影坐標系。πu為理想圖像平面，πn為投影平面，πs為屏幕平面，oc為攝像機的投影中心，op為主點，oc到πn的距離為1。定義ocxc//ouxu//onxn，ocyc//ouyu//onyn，oczc⊥πu和πu//πn。Q為空間任意控制點，直線 分別與平面πn、πu和πs相交于點qn、qu和qs。
設點Q的三維世界坐標為Xw＝[xwywzw]T，三維攝像機坐標為Xc＝[xcyczc]T，則有Xc=RcwXw+Tcw---[1]]]>
其中Rcw和Tcw為ow-xwywzw到oc-xcyczc的變換，分別表示3×3的旋轉矩陣和3×1的平移矢量。
設點qn的投影坐標為Xn＝[xnyn]T，則攝像機的理想透視投影變換為xn=xc/zcyn=yc/zc---[2]]]>設點qu的理想圖像坐標為Xu＝[xuyu]T。則投影坐標到理想圖像坐標的變換為xu=fxxn+u0yu=fyyn+v0---[3]]]>其中fx和fy分別為攝像機在x、y方向上的有效焦距，單位為像素，(u0，v0)為攝像機的主點坐標，單位為像素?？紤]攝像機鏡頭的一次徑向畸變，設點qu對應的實際圖像坐標為Xd＝[xdyd]T，則理想圖像坐標到實際圖像坐標的變換，即攝像機鏡頭的畸變模型為xd=xu+k1(xu2+xu2)xuyd=yu+k1(xu2+xu2)yu---[4]]]>其中k1為一次徑向畸變系數(shù)。
公式[1]～[4]表示了空間點到實際圖像坐標的投影模型，空間任意點Q可以確定惟一圖像投影點qu。
由攝像投影中心oc和空間點Q對應的投影點qn確定的直線稱為投影視線。如果已知攝像機內部參數(shù)，根據(jù)公式[3]和[4]，由實際圖像坐標Xd可以求得空間點Q經(jīng)透視投影后的投影坐標Xn。由此可知，qn的三維攝像機坐標為(xn，yn，1)，oc的三維攝像機坐標為(0，0，0)，因此投影視線 在oc-xcyczc中的方程為xxn=yyn=z---[5]]]>設點qs的攝像機坐標為Xcs=xcsycszcsT,]]>πs在oc-xcyczc中的方程為Ax+By+Cz+D＝0[6]則通過求解投影視線 與πn的交點得到Xcs。設qs在os-xsyszs中的坐標為Xs＝[xsyszs]T，則oc-xcyczc到os-xsyszs的變換為Xs=(Rcs)-1Xcs-(Rcs)-1Tcs---[7]]]>其中Rcs和Tcs為os-xsyszs到oc-xcyczc的變換，分別表示3×3的旋轉矩陣和3×1的平移矢量。
根據(jù)公式[7]，得到空間點Q對應的位于屏幕平面點qs的坐標Xs，滿足條件zs＝0。其中二維坐標(xs，ys)直接作為用戶輸入提供給計算機系統(tǒng)，達到控制計算機的目的。
綜述所述，虛擬鼠標系統(tǒng)包括的模型參數(shù)為攝像機有效焦距fx和fy，主點坐標(u0，v0)，鏡頭畸變系數(shù)k1，πs在oc-xcyczc中的方程系數(shù)A、B、C和D，os-xsyszs到oc-xcyczc的變換Rcs和Tcs。
根據(jù)單攝像機虛擬鼠標系統(tǒng)的數(shù)學模型，虛擬鼠標系統(tǒng)的校準分為兩步一是攝像機內部參數(shù)校準，二是屏幕坐標系到攝像機坐標系的變換和屏幕平面校準。
本發(fā)明攝像機內部參數(shù)校準的具體步驟如下1、設定實體靶標1。靶標為一個二維平面，靶標上有預先設置的特征點，在靶標平面上布置黑白相間的棋盤格，黑白方塊的邊長為10～50mm，其邊長精度為0.01mm～0.1mm，黑方塊與白方塊公有的頂點稱為格點。選取靶面上格點為特征點，特征點數(shù)量為16～400個。
2、設定攝像機4的觀測位置，調整攝像機4鏡頭焦距和光圈。攝像機的觀測位置位于計算機屏幕上方，定義為觀察用戶控制點的最佳位置，根據(jù)要觀測的控制點三維空間范圍，調整好攝像機的鏡頭焦距，根據(jù)光照環(huán)境，調整好光圈大小。將攝像機固定在觀測位置，并固定好攝像機鏡頭的焦距和光圈。
3、校準攝像機4內部參數(shù)。具體步驟如下第一步，在攝像機的視場范圍內，自由、非平行地移動實體靶標1至少3個位置，每移動一個位置，拍攝一幅圖像，稱為攝像機校準圖像，實體靶標1的所有特征點應包含在拍攝圖像內。
第二步，提取所有攝像機校準圖像的特征點的圖像坐標。特征點圖像坐標自動提取算法參見周富強著《雙目立體視覺檢測的關鍵技術研究》，北京航空航天大學博士后研究工作報告，2002。
在實體靶標平面上建立世界坐標系，用ow-xwywzw表示，原點在左上角，xw、yw軸分別與靶標方塊平行，xw軸水平向右，yw軸豎直向下，zw軸由右手法則確定。將特征點的圖像坐標與特征點的世界坐標對應。
第三步，利用第二步提取的所有特征點的圖像坐標及對應的世界坐標來校準攝像機內部參數(shù)，包括攝像機有效焦距、主點以及畸變系數(shù)。
根據(jù)公式[1]～[4]，利用特征點的世界坐標Xwi，得到特征點的計算圖像坐標X’di＝[x’diy’di]T，特征點的實際圖像坐標為Xdi，則有
f(fx,fy,u0,v0,k1,RcwTcw)=Σi=1Nd2(X′di,Xdi)---[8]]]>其中N為特征點數(shù)量，d(X’di，Xdi)表示計算投影點到實際投影點的距離。
根據(jù)公式[8]，采用Levenberg-Marquardt非線性優(yōu)化方法可以估算出全部攝像機內部參數(shù)，包括攝像機焦距fx和fy，主點坐標(u0，v0)，鏡頭畸變系數(shù)k1以及攝像機外部參數(shù)Rcw和Tcw。攝像機參數(shù)的初始值估計參見周富強著《雙目立體視覺檢測的關鍵技術研究》，北京航空航天大學博士后研究工作報告，2002。
若攝像機內部參數(shù)已知，則根據(jù)公式[8]，采用Levenberg-Marquardt非線性優(yōu)化方法可以直接估計攝像機的外部參數(shù)Rcw和Tcw。Levenberg-Marquardt算法參見《最優(yōu)化理論與方法》，(袁亞湘、孫文瑜著，科學出版社，1999年)。
校準好攝像機內部參數(shù)后，進行攝像機坐標系到屏幕坐標系的變換和屏幕平面校準，具體步驟如下4、確定使用計算機系統(tǒng)的屏幕3的可視物理尺寸和顯示分辨率。計算機的顯示分辨率為sl×sh像素，屏幕可視物理尺寸為ls×hs英寸，這些參數(shù)對于實際使用的計算機系統(tǒng)是已知的，可以從相關手冊和操作系統(tǒng)查詢獲得。
5、設定虛擬靶標2。靶標的形狀與實體靶標1相同，特征點數(shù)量也相同，由計算機生成，直接顯示在屏幕3上。虛擬靶標2方塊的邊長lp為30～150像素，實際大小的長寬尺寸為25.4*lp(lssl×lhsh)mm.]]>6、放置實體靶標1，調整攝像機4、實體靶標1和虛擬靶標2的位置關系。實體靶標1在屏幕3前方，靶標平面與屏幕大約成90°～150°的角度，保證攝像機在觀測位置能夠觀測到實體靶標1上所有特征點。保持實體靶標1不動，移動攝像機4，保證攝像機能夠同時觀測到實體靶標1和虛擬靶標2上的所有特征點，此時攝像機所在位置稱為中介位置。固定實體靶標1，在校準過程中，保持實體靶標1的位置和虛擬靶標2的顯示位置及大小不發(fā)生變化。
7、獲得屏幕坐標系到實體靶標坐標系的變換。具體步驟為第一步，如圖3所示，將攝像機4固定在中介位置，此時攝像機坐標系稱為中介坐標系，用oc2-xc2yc2zc2表示。拍攝一幅包含實體靶標1和虛擬靶標2所有特征點在內的圖像，稱為雙靶標校準圖像。
第二步，提取雙靶標校準圖像內屬于實體靶標1的所有特征點的圖像坐標。特征點圖像坐標自動提取算法參見周富強著《雙目立體視覺檢測的關鍵技術研究》，北京航空航天大學博士后研究工作報告，2002。
根據(jù)公式[3]和[4]，利用實體靶標上的特征點的圖像坐標計算其對應的投影坐標。
在實體靶標平面上建立實體靶標坐標系，用ot-xtytzt表示，原點在左上角，xt、yt軸分別與靶標方塊平行，xt軸水平向右，yt軸豎直向下，zt軸由右手法則確定，此處的實體靶標坐標系相當于世界坐標系。根據(jù)公式[1]，ot-xtytzt到oc2-xc2yc2zc2的變換為Xc2=Rc2tXt+Tc2t---[9]]]>其中Rc2t和Tc2t分別為旋轉矩陣和平移矢量，Xc2表示特征點在中介坐標系的坐標矢量，Xt表示特征點的實體靶標坐標矢量。在已知攝像機內部參數(shù)情況下，根據(jù)公式[8]表示的優(yōu)化目標函數(shù)，利用二維平面靶標上特征點的實體靶標坐標和對應圖像坐標，采用非線性優(yōu)化得到Rc2t和Tc2t。
第三步，提取雙靶標校準圖像內屬于虛擬靶標2的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。圖像坐標提取和對應投影點計算方法與第二步相同。
在屏幕平面上建立屏幕坐標系，用os-xsyszs表示，原點在左上角，xs軸水平向右，ys軸豎直向下，zs軸由右手法則確定，此處的屏幕坐標系相當于世界坐標系。根據(jù)公式[1]，os-xsyszs到oc2-xc2yc2zc2的變換為Xc2=Rc2sXs+Tc2s---[10]]]>其中Rc2s和Tc2s分別為旋轉矩陣和平移矢量，Xs表示特征點的屏幕坐標矢量。在已知攝像機內部參數(shù)情況下，根據(jù)公式[8]表示的優(yōu)化目標函數(shù)，利用虛擬靶標上特征點的屏幕坐標和對應圖像坐標，采用非線性優(yōu)化得到Rc2s和Tc2s。
第四步，由第二步得到的ot-xtytzt到oc2-xc2yc2zc2的變換和第三步得到的os-xsyszs到oc2-xc2yc2zc2的變換，根據(jù)公式[9]和[10]，os-xsyszs到ot-xtytzt的變換為Xt=(Rc2t)-1(Rc2sXs+Tc2s-Tc2t)---[11]]]>8、獲得屏幕坐標系到攝像機坐標系的變換。具體步驟為第一步，如圖3所示，保持實體靶標不動，將攝像機4固定在觀測位置，定義為觀察用戶控制點的最佳位置，此時的攝像機坐標系為oc-xcyczc，屏幕平面不在攝像機的視場范圍。
拍攝一幅包含實體靶標1所有特征點在內的圖像，稱為單靶標校準圖像。
第二步，提取單靶標校準圖像內屬于實體靶標1的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。圖像坐標提取和對應投影點計算方法與步驟7的第二步相同。
根據(jù)公式[1]，ot-xtytzt到oc-xcyczc的變換為Xc=RctXt+Tct---[12]]]>其中Rct和Tct分別為旋轉矩陣和平移矢量。在已知攝像機內部參數(shù)情況下，根據(jù)公式[8]表示的優(yōu)化目標函數(shù)，利用實體靶標上特征點的實體靶標坐標和對應圖像坐標，采用非線性優(yōu)化得到Rct和Tct。
第三步，由第二步得到的ot-xtytzt到oc-xcyczc的變換和步驟7得到的os-xsyszs到ot-xtytzt的變換，根據(jù)公式[11]和[12]，os-xsyszs到oc-xcyczc的變換為Xc=RcsXs+Tcs---[13]]]>其中Rcs=Rct(Rc2t)-1Rc2s,]]>Tcs=Rct(Rc2t)-1(Tc2s-Tc2t)+Tct.]]>Rcs和Tcs分別為旋轉矩陣和平移矢量。
9、獲得屏幕平面在攝像機坐標系中的方程。利用虛擬靶標2上特征點的屏幕坐標，由步驟8得到的os-xsyszs到oc-xcyczc的變換，根據(jù)公式[13]，計算虛擬靶標2上特征點的攝像機坐標，利用特征點的攝像機坐標擬合平面得到屏幕平面πs在oc-xcyczc中Ax+By+Cz+D＝0。
在得到Rcs和Tcs后，根據(jù)公式[7]，就可以由對應于空間控制點位于屏幕平面上的投影點的攝像機坐標得到屏幕坐標。
10、將校準后的攝像機焦距fx和fy，主點坐標(u0，v0)，鏡頭畸變系數(shù)k1，πs在oc-xcyczc中的方程系數(shù)A、B、C和D，os-xsyszs到oc-xcyczc的變換Rcs和Tcs保存到系統(tǒng)參數(shù)文件中，以備虛擬鼠標系統(tǒng)使用時調用。
實施例采用羅技QuickCam Pro 5000 USB 2.0彩色攝像機和15英寸的LCD液晶顯示器構成單攝像機虛擬鼠標系統(tǒng)，攝像機的鏡頭為廣角鏡頭，工作距離大于10cm。攝像機的圖像傳感器為CMOS芯片，30萬像素分辨率，動態(tài)分辨率為640×480像素，最大幀數(shù)為30幀/秒。計算機顯示屏幕的物理尺寸為15英寸的液晶顯示器，長寬比為4∶3，顯示分辨率為1024×768像素，虛擬靶標2的方塊為60×60像素，實際大小的物理尺寸為17.859×17.859mm。
采用如圖1所示的二維平面實體靶標1，對單攝像機虛擬鼠標系統(tǒng)的參數(shù)進行校準。實體靶標的方塊數(shù)量為8×8，方塊的尺寸為17.859×17.859mm，采用1200dpi高分辨率的激光打印機打印得到。
校準后的攝像機內部參數(shù)如下
fx＝670.976像素，fy＝673.348像素u0＝314.030像素，v0＝249.489像素k1＝-0.040攝像機校準誤差定義為實際獲取特征點的圖像坐標Xdi與根據(jù)模型計算的圖像坐標X’di的距離d(X’di，Xdi)，取49個點進行了實驗，然后計算RMS誤差，得到的RMS距離誤差為0.345像素。
屏幕平面πs在攝像機坐標系oc-xcyczc中的方程為x+0.8333y-6.5000z-166.6667＝0os-xsyszs到oc-xcyczc的變換Rcs和Tcs如下Rcs=-0.9900.0270.1390.0460.9900.135-0.1340.140-0.981]]>Tcs=51.217129.508-0.189]]>將校準好的單攝像機虛擬鼠標系統(tǒng)應用于鼻子人機交互系統(tǒng)，以人的鼻尖作為空間控制點，通過圖像處理分析，提取出鼻尖的圖像坐標，然后采用本發(fā)明建立的數(shù)學模型，將鼻尖的圖像坐標映射為屏幕上的控制點，實現(xiàn)鼻子對計算機的非接觸控制，取得較好效果。
權利要求
1.一種單攝像機虛擬鼠標系統(tǒng)的校準方法，其特征在于，校準包括攝像機內部參數(shù)校準階段、屏幕坐標系到攝像機坐標系的變換和屏幕平面校準階段。校準的具體步驟如下1.1、攝像機內部參數(shù)校準階段1.1.1、設定實體靶標[1]。靶標為一個二維平面，靶標上有預先設置的特征點，在靶標平面上布置黑白相間的棋盤格，黑白方塊的邊長為10～50mm，其邊長精度為0.01mm～0.1mm，黑方塊與白方塊公有的頂點稱為格點。選取靶面上格點為特征點，特征點數(shù)量為16～400個；1.1.2、設定攝像機[4]的觀測位置，調整攝像機的鏡頭焦距和光圈。攝像機觀測位置位于計算機屏幕上方，定義為觀察用戶控制點的最佳位置，根據(jù)要觀測的控制點三維空間范圍，調整好攝像機的鏡頭焦距，根據(jù)光照環(huán)境，調整好光圈大小。將攝像機固定在觀測位置，并固定好攝像機鏡頭的焦距和光圈；1.1.3、校準攝像機[4]內部參數(shù)。具體步驟如下第一步，在攝像機的視場范圍內，自由、非平行地移動實體靶標[1]至少3個位置，每移動一個位置，拍攝一幅圖像，稱為攝像機校準圖像，靶標上所有的特征點應包含在拍攝圖像內；第二步，提取所有攝像機校準圖像的特征點的圖像坐標，并與特征點的世界坐標坐標對應；第三步，利用第二步提取的所有特征點的圖像坐標及對應的世界坐標來校準攝像機內部參數(shù)，包括攝像機有效焦距、主點以及畸變系數(shù)；1.2、屏幕坐標系到攝像機坐標系的變換和屏幕平面校準階段1.2.1、確定使用計算機系統(tǒng)的屏幕[3]的可視物理尺寸和顯示分辨率。計算機的顯示分辨率為sl×sh像素，屏幕可視物理尺寸為ls×hs英寸，這些參數(shù)對于實際使用的計算機系統(tǒng)是已知的，可以從相關手冊和操作系統(tǒng)查詢獲得；1.2.2、設定虛擬靶標[2]。靶標的形狀與實體靶標[1]相同，特征點數(shù)量也相同，由計算機生成，直接顯示在屏幕[3]上。虛擬靶標[2]方塊的邊長lp為30～150像素，實際大小的長寬尺寸為25.4*lp(lssl×lnsh)mm;]]>1.2.3、放置實體靶標[1]，調整攝像機[4]、實體靶標[1]和虛擬靶標[2]的位置關系。實體靶標[1]在屏幕[3]前方，靶標平面與屏幕大約成90°～150°的角度，保證攝像機在觀測位置能夠觀測到實體靶標[1]上所有特征點。保持實體靶標[1]不動，移動攝像機[4]，保證攝像機能夠同時觀測到實體靶標[1]和虛擬靶標[2]上的所有特征點，此時攝像機所在位置稱為中介位置。固定實體靶標[1]，在校準過程中，保持實體靶標[1]的位置和虛擬靶標[2]的顯示位置及大小不發(fā)生變化；1.2.4、獲得屏幕坐標系到實體靶標坐標系的變換。具體步驟為第一步，將攝像機[4]固定在中介位置，此時攝像機坐標系稱為中介坐標系。拍攝一幅包含實體靶標[1]和虛擬靶標[2]所有特征點在內的圖像，稱為雙靶標校準圖像；第二步，提取雙靶標校準圖像內屬于實體靶標[1]的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的實體靶標坐標，計算實體靶標坐標系到中介坐標系的變換；第三步，提取雙靶標校準圖像內屬于虛擬靶標[2]的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的屏幕坐標，計算屏幕坐標系到中介坐標系的變換；第四步，由第二步得到的實體靶標坐標系到中介坐標系的變換和第三步得到的屏幕坐標系到中介坐標系變換，計算屏幕坐標系到實體靶標坐標系的變換；1.2.5、獲得屏幕坐標系到攝像機坐標系的變換。具體步驟為第一步，將攝像機[4]固定在觀測位置，拍攝一幅包含實體靶標[1]所有特征點在內的圖像，稱為單靶標校準圖像；第二步，提取單靶標校準圖像內屬于實體靶標[1]的所有特征點的圖像坐標，根據(jù)攝像機模型和內部參數(shù)，計算特征點的投影坐標。利用特征點的投影坐標和對應的實體靶標坐標，計算實體靶標坐標系到攝像機坐標系的變換；第三步，由第二步得到的實體靶標坐標系到攝像機坐標系的變換和步驟1.2.4得到的屏幕坐標系到實體靶標坐標系的變換，計算屏幕坐標系到攝像機坐標系的變換；1.2.6、獲得屏幕平面在攝像機坐標系中的方程。利用虛擬靶標[2]上特征點的屏幕坐標，根據(jù)由步驟1.2.5得到的屏幕坐標系到攝像機坐標系的變換，計算虛擬靶標[2]上特征點的攝像機坐標，利用特征點的攝像機坐標擬合平面得到屏幕平面在攝像機坐標系中的方程；1.2.7、將校準的攝像機內部參數(shù)、屏幕坐標系到攝像機坐標系的變換參數(shù)和屏幕平面在攝像機坐標系中的方程系數(shù)保存到系統(tǒng)參數(shù)文件中，以備虛擬鼠標系統(tǒng)使用時調用。
全文摘要
本發(fā)明屬于機器視覺技術領域，將提供一種單攝像機虛擬鼠標系統(tǒng)模型參數(shù)的校準方法。本發(fā)明基于二維實體靶標和二維虛擬靶標，以實體靶標坐標系為中介，獲取了非視場范圍內的屏幕平面在攝像機坐標系下的方程，同時通過投影視線與空間屏幕平面相交建立了單攝像機虛擬鼠標系統(tǒng)中三維空間控制點的投影點的圖像坐標與屏幕坐標的一一映射關系，將控制點對應的屏幕坐標作為輸入提供給計算機系統(tǒng)，達到控制計算機的目的。該方法無需高成本的輔助調整設備，操作簡單，校準效率高，適用于單攝像機虛擬鼠標系統(tǒng)的現(xiàn)場校準，大大地提高了虛擬鼠標系統(tǒng)的有效視場范圍和操作實時性。
文檔編號G06T7/00GK1975638SQ20061017029
公開日2007年6月6日 申請日期2006年12月27日 優(yōu)先權日2006年12月27日
發(fā)明者周富強, 李偉仙, 張魯閩, 楊曉科 申請人:北京航空航天大學