專利名稱：一種人機(jī)交互中多色標(biāo)塊檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其是一種基于視頻的人機(jī)交互系統(tǒng)中的基于色標(biāo) 塊的交互手段。
背景技術(shù)：
人機(jī)交互主要研究人、計(jì)算機(jī)以及彼此相互影響的有關(guān)技術(shù)。從計(jì)算機(jī)誕 生到現(xiàn)在，人機(jī)交互的方式經(jīng)歷了以下的變化最初并沒有真正的交互模式一一數(shù)據(jù)通過 開關(guān)或穿孔卡輸入到計(jì)算機(jī)中，然后過一段時(shí)間后又通過穿孔卡輸出結(jié)果；直到六十年代， 才開始有了命令行界面的交互方式，最初采用電傳打字機(jī)終端，后來用電子鍵盤和文本監(jiān) 視器；到七十年代和八十年代，圖形用戶界面以及和它關(guān)聯(lián)的桌面開始被采用；現(xiàn)在研究 的也是下一代的主導(dǎo)人機(jī)界面一一感知界面是以自然交互為基礎(chǔ)的，所謂自然交互，就是 他能夠滿足沉浸式環(huán)境中的不同風(fēng)格，譬如3D界面，觸摸式界面，有感覺計(jì)算和多重模式 界面等。在感知界面領(lǐng)域，計(jì)算機(jī)視覺的主要任務(wù)是檢測(cè)和識(shí)別對(duì)于交流有意義的視覺信 息，也就是說觀察用戶并報(bào)告他們的位置、表情、手勢(shì)以及姿態(tài)等。這里用特定的色標(biāo)塊作 為人機(jī)交互的手段，通過色標(biāo)塊的檢測(cè)和跟蹤得到它們的位置信息進(jìn)行交互，本專利就是 基于這樣的一個(gè)人機(jī)交互系統(tǒng)所發(fā)明的一種色標(biāo)塊的檢測(cè)方法。目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要領(lǐng)域，其主要工作就是從動(dòng)態(tài)場(chǎng)景的視 頻序列圖像中檢測(cè)出感興趣的運(yùn)動(dòng)目標(biāo)。傳統(tǒng)的顏色目標(biāo)檢測(cè)應(yīng)用最多的是顏色閾值向量 的方法，該方法沒有去除光照條件和背景的干擾導(dǎo)致的顏色像素值發(fā)生的偏移情況。

發(fā)明內(nèi)容
為了改善人機(jī)交互方式并克服傳統(tǒng)顏色閾值向量的色標(biāo)塊檢測(cè)方法，本發(fā)明提供 一種能適應(yīng)復(fù)雜光照條件和背景條件、滿足實(shí)時(shí)性要求、具備良好的魯棒性的色標(biāo)指示塊 檢測(cè)方法。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種人機(jī)交互中的多色標(biāo)塊檢測(cè)方法，在手上佩戴色標(biāo)指示塊，所述方法包括如下步
驟
(1)每一次人機(jī)交互發(fā)生時(shí)，采集色標(biāo)指示塊所在區(qū)域的圖像，利用幀間的相似性確定 背景幀；
(2)根據(jù)當(dāng)前幀和背景幀的差分對(duì)圖像進(jìn)行分割，分離出背景區(qū)域中的前景區(qū)域，所述 前景區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域；
(3)在Lab顏色空間中，采用凸包算法把運(yùn)動(dòng)區(qū)域提取出來，并根據(jù)凸包中有序點(diǎn)進(jìn)行 均勻采樣，根據(jù)采樣結(jié)果再加上色標(biāo)指示塊本身的特征確定種子點(diǎn)；
采用基于最小錯(cuò)誤率的貝葉斯決策作為生長(zhǎng)準(zhǔn)則進(jìn)行生長(zhǎng)，定位得到色標(biāo)指示塊目標(biāo) 位置。進(jìn)一步，所述步驟(2)中，將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖像進(jìn)行二值化處理，并通過圖像腐蝕運(yùn)算去噪。再進(jìn)一步，所述步驟(1)中，色標(biāo)指示塊進(jìn)入攝像范圍時(shí)攝像頭處于靜止?fàn)顟B(tài)，通 過幀間標(biāo)志區(qū)域的匹配確定本次的背景幀。更進(jìn)一步，所述步驟(3)中，利用紅藍(lán)黃綠四種顏色在Lab顏色空間中的特性通 道a對(duì)紅綠敏感，通道b對(duì)黃藍(lán)敏感，在通道a中對(duì)紅藍(lán)指示塊處理，在通道b中對(duì)黃綠指 示塊處理；并對(duì)指示塊的不同顏色閾值賦予不同的概率權(quán)值；
結(jié)合色標(biāo)指示塊在運(yùn)動(dòng)區(qū)域中的特征和概率權(quán)值計(jì)算采樣點(diǎn)能成為種子點(diǎn)的概率，選 取概率最大的采樣點(diǎn)為種子點(diǎn)。所述步驟(3)中，將二值化圖像進(jìn)行sobel邊緣檢測(cè)，采用Graham掃描法，通過設(shè) 置一個(gè)關(guān)于候選點(diǎn)的堆棧S來解決凸包問題。Graham掃描法是從已知的所有點(diǎn)中先找出一個(gè)最右下的點(diǎn)，這點(diǎn)肯定是在凸包上 的，然后以這點(diǎn)為起點(diǎn)，將所有點(diǎn)根據(jù)與這點(diǎn)的斜率排序，然后依次遍歷所有點(diǎn)，如果新加 入的點(diǎn)是在原方向上向右拐的，就把前一個(gè)點(diǎn)去掉(注意是前一個(gè)點(diǎn)，而且這一部是循環(huán)執(zhí) 行的)。當(dāng)遍歷完所有點(diǎn)后，還在棧中的點(diǎn)就是凸包上的點(diǎn)了，而且依次出?？梢缘玫綇钠?點(diǎn)開始順時(shí)針旋轉(zhuǎn)的所有凸包上的點(diǎn)。所述步驟(3)中，均勻采樣的過程如下先確定凸包點(diǎn)中橫坐標(biāo)最大和最小的兩 點(diǎn)，根據(jù)這兩點(diǎn)把凸包分成上下兩部分，位于這兩點(diǎn)直線上方的點(diǎn)屬于上半部分，下方的點(diǎn) 屬于下半部分，在上半部分和下半部分的點(diǎn)所形成的軌跡中都從橫坐標(biāo)最小的點(diǎn)開始，每 間隔橫坐標(biāo)10個(gè)像素點(diǎn)取點(diǎn)作為采樣直線的起點(diǎn)和終點(diǎn)進(jìn)行采樣，一直到橫坐標(biāo)最大的 點(diǎn)為止停止采樣。本發(fā)明的技術(shù)構(gòu)思為為了更快更準(zhǔn)確地進(jìn)行人機(jī)交互，可以通過在手上戴上色 標(biāo)指示塊的方法幫助計(jì)算機(jī)處理。本發(fā)明所涉及的色標(biāo)指示塊的檢測(cè)方法可以應(yīng)用于基于 視頻的人機(jī)交互接口或系統(tǒng)。本發(fā)明的有益效果主要表現(xiàn)在該方法克服了復(fù)雜背景和光照條件的影響，能夠 實(shí)時(shí)地精確地定位出色標(biāo)指示塊，具有良好的魯棒性。


圖1是原始圖像的示意圖。圖2是差分處理后圖像示意圖。圖3是二值化處理后圖像示意圖。圖4是閉運(yùn)算處理后圖像示意圖。圖5是邊緣化處理后圖像示意圖。圖6是凸包處理后圖像示意圖。圖7是采樣處理后的圖像示意圖。圖8是識(shí)別結(jié)果的示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。參照?qǐng)D1 圖8，一種人機(jī)交互中的多色標(biāo)塊檢測(cè)方法，在手上佩戴色標(biāo)指示塊，所述色標(biāo)指示塊的顏色采用Lab顏色空間表示，所述手勢(shì)識(shí)別方法包括如下步驟
(1)每一次人機(jī)交互發(fā)生時(shí)，采集色標(biāo)指示塊所在區(qū)域的圖像，利用幀間的相似性確定 背景幀；
(2)根據(jù)當(dāng)前幀和背景幀的差分對(duì)圖像進(jìn)行分割，分離出背景區(qū)域中的前景區(qū)域，所述 前景區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域；
(3)在Lab顏色空間中，采用凸包算法把運(yùn)動(dòng)區(qū)域提取出來，并根據(jù)凸包中有序點(diǎn)進(jìn)行 均勻采樣，根據(jù)采樣結(jié)果再加上色標(biāo)指示塊本身的特征確定種子點(diǎn)；
采用基于最小錯(cuò)誤率的貝葉斯決策作為生長(zhǎng)準(zhǔn)則進(jìn)行生長(zhǎng)，定位得到色標(biāo)指示塊目標(biāo) 位置。所述步驟(2)中，將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖 像進(jìn)行二值化處理，并通過圖像腐蝕運(yùn)算去噪。所述步驟(1)中，色標(biāo)指示塊進(jìn)入攝像范圍時(shí)攝像頭處于靜止?fàn)顟B(tài)，通過幀間標(biāo)志 區(qū)域的匹配確定本次的背景幀。所述步驟(3)中，利用紅藍(lán)黃綠四種顏色在Lab顏色空間中的特性通道a對(duì)紅綠 敏感，通道b對(duì)黃藍(lán)敏感，在通道a中對(duì)紅藍(lán)指示塊處理，在通道b中對(duì)黃綠指示塊處理；并 對(duì)指示塊的不同顏色閾值賦予不同的概率權(quán)值；
結(jié)合色標(biāo)指示塊在運(yùn)動(dòng)區(qū)域中的特征和概率權(quán)值計(jì)算采樣點(diǎn)能成為種子點(diǎn)的概率，選 取概率最大的采樣點(diǎn)為種子點(diǎn)。本實(shí)施例的具體處理過程為
在人機(jī)交互系統(tǒng)中，獲得的彩色圖像是用RGB顏色空間表示的，然而在圖像處理時(shí)， RGB并不合適，因?yàn)樗鼘?duì)所有色彩都用等長(zhǎng)像素點(diǎn)的R、G、B三色加以合成，他們之間相互關(guān) 聯(lián)，不利于處理。為了更好地更快速地處理，我們把RGB空間轉(zhuǎn)化為L(zhǎng)ab空間，其中L表示 心理明度，a、b為心理色度，反映到坐標(biāo)系統(tǒng)中，+a表示紅色，-a表示綠色，+b表示黃色，_b 表示藍(lán)色，顏色的明度由L的百分?jǐn)?shù)來表示，其取值從(Γ100。a通道對(duì)紅綠兩種顏色特別 敏感，b通道對(duì)黃藍(lán)兩種顏色特別敏感，色標(biāo)指示塊的顏色是根據(jù)這個(gè)來選取的。利用差分法確定運(yùn)動(dòng)區(qū)域，必須先得到背景圖像，由于人機(jī)交互場(chǎng)景不定， 每次應(yīng)用都不一樣，所以一開始就認(rèn)為確定背景圖像肯定不可能。在人機(jī)交互中，只要一開 始檢測(cè)到色標(biāo)指示塊，后續(xù)的識(shí)別和跟蹤就可以根據(jù)本次得到的結(jié)果來進(jìn)行，所以檢測(cè)只 發(fā)生在最初的時(shí)候，在每一次應(yīng)用時(shí)色標(biāo)指示塊移入攝像范圍，攝像頭會(huì)有一個(gè)相對(duì)靜止 的狀態(tài)(輕微晃動(dòng))，只要我們檢測(cè)到這個(gè)狀態(tài)就可以認(rèn)為這幀可能成為背景圖像。在取得了背景圖像后就可以應(yīng)用差分法檢測(cè)出運(yùn)動(dòng)區(qū)域，再用圖像腐蝕去 除噪聲點(diǎn)。在得到運(yùn)動(dòng)區(qū)域后，由于色標(biāo)指示塊是一整塊一整塊的，所以用區(qū)域生長(zhǎng)是最好 的方法，但是區(qū)域生長(zhǎng)中種子和生長(zhǎng)準(zhǔn)則的確定是關(guān)于這個(gè)方法成敗的決定因素。我們采 用在凸包中采樣，并結(jié)合權(quán)值概率和色標(biāo)塊本身在運(yùn)動(dòng)區(qū)域中的特征來計(jì)算種子，這樣得 到的種子比較少而且基本覆蓋所需要的種子。用基于最小錯(cuò)誤率的貝葉斯決策作為生長(zhǎng)準(zhǔn) 則，可以精確地進(jìn)行劃分是否是色標(biāo)塊點(diǎn)，使結(jié)果更精確。運(yùn)動(dòng)區(qū)域檢測(cè)過程如下
1)背景圖像確定為了檢測(cè)一開始的攝像頭的狀態(tài)，在圖像中選取三個(gè) 10x10區(qū)域，然后在間隔5幀做一次像素差值，并設(shè)定閾值，若差值大于t則認(rèn)為這個(gè)像素點(diǎn)發(fā)生了變化。若一塊區(qū)域中的點(diǎn)的85%沒發(fā)生變化就認(rèn)為這一區(qū)域沒變，這樣如果三塊 都沒變則認(rèn)為攝像頭處于靜止?fàn)顟B(tài)。設(shè)定 表示第k幀圖像在(U)點(diǎn)的通道L 中的值
權(quán)利要求
1.一種人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于在手上佩戴色標(biāo)指示塊，所述色 標(biāo)指示塊的顏色采用Lab顏色空間表示，所述方法包括如下步驟(1)每一次人機(jī)交互發(fā)生時(shí)，采集色標(biāo)指示塊所在區(qū)域的圖像，利用幀間的相似性確定 背景幀；(2)根據(jù)當(dāng)前幀和背景幀的差分對(duì)圖像進(jìn)行分割，分離出背景區(qū)域中的前景區(qū)域，所述 前景區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域；(3)在Lab顏色空間中，采用凸包算法把運(yùn)動(dòng)區(qū)域提取出來，并根據(jù)凸包中有序點(diǎn)進(jìn)行 均勻采樣，根據(jù)采樣結(jié)果再加上色標(biāo)指示塊本身的特征確定種子點(diǎn)；采用基于最小錯(cuò)誤率的貝葉斯決策作為生長(zhǎng)準(zhǔn)則進(jìn)行生長(zhǎng)，定位得到色標(biāo)指示塊。
2.如權(quán)利要求1所述的人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于所述步驟(2)中， 將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖像進(jìn)行二值化處理，并通 過圖像腐蝕運(yùn)算去噪。
3.如權(quán)利要求1或2所述的人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于所述步驟(1) 中，色標(biāo)指示塊進(jìn)入攝像范圍時(shí)攝像頭處于靜止?fàn)顟B(tài)，通過幀間標(biāo)志區(qū)域的匹配確定本次 的背景幀。
4.如權(quán)利要求1或2所述的人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于所述步驟(3) 中，利用紅藍(lán)黃綠四種顏色在Lab顏色空間中的特性通道a對(duì)紅綠敏感，通道b對(duì)黃藍(lán)敏 感，在通道a中對(duì)紅藍(lán)指示塊處理，在通道b中對(duì)黃綠指示塊處理；并對(duì)指示塊的不同顏色 閾值賦予不同的概率權(quán)值；結(jié)合色標(biāo)指示塊在運(yùn)動(dòng)區(qū)域中的特征和概率權(quán)值計(jì)算采樣點(diǎn)能成為種子點(diǎn)的概率，選 取概率最大的采樣點(diǎn)為種子點(diǎn)。
5.如權(quán)利要求2所述的人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于所述步驟(3)中， 將二值化圖像進(jìn)行sobel邊緣檢測(cè)，采用Graham掃描法，即從已知的所有點(diǎn)中先找出一個(gè) 最右下的點(diǎn)，然后以這點(diǎn)為起點(diǎn)，將所有點(diǎn)根據(jù)與這點(diǎn)的斜率排序，然后依次遍歷所有點(diǎn)， 如果新加入的點(diǎn)是在原方向上向右拐的，就把前一個(gè)點(diǎn)去掉；當(dāng)遍歷完所有點(diǎn)后，還在棧中 的點(diǎn)就是凸包上的點(diǎn)，依次出棧得到從起點(diǎn)開始順時(shí)針旋轉(zhuǎn)的所有凸包上的點(diǎn)。
6.如權(quán)利要求5所述的所述的人機(jī)交互中多色標(biāo)塊檢測(cè)方法，其特征在于所述步驟 (3)中，均勻采樣的過程如下先確定凸包點(diǎn)中橫坐標(biāo)最大和最小的兩點(diǎn)，根據(jù)這兩點(diǎn)把凸包分成上下兩部分，位于 這兩點(diǎn)直線上方的點(diǎn)屬于上半部分，下方的點(diǎn)屬于下半部分，在上半部分和下半部分的點(diǎn) 所形成的軌跡中都從橫坐標(biāo)最小的點(diǎn)開始，每間隔橫坐標(biāo)10個(gè)像素點(diǎn)取點(diǎn)作為采樣直線 的起點(diǎn)和終點(diǎn)進(jìn)行采樣，一直到橫坐標(biāo)最大的點(diǎn)為止停止采樣。
全文摘要
一種人機(jī)交互中多色標(biāo)塊檢測(cè)方法，在手上佩戴色標(biāo)指示塊，包括如下步驟(1)每一次人機(jī)交互發(fā)生時(shí)，采集色標(biāo)指示塊所在區(qū)域的圖像，利用幀間的相似性確定背景幀；(2)根據(jù)當(dāng)前幀和背景幀的差分對(duì)圖像進(jìn)行分割，分離出背景區(qū)域中的前景區(qū)域，前景區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域；(3)在Lab顏色空間中，采用凸包算法把運(yùn)動(dòng)區(qū)域提取出來，并根據(jù)凸包中有序點(diǎn)進(jìn)行均勻采樣，根據(jù)采樣結(jié)果再加上色標(biāo)指示塊本身的特征確定種子點(diǎn)；采用基于最小錯(cuò)誤率的貝葉斯決策作為生長(zhǎng)準(zhǔn)則進(jìn)行生長(zhǎng)，定位得到色標(biāo)指示塊。本發(fā)明能適應(yīng)復(fù)雜光照條件和背景條件、滿足實(shí)時(shí)性要求、具備良好的魯棒性。
文檔編號(hào)G06T7/20GK102103752SQ20101056122
公開日2011年6月22日 申請(qǐng)日期2010年11月26日 優(yōu)先權(quán)日2010年11月26日
發(fā)明者方路平, 曹平, 魏淵潔 申請(qǐng)人:浙江工業(yè)大學(xué)