帶有觸覺(jué)感知反饋的手勢(shì)實(shí)時(shí)交互系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，特別涉及一種手勢(shì)實(shí)時(shí)交互系統(tǒng)。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)越來(lái)越多地融入人們的生活，計(jì)算機(jī)已經(jīng)不再是單純的工程和科學(xué)工具，而開(kāi)始被公認(rèn)為醫(yī)療保健、教育、能源和環(huán)境保護(hù)等重大社會(huì)問(wèn)題解決方案的重要組成部分。更自然、便捷的人機(jī)交互模式作為推動(dòng)這一進(jìn)程的核心技術(shù)之一，必將成為計(jì)算機(jī)科學(xué)和信息產(chǎn)業(yè)的重要研宄領(lǐng)域的發(fā)展方向。人機(jī)交互是一門(mén)跨學(xué)科的領(lǐng)域，從廣義上理解就是用戶(hù)體驗(yàn)。人機(jī)交互領(lǐng)域涉及到的專(zhuān)業(yè)相當(dāng)廣泛，其中包括認(rèn)知學(xué)、心理學(xué)和人機(jī)工程學(xué)等。在目前人機(jī)交互領(lǐng)域研宄中，我們手指的一個(gè)微小動(dòng)作、聲波在空氣中的震動(dòng)、目艮珠和舌頭的轉(zhuǎn)動(dòng)、肌肉傳導(dǎo)的興奮，都可以成為信息傳導(dǎo)的載體。從交互模式上，從傳統(tǒng)的鼠標(biāo)鍵盤(pán)拓展到手勢(shì)、語(yǔ)音、體感、肌電、眼動(dòng)等。
[0003]近些年，手勢(shì)交互因其工程實(shí)現(xiàn)可行性大，而逐漸成為最為近些年的研宄熱點(diǎn)，并取得了長(zhǎng)足的發(fā)展，特別是一些以手勢(shì)交互技術(shù)為支撐的產(chǎn)品(如Leap Mot1nabox360)陸續(xù)上市更加推動(dòng)了手勢(shì)交互技術(shù)的研宄的發(fā)展。現(xiàn)有的產(chǎn)品和專(zhuān)利主要關(guān)注了基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù)與交互方法，均以視覺(jué)通路信息為主要信息輸入和判讀依據(jù)，而缺乏觸覺(jué)感知通道信息輔助判斷信息，降低了交互體驗(yàn)和交互效率。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種簡(jiǎn)單、有效、成本低的帶有觸覺(jué)感知反饋的手勢(shì)實(shí)時(shí)交互系統(tǒng)，解決手勢(shì)交互操作中控制信息感知不足的問(wèn)題，使手勢(shì)交互更符合人的認(rèn)知特性，提升手勢(shì)交互體驗(yàn)和效率。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用技術(shù)方案如下:
[0006]帶有觸覺(jué)感知反饋的手勢(shì)實(shí)時(shí)交互系統(tǒng)，該系統(tǒng)包括計(jì)算機(jī)終端、顯示屏、兩臺(tái)手勢(shì)采集相機(jī)、兩個(gè)視頻采集卡、手勢(shì)操作區(qū)、兩個(gè)紅外燈陣列和兩個(gè)紅外燈陣列控制模塊；手勢(shì)采集相機(jī)安裝在手勢(shì)操作區(qū)兩側(cè)，使視頻采集范圍覆蓋手勢(shì)操作區(qū)；視頻采集卡接收手勢(shì)采集相機(jī)的視頻信號(hào)，并傳輸給計(jì)算機(jī)終端計(jì)算手勢(shì)控制信息；紅外燈陣列安裝在手勢(shì)操作區(qū)兩側(cè)并貼近同側(cè)手勢(shì)采集相機(jī)，照射方向與同側(cè)視頻采集相機(jī)照射光軸方向夾角小于10° ;紅外燈控制模塊接收計(jì)算機(jī)終端指令，控制紅外燈陣列的開(kāi)關(guān)和光照強(qiáng)度。
[0007]該手勢(shì)實(shí)時(shí)交互系統(tǒng)還包括若干個(gè)觸覺(jué)反饋裝置；手勢(shì)操作區(qū)內(nèi)設(shè)定一個(gè)虛擬操作平面；觸覺(jué)反饋裝置安裝在手指、手背、小臂或上臂部位上，根據(jù)用戶(hù)操作手與虛擬操作平面的空間距離關(guān)系，給出不同強(qiáng)度的振動(dòng)反饋刺激或微電流反饋刺激。
[0008]進(jìn)一步地，所述觸覺(jué)反饋裝置由觸覺(jué)傳感器和無(wú)線網(wǎng)絡(luò)模塊組成，觸覺(jué)傳感器分為振動(dòng)傳感器和微電流傳感器。
[0009]進(jìn)一步地，虛擬操作平面設(shè)定為水平面、垂直面或斜面中的一種。
[0010]進(jìn)一步地，所述兩臺(tái)手勢(shì)采集相機(jī)的光軸的夾角在30°至60°之間。
[0011]進(jìn)一步地，所述手勢(shì)采集相機(jī)為灰度相機(jī)，所述灰度相機(jī)的鏡頭和CCD傳感器之間安裝紅外濾光鏡。
[0012]本發(fā)明所達(dá)到的有益效果:
[0013]為了解決手勢(shì)交互操作過(guò)程中普遍存在的信息反饋感知不足問(wèn)題，本發(fā)明在手勢(shì)操作區(qū)內(nèi)定義虛擬操作平面，設(shè)計(jì)觸覺(jué)反饋裝置，佩戴在操作手的手指、手背、小臂或上臂部位上，在手勢(shì)交互操作中，用戶(hù)操作手靠近虛擬操作平面，根據(jù)用戶(hù)操作手與虛擬操作平面的空間距離關(guān)系，給出不同強(qiáng)度的振動(dòng)反饋刺激或微電流反饋刺激，提高手勢(shì)交互操作的準(zhǔn)確性。
【附圖說(shuō)明】
[0014]圖1為本發(fā)明中手勢(shì)實(shí)時(shí)交互系統(tǒng)布局示意圖；
[0015]圖2為本發(fā)明中旋轉(zhuǎn)交互操作實(shí)驗(yàn)示意圖。
[0016]圖中:1-計(jì)算機(jī)終端、2-顯示屏、3-手勢(shì)采集相機(jī)、4-紅外燈陣列、5-視頻采集卡、6-紅外燈陣列控制模塊、7-觸覺(jué)反饋裝置、8-手勢(shì)操作區(qū)。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明，有必要在此指出的是，以下【具體實(shí)施方式】只用于對(duì)本發(fā)明進(jìn)行進(jìn)一步的說(shuō)明，不能理解為對(duì)本發(fā)明保護(hù)范圍的限制，該領(lǐng)域的技術(shù)熟練人員可以根據(jù)上述
【發(fā)明內(nèi)容】
對(duì)本發(fā)明作出一些非本質(zhì)的改進(jìn)和調(diào)整。
[0018]如圖1所示，本實(shí)施方式中帶有觸覺(jué)感知反饋的手勢(shì)實(shí)時(shí)交互系統(tǒng)包括計(jì)算機(jī)終端1、顯示屏2、兩臺(tái)手勢(shì)采集相機(jī)3、兩個(gè)視頻采集卡5、手勢(shì)操作區(qū)8、兩個(gè)紅外燈陣列4、兩個(gè)紅外燈陣列控制模塊6和若干個(gè)觸覺(jué)反饋裝置7。
[0019]兩臺(tái)手勢(shì)采集相機(jī)3分別安裝在手勢(shì)操作區(qū)8兩側(cè)，光軸的夾角范圍在30°?60°，使視頻采集范圍覆蓋手勢(shì)操作區(qū)8。為增強(qiáng)手勢(shì)交互操作過(guò)程中的信息反饋感知，手勢(shì)操作區(qū)8內(nèi)，在兩臺(tái)手勢(shì)采集相機(jī)3的世界坐標(biāo)系中設(shè)定的一個(gè)虛擬操作平面，虛擬操作平面設(shè)定為水平面、垂直面或斜面中的一種。
[0020]優(yōu)選地，手勢(shì)采集相機(jī)3為灰度相機(jī)，灰度相機(jī)的鏡頭和CCD傳感器之間安裝紅外濾光鏡，濾除除紅外背景光之外的其它頻率的光，增強(qiáng)了手部區(qū)域圖像，達(dá)到更高的信噪比。
[0021]為了達(dá)到最優(yōu)的手部目標(biāo)增強(qiáng)效果，在圖像上增強(qiáng)手部區(qū)域?qū)Ρ榷?，減少背景噪聲干擾，紅外燈陣列4安裝在手勢(shì)操作區(qū)8兩側(cè)并貼近同側(cè)手勢(shì)采集相機(jī)3，紅外燈陣列4的照射方向與同側(cè)視頻采集相機(jī)3照射光軸方向夾角小于10°。初始化紅外燈陣列控制模塊6，將雙手放置于手勢(shì)操作區(qū)8內(nèi)，利用計(jì)算機(jī)終端I上控制模塊，發(fā)送紅外燈陣列控制指令控制紅外燈陣列4開(kāi)關(guān)和光照強(qiáng)度，以達(dá)到在兩臺(tái)手勢(shì)采集相機(jī)的圖像中，手部區(qū)域與背景區(qū)域有較大差別。
[0022]視頻采集卡5接收手勢(shì)采集相機(jī)3的視頻信號(hào)，并傳輸給計(jì)算機(jī)終端I進(jìn)行處理。初始化視頻采集卡5，采集兩臺(tái)手勢(shì)采集相機(jī)3的手勢(shì)操作區(qū)圖像，并將圖像數(shù)據(jù)傳輸至計(jì)算機(jī)終端I，在計(jì)算機(jī)終端I上計(jì)算手部區(qū)域，提取關(guān)節(jié)點(diǎn)位置，利用兩臺(tái)手勢(shì)采集相機(jī)3的內(nèi)外參數(shù)，計(jì)算關(guān)節(jié)點(diǎn)空間三維位置，結(jié)合控制任務(wù)，識(shí)別手勢(shì)控制指令。
[0023]觸覺(jué)反饋裝置7由觸覺(jué)傳感器和無(wú)線網(wǎng)絡(luò)模塊組成，觸覺(jué)傳感器分為振動(dòng)傳感器和微電流傳感器。為了提高手勢(shì)交互操作中控制信息感知，優(yōu)選地，在手指、手背、小臂或上臂部位上安裝觸覺(jué)反饋裝置7。配置IP地址，初始化觸覺(jué)反饋裝置7，根據(jù)觸發(fā)反饋機(jī)制，通過(guò)計(jì)算機(jī)終端I發(fā)送觸覺(jué)反饋指令以控制觸覺(jué)反饋裝置7狀態(tài)。
[0024]觸覺(jué)反饋裝置7在手勢(shì)交互操作中的作用和功效如下:
[002