基于Kinect體感交互的注意力情景化測(cè)評(píng)系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于Kinect體感交互的注意力情景化測(cè)評(píng)系統(tǒng)，實(shí)現(xiàn)步驟如下：（1）利用多媒體仿真模擬技術(shù)呈現(xiàn)類似于現(xiàn)實(shí)生活的情景，將生活化交互情景引入測(cè)試系統(tǒng)；（2）利用Kinect攝像頭對(duì)用戶進(jìn)行動(dòng)態(tài)捕捉，通過(guò)影像辨識(shí)，將用戶信息轉(zhuǎn)換到骨骼追蹤系統(tǒng)，繪制人體骨架，并置于第一步的情景中；（3）通過(guò)人體骨架中關(guān)節(jié)點(diǎn)位置的變化追蹤用戶的動(dòng)作，并同時(shí)添加事件偵聽(tīng)，不斷在場(chǎng)景中繪制新的骨架；（4）通過(guò)AIR?Kinect中間件實(shí)現(xiàn)硬件與設(shè)計(jì)的情景化應(yīng)用程序通信；（5）用戶以體感交互方式完成項(xiàng)目，系統(tǒng)對(duì)比標(biāo)準(zhǔn)動(dòng)作評(píng)測(cè)用戶完成項(xiàng)目情況。本發(fā)明用體感交互方式完成測(cè)試，反映被測(cè)者在真實(shí)情境下的注意力，無(wú)需專業(yè)技術(shù)人員的輔助。
【專利說(shuō)明】基于Kinect體感交互的注意力情景化測(cè)評(píng)系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種采用情景化方法對(duì)注意力進(jìn)行測(cè)評(píng)的系統(tǒng)，尤其涉及一種基于Kinect體感技術(shù)、用最自然的人機(jī)交互方式實(shí)現(xiàn)注意力的測(cè)評(píng),可用于兒童注意力測(cè)評(píng)以及為注意缺陷疾病提供輔助醫(yī)療和依據(jù)。
【背景技術(shù)】
[0002]注意缺陷多動(dòng)障礙是兒童青少年時(shí)期常見(jiàn)病。據(jù)調(diào)研，我國(guó)學(xué)齡兒童中該癥發(fā)病率高達(dá)5.83%。而由于環(huán)境、教育等因素，發(fā)病率呈逐年增高的趨勢(shì)。因此及時(shí)對(duì)兒童注意力進(jìn)行測(cè)量做到提早預(yù)防成為一個(gè)重要的課題。
[0003]目前，注意力測(cè)量常用的方法是紙筆作業(yè)測(cè)驗(yàn)法、軟件測(cè)試法以及生物信號(hào)反饋法。紙筆作業(yè)測(cè)驗(yàn)法是通過(guò)被測(cè)者完成測(cè)試題的情況來(lái)進(jìn)行測(cè)評(píng)，常見(jiàn)的是CPT可持續(xù)操作測(cè)驗(yàn)，其標(biāo)準(zhǔn)化程度高且更具客觀性。但是其需要被測(cè)者具備一定的認(rèn)知能力和判斷能力，且測(cè)試環(huán)境壓抑，被測(cè)者由于緊張等緣故會(huì)在一定程度上影響測(cè)試效果。而目前的軟件測(cè)試大多只是將紙筆測(cè)試的內(nèi)容計(jì)算機(jī)化，并沒(méi)有做過(guò)多的深入。生物信號(hào)反饋法如EEG腦電信號(hào)以及事件相關(guān)電位法等是從神經(jīng)解剖學(xué)的角度測(cè)評(píng)注意力，更具直接性和客觀性。但是生物反饋儀較昂貴且需要專業(yè)技術(shù)人員，耗費(fèi)的人力物力較大。

【發(fā)明內(nèi)容】

[0004]為了解決以上問(wèn)題，本發(fā)明提供了一種基于Kinect體感交互的情景化測(cè)試方法。該方法讓被測(cè)者在類似于生活情境的測(cè)試環(huán)境中，用最自然的交互方式——通過(guò)身體即可控制的交互方式完成相關(guān)測(cè)試項(xiàng)目，更能反映被測(cè)在真實(shí)情境下的注意力情況；本發(fā)明對(duì)被測(cè)者的知識(shí)水平不做要求并且無(wú)需專業(yè)技術(shù)人員的輔助。
[0005]本發(fā)明采用的具體方案如下:
[0006]第一步:利用多媒體仿真模擬技術(shù)呈現(xiàn)類似于現(xiàn)實(shí)生活的情景，將生活化交互情景引入測(cè)試系統(tǒng)；
[0007]第二步:利用Kinect攝像頭對(duì)用戶進(jìn)行動(dòng)態(tài)捕捉，采取距離最近算法獲取被測(cè)用戶的圖像和深度信息；通過(guò)影像辨識(shí)，將用戶信息轉(zhuǎn)換到骨骼追蹤系統(tǒng)，繪制人體骨架，并置于第一步的情景中；
[0008]第三步:通過(guò)人體骨架中關(guān)節(jié)點(diǎn)位置的變化追蹤用戶的動(dòng)作，繪制人體骨架，并同時(shí)添加事件偵聽(tīng)，不斷在場(chǎng)景中繪制新的骨架；
[0009]第四步:通過(guò)AIR Kinect中間件實(shí)現(xiàn)硬件與設(shè)計(jì)的情景化應(yīng)用程序通信，不斷將用戶的位置變化參數(shù)傳給應(yīng)用程序的角色和操作中去，對(duì)比動(dòng)作模型，完成評(píng)測(cè)；
[0010]第五步:用戶以體感交互方式完成測(cè)評(píng)項(xiàng)目，得到測(cè)評(píng)分?jǐn)?shù)并提交到后臺(tái)數(shù)據(jù)庫(kù)測(cè)試結(jié)果表。
[0011]所述測(cè)評(píng)項(xiàng)目分為四個(gè)子項(xiàng)目:注意力廣度測(cè)試項(xiàng)目、注意力穩(wěn)定性測(cè)試項(xiàng)目、注意力分配性測(cè)試項(xiàng)目、注意力轉(zhuǎn)移測(cè)試項(xiàng)目。[0012]本發(fā)明具有以下有益效果:
[0013]1、傳統(tǒng)測(cè)試會(huì)給被測(cè)者帶來(lái)緊張焦慮的感覺(jué)，會(huì)影響測(cè)試的效度。本系統(tǒng)使得被測(cè)者在生活化交互情景中進(jìn)行測(cè)試，環(huán)境輕松，能使他們放松身心，積極地參與到其中，可提高測(cè)試的效度。
[0014]2、針對(duì)目前計(jì)算機(jī)測(cè)試方法中交互方式單調(diào)的缺點(diǎn)，本系統(tǒng)采用的體感交互方式，即通過(guò)身體即可控制項(xiàng)目的進(jìn)行，結(jié)合情景化的測(cè)試環(huán)境，使用戶身臨其境，更能反映真實(shí)生活中用戶的注意力情況。這種最自然的交互方式使得被測(cè)者從傳統(tǒng)的紙筆和鼠標(biāo)鍵盤交互中解放出來(lái)，調(diào)動(dòng)了全身感官和肢體的參與，更能反映被測(cè)者在真實(shí)生活中的注意力水平，同時(shí)也更具有生態(tài)學(xué)效度。
[0015]3、本系統(tǒng)設(shè)計(jì)的情景化測(cè)評(píng)項(xiàng)目對(duì)被試者的認(rèn)知能力和知識(shí)水平不做限定，適應(yīng)
人群更廣。
[0016]4、采用Kinect技術(shù)和web技術(shù)結(jié)合，本系統(tǒng)具備計(jì)算機(jī)軟件測(cè)試自動(dòng)化和網(wǎng)絡(luò)化的優(yōu)點(diǎn)，且不需專業(yè)技術(shù)人員，節(jié)省人力物力，可被一般人群接受。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1是本發(fā)明測(cè)評(píng)系統(tǒng)流程圖；
[0018]圖2是本發(fā)明數(shù)據(jù)庫(kù)構(gòu)成示意圖；
[0019]圖3是穩(wěn)定性子項(xiàng)目實(shí)例圖；
[0020]圖4是分配性子項(xiàng) 目實(shí)例圖；
[0021 ]圖5是轉(zhuǎn)移子項(xiàng)目實(shí)例圖；
[0022]圖6是ANE與應(yīng)用程序通信原理圖；
[0023]圖7是Kinect與穩(wěn)定性子項(xiàng)目通信具體流程圖。
【具體實(shí)施方式】
[0024]為了使本發(fā)明所要解決的技術(shù)問(wèn)題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)的說(shuō)明。
[0025]本發(fā)明系統(tǒng)由計(jì)算機(jī)、音響設(shè)備及Kinect攝像頭組成。用戶通過(guò)輸入相關(guān)個(gè)人信息進(jìn)行登陸，進(jìn)入各個(gè)子項(xiàng)目進(jìn)行測(cè)評(píng)，最后提交系統(tǒng)輸出測(cè)評(píng)結(jié)果。整個(gè)測(cè)評(píng)系統(tǒng)流程圖如圖1所示。
[0026]本發(fā)明每個(gè)測(cè)評(píng)項(xiàng)目都是在一定的情境中，通過(guò)被試完成任務(wù)的情況來(lái)評(píng)測(cè)被試的注意力水平，所以下面主要從測(cè)試任務(wù)的設(shè)計(jì)與實(shí)現(xiàn)、測(cè)試環(huán)境的設(shè)計(jì)與實(shí)現(xiàn)以及最后測(cè)試結(jié)果的分析與評(píng)價(jià)這幾個(gè)方面來(lái)介紹基于Kinect體感交互的計(jì)算機(jī)情境化測(cè)評(píng)項(xiàng)目的具體設(shè)計(jì)與實(shí)現(xiàn)，以穩(wěn)定性測(cè)評(píng)項(xiàng)目為例。
[0027]步驟一、注意力測(cè)試任務(wù)的設(shè)計(jì)與實(shí)現(xiàn)。
[0028]任務(wù)設(shè)計(jì)應(yīng)結(jié)合測(cè)評(píng)對(duì)象的特點(diǎn)。系統(tǒng)對(duì)象是兒童，知識(shí)水平和言語(yǔ)水平有限，思維的發(fā)展上仍是具體形象思維占重要地位，因而那些具體生動(dòng)、形象直觀的事物更容易引起他們的注意，并且其注意發(fā)展具有顯著的情緒色彩。因此本測(cè)評(píng)項(xiàng)目將生活場(chǎng)景引入測(cè)試，模擬現(xiàn)實(shí)生活活動(dòng)從而調(diào)動(dòng)被測(cè)積極性，保證測(cè)試的有效性。下面以注意力穩(wěn)定性的測(cè)試項(xiàng)目為例:[0029]注意力的穩(wěn)定性指的是注意力能夠較長(zhǎng)時(shí)間保持在某個(gè)對(duì)象上，是注意力在時(shí)間上的特征。該項(xiàng)目通過(guò)模擬真實(shí)場(chǎng)景中手指頂足球的活動(dòng)來(lái)測(cè)量被測(cè)者的注意力穩(wěn)定性，足球和木棒作為刺激物，具體實(shí)例圖見(jiàn)圖3(其余項(xiàng)目實(shí)例圖見(jiàn)圖4、圖5)。被測(cè)者只需面對(duì)Kinect攝像頭像正常狀態(tài)下保持高度的注意力，用手指頂住虛擬木棒和足球，并通過(guò)移動(dòng)調(diào)整位置來(lái)保證球的平衡。在此過(guò)程中，球會(huì)跟隨著手部移動(dòng)而左右偏移，被測(cè)者需要盡最大可能保持手部位置和足球位置在同一垂直線上。但球的偏移量不等于手部位置偏移量，球偏移量在手部位置偏移量基礎(chǔ)上加上一個(gè)隨機(jī)值，也就是球和手部一直會(huì)處在不平衡的狀態(tài)中。因此整個(gè)測(cè)試過(guò)程被測(cè)需要保持良好的注意穩(wěn)定性，不能有出現(xiàn)注意游離狀態(tài)，否則當(dāng)足球與手部產(chǎn)生角度，如果不及時(shí)調(diào)整，球則會(huì)掉下來(lái)。
[0030]與注意力穩(wěn)定性相反的狀態(tài)是注意的分散，注意分散的原因主要是無(wú)關(guān)刺激的干擾、單調(diào)機(jī)械刺激的長(zhǎng)期作用。為保證項(xiàng)目難度，在測(cè)試過(guò)程中加入聲音干擾刺激，隨機(jī)出現(xiàn)“球掉下來(lái)”、“不好了”、“左邊”、“右邊”等干擾信號(hào)，被測(cè)者需要排除這些干擾刺激，保持注意力的穩(wěn)定性，才能堅(jiān)持越久。
[0031 ] 測(cè)評(píng)都有自己的測(cè)評(píng)規(guī)則，評(píng)分規(guī)則等，本測(cè)評(píng)是操作性的測(cè)評(píng)題目，所以測(cè)評(píng)涉及到測(cè)評(píng)規(guī)則以及評(píng)分規(guī)則。本子項(xiàng)目測(cè)評(píng)規(guī)則是在10分鐘內(nèi)堅(jiān)持頂球總時(shí)間越長(zhǎng)，最高時(shí)長(zhǎng)越大，得分就越高。由于測(cè)評(píng)結(jié)果受總時(shí)間時(shí)長(zhǎng)和最大時(shí)長(zhǎng)兩個(gè)條件影響，所以最后的測(cè)評(píng)分?jǐn)?shù)的計(jì)算考慮到以上兩個(gè)條件，采用如下的方法:
[0032]項(xiàng)目得分=IOOX總時(shí)長(zhǎng)/規(guī)定時(shí)間+100X最大時(shí)長(zhǎng)/規(guī)定時(shí)間
[0033]例如，如果一個(gè)被試在規(guī)定的10分鐘內(nèi)對(duì)堅(jiān)持總時(shí)長(zhǎng)為7分鐘，最大時(shí)長(zhǎng)為2分鐘，那么得分就是90分。
[0034]步驟二、情景化測(cè)試環(huán)境的設(shè)計(jì)與實(shí)現(xiàn)。
[0035]情景測(cè)驗(yàn)最早用于心理測(cè)驗(yàn)中，預(yù)先布置一種情境，主試觀察被試在此情景中的行為表現(xiàn)，從而判定其人格。這 種測(cè)試方法真實(shí)自然，但實(shí)施困難，且為主觀性評(píng)定。因此我們采用多媒體模擬實(shí)際生活情景，將情景測(cè)評(píng)方法計(jì)算機(jī)化，這樣情景設(shè)置可以更豐富同時(shí)便于施測(cè)，評(píng)定客觀。同時(shí)由于傳統(tǒng)交互方式被試被局限于紙筆或者鼠標(biāo)和鍵盤中，為了最大程度上實(shí)現(xiàn)模擬實(shí)際生活情景，本發(fā)明采取最自然的交互方式——體感交互方式來(lái)完成測(cè)試項(xiàng)目，做到真正的計(jì)算機(jī)情景化。
[0036]本發(fā)明測(cè)試者主要從場(chǎng)景和交互方式對(duì)測(cè)試環(huán)境進(jìn)行設(shè)計(jì)，提供一個(gè)更具真實(shí)感、沉浸感的測(cè)試環(huán)境。依據(jù)心理學(xué)對(duì)注意力的研究，從注意力的廣度、穩(wěn)定性、分配性、轉(zhuǎn)移四個(gè)維度設(shè)計(jì)具有針對(duì)性的情景化測(cè)試項(xiàng)目。
[0037]A.場(chǎng)景設(shè)計(jì)
[0038]1.畫面
[0039]測(cè)評(píng)項(xiàng)目的情境創(chuàng)設(shè)中，整體的畫面應(yīng)該是主體突出，條理清晰，便于閱讀，色調(diào)明快，能引人注目，從而給測(cè)試者好感，增加他們內(nèi)心的認(rèn)同感。穩(wěn)定性項(xiàng)目的主畫面是草綠色的足球場(chǎng)場(chǎng)景，為使足球主體突出，在球場(chǎng)上設(shè)計(jì)了聚光燈，聚焦到中心位置，使被測(cè)能第一時(shí)間關(guān)注到足球和人物主體。
[0040]2.聲首
[0041]聲音能夠烘托氣氛，營(yíng)造一個(gè)逼真的情境。輕松愉快的音樂(lè)，可以給測(cè)試者營(yíng)造一種舒適的氛圍。根據(jù)項(xiàng)目的不同，所給的音樂(lè)也是不同的。穩(wěn)定性項(xiàng)目所給的是輕松的音樂(lè)，同時(shí)在測(cè)試過(guò)程中還承擔(dān)干擾源的角色。
[0042]3?動(dòng)畫
[0043]動(dòng)畫的設(shè)計(jì)尤為重要，它有利于更真實(shí)的還原真實(shí)情景，促進(jìn)被測(cè)更好的完成項(xiàng)目。以穩(wěn)定性項(xiàng)目為例，設(shè)計(jì)的是在足球場(chǎng)用手指頂木棒和足球的活動(dòng)，足球和木棒的移動(dòng)是采用函數(shù)模擬足球在重力狀態(tài)下的平衡狀態(tài)的動(dòng)畫。以下公式是計(jì)算足球根據(jù)手指旋轉(zhuǎn)的角度公式和足球隨手指移動(dòng)的偏移量的值。
【權(quán)利要求】
1.基于Kinect體感交互的注意力情景化測(cè)評(píng)系統(tǒng)，包括如下步驟: 第一步:利用多媒體仿真模擬技術(shù)呈現(xiàn)類似于現(xiàn)實(shí)生活的情景，將生活化交互情景引入測(cè)試系統(tǒng)； 第二步:利用Kinect攝像頭對(duì)用戶進(jìn)行動(dòng)態(tài)捕捉，采取距離最近算法獲取被測(cè)用戶的圖像和深度信息；通過(guò)影像辨識(shí)，將用戶信息轉(zhuǎn)換到骨骼追蹤系統(tǒng)，繪制人體骨架，并置于第一步的情景中； 第三步:通過(guò)人體骨架中關(guān)節(jié)點(diǎn)位置的變化追蹤用戶的動(dòng)作，繪制人體骨架，并同時(shí)添加事件偵聽(tīng)，不斷在場(chǎng)景中繪制新的骨架； 第四步:通 過(guò)AIR Kinect中間件實(shí)現(xiàn)硬件與設(shè)計(jì)的情景化應(yīng)用程序通信，不斷將用戶的位置變化參數(shù)傳給應(yīng)用程序的角色和操作中去，對(duì)比動(dòng)作模型，完成評(píng)測(cè)； 第五步:用戶以體感交互方式完成測(cè)評(píng)項(xiàng)目，得到測(cè)評(píng)分?jǐn)?shù)并提交到后臺(tái)數(shù)據(jù)庫(kù)測(cè)試結(jié)果表。
2.根據(jù)權(quán)利要求1所述的基于Kinect體感交互的注意力情景化測(cè)評(píng)系統(tǒng)，其特征在于，所述測(cè)評(píng)項(xiàng)目分為四個(gè)子項(xiàng)目:注意力廣度測(cè)試項(xiàng)目、注意力穩(wěn)定性測(cè)試項(xiàng)目、注意力分配性測(cè)試項(xiàng)目、注意力轉(zhuǎn)移測(cè)試項(xiàng)目。
【文檔編號(hào)】A61B5/00GK103519788SQ201310492210
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2013年10月18日 優(yōu)先權(quán)日:2013年10月18日
【發(fā)明者】王蔚, 李卉, 張勝 申請(qǐng)人:南京師范大學(xué)