本申請(qǐng)涉及計(jì)算機(jī)，尤其涉及一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別方法、系統(tǒng)及交互設(shè)備。

背景技術(shù)：

1、ar(augmentedreality，增強(qiáng)現(xiàn)實(shí)技術(shù))，它是一種將真實(shí)世界信息和虛擬世界信息“無(wú)縫”集成的技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息，通過(guò)電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。vr(virtualreality，虛擬現(xiàn)實(shí)技術(shù))，是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)，使用戶沉浸到該仿真環(huán)境中。

2、ar設(shè)備或vr設(shè)備可提供一個(gè)虛擬的環(huán)境與用戶進(jìn)行交互，一般來(lái)說(shuō)，ar設(shè)備或vr設(shè)備的載體通常為交互手柄或者交互式腕帶設(shè)備，在進(jìn)行手指交互識(shí)別時(shí)，交互設(shè)備通過(guò)多種傳感器采集手部運(yùn)動(dòng)信息，通過(guò)識(shí)別手指動(dòng)作和姿態(tài)，對(duì)接觸平面的手指數(shù)量以及手指的運(yùn)動(dòng)模式進(jìn)行分類，從而得到相應(yīng)的手指動(dòng)作指令，將識(shí)別出的手指動(dòng)作指令解碼，并在計(jì)算單元的交互指令集中進(jìn)行匹配，最終實(shí)現(xiàn)交互命令的執(zhí)行，以實(shí)現(xiàn)基于交互式設(shè)備與ar設(shè)備或vr設(shè)備的交互控制。

3、傳統(tǒng)的交互設(shè)備上設(shè)備有多種傳感器，比如：紅外相機(jī)、imu，振動(dòng)傳感器、觸摸傳感器、壓力傳感器等，雖然這種方法提供了豐富的信息來(lái)源，但它也導(dǎo)致了數(shù)據(jù)冗雜、處理流程繁瑣、計(jì)算響應(yīng)時(shí)長(zhǎng)高等問(wèn)題。在預(yù)測(cè)手指按壓次數(shù)和手指動(dòng)作分類時(shí)，這種方法可能產(chǎn)生錯(cuò)誤，降低了整體預(yù)測(cè)與分類的準(zhǔn)確性。其次，現(xiàn)有的交互設(shè)備所提供的手指動(dòng)作識(shí)別方法通常獨(dú)立地處理不同傳感器的數(shù)據(jù)，沒(méi)有充分利用它們之間的關(guān)聯(lián)信息。這種獨(dú)立處理的方式可能導(dǎo)致手指動(dòng)作分類(手指敲擊與滑動(dòng))的準(zhǔn)確性受到限制，尤其是在傳感器數(shù)據(jù)不完整或噪聲干擾較大的情況下。

4、由此可見(jiàn)，目前亟需一種計(jì)算響應(yīng)迅速且操作指令識(shí)別準(zhǔn)確的手部動(dòng)作識(shí)別方法。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別方法，用以解決現(xiàn)有虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備手指動(dòng)作分類正確率低，虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備操作需借助觸摸傳感器，因而造成使用場(chǎng)景受限以及操作不便的問(wèn)題。

2、本申請(qǐng)實(shí)施例還提供一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別系統(tǒng)，用以解決現(xiàn)有虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備手指動(dòng)作分類正確率低，虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備操作需借助觸摸傳感器，因而造成使用場(chǎng)景受限以及操作不便的問(wèn)題。

3、本申請(qǐng)實(shí)施例還提供一種交互設(shè)備，用以解決現(xiàn)有虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備手指動(dòng)作分類正確率低，虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備操作需借助觸摸傳感器，因而造成使用場(chǎng)景受限以及操作不便的問(wèn)題。

4、本申請(qǐng)實(shí)施例采用下述技術(shù)方案：

5、一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別方法，包括：通過(guò)交互設(shè)備上預(yù)設(shè)的傳感器，采集手部動(dòng)作數(shù)據(jù)，其中，所述傳感器包括紅外圖像傳感器以及慣性測(cè)量單元imu；根據(jù)所述手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入；當(dāng)判斷結(jié)果為是時(shí)，將所述手部動(dòng)作數(shù)據(jù)輸入預(yù)先訓(xùn)練的手部指令識(shí)別模型，進(jìn)行手部動(dòng)作指令識(shí)別；根據(jù)所述手部指令識(shí)別模型，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，其中，所述接觸手指數(shù)量用于表示用戶與所述交互設(shè)備操作平面發(fā)生接觸的手指數(shù)量；根據(jù)所述手部動(dòng)作類型信息以及接觸手指數(shù)量信息，確定所述手部動(dòng)作數(shù)據(jù)所對(duì)應(yīng)的操作指令，并輸出所述操作指令。

6、一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別系統(tǒng)，包括：采集單元，用于通過(guò)交互設(shè)備上預(yù)設(shè)的傳感器，采集手部動(dòng)作數(shù)據(jù)，其中，所述傳感器包括紅外圖像傳感器以及慣性測(cè)量單元imu；指令輸入判斷單元，用于根據(jù)所述手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入；指令識(shí)別單元，用于當(dāng)指令輸入判斷單元得到的判斷結(jié)果為是時(shí)，將所述手部動(dòng)作數(shù)據(jù)輸入預(yù)先訓(xùn)練的手部指令識(shí)別模型，進(jìn)行手部動(dòng)作指令識(shí)別；預(yù)測(cè)單元，用于根據(jù)所述手部指令識(shí)別模型，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，其中，所述接觸手指數(shù)量用于表示用戶與所述交互設(shè)備操作平面發(fā)生接觸的手指數(shù)量；指令輸出單元，用于根據(jù)所述手部動(dòng)作類型信息以及接觸手指數(shù)量信息，確定所述手部動(dòng)作數(shù)據(jù)所對(duì)應(yīng)的操作指令，并輸出所述操作指令。

7、一種交互設(shè)備，包括：交互腕帶本體、計(jì)算模塊和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算模塊用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，以實(shí)施以下操作：通過(guò)交互設(shè)備上預(yù)設(shè)的傳感器，采集手部動(dòng)作數(shù)據(jù)，其中，所述傳感器包括紅外圖像傳感器以及慣性測(cè)量單元imu；根據(jù)所述手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入；當(dāng)判斷結(jié)果為是時(shí)，將所述手部動(dòng)作數(shù)據(jù)輸入預(yù)先訓(xùn)練的手部指令識(shí)別模型，進(jìn)行手部動(dòng)作指令識(shí)別；根據(jù)所述手部指令識(shí)別模型，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，其中，所述接觸手指數(shù)量用于表示用戶與所述交互設(shè)備操作平面發(fā)生接觸的手指數(shù)量；根據(jù)所述手部動(dòng)作類型信息以及接觸手指數(shù)量信息，確定所述手部動(dòng)作數(shù)據(jù)所對(duì)應(yīng)的操作指令，并輸出所述操作指令。

8、本申請(qǐng)實(shí)施例采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

9、用戶使用腕帶式交互設(shè)備操作虛擬增強(qiáng)現(xiàn)實(shí)時(shí)，可以通過(guò)交互設(shè)備上預(yù)設(shè)的傳感器，采集手部動(dòng)作數(shù)據(jù)；并根據(jù)手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入；當(dāng)判斷結(jié)果為是時(shí)，將所述手部動(dòng)作數(shù)據(jù)輸入預(yù)先訓(xùn)練的手部指令識(shí)別模型，進(jìn)行手部動(dòng)作指令識(shí)別；根據(jù)所述手部指令識(shí)別模型，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，其中，所述接觸手指數(shù)量用于表示用戶與所述交互設(shè)備操作平面發(fā)生接觸的手指數(shù)量；根據(jù)所述手部動(dòng)作類型信息以及接觸手指數(shù)量信息，確定所述手部動(dòng)作數(shù)據(jù)所對(duì)應(yīng)的操作指令，并輸出所述操作指令。采用本申請(qǐng)實(shí)施例所提供的方法，首先對(duì)交互設(shè)備的傳感器數(shù)量進(jìn)行了優(yōu)化，在交互設(shè)備上僅設(shè)置了紅外相機(jī)和慣性測(cè)量單元imu，通過(guò)紅外相機(jī)捕捉成像信息，確定手指接觸數(shù)量，利用imu實(shí)時(shí)捕獲手指加速度、角速度等信息，判斷滑動(dòng)或敲擊動(dòng)作，相比于傳統(tǒng)冗余的多傳感器，只搭載紅外相機(jī)和imu的交互設(shè)備從重量，功耗，發(fā)熱量，計(jì)算消耗的層面來(lái)講更加輕量化，增強(qiáng)了用戶的佩戴舒適度；其次，基于深度神經(jīng)網(wǎng)絡(luò)模型的圖像與imu融合的方法，充分利用圖像與imu之間的關(guān)聯(lián)信息，能夠同時(shí)實(shí)現(xiàn)高準(zhǔn)確率的手指動(dòng)作分類，在簡(jiǎn)化待處理數(shù)據(jù)量的同時(shí)，提高預(yù)測(cè)和分類準(zhǔn)確性，優(yōu)化系統(tǒng)性能和實(shí)用性。

技術(shù)特征：

1.一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集手部動(dòng)作數(shù)據(jù)，具體包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入，具體包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述手部指令識(shí)別模型，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，具體包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述融合特征向量，對(duì)所述手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息，具體包括：

6.一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別系統(tǒng)，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述指令輸入判斷單元，具體用于：

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述預(yù)測(cè)單元，具體用于：

9.一種交互設(shè)備，其特征在于，包括：

10.根據(jù)權(quán)利要求9所述的交互設(shè)備，其特征在于，所述交互腕帶本體，包括：

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備的指令識(shí)別方法，用以解決現(xiàn)有虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備手指動(dòng)作分類正確率低，虛擬增強(qiáng)現(xiàn)實(shí)交互設(shè)備操作需借助觸摸傳感器，因而造成使用場(chǎng)景受限以及操作不便的問(wèn)題。方法包括：通過(guò)交互設(shè)備上預(yù)設(shè)的傳感器，采集手部動(dòng)作數(shù)據(jù)；根據(jù)手部動(dòng)作數(shù)據(jù)，判斷用戶是否觸發(fā)指令輸入；當(dāng)判斷結(jié)果為是時(shí)，將手部動(dòng)作數(shù)據(jù)輸入預(yù)先訓(xùn)練的手部指令識(shí)別模型，進(jìn)行手部動(dòng)作指令識(shí)別；根據(jù)手部指令識(shí)別模型，對(duì)手部動(dòng)作數(shù)據(jù)進(jìn)行動(dòng)作分類預(yù)測(cè)以及接觸手指數(shù)量預(yù)測(cè)，分別得到手部動(dòng)作類型信息以及接觸手指數(shù)量信息；根據(jù)所述手部動(dòng)作類型信息以及接觸手指數(shù)量信息，確定所述手部動(dòng)作數(shù)據(jù)所對(duì)應(yīng)的操作指令，并輸出所述操作指令。

技術(shù)研發(fā)人員：劉峰,倪茂,崔芳
受保護(hù)的技術(shù)使用者：中國(guó)移動(dòng)通信集團(tuán)終端有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21