基于攝像頭的讀屏應(yīng)用指令輸入方法及裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例公開了一種基于攝像頭的讀屏應(yīng)用指令輸入方法，包括：獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)；獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)；確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。另外，本發(fā)明實(shí)施例還公開了一種基于攝像頭的讀屏應(yīng)用指令輸入裝置。采用本發(fā)明，可提高讀屏應(yīng)用的指令輸入的操作便利性。
【專利說明】
基于攝像頭的讀屏應(yīng)用指令輸入方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種基于攝像頭的讀屏應(yīng)用指令輸入方法及裝置。
【背景技術(shù)】
[0002]隨著智能手機(jī)、個(gè)人電腦等計(jì)算機(jī)設(shè)備的快速普及，各種移動(dòng)互聯(lián)網(wǎng)應(yīng)用也層出不窮，越來(lái)越多的用戶能夠真實(shí)感受到移動(dòng)互聯(lián)技術(shù)帶來(lái)的生活便利和無(wú)線樂趣;但是，社會(huì)中還有一部分特殊群體也需要使用智能手機(jī)等計(jì)算機(jī)設(shè)備，那就是有一定功能障礙的人群，例如視障人群，尤其是全盲的視障群體，完全是靠耳朵聽取聲音來(lái)操作計(jì)算機(jī)。
[0003]在使用智能手機(jī)、平板電腦、個(gè)人電腦等終端設(shè)備的輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)時(shí)，用戶界面元素及其功能會(huì)被提取出來(lái)并通過TTS(Text to Speech，文字轉(zhuǎn)語(yǔ)音技術(shù))把所選擇的文字用語(yǔ)音播放出來(lái)，以幫助用戶了解手機(jī)屏幕當(dāng)前顯示的內(nèi)容;并且，用戶可以通過在觸摸屏上進(jìn)行點(diǎn)擊、滑動(dòng)等操作，對(duì)終端進(jìn)行操作，給用戶帶來(lái)了更全面更豐富的使用體驗(yàn)，尤其是使得存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)能夠無(wú)障礙的使用智能手機(jī)等終端設(shè)備。
[0004]也就是說，用戶必須手持智能手機(jī)、鼠標(biāo)等輸入設(shè)備才能對(duì)終端進(jìn)行操作。以智能手機(jī)為例，對(duì)于用戶來(lái)講，就算有語(yǔ)音的輔助，也需要用戶用手指在顯示界面上進(jìn)行多次點(diǎn)擊或者滑動(dòng)操作。另外，若手機(jī)不在身邊，則無(wú)法進(jìn)行操作，使得用戶使用智能手機(jī)等終端設(shè)備的使用體驗(yàn)不佳。進(jìn)一步地，對(duì)于存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來(lái)講，要準(zhǔn)確快速的尋找手機(jī)也存在一定的問題，這就造成了存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)在使用手機(jī)時(shí)操作的便利性不足。
[0005]也就是說，現(xiàn)有技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的問題。

【發(fā)明內(nèi)容】

[0006]基于此，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，特提出了一種基于攝像頭的讀屏應(yīng)用指令輸入方法。
[0007]—種基于攝像頭的讀屏應(yīng)用指令輸入方法，包括:
[0008]獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)；
[0009]獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)；
[0010]確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0011]可選的，在其中一個(gè)實(shí)施例中，所述執(zhí)行所述讀屏功能操作的步驟之后還包括:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息;播放所述語(yǔ)音提示消息。
[0012]可選的，在其中一個(gè)實(shí)施例中，所述在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)的步驟之后還包括:
[0013]獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框；
[0014]所述確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作的步驟具體為:
[0015]根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。
[0016]可選的，在其中一個(gè)實(shí)施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作；
[0017]所述執(zhí)行所述讀屏功能操作的步驟具體為:根據(jù)所述音頻應(yīng)用開啟操作啟動(dòng)與所述音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。
[0018]可選的，在其中一個(gè)實(shí)施例中，所述確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作的步驟具體為:將所述目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的目標(biāo)動(dòng)作/手勢(shì)。
[0019]可選的，在其中一個(gè)實(shí)施例中，所述獲取已連接的攝像頭發(fā)送的視頻圖像的步驟之前還包括:接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對(duì)應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動(dòng)所述讀屏應(yīng)用。
[0020]可選的，在其中一個(gè)實(shí)施例中，所述在預(yù)設(shè)的動(dòng)作/動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/動(dòng)作/手勢(shì)的步驟之后還包括:獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/動(dòng)作/手勢(shì)的反饋信息;或獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/動(dòng)作/手勢(shì)的反饋信息;所述方法還包括:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。
[0021]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，還提出了一種基于攝像頭的讀屏應(yīng)用指令輸入裝置。
[0022]—種基于攝像頭的讀屏應(yīng)用指令輸入裝置，包括:
[0023]視頻圖像采集模塊，用于獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)；
[0024]目標(biāo)手勢(shì)查找模塊，用于獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)；
[0025]操作確定執(zhí)行模塊，用于確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0026]可選的，在其中一個(gè)實(shí)施例中，所述裝置還包括語(yǔ)音提示消息播放模塊，用于:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息;播放所述語(yǔ)音提示消息。
[0027]可選的，在其中一個(gè)實(shí)施例中，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。
[0028]可選的，在其中一個(gè)實(shí)施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作;所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動(dòng)與所述音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。
[0029]可選的，在其中一個(gè)實(shí)施例中，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的目標(biāo)動(dòng)作/手勢(shì)。
[0030]可選的，在其中一個(gè)實(shí)施例中，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對(duì)應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動(dòng)所述讀屏應(yīng)用。
[0031]可選的，在其中一個(gè)實(shí)施例中，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫(kù)更新模塊，其中:所述反饋信息獲取模塊用于:獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/動(dòng)作/手勢(shì)的反饋信息;或獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息;所述數(shù)據(jù)庫(kù)更新模塊用于:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。
[0032]實(shí)施本發(fā)明實(shí)施例，將具有如下有益效果:
[0033]采用了上述基于攝像頭的讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過手部動(dòng)作或者身體動(dòng)作等運(yùn)動(dòng)操作數(shù)據(jù)，在與終端相連的攝像頭的覆蓋范圍下，用戶的手部動(dòng)作或者身體動(dòng)作均可以被識(shí)別并被轉(zhuǎn)化為對(duì)應(yīng)的動(dòng)作/手勢(shì)操作，從而確定用戶需要輸入的與讀屏應(yīng)用對(duì)應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入并由讀屏軟件將相應(yīng)的操作指令發(fā)送給計(jì)算機(jī)對(duì)應(yīng)的裝置進(jìn)行執(zhí)行，實(shí)現(xiàn)了用戶通過運(yùn)動(dòng)操作數(shù)據(jù)向終端的讀屏應(yīng)用輸入指令和讀屏軟件將操作指令的輸出，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實(shí)體按鍵或觸控屏輸入指令的方案來(lái)講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實(shí)現(xiàn)了在用戶不手持終端的情況下也可操作終端，對(duì)讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，只要其在終端的攝像頭的覆蓋范圍之內(nèi)，都可以對(duì)終端進(jìn)行遙控操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對(duì)存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來(lái)講，其操作便利性的提高尤為明顯。
【附圖說明】
[0034]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0035]其中:
[0036]圖1為一個(gè)實(shí)施例中一種基于攝像頭的讀屏應(yīng)用指令輸入方法的流程示意圖；
[0037]圖2為另一個(gè)實(shí)施例中一種基于攝像頭的讀屏應(yīng)用指令輸入方法的流程示意圖；
[0038]圖3為一個(gè)實(shí)施例中動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的反饋更新方法的流程示意圖；
[0039]圖4為一個(gè)實(shí)施例中一種基于攝像頭的讀屏應(yīng)用指令輸入裝置的結(jié)構(gòu)示意圖；
[0040]圖5為一個(gè)實(shí)施例中運(yùn)行前述基于攝像頭的讀屏應(yīng)用指令輸入方法的計(jì)算機(jī)設(shè)備的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0041]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0042]為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，在本實(shí)施例中，特提出了一種基于攝像頭的讀屏應(yīng)用指令輸入方法，該方法的實(shí)現(xiàn)可依賴于計(jì)算機(jī)程序，該計(jì)算機(jī)程序可運(yùn)行于基于馮諾依曼體系的計(jì)算機(jī)系統(tǒng)之上，該計(jì)算機(jī)程序可以是與基于攝像頭的體感識(shí)別功能對(duì)應(yīng)的與Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用、與輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)關(guān)聯(lián)的與攝像頭對(duì)應(yīng)的體感識(shí)別/動(dòng)作識(shí)別的應(yīng)用程序。該計(jì)算機(jī)系統(tǒng)可以是與外部攝像頭設(shè)備連接的智能手機(jī)、平板電腦、掌上電腦、筆記本電腦或個(gè)人電腦等計(jì)算機(jī)設(shè)備。
[0043]需要說明的是，終端的讀屏應(yīng)用，有些是用戶安裝的，有些也可能是原先就內(nèi)置的:例如基于1S系統(tǒng)的voiceover就是內(nèi)置的，基于windows系統(tǒng)的NVDA就是用戶安裝的第三方軟件。
[0044]具體的，如圖1所示，上述基于攝像頭的讀屏應(yīng)用指令輸入方法包括如下步驟:
[0045]步驟SlOl:獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)。
[0046]本實(shí)施例所提及的攝像頭指的是與終端相連的外部攝像頭，例如固定安裝在房間某處的攝像頭，并且，該攝像頭中包含了通訊模塊，并且通過該通訊模塊與終端之間建立通信連接(有線通信連接或無(wú)線通信連接，例如WIFI連接、藍(lán)牙連接以及其他無(wú)線通訊連接方式)，并通過上述有線通信連接或無(wú)線通信連接將采集到的視頻數(shù)據(jù)發(fā)送給終端。進(jìn)一步地，在本實(shí)施例中，上述攝像頭可為單目攝像頭，也可為多攝像頭，例如，可使用多個(gè)攝像頭從不同角度采集的視頻圖像獲取對(duì)應(yīng)的深度圖、或者獲取對(duì)應(yīng)的三維圖像。
[0047]在本步驟中，終端通過攝像頭采集到的視頻圖像之后，對(duì)該視頻圖像進(jìn)行圖像處理，獲取該視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)，獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程即為圖像識(shí)別的過程。
[0048]具體的，在本實(shí)施例中，上述運(yùn)動(dòng)操作數(shù)據(jù)可以是用戶的手部動(dòng)作信息(即手勢(shì)操作)，也可以是用戶的肢體動(dòng)作信息(即動(dòng)作操作)，在其他實(shí)施例中，運(yùn)動(dòng)操作數(shù)據(jù)還可以是其他可以表示與用戶對(duì)應(yīng)的運(yùn)動(dòng)操作對(duì)應(yīng)的數(shù)據(jù)或信息。
[0049]在一個(gè)實(shí)施例中，上述圖像識(shí)別獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程可以是:根據(jù)視頻圖像的每一個(gè)圖像幀，獲取每個(gè)圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個(gè)圖像幀之間的變化，從而獲取用戶手部的運(yùn)動(dòng)軌跡或者肢體動(dòng)作。
[0050]在另一個(gè)實(shí)施例中，上述圖像識(shí)別獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程還可以是，獲取視頻圖像的每一個(gè)圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個(gè)圖像幀中確定手部的待測(cè)特征點(diǎn)，并根據(jù)視頻圖像中的每個(gè)圖像幀的手部待測(cè)特征點(diǎn)，確定用戶雙手的動(dòng)作軌跡/動(dòng)作名稱和/或位置。
[0051]需要說明的是，在本實(shí)施例中，上述圖像識(shí)別的過程的具體實(shí)現(xiàn)方式不限于上述給出的具體圖像識(shí)別方式，還可以包括其他可提取視頻圖像中用戶手部動(dòng)作或肢體動(dòng)作的任意圖像識(shí)別算法，在這里不一一列舉。
[0052]步驟S102:獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)。
[0053]在本實(shí)施例中，將運(yùn)動(dòng)操作數(shù)據(jù)與預(yù)設(shè)的參數(shù)進(jìn)行匹配時(shí)，是通過對(duì)運(yùn)動(dòng)操作數(shù)據(jù)的特征參數(shù)進(jìn)行比對(duì)的，例如，在運(yùn)動(dòng)操作數(shù)據(jù)為用戶手部的運(yùn)動(dòng)軌跡時(shí)，需要對(duì)該運(yùn)動(dòng)軌跡的預(yù)設(shè)數(shù)量的特征點(diǎn)的位置以及該運(yùn)動(dòng)軌跡的形成時(shí)長(zhǎng)進(jìn)行比對(duì)，因此，在獲取到運(yùn)動(dòng)操作數(shù)據(jù)之后，需要對(duì)該運(yùn)動(dòng)操作數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和/或特征提取，獲取與該運(yùn)動(dòng)操作數(shù)據(jù)對(duì)應(yīng)的特征參數(shù)。
[0054]例如，特征數(shù)據(jù)可以是用戶手部動(dòng)作的運(yùn)動(dòng)軌跡或者用戶手部的指尖動(dòng)作的運(yùn)動(dòng)軌跡對(duì)應(yīng)的特征點(diǎn)的位置信息、運(yùn)動(dòng)軌跡的形成時(shí)長(zhǎng)，也可以是動(dòng)作幅度大小等信息。特征數(shù)據(jù)是用來(lái)與預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的動(dòng)作/手勢(shì)樣本中的相關(guān)參數(shù)進(jìn)行比對(duì)的。
[0055]在本實(shí)施例中，讀屏應(yīng)用可識(shí)別的手勢(shì)包括但不限于左劃、右劃、上下滑動(dòng)、雙擊、單擊等，相應(yīng)的，對(duì)可識(shí)別的動(dòng)作也不做限制，用戶可根據(jù)需要設(shè)置多個(gè)動(dòng)作/手勢(shì)。
[0056]動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)是讀屏應(yīng)用中預(yù)設(shè)的操作動(dòng)作/手勢(shì)，也就是說，當(dāng)檢測(cè)到與動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)匹配的操作動(dòng)作/手勢(shì)時(shí)，即可將該操作動(dòng)作/手勢(shì)判定為有效動(dòng)作/手勢(shì)，否則判定為無(wú)效操作動(dòng)作/手勢(shì)。
[0057]在本實(shí)施例中，需預(yù)先設(shè)定動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)與通過攝像頭識(shí)別的用戶的運(yùn)動(dòng)操作數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，也即設(shè)定動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)與通過步驟SlOl中識(shí)別的運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系。在上述對(duì)應(yīng)關(guān)系建立之后，可通過該對(duì)應(yīng)關(guān)系在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與特征數(shù)據(jù)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)，即與攝像頭采集到的視頻圖像中與用戶相關(guān)的運(yùn)動(dòng)操作數(shù)據(jù)通過可穿戴設(shè)備輸入的運(yùn)動(dòng)操作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)。
[0058]需要說明的是，在本實(shí)施例中，在目標(biāo)動(dòng)作/手勢(shì)與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的。例如，在特征數(shù)據(jù)是特征點(diǎn)信息時(shí)，上述匹配關(guān)系可以是與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的預(yù)設(shè)軌跡上的特征點(diǎn)與運(yùn)動(dòng)軌跡數(shù)據(jù)上的特征點(diǎn)的匹配度超過預(yù)設(shè)值，在其他實(shí)施例中，在特征數(shù)據(jù)是運(yùn)動(dòng)軌跡的幅度、長(zhǎng)度、時(shí)長(zhǎng)等信息時(shí)，上述匹配關(guān)系還可以是運(yùn)動(dòng)軌跡的幅度、長(zhǎng)度、時(shí)長(zhǎng)等參數(shù)滿足與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的預(yù)設(shè)值。
[0059]步驟S103:確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0060]具體實(shí)現(xiàn)中，在讀屏應(yīng)用中，每一個(gè)操作動(dòng)作/手勢(shì)均對(duì)應(yīng)了一個(gè)具體的操作指令，例如，可以設(shè)置“單擊”對(duì)應(yīng)的選中觸摸點(diǎn)所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語(yǔ)音消息，還可以設(shè)置“雙擊”對(duì)應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁(yè)面。
[0061]在本實(shí)施例中，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個(gè)頁(yè)面、改變讀屏選中框的位置等。并且，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對(duì)應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)步驟SlOl中輸入的運(yùn)動(dòng)操作數(shù)據(jù)為晃動(dòng)兩下時(shí)，對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)可以為輕點(diǎn)兩下，對(duì)應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁(yè)面/鏈接。
[0062]可選的，在一個(gè)實(shí)施例中，在步驟S103之后，針對(duì)讀屏功能操作的執(zhí)行結(jié)果，用戶還可以通過語(yǔ)音播放的形式獲知相關(guān)的指令執(zhí)行結(jié)果，以便用戶在不用查看終端的顯示屏幕上的相關(guān)內(nèi)容的情況下，通過聲音獲知相關(guān)的讀屏功能操作的執(zhí)行情況。
[0063]具體的，如圖2所示，在步驟S103:執(zhí)行所述讀屏功能操作之后還包括如下步驟:
[0064]步驟S104:獲取所述讀屏功能操作的執(zhí)行結(jié)果；
[0065]步驟S105:在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息；
[0066]步驟S106:播放所述語(yǔ)音提示消息。
[0067]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個(gè)空間或者圖片等信息，還例如，移動(dòng)了當(dāng)前顯示界面上的徐中框所在的位置，再例如，打開了一個(gè)新的操作頁(yè)面等。
[0068]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁(yè)面時(shí)，語(yǔ)音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，則語(yǔ)音提示消息可以是:選中按鈕“返回”。
[0069]在一個(gè)實(shí)施例中，可以根據(jù)終端的顯示界面上的具體內(nèi)容確定步驟S103中所執(zhí)行的讀屏功能操作的具體內(nèi)容。
[0070]具體的，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)的步驟之后還包括:獲取終端的當(dāng)前顯示界面，獲取當(dāng)前顯示界面的讀屏功能選中框;并且，確定與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作的步驟具體為:根據(jù)當(dāng)前顯示界面的讀屏功能選中框確定與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。
[0071]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框?yàn)轱@示界面上與讀屏應(yīng)用對(duì)應(yīng)的選中框，一般來(lái)講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個(gè)，讀屏功能選中框可以對(duì)應(yīng)一個(gè)按鈕，也可以對(duì)應(yīng)一個(gè)圖標(biāo)、或者一個(gè)控件、或者一段文字、或者一個(gè)鏈接等。
[0072]需要說明的是，在本實(shí)施例中，若讀屏功能選中框?qū)?yīng)的是一個(gè)可操作的按鈕，則針對(duì)該讀屏功能選中框的操作包括但不限于點(diǎn)擊進(jìn)去、移動(dòng)選中框、返回上一級(jí)目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對(duì)該讀屏功能選中框的操作可以是移動(dòng)選中框，卻不能是點(diǎn)擊進(jìn)入等操作。因此，針對(duì)讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的操作指令也會(huì)隨之發(fā)生改變。
[0073]具體的，根據(jù)當(dāng)前顯示界面的讀屏功能選中框，確定與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，并在步驟S103中執(zhí)行該讀屏功能操作。
[0074]在另一個(gè)實(shí)施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來(lái)確定。具體的，確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作具體為:將目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的讀屏功能操作。
[0075]也就是說，在步驟S102中查找到目標(biāo)動(dòng)作/手勢(shì)之后，將該目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動(dòng)作/手勢(shì)之后，根據(jù)該目標(biāo)動(dòng)作/手勢(shì)在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫(kù)中，根據(jù)操作動(dòng)作/手勢(shì)與讀屏功能操作之間的對(duì)應(yīng)關(guān)系，查找與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。主要說明的是，在本實(shí)施例中，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作是唯一的，且若沒有查找到對(duì)應(yīng)的讀屏功能操作，則將對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)判定為無(wú)效操作動(dòng)作/手勢(shì)。即對(duì)于讀屏應(yīng)用來(lái)講，本實(shí)施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)果，只需要一個(gè)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0076]在一個(gè)實(shí)施例中，讀屏功能操作為音頻應(yīng)用開啟操作;執(zhí)行讀屏功能操作的步驟具體為:根據(jù)音頻應(yīng)用開啟操作啟動(dòng)與音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。
[0077]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟操作對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)以及與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟操作對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)與運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系;從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對(duì)于視覺障礙的殘障人員來(lái)講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0078]在本實(shí)施例中，如圖2所示，可選的步驟還包括:在步驟SlOI:接收已連接的可穿戴設(shè)備發(fā)送的運(yùn)動(dòng)操作數(shù)據(jù)的運(yùn)動(dòng)軌跡數(shù)據(jù)之前還包括步驟SlOO:接收用戶輸入的讀屏應(yīng)用開啟指令，讀屏應(yīng)用開啟指令與讀屏應(yīng)用對(duì)應(yīng)，根據(jù)讀屏應(yīng)用開啟指令啟動(dòng)讀屏應(yīng)用。
[0079]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對(duì)應(yīng)的應(yīng)用開啟指令，對(duì)于視覺障礙的殘障人員來(lái)講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點(diǎn)擊Home鍵3次，當(dāng)終端檢測(cè)到用戶輸入的讀屏應(yīng)用開啟指令時(shí)，根據(jù)檢測(cè)到的讀屏應(yīng)用開啟指令啟動(dòng)讀屏應(yīng)用，將終端設(shè)置為讀屏模式。
[0080]可選的，在一個(gè)實(shí)施例中，還可以根據(jù)用戶每次輸入的運(yùn)動(dòng)操作對(duì)數(shù)據(jù)庫(kù)進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的運(yùn)動(dòng)操作和用戶的輸入習(xí)慣，建立與用戶對(duì)應(yīng)的個(gè)性化動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫(kù)的比對(duì)更為快速和精準(zhǔn)。
[0081 ]具體的，所述在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)的步驟之后，如圖3所示，上述方法還包括:
[0082]步驟S2011:獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息；或步驟S2012:獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息；
[0083]步驟S202:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù)；
[0084]步驟S203:根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。
[0085]反饋信息包括了目標(biāo)動(dòng)作/手勢(shì)的查找結(jié)果不符合用戶預(yù)期時(shí)用戶在相應(yīng)的反饋?lái)?yè)面輸入的反饋信息，還包括了用戶輸入的運(yùn)動(dòng)操作的具體的操作參數(shù)與預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息可以是用戶手動(dòng)反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0086]在反饋信息獲取到之后，根據(jù)反饋信息的具體內(nèi)容，對(duì)預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對(duì)應(yīng)關(guān)系進(jìn)行修正，然后更新動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)，以便下一次用戶輸入相應(yīng)操作時(shí)使用的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)為更新后的數(shù)據(jù)庫(kù)。
[0087]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在的操作的便利性不足的技術(shù)問題，在一個(gè)實(shí)施例中，還提出了一種基于攝像頭的讀屏應(yīng)用指令輸入裝置，如圖4所示，上述裝置包括視頻圖像采集模塊101、目標(biāo)動(dòng)作/手勢(shì)查找模塊102以及操作確定執(zhí)行模塊103。
[0088]具體的，視頻圖像采集模塊101，用于獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)。
[0089]本實(shí)施例所提及的攝像頭指的是與終端相連的外部攝像頭，例如固定安裝在房間某處的攝像頭，并且，該攝像頭中包含了通訊模塊，并且通過該通訊模塊與終端之間建立通信連接(有線通信連接或無(wú)線通信連接，例如WIFI連接、藍(lán)牙連接以及其他無(wú)線通訊連接方式)，并通過上述有線通信連接或無(wú)線通信連接將采集到的視頻數(shù)據(jù)發(fā)送給終端。進(jìn)一步地，在本實(shí)施例中，上述攝像頭可為單目攝像頭，也可為多攝像頭，例如，可使用多個(gè)攝像頭從不同角度采集的視頻圖像獲取對(duì)應(yīng)的深度圖、或者獲取對(duì)應(yīng)的三維圖像。
[0090]視頻圖像采集模塊101在后去到攝像頭發(fā)送的視頻圖像之后，對(duì)該視頻圖像進(jìn)行圖像處理，獲取該視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)，獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程即為圖像識(shí)別的過程。
[0091]具體的，在本實(shí)施例中，上述運(yùn)動(dòng)操作數(shù)據(jù)可以是用戶的手部動(dòng)作信息(即手勢(shì)操作)，也可以是用戶的肢體動(dòng)作信息(即動(dòng)作操作)，在其他實(shí)施例中，運(yùn)動(dòng)操作數(shù)據(jù)還可以是其他可以表示與用戶對(duì)應(yīng)的運(yùn)動(dòng)操作對(duì)應(yīng)的數(shù)據(jù)或信息。
[0092]在一個(gè)實(shí)施例中，上述圖像識(shí)別獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程可以是:視頻圖像采集模塊101根據(jù)視頻圖像的每一個(gè)圖像幀，獲取每個(gè)圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個(gè)圖像幀之間的變化，從而獲取用戶手部的運(yùn)動(dòng)軌跡或者肢體動(dòng)作。
[0093]在另一個(gè)實(shí)施例中，上述圖像識(shí)別獲取運(yùn)動(dòng)操作數(shù)據(jù)的過程還可以是，視頻圖像采集模塊101獲取視頻圖像的每一個(gè)圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個(gè)圖像幀中確定手部的待測(cè)特征點(diǎn)，并根據(jù)視頻圖像中的每個(gè)圖像幀的手部待測(cè)特征點(diǎn)，確定用戶雙手的動(dòng)作軌跡/動(dòng)作名稱和/或位置。
[0094]需要說明的是，在本實(shí)施例中，上述圖像識(shí)別的過程的具體實(shí)現(xiàn)方式不限于上述給出的具體圖像識(shí)別方式，還可以包括其他可提取視頻圖像中用戶手部動(dòng)作或肢體動(dòng)作的任意圖像識(shí)別算法，在這里不一一列舉。
[0095]目標(biāo)手勢(shì)查找模塊102，用于獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)手勢(shì)。
[0096]在本實(shí)施例中，目標(biāo)手勢(shì)查找模塊102將運(yùn)動(dòng)操作數(shù)據(jù)與預(yù)設(shè)的參數(shù)進(jìn)行匹配時(shí)，是通過對(duì)運(yùn)動(dòng)操作數(shù)據(jù)的特征參數(shù)進(jìn)行比對(duì)的，例如，在運(yùn)動(dòng)操作數(shù)據(jù)為用戶手部的運(yùn)動(dòng)軌跡時(shí)，需要對(duì)該運(yùn)動(dòng)軌跡的預(yù)設(shè)數(shù)量的特征點(diǎn)的位置以及該運(yùn)動(dòng)軌跡的形成時(shí)長(zhǎng)進(jìn)行比對(duì)，因此，視頻圖像采集模塊101在獲取到運(yùn)動(dòng)操作數(shù)據(jù)之后，目標(biāo)手勢(shì)查找模塊102需要對(duì)該運(yùn)動(dòng)操作數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和/或特征提取，獲取與該運(yùn)動(dòng)操作數(shù)據(jù)對(duì)應(yīng)的特征參數(shù)。
[0097]例如，特征數(shù)據(jù)可以是用戶手部動(dòng)作的運(yùn)動(dòng)軌跡或者用戶手部的指尖動(dòng)作的運(yùn)動(dòng)軌跡對(duì)應(yīng)的特征點(diǎn)的位置信息、運(yùn)動(dòng)軌跡的形成時(shí)長(zhǎng)，也可以是動(dòng)作幅度大小等信息。特征數(shù)據(jù)是用來(lái)與預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的動(dòng)作/手勢(shì)樣本中的相關(guān)參數(shù)進(jìn)行比對(duì)的。
[0098]在本實(shí)施例中，讀屏應(yīng)用可識(shí)別的手勢(shì)包括但不限于左劃、右劃、上下滑動(dòng)、雙擊、單擊等，相應(yīng)的，對(duì)可識(shí)別的動(dòng)作也不做限制，用戶可根據(jù)需要設(shè)置多個(gè)動(dòng)作/手勢(shì)。
[0099]動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)是讀屏應(yīng)用中預(yù)設(shè)的操作動(dòng)作/手勢(shì)，也就是說，當(dāng)視頻圖像采集模塊101檢測(cè)到與動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)匹配的操作動(dòng)作/手勢(shì)時(shí)，即可將該操作動(dòng)作/手勢(shì)判定為有效動(dòng)作/手勢(shì)，否則判定為無(wú)效操作動(dòng)作/手勢(shì)。
[0100]在本實(shí)施例中，需預(yù)先設(shè)定動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)與通過攝像頭識(shí)別的用戶的運(yùn)動(dòng)操作數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，也即設(shè)定動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的操作動(dòng)作/手勢(shì)與視頻圖像采集模塊101識(shí)別的運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系。在上述對(duì)應(yīng)關(guān)系建立之后，可通過該對(duì)應(yīng)關(guān)系在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與特征數(shù)據(jù)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)，即與攝像頭采集到的視頻圖像中與用戶相關(guān)的運(yùn)動(dòng)操作數(shù)據(jù)通過可穿戴設(shè)備輸入的運(yùn)動(dòng)操作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)。
[0101]需要說明的是，在本實(shí)施例中，在目標(biāo)動(dòng)作/手勢(shì)與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的。例如，在特征數(shù)據(jù)是特征點(diǎn)信息時(shí)，上述匹配關(guān)系可以是與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的預(yù)設(shè)軌跡上的特征點(diǎn)與運(yùn)動(dòng)軌跡數(shù)據(jù)上的特征點(diǎn)的匹配度超過預(yù)設(shè)值，在其他實(shí)施例中，在特征數(shù)據(jù)是運(yùn)動(dòng)軌跡的幅度、長(zhǎng)度、時(shí)長(zhǎng)等信息時(shí)，上述匹配關(guān)系還可以是運(yùn)動(dòng)軌跡的幅度、長(zhǎng)度、時(shí)長(zhǎng)等參數(shù)滿足與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的預(yù)設(shè)值。
[0102]操作確定執(zhí)行模塊103，用于確定與所述目標(biāo)手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0103]具體實(shí)現(xiàn)中，在讀屏應(yīng)用中，每一個(gè)操作動(dòng)作/手勢(shì)均對(duì)應(yīng)了一個(gè)具體的操作指令，例如，可以設(shè)置“單擊”對(duì)應(yīng)的選中觸摸點(diǎn)所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語(yǔ)音消息，還可以設(shè)置“雙擊”對(duì)應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁(yè)面。
[0104]在本實(shí)施例中，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個(gè)頁(yè)面、改變讀屏選中框的位置等。并且，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對(duì)應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)視頻圖像采集模塊101獲取的運(yùn)動(dòng)操作數(shù)據(jù)為晃動(dòng)兩下時(shí)，對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)可以為輕點(diǎn)兩下，對(duì)應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁(yè)面/鏈接。
[0105]可選的，在一個(gè)實(shí)施例中，如圖4所示，所述裝置還包括語(yǔ)音提示消息播放模塊104，用于:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息;播放所述語(yǔ)音提示消息。
[0106]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個(gè)空間或者圖片等信息，還例如，移動(dòng)了當(dāng)前顯示界面上的徐中框所在的位置，再例如，打開了一個(gè)新的操作頁(yè)面等。
[0107]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁(yè)面時(shí)，語(yǔ)音提示消息播放模塊104播放的語(yǔ)音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，則語(yǔ)音提示消息播放模塊104播放的語(yǔ)音提示消息可以是:選中按鈕“返回”。
[0108]在一個(gè)實(shí)施例中，可以根據(jù)終端的顯示界面上的具體內(nèi)容確定操作確定執(zhí)行模塊103所執(zhí)行的讀屏功能操作的具體內(nèi)容。
[0109]具體的，如圖4所示，所述裝置還包括顯示界面獲取模塊105，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;所述操作確定執(zhí)行模塊103還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。
[0110]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框?yàn)轱@示界面上與讀屏應(yīng)用對(duì)應(yīng)的選中框，一般來(lái)講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個(gè)，讀屏功能選中框可以對(duì)應(yīng)一個(gè)按鈕，也可以對(duì)應(yīng)一個(gè)圖標(biāo)、或者一個(gè)控件、或者一段文字、或者一個(gè)鏈接等。
[0111]需要說明的是，在本實(shí)施例中，若讀屏功能選中框?qū)?yīng)的是一個(gè)可操作的按鈕，則針對(duì)該讀屏功能選中框的操作包括但不限于點(diǎn)擊進(jìn)去、移動(dòng)選中框、返回上一級(jí)目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對(duì)該讀屏功能選中框的操作可以是移動(dòng)選中框，卻不能是點(diǎn)擊進(jìn)入等操作。因此，針對(duì)讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的操作指令也會(huì)隨之發(fā)生改變。
[0112]具體的，根據(jù)當(dāng)前顯示界面的讀屏功能選中框，顯示界面獲取模塊105確定與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，并由操作確定執(zhí)行模塊103執(zhí)行該讀屏功能操作。
[0113]在另一個(gè)實(shí)施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來(lái)確定。
[0114]具體的，所述操作確定執(zhí)行模塊103還用于:將所述目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的讀屏功能操作。
[0115]也就是說，目標(biāo)手勢(shì)查找模塊102查找到目標(biāo)動(dòng)作/手勢(shì)之后，操作確定執(zhí)行模塊103將該目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動(dòng)作/手勢(shì)之后，根據(jù)該目標(biāo)動(dòng)作/手勢(shì)在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫(kù)中，根據(jù)操作動(dòng)作/手勢(shì)與讀屏功能操作之間的對(duì)應(yīng)關(guān)系，查找與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。
[0116]需要說明的是，在本實(shí)施例中，目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作是唯一的，且若沒有查找到對(duì)應(yīng)的讀屏功能操作，則將對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)判定為無(wú)效操作動(dòng)作/手勢(shì)。即對(duì)于讀屏應(yīng)用來(lái)講，本實(shí)施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)構(gòu)，只需要一個(gè)對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0117]在一個(gè)實(shí)施例中，讀屏功能操作為音頻應(yīng)用開啟操作;所述操作確定執(zhí)行模塊103還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動(dòng)與所述音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。
[0118]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟操作對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)以及與目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟操作對(duì)應(yīng)的目標(biāo)動(dòng)作/手勢(shì)與運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系;從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對(duì)于視覺障礙的殘障人員來(lái)講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0119]在本實(shí)施例中，可選的，如圖4所示，所述裝置還包括讀屏應(yīng)用開啟模塊106，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對(duì)應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動(dòng)所述讀屏應(yīng)用。
[0120]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對(duì)應(yīng)的應(yīng)用開啟指令，對(duì)于視覺障礙的殘障人員來(lái)講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點(diǎn)擊Home鍵3次，當(dāng)讀屏應(yīng)用開啟模塊106檢測(cè)到用戶輸入的讀屏應(yīng)用開啟指令時(shí)，根據(jù)檢測(cè)到的讀屏應(yīng)用開啟指令啟動(dòng)讀屏應(yīng)用，讀屏應(yīng)用開啟模塊106將終端設(shè)置為讀屏模式。
[0121]可選的，在一個(gè)實(shí)施例中，還可以根據(jù)用戶每次輸入的運(yùn)動(dòng)操作對(duì)數(shù)據(jù)庫(kù)進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的運(yùn)動(dòng)操作和用戶的輸入習(xí)慣，建立與用戶對(duì)應(yīng)的個(gè)性化動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫(kù)的比對(duì)更為快速和精準(zhǔn)。
[0122]具體的，如圖4所示，所述裝置還包括反饋信息獲取模塊107和數(shù)據(jù)庫(kù)更新模塊108，其中:所述反饋信息獲取模塊107用于:獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息;或獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息;所述數(shù)據(jù)庫(kù)更新模塊108用于:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。
[0123]反饋信息包括了目標(biāo)動(dòng)作/手勢(shì)的查找結(jié)果不符合用戶預(yù)期時(shí)用戶在相應(yīng)的反饋?lái)?yè)面輸入的反饋信息，還包括了用戶輸入的運(yùn)動(dòng)操作的具體的操作參數(shù)與預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息獲取模塊107獲取的反饋信息可以是用戶手動(dòng)反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0124]在反饋信息獲取到之后，根據(jù)反饋信息的具體內(nèi)容，數(shù)據(jù)庫(kù)更新模塊108對(duì)預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對(duì)應(yīng)關(guān)系進(jìn)行修正，然后更新動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)，以便下一次用戶輸入相應(yīng)操作時(shí)使用的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)為更新后的數(shù)據(jù)庫(kù)。
[0125]實(shí)施本發(fā)明實(shí)施例，將具有如下有益效果:
[0126]采用了上述基于攝像頭的讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過手部動(dòng)作或者身體動(dòng)作等運(yùn)動(dòng)操作數(shù)據(jù)，在與終端相連的攝像頭的覆蓋范圍下，用戶的手部動(dòng)作或者身體動(dòng)作均可以被識(shí)別并被轉(zhuǎn)化為對(duì)應(yīng)的動(dòng)作/手勢(shì)操作，從而確定用戶需要輸入的與讀屏應(yīng)用對(duì)應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入并由讀屏軟件將相應(yīng)的操作指令發(fā)送給計(jì)算機(jī)對(duì)應(yīng)的裝置進(jìn)行執(zhí)行，實(shí)現(xiàn)了用戶通過運(yùn)動(dòng)操作數(shù)據(jù)向終端的讀屏應(yīng)用輸入指令和讀屏軟件將操作指令的輸出，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實(shí)體按鍵或觸控屏輸入指令的方案來(lái)講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實(shí)現(xiàn)了在用戶不手持終端的情況下也可操作終端，對(duì)讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，只要其在終端的攝像頭的覆蓋范圍之內(nèi)，都可以對(duì)終端進(jìn)行遙控操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對(duì)存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來(lái)講，其操作便利性的提高尤為明顯。
[0127]在一個(gè)實(shí)施例中，如圖5所示，圖5展示了一種運(yùn)行上述基于攝像頭的讀屏應(yīng)用指令輸入方法的基于馮諾依曼體系的計(jì)算機(jī)系統(tǒng)的終端。該計(jì)算機(jī)系統(tǒng)可以是與外部攝像頭連接的的智能手機(jī)、平板電腦、掌上電腦，筆記本電腦或個(gè)人電腦等終端設(shè)備。具體的，可包括通過系統(tǒng)總線連接的外部輸入接口 1001、處理器1002、存儲(chǔ)器1003和輸出接口 1004。其中，外部輸入接口 1001可選的可至少包括網(wǎng)絡(luò)接口 10012。存儲(chǔ)器1003可包括外存儲(chǔ)器10032(例如硬盤、光盤或軟盤等)和內(nèi)存儲(chǔ)器10034。輸出接口 1004可至少包括顯示屏10042等設(shè)備。
[0128]在本實(shí)施例中，本方法的運(yùn)行基于計(jì)算機(jī)程序，該計(jì)算機(jī)程序的程序文件存儲(chǔ)于前述基于馮諾依曼體系的計(jì)算機(jī)系統(tǒng)的外存儲(chǔ)器10032中，在運(yùn)行時(shí)被加載到內(nèi)存儲(chǔ)器10034中，然后被編譯為機(jī)器碼之后傳遞至處理器1002中執(zhí)行，從而使得基于馮諾依曼體系的計(jì)算機(jī)系統(tǒng)中形成邏輯上的視頻圖像采集模塊101、目標(biāo)手勢(shì)查找模塊102以及操作確定執(zhí)行模塊103。且在上述基于攝像頭的讀屏應(yīng)用指令輸入方法執(zhí)行過程中，輸入的參數(shù)均通過外部輸入接口 1001接收，并傳遞至存儲(chǔ)器1003中緩存，然后輸入到處理器1002中進(jìn)行處理，處理的結(jié)果數(shù)據(jù)或緩存于存儲(chǔ)器1003中進(jìn)行后續(xù)地處理，或被傳遞至輸出接口 1004進(jìn)行輸出。
[0129]以上所揭露的僅為本發(fā)明較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【主權(quán)項(xiàng)】
1.一種基于攝像頭的讀屏應(yīng)用指令輸入方法，其特征在于，包括: 獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)； 獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)； 確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。2.根據(jù)權(quán)利要求1所示的方法，其特征在于，所述執(zhí)行所述讀屏功能操作的步驟之后還包括: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息; 播放所述語(yǔ)音提示消息。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)的步驟之后還包括: 獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作的步驟具體為: 根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述執(zhí)行所述讀屏功能操作的步驟具體為: 根據(jù)所述音頻應(yīng)用開啟操作啟動(dòng)與所述音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作的步驟具體為: 將所述目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的讀屏功能操作。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取已連接的攝像頭發(fā)送的視頻圖像的步驟之前還包括: 接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對(duì)應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動(dòng)所述讀屏應(yīng)用。7.根據(jù)權(quán)利要求1至6任一所述的方法，其特征在于，所述在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)的步驟之后還包括: 獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息； 所述方法還包括: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù)； 根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。8.一種基于攝像頭的讀屏應(yīng)用指令輸入裝置，其特征在于，包括: 視頻圖像采集模塊，用于獲取已連接的攝像頭發(fā)送的視頻圖像，識(shí)別所述視頻圖像中的運(yùn)動(dòng)操作數(shù)據(jù)； 目標(biāo)動(dòng)作/手勢(shì)查找模塊，用于獲取所述運(yùn)動(dòng)操作數(shù)據(jù)的特征數(shù)據(jù)，在預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動(dòng)作/手勢(shì)； 操作確定執(zhí)行模塊，用于確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括語(yǔ)音提示消息播放模塊，用于: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語(yǔ)音數(shù)據(jù)庫(kù)中查找與所述讀屏功能操作的執(zhí)行結(jié)果對(duì)應(yīng)的語(yǔ)音提示消息; 播放所述語(yǔ)音提示消息。10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動(dòng)作/手勢(shì)對(duì)應(yīng)的讀屏功能操作。11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動(dòng)與所述音頻應(yīng)用開啟操作對(duì)應(yīng)的音頻應(yīng)用。12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動(dòng)作/手勢(shì)發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動(dòng)作/手勢(shì)在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫(kù)中查找與所述目標(biāo)動(dòng)作/手勢(shì)匹配的讀屏功能操作。13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對(duì)應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動(dòng)所述讀屏應(yīng)用。14.根據(jù)權(quán)利要求8至13任一所述的裝置，其特征在于，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫(kù)更新模塊，其中: 所述反饋信息獲取模塊用于: 獲取用戶輸入的針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動(dòng)作/手勢(shì)的匹配參考值，根據(jù)所述匹配參考值生成針對(duì)所述目標(biāo)動(dòng)作/手勢(shì)的反饋信息； 所述數(shù)據(jù)庫(kù)更新模塊用于: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)的更新數(shù)據(jù)； 根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動(dòng)作/手勢(shì)數(shù)據(jù)庫(kù)。
【文檔編號(hào)】G06F3/0481GK105843401SQ201610313048
【公開日】2016年8月10日
【申請(qǐng)日】2016年5月12日
【發(fā)明人】梁振宇, 張昆
【申請(qǐng)人】深圳市聯(lián)諦信息無(wú)障礙有限責(zé)任公司