一種基于眼電的智能字符輸入系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型為一種基于眼電的智能字符輸入系統(tǒng)，該系統(tǒng)包括眼電采集預(yù)處理模塊、藍(lán)牙模塊、主控制器、顯示模塊、按鍵、串口波形上傳口、第一電源模塊和第二電源模塊；其中，藍(lán)牙模塊包括藍(lán)牙發(fā)送模塊和藍(lán)牙接收模塊，二者無線配對連接；眼電采集預(yù)處理模塊包括干電極、參考電極和放大濾波模塊。其中，干電極、參考電極分別與放大濾波模塊相連；放大濾波模塊與藍(lán)牙發(fā)送模塊相連；第一電源模塊分別與放大濾波模塊、藍(lán)牙發(fā)送模塊相連；藍(lán)牙接收模塊、顯示模塊、按鍵、串口波形上傳口、第二電源模塊分別與主控制器相連。本實(shí)用新型可以使患者通過簡單地眨眼與任何人進(jìn)行交流，操作不需要專業(yè)人士陪同，方便、可靠，適合于漸凍癥和高位截癱等有交流障礙的患者。
【專利說明】
一種基于眼電的智能字符輸入系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本實(shí)用新型涉及眼電信號采集、分析技術(shù)，具體為一種基于眼電的智能字符輸入 系統(tǒng)。
【背景技術(shù)】
[0002] 近十幾年來，隨著醫(yī)學(xué)技術(shù)，微電子技術(shù)，信號處理技術(shù)，生物材料技術(shù)，尤其是計(jì) 算機(jī)技術(shù)的飛速發(fā)展，使得更為復(fù)雜的人-機(jī)接口技術(shù)的誕生成為可能。在幾十年以前，利 用人類自身活動(dòng)，甚至大腦意念來與外部世界直接交流是一件不可想象的事。然而，隨著 人-機(jī)接口（Human-Computer Interface，HCI)技術(shù)的不斷發(fā)展，這一切已經(jīng)成為可能。
[0003] 去年夏天的冰桶挑戰(zhàn)引起了社會(huì)對漸凍癥患者的關(guān)注，它呼吁社會(huì)關(guān)注那些漸凍 癥患者，并給予幫助;2015年10月，我國四川成都的62歲漸凍人龔勛惠通過眨眼的輸入方式 撰寫自傳的事跡出現(xiàn)在各大報(bào)紙，這也引起了社會(huì)對漸凍癥患者的與外界交流問題的重 視。如果可以有一款產(chǎn)品，讓這些患者能夠隨時(shí)隨地的與周圍人群進(jìn)行交流，這將會(huì)讓患者 擺脫疾病帶來的語言、行動(dòng)障礙的束縛，擺脫孤寂與不被理解，使他們不僅能夠盡情地馳騁 在思想的海洋中還能夠?qū)⒆约旱南敕ū憬莸呐c別人溝通，能夠像正常人一樣去表達(dá)自己， 這將會(huì)大大提高患者的生活質(zhì)量。 【實(shí)用新型內(nèi)容】
[0004] 基于上述漸凍癥及相關(guān)疾病引發(fā)的患者肢體不能運(yùn)動(dòng)、語言能力喪失的問題，本 實(shí)用新型的目的旨在提供一種能夠通過眨眼動(dòng)作控制字符輸入的智能可穿戴系統(tǒng)，該系統(tǒng) 通過信號采集部分與信號分析、字符輸入部分分離設(shè)計(jì)，數(shù)據(jù)通過藍(lán)牙無線傳輸，其中信號 采集部分可穿戴。ThinkGear AM芯片采集眼電信號與HT32F1765型單片機(jī)處理眼電信號組 合使用最關(guān)鍵。本實(shí)用新型采用可穿戴設(shè)計(jì)，可以幫助漸凍癥和高位截癱等有交流障礙的 患者獨(dú)自便捷的與外界進(jìn)行交流與溝通，可靠性和穩(wěn)定性均較高，具有價(jià)格便宜，操作簡便 等特點(diǎn)。
[0005] 本實(shí)用新型的技術(shù)方案是，
[0006] -種基于眼電的智能字符輸入系統(tǒng)，該系統(tǒng)包括眼電采集預(yù)處理模塊、藍(lán)牙模塊、 主控制器、顯示模塊、按鍵、串口波形上傳口、第一電源模塊和第二電源模塊;其中，藍(lán)牙模 塊包括藍(lán)牙發(fā)送模塊和藍(lán)牙接收模塊，二者無線配對連接；
[0007] 所述眼電采集預(yù)處理模塊包括干電極、參考電極和放大濾波模塊。其中，干電極、 參考電極分別與放大濾波模塊相連;放大濾波模塊與藍(lán)牙發(fā)送模塊相連;第一電源模塊分 別與放大濾波模塊、藍(lán)牙發(fā)送模塊相連;藍(lán)牙接收模塊、顯示模塊、按鍵、串口波形上傳口、 第二電源模塊分別與主控制器相連；
[0008] 所述的主控制器為單片機(jī);第一電池模塊為干電池，第二電池模塊為可充電電池。
[0009] 所述的主控制器為HT32F1765型單片機(jī);放大濾波模塊為ThinkGear AM芯片，串口 波形上傳口為USB轉(zhuǎn)TTL CH340模塊。
[0010] 使用時(shí)，所述的眼電采集預(yù)處理模塊、藍(lán)牙發(fā)送模塊和第一電源模塊設(shè)置在人體 身上，其中，眼電采集預(yù)處理模塊中的干電極固定在人體的額葉部，參考電極固定在人體的 耳垂部。
[0011] 與現(xiàn)在患者僅僅可以通過眨眼與專業(yè)訓(xùn)練過的護(hù)士交流相比，本實(shí)用新型可以使 患者通過簡單地眨眼與任何人進(jìn)行交流，操作不需要專業(yè)人士陪同，方便、可靠，適合于漸 凍癥和高位截癱等有交流障礙的患者。
[0012] 本實(shí)用新型智能字符輸入系統(tǒng)不僅可以讓使用者通過眨眼引起眼電變化，從而實(shí) 現(xiàn)字符輸入的功能，由于ThinkGear AM芯片還可以采集處理腦電，所以本實(shí)用新型還可以 在空閑時(shí)對使用者腦電信號進(jìn)行實(shí)時(shí)監(jiān)測，通過智能算法得到使用者警覺度和放松度等參 數(shù)，并可在顯示模塊上進(jìn)行實(shí)時(shí)顯示，是一種以前沒有過的智能眼電字符輸入和腦電監(jiān)護(hù) 系統(tǒng)，更能滿足患者的不同需求。
【附圖說明】
[0013] 圖1為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的系統(tǒng)控制框圖；
[0014] 圖2為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例眼電采集預(yù)處理模塊 及藍(lán)牙發(fā)送模塊的結(jié)構(gòu)框圖；
[0015] 圖3為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的頭部佩戴的輔助部 件立體結(jié)構(gòu)示意圖；
[0016] 圖4為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的頭部佩戴的輔助部 件局部剖視圖，圖4(a)為輔助部件左側(cè)盒剖視圖，圖4(b)為輔助部件右側(cè)盒剖視圖，圖4(c) 為輔助部件中部干電極處剖視圖；
[0017] 圖5為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的顯示盒的結(jié)構(gòu)示意 圖，圖5(a)為立體結(jié)構(gòu)示意圖、圖5(b)為后部剖視結(jié)構(gòu)示意圖；
[0018] 圖6為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的串口波形上傳口傳 至MATLAB上繪制的眨眼時(shí)眼電的波形；
[0019] 圖7為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的顯示模塊中QWERTY 鍵盤行循環(huán)示意圖；
[0020] 圖8為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的顯示模塊中QWERTY 鍵盤列循環(huán)示意圖；
[0021] 圖9為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的顯示模塊中數(shù)字鍵 盤循環(huán)示意圖；
[0022] 圖10為本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)一種實(shí)施例的顯示模塊中腦電 監(jiān)測顯示示意圖。
[0023]圖中，1.眼電采集預(yù)處理模塊（11.干電極、12.參考電極、13.放大濾波模塊）；藍(lán)牙 模塊(21.藍(lán)牙發(fā)送模塊、22.藍(lán)牙接收模塊）；3.主控制器;4.顯示模塊;5.按鍵;6.串口波形 上傳口； 7.第一電源模塊;8.第二電源模塊。
【具體實(shí)施方式】
[0024]下面結(jié)合實(shí)施例及附圖詳細(xì)敘述本實(shí)用新型
[0025]本實(shí)用新型基于眼電的智能字符輸入系統(tǒng)（如圖1所示），該系統(tǒng)包括眼電采集預(yù) 處理模塊1、藍(lán)牙模塊、主控制器3、顯示模塊4、按鍵5、串口波形上傳口 6、第一電源模塊7和 第二電源模塊8;其中，藍(lán)牙模塊包括藍(lán)牙發(fā)送模塊21和藍(lán)牙接收模塊22，二者無線配對連 接；
[0026]所述眼電采集預(yù)處理模塊1(參見圖2)包括干電極11、參考電極12和放大濾波模塊 13。其中，干電極11、參考電極12分別與放大濾波模塊13相連;放大濾波模塊13與藍(lán)牙發(fā)送 模塊21相連;第一電源模塊7分別與放大濾波模塊13、藍(lán)牙發(fā)送模塊21相連;藍(lán)牙接收模塊 22、顯示模塊4、按鍵5、串口波形上傳口 6、第二電源模塊8分別與主控制器3相連；
[0027]所述的眼電采集預(yù)處理模塊1、藍(lán)牙發(fā)送模塊21和第一電源模塊7設(shè)置在人體身 上，其中，眼電采集預(yù)處理模塊1中的干電極11固定在人體的額葉部，參考電極12固定在人 體的耳垂部。
[0028]當(dāng)人不眨眼時(shí)眼電信號的幅值極小，且基本保持穩(wěn)定，當(dāng)眨眼時(shí)就會(huì)有一個(gè)瞬間 凹下凸起大幅值波動(dòng)信號的出現(xiàn)（圖6)。經(jīng)過多次實(shí)驗(yàn)得到，將干電極11固定在額葉部，參 考電極12固定在耳垂部，測得的眨眼時(shí)眼電信號變化相對較強(qiáng)。通過干電極11采集到的眼 電數(shù)據(jù)傳輸給放大濾波模塊13進(jìn)行放大濾波就可以得到如圖6所示的眼電信號，這一信號 可以作為控制信號來進(jìn)行字符的輸入。
[0029]眼電采集預(yù)處理模塊1、藍(lán)牙發(fā)送模塊21和第一電源模塊7作為輔助部件（圖3)佩 戴在使用者頭部。如圖3所示，輔助部件中包括眼電采集預(yù)處理模塊1、藍(lán)牙發(fā)送模塊21和第 一電源模塊7,形狀為類似發(fā)帶狀可以固定在頭部，材料為塑料;其中放大濾波模塊13和藍(lán) 牙發(fā)送模塊21固定在輔助部件的左側(cè)盒內(nèi)，第一電源模塊7固定在輔助部件的右側(cè)盒內(nèi)，干 電極11固定在輔助部件連接帶的正中央，便于和額葉部進(jìn)行接觸固定，參考電極12在從輔 助部件的左側(cè)盒內(nèi)引出一個(gè)固定桿的最外部，固定桿為可彎曲材質(zhì)，便于和耳垂部進(jìn)行接 觸固定(圖4)。
[0030]所述的主控制器3即單片機(jī)，分別與藍(lán)牙接收模塊22、顯示模塊4、按鍵5、串口波形 上傳口6和第二電源模塊8相連，可以將它們都固定在顯示盒內(nèi)（圖5);如圖5所示，顯示盒中 包括主控制器3、藍(lán)牙接收模塊22、顯示模塊4、按鍵5、串口波形上傳口 6和第二電源模塊8; 顯示盒中的藍(lán)牙接收模塊22與輔助部件中的藍(lán)牙發(fā)送模塊21通過無線配對連接，連接在十 米之內(nèi)有效。
[0031]藍(lán)牙接收模塊22與主控制器3(單片機(jī)）的信號輸入端口相連，將放大濾波模塊13 預(yù)處理的這一信號通過藍(lán)牙發(fā)送模塊21和藍(lán)牙接收模塊22傳送至主控制器3對眼電信號的 變化進(jìn)行算法分析。主控制器3分析眼電信號的時(shí)域特征，先通過學(xué)習(xí)過程將使用者眨眼時(shí) 眼電信號的變化特征記錄下來，根據(jù)所記錄特征選擇合適的閾值。使用過程中通過對采集 得到的眼電信號進(jìn)行閾值檢測，判斷使用者是否要輸入顯示模塊中所顯示選定的字符或命 令。第二電源模塊8為主控制器3供電，主控制器3中有電源端口可以為藍(lán)牙接收模塊22、顯 示模塊4、串口波形上傳口 6供電。
[0032]本實(shí)用新型字符輸入功能的實(shí)現(xiàn)是將識(shí)別出的眼電信號變化作為控制信號，記錄 眼電信號時(shí)在顯示模塊4上顯示常規(guī)的QWERTY鍵盤以及數(shù)字、標(biāo)點(diǎn)等字符。先進(jìn)行行循環(huán)， 每隔一秒就會(huì)閃動(dòng)一行（圖7)，使用者通過眨眼行選中后，開始列循環(huán)，字符逐個(gè)閃動(dòng)（圖 8)，再通過眨眼就可確定輸入的字符，所輸入的字符將在字符輸入?yún)^(qū)域顯示（圖5)，使用者 通過兩個(gè)眨眼就可確定要輸入的字符。QWERTY鍵盤中第三行第一個(gè)字符'功能為字母大小 寫切換;第四行第三個(gè)字符為空格;第四行第五個(gè)字符1功能為QWERTY鍵盤切換至數(shù)字鍵盤 (圖9);數(shù)字鍵盤中的第一個(gè)字符功能為數(shù)字鍵盤切換至QWERTY鍵盤。數(shù)字鍵盤中的字符逐 個(gè)閃動(dòng)（圖9)，通過眨眼即可完成數(shù)字輸入，考慮到字母輸入和數(shù)字輸入同時(shí)的概率比較 低，將其放在兩屏中，可以提高輸入的效率。
[0033]由于眼電采集預(yù)處理模塊1還可以采集和處理腦電信號，所以本實(shí)用新型還可以 對使用者進(jìn)行實(shí)時(shí)的腦電監(jiān)測。經(jīng)過主控制器3分析采集到的腦電信號，做FFT變換，在頻域 可實(shí)時(shí)監(jiān)測腦電波S(與困倦相關(guān)）、θ(與疲勞相關(guān)）、α(與平靜相關(guān)）、β、γ (與劇烈運(yùn)動(dòng)相 關(guān))等各波段的變化情況，通過算法得到警覺度和放松度變化情況，并可在顯示模塊4上進(jìn) 行實(shí)時(shí)顯示（圖10)。
[0034]需要說明的是，本專利中涉及的軟件或協(xié)議均屬于公知技術(shù)。
[0035] 本實(shí)用新型的具體使用方法是:使用者坐在輪椅上或者躺在床上或者其他舒適的 姿勢，將輔助部件佩戴在頭部，初始化時(shí)先對使用者的眼電進(jìn)行檢測，多次使用后系統(tǒng)具有 學(xué)習(xí)功能可以自動(dòng)調(diào)節(jié)閾值。將顯示盒固定在患者輪椅前、床頭或者其他使用者可以舒適 看清的地方，使用者通過眨眼即可進(jìn)行簡單的字符輸入；同時(shí)還可以監(jiān)測使用者的腦電信 號，反映使用者的身體狀態(tài)情況。
[0036] 實(shí)施例1
[0037]本實(shí)施例系統(tǒng)包括1.眼電采集預(yù)處理模塊（11.干電極、12.參考電極、13.放大濾 波模塊）；藍(lán)牙模塊(21.藍(lán)牙發(fā)送模塊、22.藍(lán)牙接收模塊）；3.主控制器;4.顯示模塊;5.按 鍵;6.串口波形上傳口； 7.第一電源模塊;8.第二電源模塊。
[0038]頭部的眼電采集預(yù)處理模塊1采用了 NeuroSky公司研制的一款A(yù)SIC芯片 ThinkGear AM芯片，該芯片可以用來采集預(yù)處理眼電、腦電、肌電、心率等等，該芯片具有功 耗低、運(yùn)算處理速度快等特點(diǎn)。該系統(tǒng)的主控制器3中所用單片機(jī)是以合泰公司的一款32位 MCU:HT32F1765作為主控芯片，HT32F1765型單片機(jī)是一款基于ARM@CortexTM-M3處理器內(nèi) 核的32位單片機(jī)，其具有功耗低、運(yùn)算速度快等特點(diǎn)。C 〇rtex?-M3是把嵌套向量中斷控制器 (NVIC)，系統(tǒng)節(jié)拍定時(shí)器(SysTick Timer)和先進(jìn)的調(diào)試支持緊緊結(jié)合在一起的新一代處 理器內(nèi)核。可借助Flash加速器工作在高達(dá)72MHz的頻率下，以獲得最大的效率。它提供 128KB的嵌入式Flash存儲(chǔ)器用作程序/數(shù)據(jù)存儲(chǔ)，64KB的嵌入式SRAM存儲(chǔ)器用作系統(tǒng)操作 和應(yīng)用程序運(yùn)用。此系列單片機(jī)具有多種外設(shè)，如ADC，I2C，USART，SPI，PDMA，GPTM，MCTM， SCI，CSIF，USB2.0FS，SWJ-DP(串行線和JTAG調(diào)試端口）等。顯示模塊4采用TFT3P4263型號顯 示屏。藍(lán)牙模塊采用LM01型號藍(lán)牙模塊。按鍵5采用6*6*5mm微動(dòng)開關(guān)，采用按鍵中左按鍵為 電源鍵，進(jìn)行開關(guān)機(jī)作業(yè);右按鍵為基于眼電的智能字符輸入系統(tǒng)與腦電的實(shí)時(shí)監(jiān)控的切 換按鍵。串口波形上傳口 6采用USB轉(zhuǎn)TTL CH340模塊。第一電池模塊7采用兩節(jié)1.5V干電池， 第二電池模塊8采用5V可充電電池。
[0039] 本實(shí)用新型系統(tǒng)不僅可以進(jìn)行眨眼輸入字符，還可以進(jìn)行腦電的實(shí)時(shí)監(jiān)控，同時(shí) 還可以通過串口波形上傳入電腦，方便醫(yī)護(hù)人員對使用者的監(jiān)護(hù)，整個(gè)模塊小巧靈活。輔助 部件更具有方便攜帶，功耗低，易于操作等特點(diǎn)，可以滿足使用者的使用需求。
[0040] 本實(shí)用新型未述及之處均適用于現(xiàn)有技術(shù)。
【主權(quán)項(xiàng)】
1. 一種基于眼電的智能字符輸入系統(tǒng)，該系統(tǒng)包括眼電采集預(yù)處理模塊、藍(lán)牙模塊、主 控制器、顯示模塊、按鍵、串口波形上傳口、第一電源模塊和第二電源模塊;其中，藍(lán)牙模塊 包括藍(lán)牙發(fā)送模塊和藍(lán)牙接收模塊，二者無線配對連接;所述眼電采集預(yù)處理模塊包括干 電極、參考電極和放大濾波模塊，其中，干電極、參考電極分別與放大濾波模塊相連;放大濾 波模塊與藍(lán)牙發(fā)送模塊相連;第一電源模塊分別與放大濾波模塊、藍(lán)牙發(fā)送模塊相連;藍(lán)牙 接收模塊、顯示模塊、按鍵、串口波形上傳口、第二電源模塊分別與主控制器相連； 所述的主控制器為單片機(jī);第一電池模塊為干電池，第二電池模塊為可充電電池。2. 如權(quán)利要求1所述的基于眼電的智能字符輸入系統(tǒng)，其特征為所述的主控制器為 HT32F1765型單片機(jī)；放大濾波模塊為ThinkGear AM芯片，串口波形上傳口為USB轉(zhuǎn)TTL CH340模塊。
【文檔編號】G06F3/023GK205644443SQ201620438064
【公開日】2016年10月12日
【申請日】2016年5月13日
【發(fā)明人】楊戈, 王磊, 郭冬月, 吳健, 劉瀟雅
【申請人】河北工業(yè)大學(xué)