一種基于注意和情感信息融合的抑郁癥診斷系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理、生物特征提取、模式識別技術(shù)領(lǐng)域，特別設(shè)及一種基于注意 和情感信息融合的抑郁癥診斷系統(tǒng)及方法。
【背景技術(shù)】
[0002] 目前抑郁癥最廣泛的診斷標(biāo)準(zhǔn)是美國精神疾病診斷和統(tǒng)計(jì)手冊第四版值SM-IV)， 并且抑郁癥診斷局限于W臨床癥狀為主，其診斷主要依據(jù)精神科醫(yī)生的經(jīng)驗(yàn)和相關(guān)的抑郁 癥量表，但是抑郁癥量表的評分結(jié)果不能準(zhǔn)確的反映患者的屯、理狀況，患者可能存在主觀 隱瞞的情況，診斷結(jié)果往往會受到醫(yī)生自身主觀因素和實(shí)際臨床經(jīng)驗(yàn)的影響，并且在抑郁 癥診斷方面缺少量化的診斷指標(biāo)和可靠、高效的診斷系統(tǒng)，診斷效率低、誤診率高、資源耗 費(fèi)大的情況一直得不到解決。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種基于注意和情感信息融合的抑郁癥診斷系統(tǒng)及方法，該 系統(tǒng)利用注視點(diǎn)中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶寬和面部表情特征，可W全面、系 統(tǒng)、定量的對抑郁癥進(jìn)行識別。
[0004] 為實(shí)現(xiàn)上述目的，本發(fā)明一方面提供一種基于注意和情感信息融合的抑郁癥診斷 系統(tǒng)，包括：情緒刺激模塊，用于設(shè)置多個(gè)情緒刺激任務(wù)并W預(yù)設(shè)順序?qū)⑺龆鄠€(gè)情緒刺激 任務(wù)提供至受測者，W誘發(fā)所述受測者的情緒；圖像采集模塊，用于采集所述受測者在進(jìn)行 所述情緒刺激任務(wù)時(shí)的眼部圖像和面部圖像；數(shù)據(jù)傳輸模塊，用于獲取并發(fā)送所述眼部圖 像和面部圖像；數(shù)據(jù)預(yù)處理模塊，用于接收來自所述數(shù)據(jù)傳輸模塊的眼部圖像和面部圖像， 并對所述眼部圖像和面部圖像進(jìn)行預(yù)處理；數(shù)據(jù)處理模塊，用于對所述預(yù)處理后的眼部圖 像進(jìn)行分析，計(jì)算所述受測者的注視點(diǎn)位置和瞳孔直徑；特征提取模塊，用于提取反映所述 受測者的注意力的注意類特征和反映所述受測者的情感狀態(tài)的情感類特征；識別反饋模 塊，用于對所述注意類特征和所述情感類特征進(jìn)行融合W對所述受測者進(jìn)行抑郁癥診斷識 別。
[0005] 根據(jù)本發(fā)明的一個(gè)方面，所述多個(gè)情緒刺激任務(wù)至少包括：一段正性情緒刺激視 頻、一段中性情緒刺激視頻、一段負(fù)性情緒刺激視頻、同時(shí)提供的一段正性情緒刺激視頻和 中性刺激視頻、同時(shí)提供的一段負(fù)性情緒刺激視頻和中性刺激視頻，其中，所述正性情緒刺 激視頻用于對所述受測者產(chǎn)生正性情緒刺激，所述中性情緒刺激視頻用于對所述受測者產(chǎn) 生中性情緒刺激，負(fù)性情緒刺激視頻用于對所述受測者產(chǎn)生負(fù)性情緒刺激。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，所述圖像采集模塊包括：
[0007] 第一攝像機(jī)，所述第一攝像機(jī)設(shè)置于所述受測者眼睛的鄰近處，用于采集所述受 測者在進(jìn)行所述情緒刺激任務(wù)時(shí)的眼部視頻；
[0008] 眼部圖像采集單元，所述眼部圖像采集單元的輸入端與所述第一攝像機(jī)相連，所 述眼部圖像采集單元的輸出端與所述數(shù)據(jù)傳輸模塊相連，用于接收所述眼部視頻并從所述 眼部視頻中采集所述受測者的眼部圖像，將所述眼部圖像發(fā)送至數(shù)據(jù)傳輸模塊；
[0009] 第二攝像機(jī)，所述第二攝像機(jī)設(shè)置于所述受測者面部的鄰近處，用于采集所述受 測者在進(jìn)行所述情緒刺激任務(wù)時(shí)的面部視頻；
[0010] 面部圖像采集單元，所述面部圖像采集單元的輸入端與所述第二攝像機(jī)相連，所 述面部圖像采集單元的輸出端與所述數(shù)據(jù)傳輸模塊相連，用于接收所述面部視頻并從所述 面部視頻中采集所述受測者的面部圖像，將所述面部圖像發(fā)送至數(shù)據(jù)傳輸模塊。
[0011] 根據(jù)本發(fā)明的一個(gè)方面，所述數(shù)據(jù)預(yù)處理模塊包括：
[0012] 眼部圖像預(yù)處理單元，用于對所述眼部圖像進(jìn)行預(yù)處理，得到預(yù)處理后的眼部圖 像；
[0013] 面部圖像預(yù)處理單元，用于對所述面部圖像進(jìn)行預(yù)處理，得到預(yù)處理后的面部圖 像。
[0014] 根據(jù)本發(fā)明的一個(gè)方面，所述眼部圖像預(yù)處理單元對所述眼部圖像進(jìn)行預(yù)處理， 包括：對所述眼部圖像進(jìn)行歸一化處理，再將歸一化處理后的眼部圖像進(jìn)行灰度轉(zhuǎn)換W生 成眼部灰度圖像，對所述眼部灰度圖像進(jìn)行直方圖均衡化處理和二值化處理，將二值化處 理后的眼部圖像進(jìn)行圖像膨脹處理和圖像腐蝕處理，得到預(yù)處理后的眼部圖像。
[0015] 根據(jù)本發(fā)明的一個(gè)方面，所述面部圖像預(yù)處理單元對所述面部圖像進(jìn)行預(yù)處理， 包括：對所述面部圖像進(jìn)行歸一化處理，再將歸一化處理后的面部圖像進(jìn)行灰度轉(zhuǎn)換W生 成面部灰度圖像，對所述面部灰度圖像進(jìn)行拉伸變換和去噪，得到預(yù)處理后的面部圖像。
[0016] 根據(jù)本發(fā)明的一個(gè)方面，所述數(shù)據(jù)處理模塊包括：注視點(diǎn)位置計(jì)算單元，用于根據(jù) 所述預(yù)處理后的眼部圖像，計(jì)算所述受測者在進(jìn)行所述情緒刺激任務(wù)時(shí)的注視點(diǎn)位置；瞳 孔直徑計(jì)算單元，用于根據(jù)所述預(yù)處理后的眼部圖像，計(jì)算所述受測者在進(jìn)行所述情緒刺 激任務(wù)時(shí)的瞳孔直徑。
[0017] 根據(jù)本發(fā)明的一個(gè)方面，所述注視點(diǎn)位置計(jì)算單元計(jì)算所述受測者在進(jìn)行所述情 緒刺激任務(wù)時(shí)的注視點(diǎn)位置，包括：
[0018] 首先，建立所述受測者在頭部位置固定情況下的視線映射函數(shù)模型：
[0020] 其中為注視點(diǎn)坐標(biāo)，（Xi，Yi)為所述受測者在觀看屏幕固 定點(diǎn)坐標(biāo)時(shí)的瞳孔中屯、坐標(biāo)，曰。、曰1、曰2、曰3、曰4、曰5、6。、131、62、63、64和6 5為系數(shù)，其中，曰。、曰1、 曰2、曰3、曰4、曰5、b。、bi、bz、bs、b4和b述過預(yù)先讓所述受測者觀看6個(gè)預(yù)設(shè)屏幕上固定點(diǎn)坐標(biāo) 和觀看固定點(diǎn)時(shí)計(jì)算得到的6組瞳孔中屯、坐標(biāo)組成的12個(gè)方程計(jì)算得到；
[0021] 然后，獲取所述受測者在觀看屏幕固定點(diǎn)時(shí)瞳孔中屯、的坐標(biāo)值（X,，y,)，根據(jù)所述 視線映射函數(shù)模型和瞳孔中屯、的坐標(biāo)值（x，，y,)，得到所述受測者的視線在屏幕上落點(diǎn)坐標(biāo)
[0022] 根據(jù)本發(fā)明的一個(gè)方面，所述注視點(diǎn)位置計(jì)算單元獲取所述受測者在觀看屏幕固 定點(diǎn)時(shí)瞳孔中屯、的坐標(biāo)值（X，，y,)，包括如下步驟：對所述預(yù)處理后的眼部圖像進(jìn)行邊緣檢 ，得到瞳孔邊界點(diǎn)，采用最小二乘圓擬合法得到所述受測者在觀看屏幕固定點(diǎn)時(shí)瞳孔中 屯、的坐標(biāo)值（Xj，yj)。
[0023] 根據(jù)本發(fā)明的一個(gè)方面，所述瞳孔直徑計(jì)算單元計(jì)算所述受測者在進(jìn)行所述情緒 刺激任務(wù)時(shí)的瞳孔直徑，包括：
[0024] 對所述預(yù)處理后的眼部圖像進(jìn)行邊緣檢測，得到瞳孔邊界點(diǎn)，采用最小二乘圓擬 合法對瞳孔區(qū)域進(jìn)行擬合，得到受測者觀看每個(gè)情緒刺激任務(wù)時(shí)采集到的每帖圖像的瞳孔 直徑值。
[0025] 根據(jù)本發(fā)明的一個(gè)方面，所述瞳孔直徑計(jì)算單元計(jì)算在進(jìn)行每個(gè)情緒刺激任務(wù)時(shí) 采集到的每帖圖像的瞳孔直徑值，包括：所述受測者觀看正性情緒刺激視頻時(shí)每帖圖像的 瞳孔直徑值所述受測者觀看中性情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值和所述 、 受測者觀看負(fù)性情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值《t。
[0026] 根據(jù)本發(fā)明的一個(gè)方面，所述注意類特征包括：所述受測者的注視點(diǎn)中屯、距特征 和注意偏向分?jǐn)?shù)特征；所述情感類特征包括所述受測者的情感帶寬特征和面部表情特征。
[0027] 根據(jù)本發(fā)明的一個(gè)方面，所述特征提取模塊提取所述受測者的注視點(diǎn)中屯、距特征 包括：
[0028] 首先，計(jì)算所述受測者在進(jìn)行每個(gè)所述情緒刺激任務(wù)時(shí)的注視點(diǎn)位置 和視頻位置的中屯、點(diǎn)坐標(biāo)（X。，y。）的歐式距離，得到所述受測者的 注視點(diǎn)中屯、距dj，
[0030] 然后，將計(jì)算得到的注視點(diǎn)中屯、距特征存入矩陣Xi，
[00；31] Xi= (di'dz'ds，…，dn)T;
[003引其中Xi為注視點(diǎn)中屯、距特征矩陣，n為特征個(gè)數(shù)。
[0033] 根據(jù)本發(fā)明的一個(gè)方面，所述特征提取模塊提取所述受測者的注意偏向分?jǐn)?shù)特征 包括：首先，計(jì)算所述受測者的正性注意偏向分?jǐn)?shù)特征和負(fù)性注意偏向分 數(shù)特征姓德窩?
[0034] 然后，將計(jì)算得到的正性注意偏向分?jǐn)?shù)特征和負(fù)性注意偏向分?jǐn)?shù)特征存入矩陣 X2:
[00；35] 又2= (fixation 1正性偏向，…，fixationn正性偏向，fixationi巧性偏向，…，fixationn巧性 偏向)T，
[0036] 其中，X2是一個(gè)2*i維的特征矩陣，表示所述受測者的注意偏向分?jǐn)?shù)特征，i為正 性注意偏向分?jǐn)?shù)特征或負(fù)性注意偏向分?jǐn)?shù)特征個(gè)數(shù)，i = 1，2, 3,…，n。
[0037] 根據(jù)本發(fā)明的一個(gè)方面，所述受測者的正性注意偏向分?jǐn)?shù)特征自 如下：
[0038]
[003引其中fka餘為落在正性視頻區(qū)域內(nèi)注視點(diǎn)個(gè)數(shù)，fk;施辯為落在中性視頻 區(qū)域內(nèi)注視點(diǎn)個(gè)數(shù)，自為計(jì)算得到的正性注意偏向分?jǐn)?shù)特征；
[0040] 所述受測者的負(fù)性注意偏向分?jǐn)?shù)特征如下：
[0041]
[004引其中敵絨!觸5受為落在負(fù)性視頻區(qū)域內(nèi)注視點(diǎn)個(gè)數(shù)，轉(zhuǎn)微tk)鳴為落在中性視頻 區(qū)域內(nèi)注視點(diǎn)個(gè)數(shù)，帛為計(jì)算得到的負(fù)性注意偏向分?jǐn)?shù)特征。
[0043] 根據(jù)本發(fā)明的一個(gè)方面，所述特征提取模塊提取所述受測者的情感帶寬特征包 括：
[0044] 首先，根據(jù)所述受測者觀看正性情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值和觀 ?V 看中性情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值計(jì)算所述受測者的正性情感帶寬特 9 征：
[004引璋嫌雜(孩)-4-C;
[0046] 根據(jù)所述受測者觀看中性情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值(4和觀看負(fù)性 情緒刺激視頻時(shí)每帖圖像的瞳孔直徑值結(jié)^ ,計(jì)算所述受測者的負(fù)性情感帶寬特征：
[0047] %繩W 泌艱…隸^..
[0048] 然后，將計(jì)算得到所述受測者的正性情感帶寬特征和負(fù)性情感帶寬特征存入矩陣 又3:
[0049] 苦， W f巧玄 巧度 《:議 巧i 《茲 《沒 、 瓜3 "…、。護(hù)城從，部嫌W* ，識線W,。賊拠 f , %嫌微子…％嫌W
[0050] 其中，X3是一個(gè)2*i維的特征矩陣，表示所述受測者的情感帶寬，i為圖像序列的 帖數(shù)，i = 1，2, 3，…，n。
[0051] 根據(jù)本發(fā)明的一個(gè)方面，所述特征提取模塊提取所述受測者的面部表情特征包 括：
[0052] 首先，根據(jù)預(yù)處理后的面部圖像分別提取所述受測者觀看所述正性情緒刺激 視頻、中性情緒刺激視頻和負(fù)性情緒刺激視頻時(shí)的面部表情圖像的表情特征點(diǎn)向量 《重 ^￡健3取銭和澈錠. '、 ，
[0053] 然后，根據(jù)^￡穩(wěn) 康和分別計(jì)算正性差分表情特征向量念和負(fù)性 差分表情特征向量A
[0054] 最后，將計(jì)算得到的正性差分表情特征向量A Sjg和負(fù)性差分表情特征向量 琴存入矩陣X"其中，
[00 巧] , . . <. T % ? C .怒霉f .念S金.S 、'、"，'惠送苗.，念S苗f滋S每f…A SL J
[0056] 其中，X4是一個(gè)2*i維的特征向量，表示所述受測者的面部特征點(diǎn)運(yùn)動情況，i為 圖像序列的帖數(shù)，i = l，2, 3，…，n。
[0057] 根據(jù)本發(fā)明的一個(gè)方面，所述正性差分表情特征向量送為： ^ Sj臣綾? $若健所述負(fù)性差分表情特征向量忿送為：'^ S苗穩(wěn)淺 ； 筑 。
[0058] 根據(jù)本發(fā)明的一個(gè)方面，所述識別反饋模塊對所述注意類特征和所述情感類特征 進(jìn)行融合W對所述受測者進(jìn)行抑郁癥診斷識別，包括：將所述特征提取模塊提取的所述受 測者的注視點(diǎn)中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶寬特征和面部表情特征輸入至訓(xùn)練 完成的支持向量機(jī)分類模型中進(jìn)行識別診斷，并W符號函數(shù)形式輸出診斷結(jié)果。
[0059] 本發(fā)明實(shí)施例提供的基于注意和情感信息融合的抑郁癥診斷系統(tǒng)，對抑郁癥的診 斷采用了四項(xiàng)注意和情感類反應(yīng)指標(biāo)，利用注視點(diǎn)中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶 寬和面部表情特征四項(xiàng)注意和情感類特征進(jìn)行模式分類，實(shí)現(xiàn)全面、系統(tǒng)、定量的對抑郁癥 進(jìn)行識別，從而達(dá)到對抑郁癥的準(zhǔn)確、高效識別、低成本的特點(diǎn)，具有廣闊的醫(yī)用前景。
[0060] 本發(fā)明