基于運動單元分層的人臉表情識別方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體涉及一種人臉表情識別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉表情識別是通過視覺信號分析人臉運動及面部特征的變化對表情進行分類。 表情分類的研宄基本是依據(jù)1971年心理學(xué)家Ekman與Friesen最早提出的人類六種主要 情感，每種情感以唯一的表情來反映人的一種獨特的心理活動。這六種情感被稱為基本情 感，由生氣（anger)、開心（happiness)、悲傷（sadness)、驚訝（surprise)、厭惡（disgust) 和恐懼（fear)組成。近年來隨著一系列相關(guān)領(lǐng)域的飛速發(fā)展，如機器學(xué)習(xí)、圖像處理、人臉 檢測等，人臉表情識別越來越受到重視，其應(yīng)用前景十分廣泛，如自然人機交互，智能機器 人，情緒檢測及心理狀態(tài)分析、虛擬現(xiàn)實技術(shù)、合成臉部動畫等等。
[0003] 人臉表情識別的研宄主要步驟為：人臉檢測，表情特征提取以及表情分類。第一步 需要從背景圖像中對人臉進行準(zhǔn)確定位，這一環(huán)節(jié)現(xiàn)在已作為一個獨立的研宄方向；第二 步從人臉圖像或圖像序列提取能夠代表表情本質(zhì)的信息，如紋理表觀、運動變化或幾何形 狀特征等；第三步設(shè)計表情分類器，結(jié)合提取的特征識別表情。目前主要有以下分類方法： 貝葉斯網(wǎng)絡(luò)、K近鄰域、神經(jīng)網(wǎng)絡(luò)、隨機森林、支持向量機、隱馬爾可夫模型等。
[0004] 近年來的表情識別方面的研宄取得了很大的進展，獲得不錯的識別效果。但現(xiàn)有 方法一般針對高分辨率的圖像，需要定位精確特征點，容易受到噪聲影響，準(zhǔn)確率低。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種人臉表情識別方法及系統(tǒng)，其目的在于，針對低分辨率圖像，通過 基于AU分層結(jié)構(gòu)提取對表情具有代表性區(qū)域的特征逐層分類，提高了表情識別精確度與 速度。
[0006] -種人臉表情識別方法，該方法包括三層分類步驟，具體為：
[0007] (1)第一層分類步驟：
[0008] 在待識別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū)域，在第一層分類 區(qū)域內(nèi)提取紋理特征，以檢測是否出現(xiàn)AU9運動單元作為第一層分類器判定標(biāo)準(zhǔn)，所述AU9 運動單元表明皺鼻；若出現(xiàn)，則第一層分類結(jié)果為class-1 {厭惡}，結(jié)束；若未出現(xiàn)，則第一 層分類結(jié)果為class-2 {生氣、開心、恐懼、驚奇、悲傷}，進入步驟（2);
[0009] (2)第二層分類步驟：
[0010] 在待識別人臉圖像中提取嘴唇區(qū)域作為第二層分類區(qū)域，在第二層分類區(qū)域內(nèi) 提取紋理特征，以檢測是否出現(xiàn)AU25和AU12運動單元作為第二層分類器判定標(biāo)準(zhǔn)，所 述AU25運動單元表明雙唇分離，AU12運動單元表明唇角上拉；若均未出現(xiàn)，則第二層分 類結(jié)果為class-21 {生氣、悲傷}，進入步驟（31);若出現(xiàn)至少一種，則第二層分類結(jié)果為 class-22 {恐懼、開心、驚奇}，進入步驟（32);
[0011] ⑶第三層分類步驟：
[0012] (31)在待識別人臉圖像中提取上半臉區(qū)域作為第三層分類區(qū)域，在第三層分類區(qū) 域內(nèi)提取紋理特征并利用第三層分類器精確分類，最終確定表情為class-211 {生氣}和 class-212 {悲傷}中的一類；
[0013] (32)在待識別人臉圖像中提取下半臉區(qū)域作為第三層分類區(qū)域，在第三層分 類區(qū)域內(nèi)提取紋理特征并利用第三層分類器分類，最終確定表情為class-221 {恐懼}、 class-222 {開心}和class-223 {驚奇}中的一類。
[0014] 一種人臉表情識別系統(tǒng)，該系統(tǒng)包括：
[0015] 第一模塊，用于在待識別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū) 域，在第一層分類區(qū)域內(nèi)提取紋理特征，以檢測是否出現(xiàn)AU9運動單元作為第一層分類器 判定標(biāo)準(zhǔn)，所述AU9運動單元表明皺鼻；若出現(xiàn)，則第一層分類結(jié)果為class-1 {厭惡}，結(jié) 束；若未出現(xiàn)，則第一層分類結(jié)果為class-2 {生氣、開心、恐懼、驚奇、悲傷}，進入第二模 塊；
[0016] 第二模塊，用于在待識別人臉圖像中提取嘴唇區(qū)域作為第二層分類區(qū)域，在第二 層分類區(qū)域內(nèi)提取紋理特征，以檢測是否出現(xiàn)AU25和AU12運動單元作為第二層分類器判 定標(biāo)準(zhǔn)，所述AU25運動單元表明雙唇分離，AU12運動單元表明唇角上拉；若均未出現(xiàn)，則第 二層分類結(jié)果為class-21 {生氣、悲傷}，進入第三一子模塊；若出現(xiàn)至少一種，則第二層分 類結(jié)果為class-22 {恐懼、開心、驚奇}，進入第三二子模塊；
[0017] 第三模塊，包括：
[0018] 第三一子模塊，用于在待識別人臉圖像中提取上半臉區(qū)域作為第三層分類區(qū) 域，在第三層分類區(qū)域內(nèi)提取紋理特征并利用第三層分類器精確分類，最終確定表情為 class-211 {生氣}和class-212 {悲傷}中的一類；
[0019] 第三二子模塊，用于在待識別人臉圖像中提取下半臉區(qū)域作為第三層分類 區(qū)域，在第三層分類區(qū)域內(nèi)提取紋理特征并利用第三層分類器分類，最終確定表情為 class-221 {恐懼}、class-222 {開心}和class-223 {驚奇}中的一類。
[0020] 本發(fā)明通過上述步驟將人臉表情識別進行了層次化分類，相較于現(xiàn)有的技術(shù)，具 有如下優(yōu)點：
[0021] 相較于其他通過整個人臉對表情特征識別的方法，本發(fā)明基于AU分層結(jié)構(gòu)，提取 對表情具有代表性區(qū)域的特征結(jié)合隨機森林逐層分類，有效提高表情識別精確度與速度， 尤其適用于低分辨率圖像。本發(fā)明不需要依賴精確的特征點信息，通過提取圖像的例如灰 度、LBP和Gabor等紋理特征即可達(dá)到較好識別率，有效的降低對圖像質(zhì)量的要求和對圖像 預(yù)處理的難度，提高該方法的實用性和通用性。
【附圖說明】
[0022] 圖1為本發(fā)明基于AU分層的人臉表情識別方法流程圖；
[0023] 圖2為本發(fā)明實例詳細(xì)流程圖；
[0024] 圖3為本發(fā)明實例歸一化示意圖；
[0025]圖4為本發(fā)明實例用于分層分類的局部區(qū)域示意圖。
【具體實施方式】
[0026] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0027] 為描繪不同的臉部肌肉動作和不同表情的對應(yīng)關(guān)系，心理學(xué)家PaulEkman和 W.V.Friesen提出了FACS(FacialActionCodingSystem)面部表情編碼系統(tǒng)。根據(jù)人類解 刨學(xué)特點，將該系統(tǒng)劃分成若干既相互獨立又相互聯(lián)系的運動單元即AU(ActionUnits)， 例如AUl(InnerBrowRaiser內(nèi)端眉毛上揚），AU2(0uterBrowRaiser外端眉毛上揚）等 等。
[0028] 本發(fā)明針對低分辨率圖像，提出AU分層思想從而對六類基本表情進行識別。本發(fā) 明分層具體如下：
[0029] 首先，分層結(jié)構(gòu)的第一層基于AU9(NoseWrinkler)鼻子上部鄰近區(qū)域，皺鼻，將六 類表情粗分為兩類，class-1 :Disgust ;class_2 :生氣、開心、恐懼、驚奇和悲傷；
[0030] 然后，分層結(jié)構(gòu)的第二層基于AU25(LipsPart)雙唇分離，和AU12(LipCorner Puller)唇角上拉，將class-2細(xì)化為，class-21 :生氣、悲傷；class-22 :恐懼、開心和驚 喜；
[0031] 最后，分層結(jié)構(gòu)的第三層中，基于上半臉區(qū)域（見圖4,人臉區(qū)域從上往下三分之 一部分），將class-21分為class-211 :生氣；class-212 :悲傷；基于下半臉區(qū)域（見圖4， 人臉區(qū)域從下往上三分之二部分），將class-22分為：class-221:恐懼；class-222:開心； class-223 :驚奇。
[0032] 基于上述分層，本發(fā)明圖1給出了逐層分類的具體實施步驟，具體為：
[0033](1)第一層分類步驟：
[0034] 在待識別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū)域，在第一層分類 區(qū)域內(nèi)提取紋理特征，以檢測是否出現(xiàn)AU9運動單元作為第一層分類器判定標(biāo)準(zhǔn)，所述AU9 運動單