一種基于區(qū)域圖像的人臉表情識別方法
【專利摘要】本發(fā)明屬于數(shù)字圖像處理技術領域，特別涉及一種基于區(qū)域圖像的人臉表情識別方法。本發(fā)明通過改進LDP的原始編碼模式，首先利用最大兩位和最小兩位響應值做差，與一個參考門限值作對比，將差值作為編碼值進行編碼；其次利用最大響應值所在方向來確定一個目標像素，利用周圍像素的明暗信息所代表的方向性進行編碼以排除部分偶然重合的情況；最后，所得的編碼為最大響應值所在方向的三位編碼和兩組差值的四位編碼。本發(fā)明改進了LDP的方法，相較于常用的LDP和PCA方法，提高了精確度；利用區(qū)域分割之后進行直方圖均衡化的方法，并在PLDP中加入門限，提高了對噪聲的干擾能力。
【專利說明】
一種基于區(qū)域圖像的人臉表情識別方法
技術領域
[0001] 本發(fā)明屬于數(shù)字圖像處理技術領域，特別涉及人工智能、機器學習、計算機視覺等 相關理論知識。
【背景技術】
[0002] 表情是人類用來表達情緒的一種基本方式，是非語言交流中的一種有效手段。人 們可通過表情準確而微妙地表達自己的思想感情，也可通過表情辨認對方的態(tài)度和內(nèi)心世 界。人臉表情識別所要研究的就是如何自動、可靠、高效地利用人臉表情所傳達的信息。人 臉表情可以分為6種基本情感類別:驚奇、恐懼、厭惡、憤怒、高興、悲傷，和一種最為普遍的 表情類別：中性。其中中性是人臉表情進行轉換的中間過程和所有人一般狀態(tài)下所表現(xiàn)出 來的最為普遍的表情類別。一個人臉表情識別系統(tǒng)(FER)-般包括3個環(huán)節(jié)，即人臉檢測、特 征提取、表情分類。其中人臉檢測目前已經(jīng)成為了一個單獨的研究方向，現(xiàn)有的研究已經(jīng)在 該方面上研究出了一些成果。表情特征提取是FER系統(tǒng)中最重要的部分，有效的表情特征提 取工作將使識別的性能大大提高。
[0003] 在近年來，人機交互(Human to Computer Interface，HCI)技術日益成為人工智 能領域中研究的熱點，人與計算機之間感情交流問題開始受到廣泛的關注。如果計算機和 機器人能夠像人類那樣具有理解和表達情感的能力，來幫助人完成各項任務，那將使計算 機能夠更好地為人類服務。目前的各種面部表情識別算法中，常在單一數(shù)據(jù)庫中進行驗證， 并不具有普遍性和說服力。由于不同人種和各國文化背景的差異，不同民族不同國家的人 其面部表情的表現(xiàn)形式并不相同。
[0004] 目前常用的人臉面部表情識別算法有：
[0005] (1)基于人臉動作編碼系統(tǒng)FACS和運動單元AU的算法。J . Hamm，C. G. Kohler， R.C.Gur,and R?Verma，"Automated facial action coding system for dynamic analysis of facial expressions in neuropsychiatric disorders，'，Journal of Neuroscience Methods，vol?200，no?2，pp?237-256，2011?
[0006] ( 2)基于主成分分析PCA的算法 D Yong C Y，Sudirman R，Chew K M ? Facial Expression Monitoring System UsingPCA-Bayes Classifier[C].Future Computer Sciences and Application(ICFCSA),2011International Conference on.IEEE,2011: 187-191.
[0007] (3)基于1^卩的算法。1'.^13 1(1，]\1.11.1(&13；[1'，&11(10.01&6，"1?013118七€&。1&1 expression recognition based on local directional pattern，'，ETRI Journal, vol?32，no?5，pp?784-794，2010?
[0008] 上述人臉面部表情提取方法都在一定程度上存在問題。方法1需要準確的五官定 位及面部追蹤才可以獲得較好的效果，且對于噪聲光照敏感，易受到干擾。方法2雖然擁有 較小的計算量和特征維度，但是會忽略局部特征，局部特征在識別過程中也是非常重要的 部分，因此對于識別精度有一定的影響。方法3雖然較方法1，2有所改進，但是隨著所取最大 值個數(shù)的提升，其編碼組合數(shù)目會大幅增加，用于區(qū)域圖像分塊處理之后，其整幅圖像的特 征維度會急劇增加;且LDP也僅是用周圍像素與中心像素進行比較，直接取周圍像素的最大 運算值進行編碼，非理想條件下，對噪聲也不具有一定的抗力。
[0009] LDP編碼由如下公式計算而得：
[0012] 其中mi，i = 〇,......，7表示經(jīng)過Kir sch算子運算后的八方向的響應值的絕對值，k 表示取最大值的個數(shù)，mk表示nu最大的第k個值。隨著K的增大其特征維度會急劇增大，且抗 干擾的能力不高。該方法還可能會出現(xiàn)完全不同像素成為了同一種編碼的情況。

【發(fā)明內(nèi)容】

[0013] 針對上述存在問題或不足，本發(fā)明提供了一種基于區(qū)域圖像的人臉表情識別方 法，能夠有效的提取有用信息并減少計算量，提高抗干擾能力。
[0014] 該基于區(qū)域圖像的人臉表情識別方法，流程示意如圖1所示，包含下述步驟：
[0015]步驟1、人臉檢測及圖像預處理
[0016] 步驟1.1人臉檢測
[0017] 對待檢測圖像進行人臉檢測與定位，采用Adaboost方法。利用含有人臉和不含有 人臉的圖像對分類器進行訓練，其中含有人臉的圖像為正樣本，不含有人臉的圖像為負樣 本。
[0018] 步驟1.2圖像預處理
[0019]通過步驟1.1得到人臉圖像后，進行尺度歸一化，擴大或縮小到256*256的尺寸大 小，若是彩色圖像則需要先進行圖像二值化獲得灰度圖像;得到統(tǒng)一大小的灰度圖像之后， 進行區(qū)域分割，分為3*3的等大小圖像區(qū)域，得到每一塊區(qū)域圖像，并計算每一個小區(qū)域的 直方圖，按順序進行首尾相連，之后進行直方圖均衡，得到最終的待檢測圖像，直方圖均衡 的計算方法如下：
[0021]其中L是圖像中灰度值總數(shù)，rk為原始直方圖分布中的第k種灰度值，如是灰度為rk 的像素數(shù)目，n為總像素個數(shù)，Pr (rk)為rk的概率密度函數(shù)，Sk是rk經(jīng)過變化后的灰度值。 [0022]步驟2、表情特征提取
[0023] 對圖像進行PLDP編碼，其計算方式如下：
[0024] DLDP = 16Max+4Ci+C2 0, -30<D<30
[0025] C = - I, D < -30 :2， D>30
[0026]其中，Max表示經(jīng)過Kirsch算子運算后得到的八個方向的響應值中，最大的響應值 所在位置的二進制編碼即從〇〇〇到111，D表示兩組響應值的差值，&表示最大兩位響應值差 值對照門限的編碼，(：2表示最小兩位響應值做差值對照門限的編碼。用Max作為高位，&C2順 次連接做低位組成七位的編碼值，最后取編碼的十進制值作為中心像素最終的結果值。其 編碼的示意圖如圖2所示。
[0027]步驟3表情分類
[0028]首先，將步驟2中獲得的特征信息隨機分為10份，其中9份作為訓練圖像，1份作為 檢測圖像。然后將9份訓練圖像輸入SVM進行訓練，得到一個SVM分類器，之后采用十折交叉 驗證法，對樣本進行其他9次訓練，將所獲得的10個SVM分類器級聯(lián)成為一個強分類器;最后 用已經(jīng)訓練好的SVM支持向量機對特征進行分類。即用強分類器對其他所有人臉表情圖像 進行識別分類。
[0029]所述步驟1.1中分類器進行訓練具體為：首先求取訓練樣本的四種Harr-Like特 征，形成特征集;然后訓練弱分類器，訓練弱分類器的目的是為了確定閾值，使得對所有訓 練樣本的分類誤差最低;最后級聯(lián)弱分類器形成強分類器。
[0030] 本發(fā)明通過改進LDP的原始編碼模式，首先，不直接使用所計算出來的響應值進行 編碼，而是利用最大兩位和最小兩位響應值做差，與一個參考門限值作對比，將差值作為編 碼值進行編碼，排除了部分噪聲對于系統(tǒng)性能的影響，提高了提取方法的抗干擾能力;其次 因為對于中心像素而言，其八方向的響應值并不具有同等的地位，從而才會產(chǎn)生各個方向 不同的響應值，最大響應值具有最大的能量，因此可以利用最大響應值所在方向來確定一 個目標像素，這比直接選取最大三個響應值進行編碼的LDP方法更加精確，利用周圍像素的 明暗信息所代表的方向性進行編碼以排除部分偶然重合的情況，提高編碼準確度，如圖3所 不;最后，所得的編碼為最大響應值所在方向的二位編碼和兩組差值的四位編碼，從而將原 來八位的二進制編碼縮減為七位的二進制編碼值，降低了特征維度和后續(xù)識別的運算時 間。
[0031] 綜上所述，本發(fā)明具有以下有益效果：1、改進了 LDP的方法，簡化特征維度和計算 量，且降低了部分不同像素使用同一種編碼值出現(xiàn)的頻率，相較于常用的LDP，PCA方法，提 高了精確度;2、利用區(qū)域分割之后進行直方圖均衡化的方法，并在PLDP中加入門限，提高了 對噪聲的干擾能力。
【附圖說明】
[0032] 圖1:人臉表情識別整體流程示意圖；
[0033] 圖2:PLDP編碼示意圖；
[0034] 圖3:PLDP與LDP編碼對比示意圖。
【具體實施方式】
[0035]采用本發(fā)明的方法在VS2010環(huán)境中實現(xiàn)。
[0036]在訓練階段，對于所有訓練圖像，首先按步驟1對其進行直方圖均衡；
[0037]然后，將均衡后圖像進行PLDP編碼操作，將提取的特征向量保存用于SVM分類器的 訓練，得到相應的強分類器。
[0038]在測試階段，對于一副測試圖像，首先按步驟1進行直方圖均衡。
[0039] 然后，將均衡后的圖像進行PLDP編碼，得到特征向量，送入SVM分類器進行識別操 作，輸出最后的結果。
[0040] 利用本發(fā)明提供的人臉表情特征提取方法，相較于LDP在Cohn-Kanade和JAFFE數(shù) 據(jù)庫上，在識別精度小幅波動的基礎上大幅減小了運算時間，充分驗證了本發(fā)明的有效性。
【主權項】
1. 一種基于區(qū)域圖像的人臉表情識別方法，包含下述步驟： 步驟1、人臉檢測及圖像預處理 步驟1.1人臉檢測 對待檢測圖像進行人臉檢測與定位，采用Adaboost方法;利用含有人臉和不含有人臉 的圖像對分類器進行訓練，其中含有人臉的圖像為正樣本，不含有人臉的圖像為負樣本； 步驟1.2圖像預處理 通過步驟1.1得到人臉圖像后，進行尺度歸一化，擴大或縮小到256*256的尺寸大小，若 是彩色圖像則需要先進行圖像二值化獲得灰度圖像;得到統(tǒng)一大小的灰度圖像之后，進行 區(qū)域分割，分為3*3的等大小圖像區(qū)域，得到每一塊區(qū)域圖像，并計算每一個小區(qū)域的直方 圖，按順序進行首尾相連，之后進行直方圖均衡，得到最終的待檢測圖像，直方圖均衡的計 算方法如下：其中L是圖像中灰度值總數(shù)，rk為原始直方圖分布中的第k種灰度值，是灰度為^的像 素數(shù)目，η為總像素個數(shù)，Pr (rk)為η的概率密度函數(shù)，Sk是Λ經(jīng)過變化后的灰度值。 步驟2、表情特征提取 對圖像進行PLDP編碼，其計算方式如下： DLDP= 16Max+4Ci+C2其中，Max表示經(jīng)過Kirsch算子運算后得到的八個方向的響應值中，最大的響應值所在 位置的二進制編碼即從〇〇〇到111，D表示兩組響應值的差值，C1表示最大兩位響應值差值對 照門限的編碼，C 2表示最小兩位響應值做差值對照門限的編碼;用Max作為高位，C1C2順次連 接做低位組成七位的編碼值，最后取編碼的十進制值作為中心像素最終的結果值； 步驟3表情分類 首先，將步驟2中獲得的特征信息隨機分為10份，其中9份作為訓練圖像，1份作為檢測 圖像;然后將9份訓練圖像輸入SVM進行訓練，得到一個SVM分類器，之后采用十折交叉驗證 法，對樣本進行其他9次訓練，將所獲得的10個SVM分類器級聯(lián)成為一個強分類器;最后用已 經(jīng)訓練好的SVM支持向量機對特征進行分類，即用強分類器對其他所有人臉表情圖像進行 識別分類。2. 如權利要求1所述基于區(qū)域圖像的人臉表情識別方法，其特征在于： 所述步驟1.1中分類器進行訓練具體為:首先求取訓練樣本的四種Harr-Like特征，形 成特征集;然后訓練弱分類器，訓練弱分類器的目的是為了確定閾值，使得對所有訓練樣本 的分類誤差最低;最后級聯(lián)弱分類器形成強分類器。
【文檔編號】G06K9/46GK105893941SQ201610186414
【公開日】2016年8月24日
【申請日】2016年3月28日
【發(fā)明人】解梅, 張銳, 朱倩, 周揚
【申請人】電子科技大學