專利名稱：一種人臉身份和表情的同步識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉識(shí)別方法，特別涉及一種人臉身份和表情的同步識(shí)別方法。
技術(shù)背景人臉面部圖像中包含著豐富的信息，通過(guò)面部圖像不僅可以識(shí)別人的身份，而且可以識(shí)別人的面部表 情。目前，面部表情識(shí)別和身份識(shí)別已成為計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域中的兩大熱點(diǎn)研究問(wèn)題。面部表情 識(shí)別的主要目標(biāo)是從人臉面部圖像中提取能反映情緒類別的主要特征，并在此基礎(chǔ)上進(jìn)行表情分類與識(shí) 別。大部分傳統(tǒng)的面部表情識(shí)別方法是將面部圖像劃分為七種基本表情類型(高興、悲傷、驚奇、生氣、 厭惡、害怕、中性)中的一種。與面部表情識(shí)別方法類似，人臉識(shí)別的目標(biāo)則是將未知身份的人臉圖像匹 配到某一已知類別的人臉圖像，從而達(dá)到人臉身份識(shí)別的目的。由于識(shí)別目標(biāo)的不同，人臉識(shí)別和表情識(shí)別往往被作為兩個(gè)獨(dú)立的任務(wù)來(lái)完成。然而，在某些場(chǎng)合下， 進(jìn)行人臉身份和表情的同步識(shí)別具有一定的特殊意義。例如，在基于面部表情的兒童情緒類型鑒別研究中， 我們不僅要識(shí)別兒童的面部表情，而且還要了解不同兒童個(gè)體間的情緒差異。因此，如果能同時(shí)識(shí)別兒童 的身份和表情類型，將能更好的完成該任務(wù)。但是而目前為止，二者同步識(shí)別方面的方法的研究還不夠深 入，還無(wú)法達(dá)到理想的識(shí)別效果。 發(fā)明內(nèi)容本發(fā)明的目的就在于解決現(xiàn)有技術(shù)的缺陷，設(shè)計(jì)了一種人臉身份和表情的同步識(shí)別方法。 本發(fā)明的技術(shù)方案是一種人臉身份和表情的同步識(shí)別方法，其特征在于包括以下步驟(1) 面部特征提取面部特征由面部幾何特征和Gabor小波特征兩部分組成；其中面部幾何特征定義為由面部關(guān)鍵點(diǎn)的坐 標(biāo)值所組成的特征矢量，而Gabor特征提取則是用一組具有不同尺度和方向的Gabor濾波器組對(duì)每幅人臉 圖像進(jìn)行巻積，得到幅值圖像，然后面部關(guān)鍵點(diǎn)處的幅值所組成的特征矢量作為Gabor特征矢量；此外， 還必須為每一幅圖像建立相應(yīng)的語(yǔ)義特征矢量，用于后續(xù)的識(shí)別；(2) 特征融合在獲得幾何特征矢量和Gabor特征矢量后，運(yùn)用核主成分分析(KPCA)法對(duì)兩組特征矢量進(jìn)行變換 處理，再將變換后的兩組特征矢量合并為一組新的特征矢量作為人臉身份和表情識(shí)別用的輸入特征矢量。(3) 人臉和表情的同步識(shí)別首先采用偏最小二乘(PLSR)方法建立輸入特征矢量和相應(yīng)的輸出語(yǔ)義矢量之間的關(guān)系表達(dá)式，然后 根據(jù)該關(guān)系式對(duì)待測(cè)試的人臉圖像的輸入特征預(yù)測(cè)其所對(duì)應(yīng)的語(yǔ)義特征，并依據(jù)語(yǔ)義特征進(jìn)行人臉的身份 和表情的分類。在所述的人臉身份和表情的同步識(shí)別方法中，在所述的面部特征提取過(guò)程中，按人工標(biāo)定或計(jì)算機(jī)自 動(dòng)標(biāo)定的方式在每幅人臉圖像中標(biāo)定出34個(gè)關(guān)鍵點(diǎn)(用于JAFFE面部表情數(shù)據(jù)庫(kù))或22個(gè)關(guān)鍵點(diǎn)(用于 AR人臉數(shù)據(jù)庫(kù))。在所述的人臉身份和表情的同步識(shí)別方法中，所述的Gabor特征提取過(guò)程采用的Gabor小波的方向和 尺度分別為5個(gè)方向和6個(gè)尺度，首先用一組Gabor濾波器對(duì)人臉圖像進(jìn)行巻積，再取臉部關(guān)鍵點(diǎn)處巻積 圖像的幅值作為Gabor小波在該關(guān)鍵點(diǎn)處的特征值。在所述的人臉身份和表情的同步識(shí)別方法中，所述的人臉圖像的語(yǔ)義特征定義為7種基本表情的強(qiáng)度 大小以及該表情圖像所對(duì)應(yīng)的人臉身份信息。在所述的人臉身份和表情的同步識(shí)別方法中，在運(yùn)用核主成分分析法時(shí)，由選定的核函數(shù)決定映射關(guān) 系(D(X);將表示對(duì)JV個(gè)訓(xùn)練樣本所提取的iV個(gè)幾何特征矢量x)及所對(duì)應(yīng)的Gabor特征矢量x,2 (/ = 1,…,iV)從輸入空間映射到高維的再生核希爾伯特空間巧和F2中，艮P: 0>2 :i "2 —尸2， xf —0)2(x'2)令K1和K2分別代表在兩個(gè)數(shù)據(jù)集《0"x:》和(OJxf》上的Gram陣，尋找兩個(gè)Gram矩陣的前w,個(gè)最大特征值對(duì)應(yīng)的特征矢量和v，(/ = l，...,w,),并分別計(jì)算<D(x》-uf和<D(xf)—《到V和V2上的投影z卜V》(x))-iif) !、l,…,m,z'2 = V2r(d>(x'2)_《)/ = l,...，/n2其中11「和《分別表示{0(^)，/ = 1,一,^}和{(1^,2),/ = 1,".，^}的均值，V1=[v; ... v;]和 V2=[v〖《…<];最后對(duì)特征矢量z)和z;進(jìn)行規(guī)范化處理，即|卜;| = 1和|zf| = l,并按z, =[(z^,(zf)ff進(jìn)行組合， 則組合后的特征矢量z,為進(jìn)行人臉身份和表情識(shí)別用的輸入特征矢量。在所述的人臉身份和表情的同步識(shí)別方法中，采用所述的偏最小二乘(PLSR)方法建立的所述的輸入特征矢量和相應(yīng)的輸出語(yǔ)義矢量之間的關(guān)系表達(dá)式為f = ZTUCTZZrU)，Y 其中Z二IX z2zw]， Y-[y,-y y2—y yjv —刃分別表示輸入特征矢量和語(yǔ)義矢量，y 是y, (/ = 1,…,AO的均值，U和T通過(guò)NIPALS-PLS算法求得。在所述的人臉身份和表情的同步識(shí)別方法中，所述的核函數(shù)在實(shí)際識(shí)別中選擇的是規(guī)范化的單項(xiàng)式核 函數(shù)，其定義式如下，用該核函數(shù)計(jì)算KPCA方法中的Gram矩陣，以消除不同度量空間中的特征差異。本發(fā)明的優(yōu)點(diǎn)和效果在于1. 充分利用臉部圖像信息，分別提取臉部圖像的Gabor特征和幾何關(guān)鍵點(diǎn)的坐標(biāo)，將兩者一起作為人臉 身份和表情同步識(shí)別的輸入特征信息。這樣不僅可以刻畫(huà)圖像的整體信息，同時(shí)也刻畫(huà)了圖像的局部信息， 使其充分支持人臉身份和表情的同步識(shí)別。2. 利用核主成分分析(KPCA)的特征融合方法，將數(shù)據(jù)映射到一個(gè)高維的特征空間中，在該空間中進(jìn)行 線性特征提取，使得輸入的圖像特征矢量具有更好的識(shí)別特性。3. 通過(guò)基于偏最小二乘的回歸(PLSR)的方法，建立特征矢量和語(yǔ)義矢量的關(guān)系，利用該關(guān)系可以更加 有效地預(yù)測(cè)給定的人臉圖像的身份和表情的類別，獲得比傳統(tǒng)方法更好的人臉身份和表情的識(shí)別效果。本發(fā)明的其他優(yōu)點(diǎn)和效果將^下面繼續(xù)描述。


圖1——人臉身份和表情同步識(shí)別的系統(tǒng)框架圖2——34個(gè)關(guān)鍵點(diǎn)位置示例圖3——22個(gè)關(guān)鍵點(diǎn)位置示例圖4——Gabor小波變換示意5——JAFFE數(shù)據(jù)庫(kù)示例圖6——JAFFE數(shù)據(jù)庫(kù)上的人臉和表情識(shí)別率圖7——采用交叉驗(yàn)證方法得到的面部表情識(shí)別率圖8——采用"Leave-one-class-out"交叉驗(yàn)證的面部表情識(shí)別的比較圖9~~AR人臉數(shù)據(jù)庫(kù)示例圖10——各種識(shí)別方法識(shí)別率的比較具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明所述的技術(shù)方案作進(jìn)一步的闡述。圖1表示了人臉身份和表情同步識(shí)別方法的系統(tǒng)框架圖。該同步識(shí)別方法可以通過(guò)以下三個(gè)步驟完成。 一.面部特征提取面部特征由兩部分組成。 一部分為面部幾何特征，另一部分則為Gabor小波特征。其中，幾何特征由 一些臉部關(guān)鍵點(diǎn)的坐標(biāo)組成，代表了人臉的局部信息。而Gabor特征則是運(yùn)用Gabor小波變換技術(shù)對(duì)面部 圖像進(jìn)行小波變換后得到的特征，它既包含有人臉的局部特征，又包含有人臉圖像的全局特征。此外，還 必須為每一幅圖像建立相應(yīng)的語(yǔ)義特征矢量，用于后續(xù)的識(shí)別，具體說(shuō)明如下 1.幾何特征提取為了提取臉部的幾何特征，采用人工標(biāo)定或計(jì)算機(jī)自動(dòng)標(biāo)定的方式在每幅人臉圖像中標(biāo)定出若干個(gè)關(guān) 鍵位置，并將關(guān)鍵位置的坐標(biāo)值組成的特征矢量定義為幾何特征矢量。計(jì)算機(jī)自動(dòng)定位關(guān)鍵點(diǎn)可以通過(guò)主6動(dòng)形狀模型(ASM)方法實(shí)現(xiàn)。至于面部關(guān)鍵點(diǎn)的位置確定，可有不同的定義方法。如圖2所示的34個(gè) 關(guān)鍵點(diǎn)的定義方法，這種定義方法已廣泛用于JAFFE面部表情數(shù)據(jù)庫(kù)中。此外還存在著基于AR人臉數(shù)據(jù) 庫(kù)的另一種定義方式。這種方法在面部?jī)H定義了 22個(gè)關(guān)鍵點(diǎn)，如圖3所示。在本發(fā)明中，以上兩種定義 方式均被采用。 2.Gabor特征提取
典型的Gabor小波核函數(shù)定義如下
exp(/ku,v. z) - exp(-
(式l)
其中w和v分別表示Gabor核的方向和尺度，k v = 、 exp(紙)。本發(fā)明所定義的Gabor小波的方向和尺
度分別為5個(gè)方向和6個(gè)尺度。設(shè)o" = ;r ， & = ;z:/2v, (v e {1,…，5}),和么=;rw/6 ， ( w e {0,…，5}) 。 Gabor
特征可根據(jù)下述方法得到首先用一組Gabor濾波器對(duì)人臉圖像進(jìn)行巻積運(yùn)算，再取臉部關(guān)鍵點(diǎn)處巻積圖 像的幅值作為Gabor小波在該關(guān)鍵點(diǎn)處的特征值。圖4表示了 Gabor小波變換的示意圖，其中符號(hào)<8>表示 巻積運(yùn)算，右邊顯示的圖像是由人臉圖像和Gabor小波濾波器組經(jīng)過(guò)巻積運(yùn)算后得到的幅值圖像。 3.建立語(yǔ)義特征
人臉圖像的語(yǔ)義特征定義為7種基本表情的強(qiáng)度大小以及該表情圖像所對(duì)應(yīng)的人臉身份信息。假設(shè)c 表示人臉的類別個(gè)數(shù)，y,表示與人臉圖像x,相對(duì)應(yīng)的語(yǔ)義特征矢量，并且假設(shè)每幅人臉圖像屬于七種基本
表情中的一種，則y,是一個(gè)c + 7維的矢量，它的元素取為0或1。更具體來(lái)說(shuō)，y,.可定義如下若^屬
于第A個(gè)人的某一個(gè)人臉圖像，且x,.屬于七種基本情緒中的第/種基本表情，其中l(wèi)《A;2c。則y,可定義 為
y,=ey+e7+i (式2)
其中^是一個(gè)第_/個(gè)元素等于1的c + 7維的單位矢量。 二.特征融合
在獲得幾何特征矢量和Gabor特征矢量后，運(yùn)用KPCA方法對(duì)兩組特征矢量進(jìn)行變換處理，再將變換 后的兩組特征矢量合并為一組新的特征矢量作為人臉身份和表情識(shí)別用的輸入特征矢量。
令x,1和xf (/ = 1， , JV )分別表示對(duì)iV個(gè)訓(xùn)練樣本所提取的iV個(gè)幾何特征矢量及所對(duì)應(yīng)的Gabor特征 矢量。令O是輸入空間到再生核希爾伯特空間F的非線性映射，即(D:及P4F， x,. ~><D(x,.)。令 K-伙"表示iVxiV階的Gram陣，其元素^通過(guò)(式3)算得
、■ =A;(x,.,x》 (式3)
其中WX,，X乂)是一個(gè)核函數(shù)，可表示成①(X,.)和0)(X》的內(nèi)積，艮卩A(X,.,X》=((D(X,))r<D(Xj.) (式4)
在這里，分別將x)和x (/ = 1，…，JV )從輸入空間中映射到高維的再生核希爾伯特空間《和F2中，艮卩 (D,—巧，x; 4①!(x;) (式5) ①2:/T2—F2, x,2—①2(xf) (式6)
令K1和K2分別代表在兩個(gè)數(shù)據(jù)集忡(x)))禾B {$2(xf)}上的Gram陣，且令
KKl —M)K'(I-M)和K:—I一M)K2(1—M)，其中M是一個(gè)元素為士的WxiV矩陣。假設(shè)a;
(z' = 1，…，m,)是對(duì)應(yīng)于K二的w,個(gè)最大特征值的特征矢量，而af (/ = 1，…，m2 )是對(duì)應(yīng)于K=的/w2個(gè)最大
特征值的特征矢量，則K1的前w,個(gè)對(duì)應(yīng)于最大特征值的特征矢量，以及K2的前加2個(gè)對(duì)應(yīng)于最大特征值 的特征矢量可分別表示為
v卜0(X1)(1 —M)a!， z、l，…，W！ (式7)
v,2 =0>(X2)(I-M)ttf, !' = 1，."，附2 (式8)
其中0(X')-
， 0(X2) =
。
令V,[v; v12…v二,]和V,[vf v; ... v二]。假設(shè)u，和《分別表示((D(x;),Z-l,…,A^和
{0(\2),/ = 1,…,W的均值，則O(x》—u，和(P(x))—《到V,和V2上的投影可分別計(jì)箅為
z卜V/^(①(x;) —iC) = A〖(K" (式9) zf =V2r(0)(x'2)—《)=A(K^ (式IO)
其中A,二[a; a;…《,〗，A2 a…a二〗，(K》,表示K二的第/列，(K^),表示K，的第
z'列。
現(xiàn)對(duì)特征矢量z)和z 進(jìn)行規(guī)范化處理，即|卜||| = 1和|zf| = l，并以下式方式進(jìn)行組合，則組合后的 特征矢量z,為進(jìn)行人臉身份和表情識(shí)別用的輸入特征矢量。
z, =[(Z;)r,(z )r]r (式ll) 三.人臉和表情的同步識(shí)別
應(yīng)用偏最小二乘的回歸(PLSR)方法建立面部特征矢量z,和相應(yīng)語(yǔ)義矢量y,之間的關(guān)系，具體的回 歸關(guān)系表達(dá)式如下
f-Z^UCTZZrU)-1!^ (式12)其中Z-[Zi z2…zw]， Y = [yi—y y2—y ... yjv—y]， y是y力、l,…，iV)的均值，U和T
通過(guò)NIPALS-PLS方法求得。
根據(jù)該關(guān)系式對(duì)待測(cè)試的人臉圖像的輸入特征預(yù)測(cè)其所對(duì)應(yīng)的語(yǔ)義特征，并依據(jù)語(yǔ)義特征進(jìn)行人臉的
身份和表情的分類。假設(shè)x,^為一個(gè)待測(cè)人臉圖像，則其所對(duì)應(yīng)的語(yǔ)義特征矢量f,w可通過(guò)下式求得.-= zLU(TrZZ亇)-YY + y (式m
其中z^-[(zLf,(zLf:T, z」(/ = l，2)是測(cè)試圖像x^,所提取的標(biāo)準(zhǔn)化幾何特征矢量和Gabor特征矢量。
令U表示L,的第z'個(gè)元素，則L,的前7個(gè)元素組成的7維矢量yO[U… 代表所測(cè)試的人臉圖像包含的7種基本表情中每種表情的強(qiáng)度大小情況，而^M,剩下的元素組成的矢量
y,:r=[(5^,)8…(，咖)7+c:T則表示該人臉圖像屬于某一個(gè)人的可能性。假設(shè)嚴(yán)p表示最后分類得出的
表情類別，而^"則表示人臉的身份類別，貝1」嚴(yán)1"和//^可分別由(式14)和(式15)得到 嚴(yán)-argmax(ySX (式14)
z如-argmax(y^), (式15) 通過(guò)以上的步驟，實(shí)現(xiàn)了人臉身份和表情的同步識(shí)別。
四.性能評(píng)價(jià)
為了驗(yàn)證本發(fā)明提出的方法可以有效地應(yīng)用于實(shí)際的識(shí)別系統(tǒng)，采用兩個(gè)國(guó)際著名的人臉數(shù)據(jù)庫(kù)來(lái)進(jìn) 行人臉身份和表情的同步識(shí)別。第一個(gè)人臉數(shù)據(jù)庫(kù)是日本女性面部表情(JAFFE)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)已被 廣泛應(yīng)用于表情識(shí)別研究。第二個(gè)人臉數(shù)據(jù)庫(kù)是著名的AR人臉數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)在人臉識(shí)別領(lǐng)域中被廣 泛使用。考慮到幾何特征和Gabor特征位于不同的度量空間，因此實(shí)驗(yàn)中選擇規(guī)范化的單項(xiàng)式核函數(shù)來(lái)計(jì) 算KPCA方法中的Gram矩陣，以消除不同度量空間中的特征差異。規(guī)范化的單項(xiàng)式核函數(shù)的定義如下
A:(x,x')- , 、 V (式16)
其中c/是核函數(shù)度。為了進(jìn)一步驗(yàn)證本文所提方法的有效性，采用了目前在人臉識(shí)別和表情識(shí)別中常用的 其他方法來(lái)進(jìn)行同樣的對(duì)比實(shí)驗(yàn)。
l.JAFFE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)
JAFFE數(shù)據(jù)庫(kù)由10位日本女性的213張人臉圖像構(gòu)成，這些人臉圖像覆蓋了全部的7種基本面部表 情類型，即高興、悲傷、驚奇、生氣、厭惡、害怕和中性。其中，每個(gè)人每種表情有2到4張圖片。JAFFE 數(shù)據(jù)庫(kù)中每張圖像是灰度級(jí)為256、圖像尺寸大小為256x256的灰度圖像。圖5顯示了該數(shù)據(jù)庫(kù)中的部 分圖像。
在進(jìn)行面部特征提取時(shí)，先從每幅面部圖像中人工定義34個(gè)關(guān)鍵點(diǎn)(如圖2所示)，并用這34個(gè)關(guān) 鍵點(diǎn)的坐標(biāo)值組成人臉的幾何特征矢量。另一方面，對(duì)每幅人臉圖像進(jìn)行Gabor變換，并提取每個(gè)面部關(guān)鍵點(diǎn)處的Gabor變換后圖像的幅值組成Gabor特征矢量。此外，為每幅圖像建立相應(yīng)的語(yǔ)義特征矢量。
實(shí)驗(yàn)采用交叉驗(yàn)證策略進(jìn)行，先將整個(gè)數(shù)據(jù)集隨機(jī)地分為大致相同的10個(gè)子集，然后選擇9個(gè)子集 作為訓(xùn)練數(shù)據(jù)，剩下的一個(gè)作為測(cè)試數(shù)據(jù)。整個(gè)實(shí)驗(yàn)重復(fù)10次，直到每個(gè)子集都被用于測(cè)試數(shù)據(jù)。最后 將10次實(shí)驗(yàn)得到的識(shí)別率求平均以作為最后的平均識(shí)別率。本實(shí)驗(yàn)中，單項(xiàng)式核的度設(shè)為6。
圖6中表示了交叉驗(yàn)證中每次實(shí)驗(yàn)的識(shí)別結(jié)果，而圖7則給出了在JAFFE數(shù)據(jù)庫(kù)上釆用交叉驗(yàn)證法時(shí) 各種面部表情識(shí)別方法的平均識(shí)別率。從圖6中可以看出人臉識(shí)別的平均識(shí)別率高達(dá)100%,從圖7中可 以看出本發(fā)明所提出的方法(用？1^11+0315( +Geometry表示)獲得了最好的表情識(shí)別效果，平均識(shí)別率 高達(dá)98.08% 。
為了進(jìn)一步測(cè)試本發(fā)明所提出的方法在面部表情識(shí)別中具有更好的識(shí)別性能，采用 "leave-one-class-out"交叉驗(yàn)證策略進(jìn)行了同樣的實(shí)驗(yàn)。在"leave-one-class-out"交叉驗(yàn)證策略中，將屬于同一 個(gè)人的圖像作為測(cè)試數(shù)據(jù)，而剩余的部分則作為訓(xùn)練數(shù)據(jù)。實(shí)驗(yàn)重復(fù)進(jìn)行直到所有人的人臉圖像都被用作 測(cè)試數(shù)據(jù)。然后再將每次實(shí)驗(yàn)所得的識(shí)別率求平均作為最終的表情識(shí)別率。在本實(shí)驗(yàn)中，單項(xiàng)式核函數(shù)的 度取為3。圖8給出了各種方法識(shí)別率的比較,從中可以看出本發(fā)明所提出的方法(用PLSR+ Gabor+ Geometry 表示)獲得了最好的識(shí)別效果，識(shí)別率高達(dá)85.45%。 2. AR人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)
AR人臉數(shù)據(jù)庫(kù)由126個(gè)人的人臉圖像組成，總的圖像數(shù)目超過(guò)3000張。每個(gè)人的圖像取自兩次間隔 為兩個(gè)星期時(shí)間所拍攝的26張人臉圖像，每次拍攝的圖像為13張。原始圖像尺寸大小為768x576像素， 每個(gè)像素用256級(jí)的灰度值來(lái)表示。圖9表示了數(shù)據(jù)庫(kù)中的一個(gè)人的所有26張圖像示例，其中圖像標(biāo)號(hào)l 到13的是第一次拍攝的，而標(biāo)號(hào)14到26是第二次拍攝的。在數(shù)據(jù)庫(kù)所有126個(gè)人中，僅選用69個(gè)人的 圖像進(jìn)行實(shí)驗(yàn)，并且對(duì)于每個(gè)人的所有圖像，僅選取編號(hào)為l、 2、 3和5的圖像用于本次實(shí)驗(yàn)。這4種編 號(hào)的圖像的表情特征為編號(hào)l為中性表情；編號(hào)2為微笑；編號(hào)3為生氣；編號(hào)5左光源對(duì)應(yīng)的圖像。
為了提取圖像的兒何特征和Gabor特征，采用如圖2右側(cè)的所示的22個(gè)特征點(diǎn)作為本實(shí)驗(yàn)所采用的臉部 關(guān)鍵點(diǎn)。
實(shí)驗(yàn)采用"leave-one-out"交叉驗(yàn)證策略進(jìn)行，首先選取1幅圖像作為測(cè)試數(shù)據(jù)，而剩余的圖像作為訓(xùn)練 數(shù)據(jù)。重復(fù)此過(guò)程直至所有的圖像都被用作測(cè)試數(shù)據(jù)。計(jì)算正確分類的圖像數(shù)目以獲得平均識(shí)別率。在本 實(shí)驗(yàn)中，當(dāng)單項(xiàng)式核函數(shù)的度設(shè)為6時(shí)，獲得了 98.55%的人臉識(shí)別率和81.16%的面部表情識(shí)別率。
為了說(shuō)明本發(fā)明所采用的人臉特征以及所提出的識(shí)別方法的有效性，分別采用PCA方法、直接線性 判別分析(D-LDA)方法、PCA+LDA方法和零空間方法進(jìn)行人臉識(shí)別和表情識(shí)別的對(duì)比實(shí)驗(yàn)，其中每種方 法所采用的輸入數(shù)據(jù)為整幅人臉圖像的灰度值。圖10顯示了各種方法的對(duì)比實(shí)驗(yàn)結(jié)果。
從圖10可以看出在人臉識(shí)別和表情識(shí)別中，本發(fā)明所提出的基于PLSR方法獲得了最好的識(shí)別結(jié)果。 此外也可以看出采用圖像灰度值作為輸入數(shù)據(jù)不能很好地進(jìn)行面部表情識(shí)別。原因在于整個(gè)面部圖像
的灰度值主要刻畫(huà)人臉的整體信息，而難以刻畫(huà)圖像的局部信息。而運(yùn)用Gabor特征和幾何特征相混合的 組合特征不僅可以刻畫(huà)圖像的整體信息，同時(shí)也刻畫(huà)了圖像的局部信息。因此在人臉身份識(shí)別和表情識(shí)別 因此在人臉身份識(shí)別和表情識(shí)別中均能得到較好結(jié)果。
權(quán)利要求
1.一種人臉身份和表情的同步識(shí)別方法，其特征在于包括以下步驟(1)面部特征提取面部特征由面部幾何特征和Gabor小波特征兩部分組成；其中面部幾何特征定義為由面部關(guān)鍵點(diǎn)的坐標(biāo)值所組成的特征矢量，而Gabor特征提取則是用一組具有不同尺度和方向的Gabor濾波器組對(duì)每幅人臉圖像進(jìn)行卷積，得到幅值圖像，然后面部關(guān)鍵點(diǎn)處的幅值所組成的特征矢量作為Gabor特征矢量；此外，還必須為每一幅圖像建立相應(yīng)的語(yǔ)義特征矢量，用于后續(xù)的識(shí)別；(2)特征融合在獲得幾何特征矢量和Gabor特征矢量后，運(yùn)用核主成分分析(KPCA)法對(duì)兩組特征矢量進(jìn)行變換處理，再將變換后的兩組特征矢量合并為一組新的特征矢量作為人臉身份和表情識(shí)別用的輸入特征矢量；(3)人臉和表情的同步識(shí)別首先采用偏最小二乘(PLSR)方法建立輸入特征矢量和相應(yīng)的輸出語(yǔ)義矢量之間的關(guān)系表達(dá)式，然后根據(jù)該關(guān)系式對(duì)待測(cè)試的人臉圖像的輸入特征預(yù)測(cè)其所對(duì)應(yīng)的語(yǔ)義特征，并依據(jù)語(yǔ)義特征進(jìn)行人臉的身份和表情的分類。
2. 根據(jù)權(quán)利要求1所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，在所述的面部特征提取過(guò)程 中，按人工標(biāo)定或計(jì)算機(jī)自動(dòng)標(biāo)定的方式在每幅人臉圖像中標(biāo)定出34個(gè)關(guān)鍵點(diǎn)(用于JAFFE面部表情數(shù) 據(jù)庫(kù))或22個(gè)關(guān)鍵點(diǎn)(用于AR人臉數(shù)據(jù)庫(kù))。
3. 根據(jù)權(quán)利要求1所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，在Gabor特征提取過(guò)程中， 所采用的Gabor小波的方向和尺度分別為5個(gè)方向和6個(gè)尺度，首先用一組Gabor濾波器對(duì)人臉圖像進(jìn)行 巻積，再取臉部關(guān)鍵點(diǎn)處巻積圖像的幅值作為Gabor小波在該關(guān)鍵點(diǎn)處的特征值。
4. 根據(jù)權(quán)利要求l所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，人臉圖像的語(yǔ)義特征定義為 7種基本表情的強(qiáng)度大小以及該表情圖像所對(duì)應(yīng)的人臉身份信息。
5. 根據(jù)權(quán)利要求1所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，運(yùn)用核主成分分析法時(shí)，由 選定的核函數(shù)決定映射關(guān)系<D(x》；將表示對(duì)iV個(gè)訓(xùn)練樣本所提取的iV個(gè)幾何特征矢量x,1及所對(duì)應(yīng)的Gabor特征矢量(/ = 1,…，iV )從輸入空間映射到高維的再生核希爾伯特空間巧和F2中，艮P: <D2 :i "2 —《，x》(D2(x7)令K1和K2分別代表在兩個(gè)數(shù)據(jù)集(①i(x)))和{0)2^^)}上的Gram陣，尋找兩個(gè)Gram矩陣的前附,.個(gè)最大特征值對(duì)應(yīng)的特征矢量v;和vf(z' = l,...，w,),并分別計(jì)算①(x))-u「和①(xf)-《到V,和^上的 投影z)《(o)(x;)-o hi,...z'2 =V2r(<D(xf)_《)/ = 1，."，附2 其中u，和《分別表示(0(x:),^l，…,7V)和(①(x,2)，"l,…,A^的均值，V,=[v; 4 ... v;]和 V2=[v〖v22 ... <];最后對(duì)特征矢量z〗和zf進(jìn)行規(guī)范化處理，即|—;| = 1和||zf|| = l,并按z, -[(z)f ,(z,2f f進(jìn)行組合， 則組合后的特征矢量z,為進(jìn)行人臉身份和表情識(shí)別用的輸入特征矢量。
6. 根據(jù)權(quán)利要求1所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，采用偏最小二乘(PLSR)方法建立的所述的輸入特征矢量和相應(yīng)的輸出語(yǔ)義矢量之間的關(guān)系表達(dá)式為f = ZrU(TrZZrU)-lrTrY 其中Z:[a z2…Y = [y「y y2—y…yw—y]分別表示輸入特征矢量和語(yǔ)義矢量，歹 是y"/ = 1, , TV)的均值，U和T通過(guò)NIPALS-PLS算法求得。
7. 根據(jù)權(quán)利要求5所述的一種人臉身份和表情的同步識(shí)別方法，其特征在于，所述的核函數(shù)在實(shí)際識(shí)別中 選擇的是規(guī)范化的單項(xiàng)式核函數(shù)，其定義式如下，用該核函數(shù)計(jì)算KPCA方法中的Gram矩陣，以消除不 同度量空間中的特征差異；V(xW((x')rx')d其中d是核函數(shù)度。
全文摘要
本發(fā)明提出了一種人臉身份和表情的同步識(shí)別方法，首先對(duì)每幅人臉圖像進(jìn)行面部特征提取，同時(shí)為每幅圖像定義相應(yīng)的語(yǔ)義特征，并對(duì)面部特征采用核主成分分析(PCCA)的特征融合方法，使得輸入的圖像特征具有更好的識(shí)別特性。在此基礎(chǔ)上運(yùn)用偏最小二乘回歸(PLSR)方法建立臉部特征和語(yǔ)義特征之間的關(guān)系模型，并運(yùn)用此模型對(duì)待識(shí)別的人臉圖像進(jìn)行表情和身份的識(shí)別。通過(guò)實(shí)驗(yàn)表明，本發(fā)明提出的方法不僅能進(jìn)行人臉和表情的同步識(shí)別，而且可提高人臉表情識(shí)別的識(shí)別率。
文檔編號(hào)G06K9/00GK101620669SQ20081012280
公開(kāi)日2010年1月6日 申請(qǐng)日期2008年7月1日 優(yōu)先權(quán)日2008年7月1日
發(fā)明者周曉彥, 力 趙, 鄒采榮, 鄭文明, 昕 魏 申請(qǐng)人:鄒采榮;趙 力