專利名稱：一種人臉圖像質(zhì)量檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉識(shí)別，尤其涉及一種在人臉識(shí)別過(guò)程中，對(duì)待識(shí)別的人臉圖像的質(zhì)量進(jìn)行檢測(cè)的方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
人臉圖像質(zhì)量評(píng)價(jià)的作用
在人臉識(shí)別系統(tǒng)中，待識(shí)別圖像的質(zhì)量嚴(yán)重影響系統(tǒng)匹配的精度。圖像質(zhì)量既包括圖像本身的全局特性如亮度、對(duì)比度、分辨率等，也包括和人臉特征相關(guān)的屬性，比如人臉圖片中人臉的姿態(tài)、非對(duì)稱光照等。低質(zhì)量的圖片可能是引起系統(tǒng)匹配錯(cuò)誤的主要原因，也直接導(dǎo)致了很多系統(tǒng)無(wú)法在實(shí)際中使用。
人臉圖像質(zhì)量評(píng)估系統(tǒng)可以有效地改善由于輸入圖像質(zhì)量過(guò)低引起的系統(tǒng)錯(cuò)誤，它可以監(jiān)視采集設(shè)備的輸出圖像和注冊(cè)識(shí)別算法輸入圖像的質(zhì)量。
圖1給出了一個(gè)加入圖像質(zhì)量評(píng)估系統(tǒng)后的人臉識(shí)別系統(tǒng)框圖，圖像首先經(jīng)過(guò)預(yù)處理并進(jìn)行質(zhì)量評(píng)估，當(dāng)圖像質(zhì)量高于一定門限時(shí)才會(huì)被送到識(shí)別系統(tǒng)中進(jìn)行識(shí)別，否則圖像將被丟棄。
加入圖像質(zhì)量評(píng)估系統(tǒng)，可以帶來(lái)如下好處
(1) 這種方式可以在某種程度上預(yù)防系統(tǒng)錯(cuò)誤，對(duì)于大數(shù)據(jù)生物數(shù)據(jù)庫(kù)還可以有效的節(jié)省匹配的時(shí)間。
(2) 在某些安全場(chǎng)合，當(dāng)一些人比如罪犯故意不愿被系統(tǒng)識(shí)別的時(shí)候，質(zhì)量評(píng)估系統(tǒng)可以給出報(bào)警。
(3) 人臉圖像的質(zhì)量分?jǐn)?shù)也可以用來(lái)輔助識(shí)別算法，比如，當(dāng)圖像質(zhì)量較低的時(shí)候，
系統(tǒng)可以自適應(yīng)的降低匹配的閥值。
現(xiàn)有的人臉圖像質(zhì)量評(píng)價(jià)方法
圖像質(zhì)量評(píng)價(jià)法可以分為客觀評(píng)價(jià)和主觀評(píng)價(jià)。客觀評(píng)價(jià)是用復(fù)原圖像與原始圖像的誤差來(lái)衡量復(fù)原圖像的質(zhì)量，主要方法有方差、
4平均梯度、信息熵、均方誤差(MSE)、峰值信噪比(PSNR)等。方差、平均梯度和信息熵三種都是對(duì)單幅圖像自身進(jìn)行的，主要反映受檢圖像自身的絕對(duì)質(zhì)量。而對(duì)諸如復(fù)原、壓縮、傳輸?shù)冗^(guò)程中結(jié)果圖像與原始圖像間的相對(duì)質(zhì)量評(píng)價(jià)一般采用均方誤差和峰值信噪比。但用它們所求得的結(jié)果常與人們主觀視覺(jué)效果不一致。
主觀評(píng)價(jià)方法就是讓觀察者根據(jù)一些事先規(guī)定的評(píng)價(jià)尺度或自己的經(jīng)驗(yàn)，對(duì)測(cè)試圖像按視覺(jué)效果提出質(zhì)量判斷，并給出質(zhì)量分?jǐn)?shù)，所有觀察者給出的分?jǐn)?shù)進(jìn)行加權(quán)平均,所得的結(jié)果即為圖像的主觀質(zhì)量評(píng)價(jià)。
對(duì)人臉圖像質(zhì)量評(píng)估算法而言，輸入是一幅人臉圖像/，輸出是相應(yīng)的質(zhì)量分?jǐn)?shù)^(/),質(zhì)量分?jǐn)?shù)可以是一個(gè)標(biāo)量或者向量。
LBP算子
原始的LBP算子是處理灰度伸縮和旋轉(zhuǎn)不變的紋理分類的有效方法。對(duì)于圖像中的每個(gè)像素，首先以該像素灰度值作為閾值，對(duì)其周圍的8個(gè)相鄰像素進(jìn)行0，1編碼(灰度大于等于該閾值為1，否則為0)，得到一個(gè)長(zhǎng)度為8的二進(jìn)制串，從而將該二進(jìn)制串作為該像素的編碼，如圖2所示。
由于LBP圖像并不包含原始圖像的任何灰度信息，并且整個(gè)圖像的平均亮度也是未知的，因此可以由LBP圖像來(lái)估算原始圖像得到重建圖像。通過(guò)估算出每一個(gè)像素灰度的可能的最大值，然后估算出其可能的最小值，然后使用平均值來(lái)代表此點(diǎn)像素的灰度。就整體而言，圖像重建過(guò)程中，得到像素灰度最大的重建圖像iC^和像素灰度最小的重建圖像
J min ，最終得到的重建圖像/ 是i ,和i min的平均值。
假設(shè)原始圖像為尸，P經(jīng)過(guò)LBP變換后得到的圖像為i:朋(尸)，M尸(尸)經(jīng)過(guò)LBP逆變換得到的重建圖像為及，則LBP重建的思路如下
1. 對(duì)原始圖像iM故LBP變換得到LBP圖像Z萬(wàn)P(P)。
2. 根據(jù)Z^戶(P)計(jì)算灰度最大的重建圖像W^:將/ _的所有像素的灰度預(yù)設(shè)為255;
對(duì)于每個(gè)像素，將其灰度由255以逐一減小，直到該像素的LBP編碼等于LBP(P)中該像素的LBP編碼為止，此時(shí)的灰度就是該像素點(diǎn)的最大灰度；
確定所有像素點(diǎn)的最大灰度后得到的圖像即為灰度最大的重建圖像iU 。
3. 根據(jù)Z^P(P)計(jì)算重建灰度最小的重建圖像i^:首先將&, 的所有像素的灰度預(yù)設(shè)為0;
對(duì)于每個(gè)像素，將其灰度由0逐一增大，直到該像素的LBP編碼等于LBP(P)中該像素的LBP編碼為止，此時(shí)的灰度就是該像素點(diǎn)的最小灰度；
確定所有像素點(diǎn)的最小灰度后得到的圖像即為灰度最小的重建圖像& 。
4.得到重建圖像及，W=L《n 。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的問(wèn)題，提出一種人臉圖像質(zhì)量檢測(cè)方法。
本發(fā)明通過(guò)以下指標(biāo)檢測(cè)人臉圖像質(zhì)量。
對(duì)稱性
光照和姿態(tài)變化是導(dǎo)致目前大多數(shù)人臉識(shí)別系統(tǒng)性能下降的主要原因。本發(fā)明使用人臉對(duì)稱性來(lái)評(píng)估由非對(duì)稱光照和不正確的姿態(tài)帶來(lái)的圖片質(zhì)量問(wèn)題。人臉對(duì)稱性可以基于一些圖像局部特性來(lái)分析，可以對(duì)原始像素或者經(jīng)過(guò)局部濾波以后的圖像進(jìn)行分析，因?yàn)榫植繛V波器可能更適合計(jì)算人臉的對(duì)稱性。由光照和姿態(tài)變化引起的左右半邊人臉的圖像特征差異可以作為人臉圖像不對(duì)稱的一個(gè)局部度量。如果人臉圖像是嚴(yán)格對(duì)稱的，左右半
邊圖像特征的差異為o。
為了更有效的表示左右半邊人臉對(duì)稱性的差異，本發(fā)明通過(guò)在人臉圖像(P)的LBP圖像(丄BPCP))上，左右臉的局部直方圖(//'和//")的距離來(lái)度量人臉?lè)菍?duì)稱性，由于對(duì)齊存在一定的偏差，直方圖距離比單純的像素對(duì)比更能很好的表示左右臉的非對(duì)稱性。直方圖距離由下式表示
<formula>formula see original document page 6</formula>
上述"對(duì)稱性"評(píng)價(jià)基于i^p(p),而下述"光照強(qiáng)度"和"對(duì)比度"評(píng)價(jià)標(biāo)準(zhǔn)則基于重建圖
像/ 。采用及的理由如下
一幅灰度圖像可以由其模式信息、對(duì)比度信息和灰度的平均值表示。由LBP復(fù)原出的
圖像i 包含了原始圖像的模式信息，而i 的對(duì)比度信息和灰度平均值信息則是人為加入的。由于/ 具有原始圖像的模式信息，并且有可控的對(duì)比度信息和灰度平均值信息，所以可以作為一種優(yōu)秀的標(biāo)準(zhǔn)圖像，用于原始圖像的評(píng)價(jià)。光照強(qiáng)度光照強(qiáng)度質(zhì)量分?jǐn)?shù)用來(lái)評(píng)價(jià)光照強(qiáng)度是否過(guò)亮或過(guò)暗。該分?jǐn)?shù)可通過(guò)對(duì)未作歸一化的 圖像的灰度直方圖來(lái)計(jì)算。在正常光照情形下，灰度直方圖分布在一個(gè)較寬的區(qū)域中。在 非常暗和非常亮的光照條件下，灰度直方圖通常被壓縮在直方圖的一側(cè)。而LBP重建圖像
的直方圖卻是集中在中間，假定/^為經(jīng)過(guò)LBP變換和LBP重建后的重建圖像及的直方圖， 為原始圖像i3的直方圖。光照強(qiáng)度質(zhì)量分?jǐn)?shù)可由卡方來(lái)計(jì)算。
<formula>formula see original document page 7</formula>
對(duì)比度
對(duì)比度涉及到圖像整體特征。在圖像質(zhì)量評(píng)價(jià)中，可通過(guò)計(jì)算像素的值來(lái)完成。如下 公式所示，其中，尸(x，力為原始圖像戶中位置為Oc,力的像素的灰度值，同理及O，力為L(zhǎng)BP 重建圖像W中位置為Oc，力的像素的灰度值，；為原始圖像P的灰度的平均值，M和iV為 圖像的寬度和高度。
清晰度
和上述三個(gè)指標(biāo)不同，清晰度基于原始圖像p。清晰度是指在人臉圖像區(qū)域內(nèi)大尺度 和小尺度兩方面具有的清晰程度，釆用圖像的梯度值來(lái)計(jì)算清晰度。如下公式所示，其中
Gp(;c，力表示原始圖像P在點(diǎn)(x，力處的梯度值。
<formula>formula see original document page 7</formula>
圖像總體質(zhì)量
上述四個(gè)指標(biāo)可以根據(jù)情況單獨(dú)使用，或選擇其中的一個(gè)或多個(gè)組合使用。特別地， 當(dāng)組合使用多個(gè)指標(biāo)時(shí)，還可使用"總質(zhì)量分?jǐn)?shù)"來(lái)整體評(píng)價(jià)一個(gè)人臉圖像。各個(gè)因素的質(zhì) 量法分?jǐn)?shù)可以通過(guò)不同的方式結(jié)合在一起，組成最終的總體質(zhì)量分?jǐn)?shù)， 一個(gè)簡(jiǎn)單而又實(shí)用 的方法是使用加權(quán)和。如下公式所示，
其中，S"=i，"是歸一化以后的各個(gè)質(zhì)量分?jǐn)?shù)的權(quán)值，在某些情況下，"也可以和現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)勢(shì)在于
1.主觀評(píng)價(jià)使用LBP算子，完全忽略了光照的影響，充分表現(xiàn)了人臉的姿態(tài)變化； '2.客觀評(píng)價(jià)采用LBP重建圖像作為標(biāo)準(zhǔn)圖像，該標(biāo)準(zhǔn)圖像保留了人臉的姿態(tài)變化， 且能充分表達(dá)人臉圖像的光照強(qiáng)度，對(duì)比度等。
圖1表示人臉識(shí)別系統(tǒng)流程示意圖； 圖2表示LBP處理示意圖； 圖3a表示進(jìn)行人臉圖像質(zhì)量評(píng)價(jià)的原始圖； 圖3b表示圖3a的LBP圖3c， d表示圖3b的LBP圖中左右臉的直方圖。
具體實(shí)施例方式
下面通過(guò)具體實(shí)施例結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。 實(shí)施例1
本實(shí)施例實(shí)現(xiàn)對(duì)人臉圖像的質(zhì)量檢測(cè)，包括下列步驟
a) 對(duì)原始人臉圖像尸(圖3a)作LBP處理得到LBP圖像^LS尸CP)(圖3b);
b) 由所述i^尸CP)得到左右臉的直方圖W (圖3c)和/^ (圖3d)，計(jì)算
f(/f',ir)-Z(氣—^ 2 ，若/(W,iT)的值在設(shè)定的閾值范圍內(nèi)，則戶的質(zhì)量符合要
求；否則，P的質(zhì)量不符合要求，
c) 由丄BP(尸)作LBP逆處理得到重建圖像i ;
d) 由所述尸和/ 計(jì)算？(^,//0 = 2(^1—5/ ,若72(// //尸)在設(shè)定的閾值范圍
內(nèi)，則所述人臉圖像的質(zhì)量符合要求；否則，P的質(zhì)量不符合要求， 其中，/^表示i 的直方圖，/T表示戶的直方圖。
e)由所述尸和7 計(jì)算C"^^VZ[iX;c,力-及(x，力f ，若C在設(shè)定的閾值范圍
=0 "0內(nèi)，則所述人臉圖像P的質(zhì)量符合要求；否則，P的質(zhì)量不符合要求，
其中，尸(x,力表示尸中位置為(x,力的像素的灰度值，i (x,力表示^中位置為(;c，力的 像素的灰度值，^表示戶的灰度平均值，M和iV表示p的寬度和高度。
M—2 W-2
f)由所述尸計(jì)算G-ZZ^0c,力，若G在設(shè)定的閾值范圍內(nèi)，則所述人臉圖像尸的
質(zhì)量符合要求；否則，P的質(zhì)量不符合要求，
其中Gp(x,力表示P在點(diǎn)(x,力處的梯度值，M和iV分別表示尸的寬度和高度。
實(shí)施例2
本實(shí)施例對(duì)來(lái)自實(shí)時(shí)圖像捕捉設(shè)備的人臉圖像進(jìn)行質(zhì)量檢測(cè)，包括下列步驟
a) 對(duì)原始人臉圖像尸作LBP處理得到LBP圖像Z5尸(尸)；
b) 由所述z朋cp)得到左右臉的直方圖^和^，計(jì)算^0^,/0=^:(//:—"〔)2;
巧+可
c) 由所述Z萬(wàn)P(尸)作LBP逆處理得到重建圖像i ;
d) 由所述尸和^ 計(jì)算/(//",//0=^;(51—57 ，其中，^表示w的直方圖，^
表示P的直方J1 i;v-i T7tEIP",力—""，力]'其中，尸O,力表示尸中位 層SS
置為(x,力的像素的灰度值，i (;c,力表示W(wǎng)中位置為O:，力的像素的灰度值，^表示戶的灰 度平均值，M和^分別表示P的寬度和高度；
f) 由所述P計(jì)算C^ZZG尸(Jc，力，其中G尸(x,力表示P在點(diǎn)Oc,力處的梯度值，M和
^分別表示P的寬度和高度；
g) 計(jì)算5fcore =[(1/8)' (//'，/r) ]+[(1/4). //尸)]+[(l/4).C]+[(3/8)'G〗，若Score在
設(shè)定的閾值范圍內(nèi)，則所述人臉圖像P的質(zhì)量符合要求；否則，戶的質(zhì)量不符合要求。
權(quán)利要求
1.一種人臉圖像質(zhì)量檢測(cè)方法，包括下列步驟a)對(duì)原始人臉圖像P作LBP處理得到LBP圖像LBP(P)；b)由所述LBP(P)得到左右臉的直方圖Hl和HR，計(jì)算<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msup> <mi>χ</mi> <mn>2</mn></msup><mrow> <mo>(</mo> <msup><mi>H</mi><mi>l</mi> </msup> <mo>,</mo> <msup><mi>H</mi><mi>r</mi> </msup> <mo>)</mo></mrow><mo>=</mo><munder> <mi>Σ</mi> <mi>i</mi></munder><mfrac> <msup><mrow> <mo>(</mo> <msubsup><mi>H</mi><mi>i</mi><mi>l</mi> </msubsup> <mo>-</mo> <msubsup><mi>H</mi><mi>i</mi><mi>r</mi> </msubsup> <mo>)</mo></mrow><mn>2</mn> </msup> <mrow><msubsup> <mi>H</mi> <mi>i</mi> <mi>l</mi></msubsup><mo>+</mo><msubsup> <mi>H</mi> <mi>i</mi> <mi>r</mi></msubsup> </mrow></mfrac><mo>,</mo> </mrow>]]></math> id="icf0001" file="A2009100854330002C1.tif" wi="51" he="10" top= "45" left = "134" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>若χ2(Hl，Hr)在設(shè)定的閾值范圍內(nèi)，則所述人臉圖像P的質(zhì)量符合要求。
2.如權(quán)利要求l所述的方法，其特征在于，所述步驟a)之后還包括步驟c) 由丄5尸(尸)作LBP逆處理得到重建圖像i ;d) 由所述尸和及計(jì)算^(i/"，/T^S(^1—57 ,若？(i^,/^)在設(shè)定的閨值范圍內(nèi)，則所述人臉圖像的質(zhì)量符合要求；其中，/^表示i 的直方圖，/T表示尸的直方圖。
3.如權(quán)利要求l所述的方法，其特征在于，所述步驟a)之后還包括步驟:c)由Z5尸(尸)作LBP逆處理得到重建圖像i ;e) 由所述戶和i 計(jì)算c二i: ^^Z[尸o,力-i (x,力f ，若c在設(shè)定的閾值范圍內(nèi)，則所述人臉圖像尸的質(zhì)量符合要求；其中，尸(x,力表示P中位置為(x,力的像素的灰度值，i (x，力表示W(wǎng)中位置為(x,力的像素的灰度值，4表示^的灰度平均值，M和^表示尸的寬度和高度。
4.如權(quán)利要求l所述的方法，其特征在于，所述步驟a)之后還包括步驟f) 由所述尸計(jì)算( =2]2>^，力，若G在設(shè)定的閾值范圍內(nèi)，則所述人臉圖像P的少=0質(zhì)量符合要求；其中C^(;c,力表示戶在點(diǎn)(;c,力處的梯度值，M和^分別表示P的寬度和
5. —種人臉圖像質(zhì)量檢測(cè)方法，包括下列步驟a) 對(duì)原始人臉圖像戶作LBP處理得到LBP圖像丄5戶(尸)；b) 由所述丄5/>(尸)得到左右臉的直方圖//'和/^，計(jì)算/(Z/',/T):Z(氣-"2 ;C)由所述丄B尸CP)作LBP逆處理得到重建圖像i ;d)由所述尸和及計(jì)算72(// //0 = 2(^;-57 ，其中，^表示i 的直方圖，表示P的直方圖；e) 由所述尸和i 計(jì)算C-丄ZZ[戶0c,力-i (;c，力f ，其中，P(jc,力表示尸中位V MA^ 乂=0戶0置為(;c,力的像素的灰度值，i Oc，力表示^中位置為(x，力的像素的灰度值，；表示尸的灰度平均值，M和^分別表示P的寬度和高度；f) 由所述/H十算C^2Z(^(x,力，其中(^(jc,力表示P在點(diǎn)O,30處的梯度值，M和^分別表示P的寬度和高度；g)計(jì)算&0" = ^",5,,若Scwe在設(shè)定的閾值范圍內(nèi)，則所述人臉圖像戶的質(zhì)量符合要求；'=1其中《表示所述計(jì)算值/(/z',/r)、 /(/T,/T)、 c和G中的一項(xiàng)，^表示所述各個(gè)《的權(quán)重，且^> =。
全文摘要
本發(fā)明公開了一種人臉圖像質(zhì)量檢測(cè)方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明方法包括對(duì)原始人臉圖像P作LBP處理得到LBP圖像LBP(P)；由LBP(P)中左右臉的直方圖評(píng)價(jià)P的對(duì)稱性；由所述LBP(P)作LBP逆處理得到重建圖像R；由P和R評(píng)價(jià)P的光照強(qiáng)度和對(duì)比度；另外，由P通過(guò)圖像的梯度值評(píng)價(jià)P的清晰度。上述四種評(píng)價(jià)方式可單獨(dú)使用，也可賦予各自的權(quán)重計(jì)算加權(quán)和同時(shí)使用。本發(fā)明方法可用于在圖像處理中檢測(cè)采集圖像的質(zhì)量。其優(yōu)勢(shì)體現(xiàn)在完全忽略光照影響，充分表現(xiàn)人臉的姿態(tài)變化、光照強(qiáng)度、對(duì)比度等。
文檔編號(hào)G06K9/00GK101567044SQ20091008543
公開日2009年10月28日 申請(qǐng)日期2009年5月22日 優(yōu)先權(quán)日2009年5月22日
發(fā)明者封舉富, 祝世虎 申請(qǐng)人:北京大學(xué)