專利名稱：用于面部檢測的近紅外方法和系統(tǒng)的制作方法
相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求美國臨時(shí)申請(qǐng)No.60/318,786、題為”面部檢測系統(tǒng)和方法”的專利申請(qǐng)的利益，所述申請(qǐng)于2001年9月13日提交，本申請(qǐng)將所述文件合并在此以供參考。
政府的權(quán)利本發(fā)明是在美國政府的支持下完成的，基金授予號(hào)為NSF/CRCD0088086，基金來源于政府的行政部門國家科學(xué)基金會(huì)。美國政府持有本發(fā)明的不容爭辯的權(quán)利。
背景技術(shù)：
本發(fā)明關(guān)于檢測系統(tǒng)和方法。更具體地說，本發(fā)明是關(guān)于利用近紅外光譜檢測諸如面部容貌特征的檢測系統(tǒng)和方法。
在多種情形下，檢測不同的個(gè)人是很重要的。比如，很多高檔保安應(yīng)用實(shí)例中都要求檢測不同的個(gè)人，例如，在使館周邊的監(jiān)視系統(tǒng)中就需要知道某些個(gè)人是否在特定的場景中。此外又如，不僅是高級(jí)的保安情形需要這樣的檢測系統(tǒng)和方法，政府大廈、學(xué)校、機(jī)場及邊境管制點(diǎn)也需要。因此，需要開發(fā)并裝備檢測及鑒別個(gè)人的系統(tǒng)，例如相隔一段距離進(jìn)行檢測的系統(tǒng)。這樣的系統(tǒng)對(duì)于防范高價(jià)值的資源(例如政府大廈的周邊)免遭不對(duì)稱威脅(例如恐怖主義分子)的情形非常有利。
通常，某些近期的開發(fā)出的生物測定技術(shù)(例如，一些面部識(shí)別系統(tǒng)，它們可以將某個(gè)特定個(gè)人的預(yù)先存儲(chǔ)的數(shù)據(jù)與實(shí)時(shí)采集的個(gè)人的數(shù)據(jù)進(jìn)行對(duì)比)可被用于諸如上文描述的情形中。然而，這類面部識(shí)別系統(tǒng)并不是不存在問題。比如，許多面部識(shí)別系統(tǒng)沒有適當(dāng)?shù)臋z測技術(shù)，用以檢測一個(gè)或多個(gè)人物出現(xiàn)在被監(jiān)視的景象中(例如，鑒別一個(gè)人物是否存在和/或檢測某人物的一個(gè)或多個(gè)面部容貌特征)。又如，許多面部識(shí)別系統(tǒng)無法成功地判定一個(gè)人面部的朝向或一個(gè)人面部的范圍，從而使面部識(shí)別算法無法有效地被用于所述被檢測的個(gè)人。
面部檢測，比如在某一景象中面部的檢測和/或在某一景象中檢測某人的一個(gè)或多個(gè)面部容貌特征，是成功應(yīng)用面部識(shí)別算法的一個(gè)重要的先決步驟。例如，預(yù)先存儲(chǔ)的面部識(shí)別標(biāo)志必須以坐標(biāo)定位或?qū)?zhǔn)的形式應(yīng)用于一幅面部圖像。換句話說，面部檢測是面部識(shí)別系統(tǒng)總體的一個(gè)非常重要的預(yù)處理階段，它向面部識(shí)別系統(tǒng)提供一個(gè)或多個(gè)要點(diǎn)或面部容貌特征，從而可以將預(yù)先存儲(chǔ)的個(gè)人的面部識(shí)別標(biāo)志與現(xiàn)有圖像中檢測到的人進(jìn)行有效的對(duì)比。比如，所述面部檢測技術(shù)可提供圖像中某人的兩眼中心點(diǎn)的位置，從而使面部識(shí)別標(biāo)志可以與其對(duì)準(zhǔn)(例如，將面部識(shí)別標(biāo)志中的雙眼與需分析的個(gè)人圖像中的雙眼對(duì)準(zhǔn))。
面部檢測是一項(xiàng)具有挑戰(zhàn)性的機(jī)器視覺操作，尤其是在室外照明變化非常大的環(huán)境情形下。這樣的環(huán)境條件要求是面部識(shí)別系統(tǒng)通常僅限于室內(nèi)配備的通行管制應(yīng)用的一個(gè)重要原因之一。所以，為了擴(kuò)大上述面部識(shí)別技術(shù)的應(yīng)用，一個(gè)需要應(yīng)對(duì)的重大技術(shù)挑戰(zhàn)就是在無約束環(huán)境條件下面部檢測部件性能低下的問題。
可見光波段面部檢測部件，例如文獻(xiàn)中報(bào)道的那些，選擇純算法方案，因而先天就存在現(xiàn)象學(xué)的問題(phenomenology problem)。人的面部識(shí)別標(biāo)志在可見光波段相對(duì)于不同種族變化非常大。這種變化與動(dòng)態(tài)照明條件交織在一起就形成了一個(gè)令人生畏的問題。通過使用人工照明器來減少光線變化的方法在可見光波段很難實(shí)行，因?yàn)樗鼤?huì)轉(zhuǎn)移景象中人物的注意力并為監(jiān)視系統(tǒng)的存在做宣傳。
近年來，在面部檢測領(lǐng)域已經(jīng)積累了相當(dāng)多的研究成果。盡管方法不盡相同，這些研究主要集中于三種不同的方法，即人工神經(jīng)元網(wǎng)絡(luò)、特征提取及小波分析。不同的方法應(yīng)用于面部檢測時(shí)都有其相應(yīng)的長處與不足，但沒有任何一種方法能夠取得足以匹敵人類感知能力的結(jié)果。
大多數(shù)面部檢測研究專注于不同形式的特征提取。特征提取方法利用不同的面部及皮膚的屬性來分解并提取所需的數(shù)據(jù)。流行的方法包括皮膚顏色分離、主要構(gòu)件分析、本征空間(Eigenspace)建模，直方圖分析、表面紋理分析以及頻域特征。
基于人工神經(jīng)元網(wǎng)絡(luò)的面部檢測研究也受到了關(guān)注。使用這種方法的問題之一是尋找一組有代表性的數(shù)據(jù)。所述困難也因另一個(gè)事實(shí)而增加難度，即，必須搜集一組強(qiáng)有力的反例數(shù)據(jù)來訓(xùn)練單個(gè)的網(wǎng)絡(luò)。
小波方法通常的目的是最大類(maximum class)的判別及信號(hào)維數(shù)化簡。由于維數(shù)降低，基于小波方法的運(yùn)算效率較高。
然而，上述所有方法都伴隨著可見光譜的圖像。因此它們對(duì)光線的變化以及人類面部表象在可見光波段中的變化很敏感。
發(fā)明概述面部檢測系統(tǒng)需要更高的精度，特別是在復(fù)雜的環(huán)境及照明條件下。因此，根據(jù)本發(fā)明，最好進(jìn)行近紅外光譜的多波段特征提取，以提供可靠的面部檢測。換句話說，例如，本發(fā)明提供面部檢測方法，例如，確定某人面部上眼睛的位置，是基于近紅外現(xiàn)象學(xué)的、利用多波段特征提取及利用廣義模型數(shù)據(jù)(例如，利用哈夫變換(Houghtransform)模板)來實(shí)現(xiàn)的。
例如，在一個(gè)實(shí)施例中，通過從多個(gè)近紅外波段提取容貌特征來提供檢測的皮膚區(qū)域中面部的朝向及范圍。然后，對(duì)被檢測的皮膚區(qū)域中每一點(diǎn)應(yīng)用通用哈夫變換，所述變換是利用一幅組合容貌特征圖像中的所期望的眼睛區(qū)域的表象(如，人的一組眼睛和眉毛)來建模的。從對(duì)通用模板的最強(qiáng)響應(yīng)得到眼睛的斑點(diǎn)圖像，其中眼睛可被定位，從而也可從中確定檢測對(duì)象的一只或一雙眼睛的中心。
面部識(shí)別標(biāo)志在近紅外光照中變化很少，因而對(duì)于檢測這些標(biāo)志幫助很大。此外，景象中的照度可以通過包含近紅外照明裝置的反饋控制回路保持在最佳電平。再者，由于人眼看不見近紅外光，所以面部檢測可以以不冒昧及隱蔽的形式完成。這些長處與人類皮膚對(duì)于近紅外光譜獨(dú)特的反射特性結(jié)合起來，使基于簡單并可靠算法的面部檢測得以實(shí)現(xiàn)。
依照本發(fā)明用于檢測某人面部的方法包括提供圖像數(shù)據(jù)，所述圖像數(shù)據(jù)表示從景象反射回來的、至少屬于反射紅外輻射范圍內(nèi)某一波長范圍的光。圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域被提取出來，并且圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域也被提取出來。將提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域與提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域合起來就形成了一幅組合容貌特征圖像。然后對(duì)所述組合容貌特征圖像利用表示眼部區(qū)域的模型數(shù)據(jù)進(jìn)行搜索來檢測所述人物的一只或一雙眼睛。
在本方法的一個(gè)實(shí)施例中，提供第一圖像輸出，所述圖像輸出代表從景象反射回來的屬于反射紅外輻射范圍內(nèi)第一波長范圍的光。從第一圖像輸出中可提取出有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域。有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域在第一波長范圍比人的皮膚有相對(duì)較高的反射率。另外，再提供第二圖像輸出，所述圖像輸出代表從景象反射回來的屬于反射紅外輻射范圍內(nèi)第二波長范圍的光。從第二圖像輸出中可提取出有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域。有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域在第二波長范圍比人的皮膚有相對(duì)較低的反射率。
在本方法的另一個(gè)實(shí)施例中，面部搜索區(qū)域可以通過從背景中離析出景象中的人的皮膚來確定，舉例來說，可以基于上述第一和第二圖像輸出來進(jìn)行分離。例如，人的皮膚對(duì)于第一波長范圍及第二波長范圍紅外光反射率之差，比背景中人皮膚以外的其他物體對(duì)于第一波長范圍及第二波長范圍紅外光反射率之差更大。
在本方法的再一個(gè)實(shí)施例中，對(duì)所述組合容貌特征圖像利用代表眼部區(qū)域的模型數(shù)據(jù)進(jìn)行搜索以檢測所述人物的一只或一雙眼睛。所述搜索可能會(huì)得到一個(gè)或多個(gè)包含眼睛的區(qū)域，舉例來說，將表示多數(shù)人眼睛與眉毛關(guān)系的模板用于所述組合容貌特征圖像來確定一個(gè)或多個(gè)包含眼睛的區(qū)域的位置。然后可以對(duì)處在一個(gè)或多個(gè)包含眼睛的區(qū)域中的一只或一雙眼睛的中心進(jìn)行估算，舉例來說，確定一個(gè)或多個(gè)包含眼睛的區(qū)域是否是一個(gè)橫跨大部分人面部的單個(gè)斑點(diǎn)，或是大小差不多的兩個(gè)斑點(diǎn)，還是一個(gè)較橫跨大部分人面部的單個(gè)斑點(diǎn)小但卻較其他被確定的包含眼睛的區(qū)域大的單個(gè)斑點(diǎn)。
還描述依據(jù)本發(fā)明的用于檢測人面部的系統(tǒng)。所述系統(tǒng)包括至少一臺(tái)成像設(shè)備，用以提供表示景象中反射回來的、處于紅外反射輻射范圍至少一個(gè)波長范圍中的光的圖像數(shù)據(jù)；以及處理設(shè)備。所述處理設(shè)備用以提取圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域，也用以提取圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域，再將提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域與提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域合并起來，構(gòu)成一幅組合容貌特征圖像，而后再利用表示眼睛區(qū)域的模型數(shù)據(jù)來搜索所述組合容貌特征圖像，從而檢測到所述人物的一只或一雙眼睛。
在所述系統(tǒng)的一個(gè)實(shí)施例中，所述系統(tǒng)可以包括第一成像設(shè)備，所述設(shè)備對(duì)紅外反射輻射范圍的第一波長范圍敏感，以提供表示景象的第一圖像輸出。從第一圖像輸出中可提取出有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域。相應(yīng)于某人一條或兩條眉毛的景象區(qū)域?qū)τ诘谝徊ㄩL范圍有比人的皮膚較高的反射率。所述系統(tǒng)還可以包括第二成像設(shè)備，所述設(shè)備對(duì)紅外反射輻射范圍的第二波長范圍敏感，以提供表示景象的第二圖像輸出。從第二圖像輸出中可提取出有可能對(duì)應(yīng)于人的一只或一雙眼的景象區(qū)域。有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域?qū)τ诘谝徊ㄩL范圍有比人的皮膚較低的反射率。
在所述系統(tǒng)的另一實(shí)施例中，處理設(shè)備還通過從背景離析出景象中的人的皮膚來確定面部搜索區(qū)域(舉例來說，基于上述第一與第二圖像輸出來分離)從而可以利用人的皮膚對(duì)第一波長范圍與第二波長范圍反射的差異。
在所述系統(tǒng)的另一實(shí)施例中，處理設(shè)備也可利用表示眼睛區(qū)域的模型數(shù)據(jù)來搜索組合容貌特征圖像，以便得到一個(gè)或多個(gè)包含眼睛的區(qū)域，舉例來說，對(duì)組合容貌特征圖像使用表示多數(shù)人眼睛與眉毛關(guān)系的模板，來為一個(gè)或多個(gè)包含眼睛的區(qū)域定位。然后，從一個(gè)或多個(gè)包含眼睛的區(qū)域中可估算出一只或兩只眼的中心位置。
在所述系統(tǒng)的另一實(shí)施例中，所述系統(tǒng)包括檢測裝置，用于監(jiān)測景象的照明水平；以及控制裝置，用于對(duì)所述檢測裝置的監(jiān)測結(jié)果作出反映而動(dòng)態(tài)地調(diào)節(jié)由光源提供的照明水平。
下面描述用于檢測人面部的另一方法。所述方法包括提供表示景象中反射回來的、處于反射紅外輻射范圍第一波長范圍中的光的第一圖像輸出；以及提供表示景象中反射回來的、處于反射紅外輻射范圍第二波長范圍中的光的第二圖像輸出?；谏鲜龅谝慌c第二圖像輸出，通過從背景離析出的景象中人的皮膚來規(guī)定至少一個(gè)面部搜索區(qū)域。人皮膚對(duì)第一波長范圍與第二波長范圍的光之反射率的差異大于背景中除了人以外的物體對(duì)第一波長范圍與第二波長范圍的光之反射率的差異。在規(guī)定的面部搜索區(qū)域中提取出有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域。這些有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域?qū)τ诘谝徊ㄩL范圍有比人的皮膚較高的反射率。在規(guī)定的面部搜索區(qū)域中還提取出有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域。這些有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域?qū)τ诘诙ㄩL范圍有比人的皮膚較低的反射率。將從景象中提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的區(qū)域與從景象中提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的區(qū)域合并在一起就得到一幅組合容貌特征圖像。對(duì)所述組合容貌特征圖像再利用表示眼區(qū)域的模型數(shù)據(jù)來搜索以確定一個(gè)或多個(gè)包含眼睛的區(qū)域。然后，從一個(gè)或多個(gè)包含眼睛的區(qū)域中估算一只或一雙眼睛的中心位置。
以上關(guān)于本發(fā)明的概述并不打算描述每一個(gè)本發(fā)明的實(shí)施例或?qū)崿F(xiàn)方法。其優(yōu)越性，以及對(duì)本發(fā)明更完整的理解，將通過參考以下的詳細(xì)說明和權(quán)利要求書而變得顯而易見并得到賞識(shí)。
實(shí)施例的簡述

圖1展示起概括說明作用的近紅外人物鑒別系統(tǒng)，用以根據(jù)本發(fā)明使用面部檢測及面部識(shí)別來鑒別人。
圖2展示包含面部檢測進(jìn)程的近紅外人物鑒別方法，其可用圖1所示的系統(tǒng)實(shí)現(xiàn)，用以根據(jù)本發(fā)明來檢測人面部。
圖3展示用來描述人頭部可能取向的示意圖；根據(jù)本發(fā)明可以至少在某種程度上估算其取向。
圖4展示具有代表性的硬件系統(tǒng)實(shí)施例，其可根據(jù)本發(fā)明實(shí)現(xiàn)至少面部檢測。
圖5展示一種示意性面部檢測進(jìn)程的實(shí)施例，其根據(jù)本發(fā)明可由圖2概括示意。
圖6展示一種近紅外皮膚離析系統(tǒng)的實(shí)施例，其可用于根據(jù)本發(fā)明的、如圖5所示的規(guī)定面部搜索區(qū)域的過程。
圖7A圖解說明供兩臺(tái)照相機(jī)互對(duì)準(zhǔn)的方案。
圖7B展示另一種照相機(jī)互對(duì)準(zhǔn)的實(shí)施例。
圖8是表示某一圖像幀中像素的數(shù)量與光譜功率之間關(guān)系的直方圖。
圖9是電磁(EM)頻譜圖。
圖10展現(xiàn)汽車擋風(fēng)玻璃的紅外線透射率特性。
圖11展現(xiàn)汽車側(cè)面玻璃窗的紅外線透射率特性。
圖12是展示淺膚色及深膚色白人男性對(duì)光的反射百分率的曲線圖。
圖13是展示淺膚色及深膚色亞裔男性對(duì)光的反射百分率的曲線圖。
圖14是展示淺膚色及深膚色非洲裔男性對(duì)光的反射百分率的曲線圖。
圖15是比較淺色及深色皮膚反射率的曲線圖。
圖16是棉花、木材及聚酰胺反射率的曲線圖。
圖17是蒸餾水反射率的曲線圖。
圖18是天然的人類頭發(fā)反射率的曲線圖。
圖19是真人發(fā)做的假發(fā)套的反射率的曲線圖。
圖20是展示根據(jù)本發(fā)明對(duì)紅外照明裝置進(jìn)行控制的示意曲線圖。
圖21是一種方法的說明性實(shí)施例，它是一種根據(jù)本發(fā)明的、如圖5概括示意的、用來進(jìn)一步確定面部搜索區(qū)域的方法。
圖22a-22h是用來描述根據(jù)本發(fā)明確定面部搜索區(qū)域的方法的圖解說明，所述方法曾在圖5中概略展示并在圖21中具體展示。
圖23是一種根據(jù)本發(fā)明的眼定位方法的說明性實(shí)施例，它曾概略地展示于圖5。
圖24是一種搜索方法的說明性實(shí)施例，用于根據(jù)本發(fā)明的在圖23中概略示意的眼定位方法中為包含眼睛的區(qū)域定位。
圖25是一種近似方法的說明性實(shí)施例，用于在根據(jù)本發(fā)明的在圖23中概略示意的眼定位方法中為人的一只或一雙眼睛的近似中心確定位置。
圖26a-26d是用來描述根據(jù)本發(fā)明的提取眼睛及眉毛特征之方法的一種實(shí)施例的圖解說明，所述方法用于曾在圖23中概略展示的眼定位方法。
圖27是用于搜索方法中的模板的示范的圖解說明，所述模板用于在根據(jù)本發(fā)明的在圖23中概略展示的并參照?qǐng)D24進(jìn)一步描述的眼定位方法中為包含眼的區(qū)域定位。
圖28a-28c是用來描述一種根據(jù)本發(fā)明之方法的實(shí)施例的圖解說明，所述方法用于在圖23中概略展示的并參照?qǐng)D25進(jìn)一步描述的眼定位方法確定人的一只或一雙眼睛的近似中心。
實(shí)施例的詳細(xì)描述各種用于面部檢測的方法和系統(tǒng)的實(shí)施例，舉例來說，諸如用于面部檢測預(yù)處理級(jí)的方法和系統(tǒng)，將會(huì)通過參照?qǐng)D1-28來描述。需要意識(shí)到的是在此所述方法和系統(tǒng)的功能部件和/或?qū)嵤├梢越Y(jié)合在一起使用，和/或所述方法和系統(tǒng)可與其他的檢測系統(tǒng)結(jié)合在一起使用。
例如，在所述、依據(jù)本發(fā)明的、這樣的組合系統(tǒng)的示意性實(shí)施例中，面部檢測可用于面部識(shí)別算法的預(yù)處理級(jí)，所述算法將預(yù)先存儲(chǔ)的不同人物的圖像文件與當(dāng)前取得的并從中檢測到面部的圖像進(jìn)行比較。另一方面，面部檢測系統(tǒng)也可用于其他應(yīng)用的預(yù)處理級(jí)，舉例來說，人員計(jì)數(shù)，確定某人面部的朝向以提供諸如所述人物是否專注于某個(gè)特定的目標(biāo)(舉例來說，一幅畫，一輛車，一臺(tái)電視的屏幕，一架攝像機(jī)，等等)的信息。
又如，這樣的組合系統(tǒng)和/或方法可用這里所描述的兩臺(tái)照相機(jī)系統(tǒng)來實(shí)現(xiàn)，或者可用于由其他方式提供表示景象之圖像數(shù)據(jù)的情形。
更進(jìn)一步，比如，在某些其他的依照本發(fā)明的系統(tǒng)和方法的實(shí)施例中，在檢測人或人的面部并確定所述人物眼睛的位置時(shí)，也許會(huì)用皮膚離析法來確定面部搜索區(qū)域，也許并不用所述離析法。換句話說，比如，當(dāng)使用這里將進(jìn)一步描述的模板時(shí)，搜索的范圍可能大過面部的區(qū)域很多。
另外，這樣的方法和系統(tǒng)可以與其他諸如利用熱紅外檢測的系統(tǒng)和方法結(jié)合在一起使用。熱紅外或其他近紅外檢測可用于檢測化妝。同樣的，可見光譜系統(tǒng)也可與這里所描述的方法和系統(tǒng)結(jié)合在一起使用以提高檢測能力。
最好是，在這里描述的依照本發(fā)明的面部檢測方法、設(shè)備和/或系統(tǒng)，被用于如圖1所展示的面部識(shí)別技術(shù)的預(yù)處理階段。圖1展示某個(gè)人物鑒別系統(tǒng)10，所述系統(tǒng)的操作由用戶11控制，在軟件18中應(yīng)用面部識(shí)別算法22之前的預(yù)處理級(jí)來實(shí)施軟件18中的面部檢測算法20。
如圖2所示，某個(gè)可用圖1中的系統(tǒng)10來實(shí)現(xiàn)的人物鑒別方法50，包括檢測在受監(jiān)視的景象中的面部(部件52)，舉例來說，確定面部上眼的位置，用以確定面部的朝向和/或面部的范圍。由于從面部檢測進(jìn)程得到這些信息，才使其它面部識(shí)別算法22得以被應(yīng)用(部件56)。
通過圖3所示可意識(shí)到，當(dāng)考慮了人頭與獲取數(shù)據(jù)的成像部件之間的不同位置時(shí)，面部檢測才會(huì)有效。例如，如圖3所示，被監(jiān)視對(duì)象的面部朝前，并且大部分的旋轉(zhuǎn)角度都應(yīng)考慮在內(nèi)。這樣的旋轉(zhuǎn)角度由圖3中的頭所示，包括相應(yīng)于Z軸的-35°至+35°范圍內(nèi)，相應(yīng)于X軸的-35°至+35°范圍內(nèi)，相應(yīng)于Y軸的-90°至+90°范圍內(nèi)的頭的取向。
人物鑒別系統(tǒng)10的面部檢測進(jìn)程52所(舉例來說，子系統(tǒng))包括成像硬件系統(tǒng)12及計(jì)算機(jī)設(shè)備16，所述計(jì)算機(jī)設(shè)備對(duì)于由成像硬件系統(tǒng)12提供的圖像數(shù)據(jù)應(yīng)用面部檢測算法20。在應(yīng)用了面部檢測算法20并當(dāng)檢測到人面部后，至少表示所述人物一部分面部的圖像數(shù)據(jù)，舉例來說，可見光圖像數(shù)據(jù)，近紅外數(shù)據(jù)，等等，將被提供給面部識(shí)別系統(tǒng)，最好還包括在面部檢測進(jìn)程中確定的其他信息。比如，可將表示檢測到的面部上的眼睛中心的數(shù)據(jù)；和/或一個(gè)或多個(gè)容貌特征，提供給面部識(shí)別系統(tǒng)，以使其能有效地分析表示受監(jiān)測的景象中當(dāng)前檢測到的面部的圖像數(shù)據(jù)。
面部識(shí)別算法22可以是任何用于鑒別某個(gè)人或分析某人面部的算法，舉例來說，確定某人欲望的熱分析或近紅外分析。在圖1中所示的具有代表性的實(shí)施例中，面部識(shí)別算法22包括面部數(shù)據(jù)單元32，用來存儲(chǔ)表示不同人的數(shù)據(jù)，舉例來說，面部容貌特征、面部圖像、面部識(shí)別標(biāo)志等等。
面部識(shí)別算法22還包括面部識(shí)別分析工具34，用于分析涉及通過在此描述的一種或多種面部檢測技術(shù)所檢測到的面部圖像數(shù)據(jù)。例如，分析工具34可被用于將面部數(shù)據(jù)單元32存儲(chǔ)的數(shù)據(jù)與所提供的有關(guān)檢測到的面部圖像數(shù)據(jù)中的面容特征進(jìn)行比較，所述圖像數(shù)據(jù)舉例來說有可見光圖像數(shù)據(jù)，近紅外圖像數(shù)據(jù)或任何其它有利于鑒別某個(gè)人或有利于評(píng)估某人企圖(舉例來說，恐怖分子、走私等等)的數(shù)據(jù)。
在此所描述的一種或多種面部檢測技術(shù)可用于改進(jìn)現(xiàn)有的面部識(shí)別系統(tǒng)或與之結(jié)合在一起。在一個(gè)具有代表性的實(shí)施例中，可將一種或多種技術(shù)合并為一個(gè)包含由新澤西州澤西市(Jersey City，NJ)的Visionics公司出產(chǎn)的面部識(shí)別機(jī)FaceIt的系統(tǒng)。由于FaceIt主要依賴面部的幾何形狀進(jìn)行面部識(shí)別，它可以無需變化地應(yīng)用于可見光及近紅外圖像。換句話說，F(xiàn)aceIt系統(tǒng)中普通的面部檢測器可用依據(jù)本發(fā)明的面部檢測器來替換。
各種各樣的成像硬件系統(tǒng)配置12可用來實(shí)現(xiàn)依據(jù)本發(fā)明的面部檢測進(jìn)程，以提供景象的近紅外圖像像素?cái)?shù)據(jù)(如圖5所示的方框72)。然而較好的方法是如圖4所示，成像硬件配置12包括利用多臺(tái)近紅外照相機(jī)的方法。更好是系統(tǒng)使用兩臺(tái)照相機(jī)60作為輸入媒介。照相機(jī)60最好是對(duì)大約0.9微米至大約1.7微米范圍的所謂近紅外光譜敏感。這個(gè)范圍明顯地落在紅外光譜的反射部分并且與如圖9所示及下面將要描述的熱輻射毫不相干。例如，所述近紅外照相機(jī)可以是Sensors Unlimited出產(chǎn)的商品名稱為SU-320的照相機(jī)。
照相機(jī)60工作的光譜段處于圖9所示的電磁頻譜中反射紅外部分121?？梢姽庾V122是傳統(tǒng)照相機(jī)感光范圍。遺憾的是，可見光照相機(jī)所受的干擾會(huì)隨著諸如惡劣天氣、夜間時(shí)段及直射陽光等差的環(huán)境條件而增加。有些問題，如夜間時(shí)段的觀測，可通過人工照明來克服，這與照相機(jī)的可見光譜特性相配。然而，這也等于告知所述人物他正在被監(jiān)視。另一個(gè)不足是，作為被關(guān)注的目標(biāo)，人面部13在可見光范圍中，沒有均勻的成像質(zhì)量。面部會(huì)根據(jù)某人的生理特征及照明的強(qiáng)度和照射的角度，而呈現(xiàn)深色或淺色。
熱紅外波段123與物質(zhì)的熱性質(zhì)有關(guān)。人的體溫是攝氏37度。這意味著盡管面部的膚色不同，人的面部在熱紅外成像中有均勻的光顏色，這與可見光成像相反。
在一種以下將要進(jìn)一步描述的最佳實(shí)施例中，所述兩臺(tái)照相機(jī)60被設(shè)置在互相垂直的角度上，并使用分光鏡以使兩臺(tái)照相機(jī)60都處在同樣有利的位置取景，但取景的子波段卻不同。所述分光鏡將反射光分成近紅外光譜中波長大約0.9微米至大約1.4微米的下波段光束及波長大約1.4微米至大約1.7微米的上波段光束。兩束光分別傳至相應(yīng)的照相機(jī)60的焦面陣列。每一臺(tái)照相機(jī)連接到將輸入圖像數(shù)據(jù)(舉例來說，視頻信號(hào))數(shù)字化的幀提取器62。
在裝有幀提取器62的計(jì)算機(jī)設(shè)備16上運(yùn)行的軟件20中的照明監(jiān)視器元件30將分析圖像數(shù)據(jù)的輸入畫面中的照明情況。所述系統(tǒng)會(huì)因而控制照明裝置68(舉例來說近紅外燈)，為景象提供所需的照明。例如，所述系統(tǒng)可適當(dāng)?shù)卣{(diào)節(jié)通過串行接口與計(jì)算機(jī)16相連的可編程電源單元66的輸出電壓。電源66為照明景象的近紅外燈68提供電力。通過這樣的反饋，所述系統(tǒng)將能夠在無論何種外部條件的情況下為景象保持恒定的照明。
換句話說，可以把計(jì)算機(jī)控制的近紅外照明裝置加到所述系統(tǒng)中，以便在任何時(shí)間在景象中保持最佳的照明水平。例如，可用一臺(tái)光度計(jì)來測量景象的照明情況并提供信號(hào)以啟動(dòng)用計(jì)算機(jī)調(diào)節(jié)照明裝置的需求。與景象的恒定照明相反，當(dāng)監(jiān)視對(duì)象不知不覺盯住所述系統(tǒng)很久時(shí)，燈68可被頻閃觸發(fā)。
通常，對(duì)由成像裝置硬件系統(tǒng)12提供的近紅外圖像數(shù)據(jù)進(jìn)行操作的面部檢測算法20，如上所述，包含圖1中的四個(gè)單元或模塊。面部檢測算法20可用于實(shí)現(xiàn)如圖5所示的面部檢測方法52。
面部檢測方法52包括從景象接收近紅外圖像像素?cái)?shù)據(jù)，或換句話說，識(shí)別由成像裝置硬件系統(tǒng)12提供的近紅外圖像數(shù)據(jù)(方框72)。基于近紅外像素?cái)?shù)據(jù)，景象中的皮膚從背景中被離析出來，并預(yù)示所述部分可能是存在于景象中的面部(方框74)。此后，如果從景象中離析出了皮膚，一個(gè)面部搜索區(qū)域或區(qū)間將被確定，從而限定需進(jìn)行人眼搜索的景象區(qū)域(方框76)。例如，一個(gè)面部搜索區(qū)域可通過不同的成像技術(shù)來改善，從而呈現(xiàn)出一個(gè)面部搜索區(qū)域，所述區(qū)間表示被檢測人物暴露在外的面部皮膚的外形輪廓。在面部搜索區(qū)域被確定后，將應(yīng)用眼定位過程來判定眼在所確定的面部搜索區(qū)域內(nèi)的位置(方框78)。
輸入處理單元24最好工作于從幀提取器62中捕獲不僅上波段而且下波段的近紅外輸入圖像(方框72)。然后將圖像排列好并送至照明監(jiān)控器30及皮膚檢測模塊26。
照明監(jiān)控器30，如上所述，評(píng)估景象中當(dāng)前的照明水平，并動(dòng)態(tài)地調(diào)節(jié)電源66的功率輸出。一個(gè)如圖20所示的輸出電壓與相應(yīng)的照明之間的簡單變換使得系統(tǒng)能精確地實(shí)現(xiàn)在景象中所期望的照明水平。
當(dāng)接收到對(duì)偶的兩個(gè)輸入圖像后，皮膚檢測模塊26通常將進(jìn)行一系列操作來分離圖像數(shù)據(jù)中的皮膚(方框74及方框76)。例如，皮膚檢測模塊26的輸出可以是二進(jìn)制圖像，其中所有皮膚區(qū)域呈黑色而背景呈白色。隨后，所述圖像被送到面部檢測軟件20的最后單元，面部檢測模塊28。
通常，面部檢測模塊28先確定面部上一只或一雙眼睛的位置，從而可以確定比如面部的朝向。例如，在一個(gè)實(shí)施例中，對(duì)一個(gè)組合容貌特征圖像使用模板進(jìn)程，所述組合容貌特征圖像是從上述對(duì)偶的兩個(gè)輸入圖像及上述皮膚圖像提取的，可提供眼睛位置的良好近似?；谘劬?或皮膚的位置，可以很直觀地確定面部的朝向和范圍。這些確定的方法可通過使用某些已知的朝向特征來實(shí)現(xiàn)，例如，如下所述這樣的特征。
例如，可以定義一條沿y坐標(biāo)軸延伸的垂直于z坐標(biāo)軸的法線(見圖3)，所述法線將被檢測的面部上的眼分開。如果某人面部朝正前方，通常所述法線將與檢測到的雙眼等距離。然而，如果所述人物扭轉(zhuǎn)面部，舉例來說，頭繞y坐標(biāo)軸略微轉(zhuǎn)動(dòng)，那末，其中一只眼就會(huì)較另一只眼距法線更近。
類似地，例如，可以定義一條沿x坐標(biāo)軸延伸的垂直于y坐標(biāo)軸的法線(見圖3)，所述線將面部沿著雙眼的位置分成上下兩部分。雙眼通常處在面部上某一確定的位置，舉例來說，面部的三分之一處在眼以上，而三分之二處在眼以下，或換句話說，處在法線以下。如果某人面部朝正前方，通常(至少在以上所提供的示例線的情況下)檢測到的三分之一的皮膚將高于法線，而三分之二則低于法線。然而，如果所述人物頭前傾或后仰，舉例來說，頭繞x坐標(biāo)軸略微轉(zhuǎn)動(dòng)，那末，很明顯皮膚在法線之上與在其下的比率將不同。例如，這樣的分析也可用于去除檢測到的皮膚中屬于脖子的部分。
最好是，計(jì)算機(jī)設(shè)備16包括一個(gè)可用于運(yùn)行軟件的計(jì)算機(jī)系統(tǒng)，以提供用戶這里所描述的功能。盡管所述功能可通過計(jì)算機(jī)設(shè)備的可執(zhí)行軟件來實(shí)現(xiàn)，但其它專用硬件也可用來提供所述功能，舉例來說，面部檢測。因此，這里所用的計(jì)算機(jī)設(shè)備不僅包括諸如能夠運(yùn)行各種軟件進(jìn)程的處理器之類的電路，也可包括專用硬件。
例如，計(jì)算機(jī)系統(tǒng)16可以是任何固定或移動(dòng)計(jì)算機(jī)系統(tǒng)，舉例來說，一臺(tái)個(gè)人計(jì)算機(jī)。計(jì)算機(jī)系統(tǒng)的確切配置并無限制，并且依據(jù)本發(fā)明，幾乎任何可以提供適當(dāng)?shù)倪\(yùn)算容量的設(shè)備都可使用。此外，不同的外圍設(shè)備，如計(jì)算機(jī)顯示器、鼠標(biāo)器、鍵盤、內(nèi)存、打印機(jī)等等，都是可以想象到的與系統(tǒng)的處理設(shè)備組合在一起使用的。
將進(jìn)一步參考圖5的用于面部檢測方法52的近紅外數(shù)據(jù)的接收(方框72)，參照?qǐng)D6-19來描述提供這樣的近紅外圖像數(shù)據(jù)和可以利用這樣的數(shù)據(jù)得到的信息的各種各樣的示范的實(shí)施例。近紅外光譜對(duì)皮膚檢測的用途特別有益，這正如先前的專利申請(qǐng)所描述的，先前的專利申請(qǐng)有于1999年9月3日提交的題為”近紅外人體檢測方法和系統(tǒng)”的美國專利申請(qǐng)No.09/389,925；以及于2000年12月7日提交的題為”近紅外偽裝檢測”的美國專利申請(qǐng)No.09/732,236。
人的皮膚在1.4微米附近呈現(xiàn)出急劇的反射率的變化。這種現(xiàn)象使得人們可以通過對(duì)下波段近紅外圖像與上波段近紅外圖像取加權(quán)差進(jìn)行高精度的皮膚變換。所述皮膚檢測或離析方法的現(xiàn)象學(xué)基礎(chǔ)有一個(gè)優(yōu)越的結(jié)果，即人造的頭或偽裝過的頭無法蒙騙所述系統(tǒng)。
圖6展示近紅外混合系統(tǒng)110的基本布局，所述系統(tǒng)用于檢測人，舉例來說，檢測人的面部區(qū)域和/或離析出人面部的皮膚。它屬于雙波段成像系統(tǒng)。兩臺(tái)互對(duì)準(zhǔn)的照相機(jī)111和112檢測例如景象中含有人面部13的圖像。照相機(jī)111最好是有大約從至少0.8微米至1.4微米波長范圍的光譜敏感性。照相機(jī)112具有大約從1.4微米到至少2.2微米波長范圍的光譜敏感性。略微少或略微多一些的波長范圍也可以得到滿意的檢測結(jié)果。區(qū)分兩個(gè)波長范圍光譜敏感性的1.4微米的臨界點(diǎn)是一個(gè)用于雙波段系統(tǒng)110的更可取的界限，當(dāng)然也可以是另一個(gè)適當(dāng)?shù)臄?shù)值。每一臺(tái)照相機(jī)的敏感波段范圍可以在1.4微米波長附近有些重疊，這并不削弱系統(tǒng)110檢測人或皮膚的能力。
照相機(jī)111和112成像信號(hào)的質(zhì)量在陰暗的日子或夜間仍可保持高水平，因?yàn)檎障鄼C(jī)觀測的景象被不傷害肉眼的近紅外照明器所照亮。因?yàn)槿庋蹖?duì)近紅外光譜不敏感，所以系統(tǒng)110可以在所有時(shí)間保持隱蔽，不管它是否處于測試模式。用在下波段(舉例來說0.8微米至1.4微米)照相機(jī)在理想的情況下應(yīng)該是圖像增強(qiáng)器。因此，照明器的光譜發(fā)射的規(guī)格要求只需符合上波段范圍(舉例來說1.4微米到2.2微米)。近紅外照相機(jī)111和112甚至可在諸如陰霾的惡劣天氣條件下提供清晰的圖像信號(hào)。這些用于檢測及照明的特殊紅外波段提供了足夠的光線透射，從而可穿過擋風(fēng)玻璃、側(cè)面車窗、霧及黑暗。這就提供了在各種環(huán)境中令人滿意的對(duì)人的檢測方法，例如，在玻璃后面、在車中、在夜間及惡劣的天氣等環(huán)境條件中。
照相機(jī)111和112相應(yīng)的圖像輸出115和116轉(zhuǎn)到加權(quán)差軟件進(jìn)程117或?qū)Ｓ糜布?，用來?duì)其亮度進(jìn)行加權(quán)減法來合并兩臺(tái)照相機(jī)的圖像輸出。所述加權(quán)差軟件或硬件可稱作合并器。這種對(duì)照相機(jī)輸出圖像的合并，在生成的合并圖像中增強(qiáng)了面部13及其它暴露在外的人皮膚的輪廓。同樣，合并圖像還具有削弱照相機(jī)攝取的景象中的背景的特點(diǎn)。這就在合并圖像中增加了人物與背景的反差，從而為通過軟件進(jìn)程118或?qū)Ｓ糜布O(shè)定的閾值來進(jìn)行的本質(zhì)完美的圖像分區(qū)創(chuàng)造了條件。這種設(shè)定閾值的軟件或硬件可稱為閾值設(shè)定器。所述域值設(shè)定器118的輸出可轉(zhuǎn)到顯示器119、打印機(jī)或后面的進(jìn)程或?qū)Ｓ糜布?br> 處理過的最終圖像展示出暴露的皮膚部分，如圖6所示的面部13處理過后得到二進(jìn)制斑點(diǎn)13’。檢測的面部13的背景120可被忽略，如顯示器119所示的空白背景120’。換句話說，表示面部皮膚的輪廓鮮明的二進(jìn)制面部圖像13’，確保了對(duì)景象中是否存在人面部進(jìn)行可靠檢測。
圖7A圖解說明照相機(jī)111和112相互間的校準(zhǔn)。在照相機(jī)之間有空間與時(shí)間的校準(zhǔn)。照相機(jī)可以是同一牌子及型號(hào)。照相機(jī)之間必要的差別是光學(xué)波段濾光鏡148和149，其分別位于照相機(jī)111和112的讀出陣列146和147與照相機(jī)鏡頭158和159之間。濾光鏡148決定了照相機(jī)111中的讀出陣列146的0.8微米至1.4微米的光譜敏感性，而濾光鏡149決定了照相機(jī)112中的讀出陣列147的1.4微米至2.2微米的光譜敏感性。
在照相機(jī)111的鏡頭158前及照相機(jī)112的鏡頭159前也可插入偏振器。做為替代，偏振器也可加裝在照相機(jī)111的鏡頭158與讀出陣列146之間及照相機(jī)112的鏡頭159與讀出陣列147之間。照相機(jī)的讀出陣列146和147的大小一樣，例如，鎵砷化合物基片上的512×512個(gè)像素。
典型的情況是，每個(gè)讀出陣列的取景區(qū)相同。例如，三個(gè)像素151、152及153，被用來進(jìn)行空間互對(duì)準(zhǔn)。三個(gè)像素中的每一個(gè)都分別對(duì)焦在相應(yīng)的，處在照相機(jī)111和112取景的圖像120上的151’、152’及153’部位。那就意味著兩個(gè)陣列攝取同樣的圖像，像素與像素一一對(duì)應(yīng)，盡管它們的光譜敏感性不同。換句話說，像素的行與列與物理世界景象對(duì)齊，像素與像素一一對(duì)應(yīng)。一旦空間互對(duì)準(zhǔn)完成，照相機(jī)111和112就相對(duì)于物理世界保持靜止。
照相機(jī)的時(shí)間互對(duì)準(zhǔn)意思是，從信號(hào)的角度來看照相機(jī)之間相互同步。相互對(duì)應(yīng)的兩個(gè)像素中任意一個(gè)的信號(hào)在同一時(shí)間到達(dá)其幀緩沖器。每個(gè)像素的光記憶時(shí)間為微秒級(jí)。典型的一幅幀時(shí)間大約為33毫秒，即每秒30幀。像素?cái)?shù)據(jù)的傳輸可以是并行的，即一行接著一行，或是串行的，即一個(gè)像素接著一個(gè)像素，也可以是其它形式的信息傳輸。同步信號(hào)將會(huì)用于照相機(jī)111和112以啟動(dòng)并保持它們之間的時(shí)間互對(duì)準(zhǔn)。
圖像輸出或像素信號(hào)115和116轉(zhuǎn)到軟件進(jìn)程或?qū)Ｓ糜布?17，所述部件為每一個(gè)像素提供確定的加權(quán)，并合并分別從照相機(jī)111和112得到的相應(yīng)像素對(duì)以生成單一的像素。加權(quán)差通過一個(gè)接一個(gè)像素來進(jìn)行。每個(gè)結(jié)果就是兩個(gè)像素經(jīng)加權(quán)相減后合并成的像素。這種合并的加權(quán)差方程式為，P(i，j)合并＝P(i，j)下波段-C*P(i，j)上波段P為光譜功率。各自圖像中每一像素的方位或位置(position或location)由行(即”i”)及列(即”j”)來確定。照相機(jī)111和112所攝圖像像素的行數(shù)與列數(shù)剛好相等。下波段像素是從照相機(jī)111得到的像素，而上波段像素是從照相機(jī)112得到的像素。在i，j點(diǎn)的每一個(gè)像素的光譜功率”P”由代表亮度的數(shù)量等級(jí)表示，例如在8位二進(jìn)制分辨率情況下的0至255?！?”為全黑或全暗(即沒有光譜功率)，而”255”則為全白或全亮(即最大光譜功率)。0至255的數(shù)字讀數(shù)當(dāng)然可以代表各種級(jí)的灰色，亮度或光譜功率。式中的”C”為一常數(shù)(即加權(quán)因數(shù))，它由背景的照明情況或景象120及監(jiān)測目標(biāo)或面部13的照明情況決定。夜間時(shí)段的”C”取決于人工照明器114的光譜分布及特性。
某個(gè)典型的下波段像素(圖像146)的亮度或光譜功率或許為55，而與之對(duì)應(yīng)的典型的上波段像素(圖像147)的亮度或光譜功率或許為10。這些上下波段像素的數(shù)值代表皮膚在相應(yīng)波段的亮度或光譜功率。一個(gè)生成的典型合并像素在日間時(shí)段取景的情況下，其處在i行及j列位置的日間光譜功率由下列計(jì)算確定。
P(i，j)合并＝55-3*10P(i，j)合并＝55-30＝25合并像素信號(hào)從軟件進(jìn)程或?qū)Ｓ糜布?17轉(zhuǎn)到軟件進(jìn)程或?qū)Ｓ糜布?18，以通過對(duì)其使用閾值來進(jìn)行圖像分塊。進(jìn)程或?qū)Ｓ糜布?18模仿一個(gè)類似比較器的電路，當(dāng)合并像素的值低于某個(gè)閾值(T)時(shí)，它的值就(V1)被定為0，而當(dāng)合并像素的值高于某個(gè)閾值(T)時(shí)，它的值就(V2)被定為255。
圖8展示一幀合并像素圖像幀的直方圖。對(duì)一幅給定的監(jiān)測到的圖像，其中每一個(gè)光譜功率值的像素?cái)?shù)由曲線154及155表示。曲線154的像素代表背景120，而曲線155的像素代表人的皮膚13。曲線154與155相交于156，所述值就被視為可用作閾值的合適數(shù)值。如果曲線154與155不相交，那么閾值156就位于曲線154與155的中間。當(dāng)一幀畫面轉(zhuǎn)到另一幀畫面時(shí)，閾值也隨之改變，因此閾值是動(dòng)態(tài)的，并由每一幀畫面相應(yīng)的直方圖決定。如果閾值的光譜值為20，則當(dāng)合并像素的值低于20時(shí)，就把它的值定為0，而當(dāng)合并像素的值高于20，就把它的值定為255。顯示器119中的結(jié)果圖像具有白像素表示的背景120’及黑像素表示的面部13’。所述圖像也可以通過處理或?qū)Ｓ糜布?18而反轉(zhuǎn)過來，使得背景120’為黑像素而面部13’為白像素。
圖7B展示另一種對(duì)照相機(jī)111和112進(jìn)行互對(duì)準(zhǔn)的實(shí)施例。如圖所示，一臺(tái)光學(xué)設(shè)備157，舉例來說，一臺(tái)分光/濾光裝置，用來對(duì)照相機(jī)進(jìn)行互對(duì)準(zhǔn)。形式與圖7A所示基本上相同，只是沒有為照相機(jī)111和112提供濾光鏡147及148。取而代之的是，濾光作用由光學(xué)設(shè)備157完成。
如圖7B所示，光線從外界環(huán)境通過分光/濾光器157進(jìn)到兩臺(tái)近紅外照相機(jī)111和112，如光點(diǎn)151-153所表示的。所述分光/濾光光學(xué)設(shè)備157是一種鍍有在某一特定角度性能最優(yōu)的膜的光學(xué)裝置。所述分光/濾光光學(xué)設(shè)備157將波長小于1.4微米(即下波段)的光引導(dǎo)到照相機(jī)111，而將波長大于1.4微米(即上波段)的光引導(dǎo)到另一臺(tái)照相機(jī)112。照相機(jī)111和112最好是連到一臺(tái)用于處理視頻信息的計(jì)算機(jī)。不過，其它電子裝置或操作人員也可用來替代或補(bǔ)充計(jì)算機(jī)設(shè)備。下與上波段要么由分光/濾光光學(xué)設(shè)備157的光敏性劃界，要么由照相機(jī)111和112的光敏性劃界。例如，下波段可從0.8微米至1.4微米，而上波段可從1.4微米至2.4微米。不過，其它有些不一樣的范圍也一樣可以工作。
分光/濾光光學(xué)設(shè)備157在每個(gè)時(shí)間點(diǎn)上，經(jīng)由系統(tǒng)的硬件提供兩幀分屬上下波段的互對(duì)準(zhǔn)的幀。因此，參照?qǐng)D7B的實(shí)施例，無需像前面所描述的實(shí)施例要求的那樣，使用花費(fèi)時(shí)間并通常是復(fù)雜的軟件，來完成時(shí)間互對(duì)準(zhǔn)。
照相機(jī)111和112工作的光譜范圍，是處在圖9所示的反射紅外部分121中，圖9展示如本申請(qǐng)前面所述電磁頻譜。圖10展現(xiàn)一塊清潔的汽車擋風(fēng)玻璃(曲線124)及一塊骯臟的汽車擋風(fēng)玻璃(曲線125)對(duì)介乎0.4至2.8微米的紅外光的透射率特性。汽車擋風(fēng)玻璃對(duì)超過2.8微米的熱紅外波長范圍的輻射透射率特性幾乎為零。汽車淺色的側(cè)窗對(duì)0.3至2.8微米的紅外光的透射率較好(50％至85％)，如圖11展現(xiàn)的曲線126。汽車側(cè)窗對(duì)于2.8至4.3微米的輻射的透射率只有大約20％。超過4.3微米后，透射率降為接近于零。然而，側(cè)面車窗的頻譜特性容許一些熱輻射透過。通過觀察這些信息，可以發(fā)現(xiàn)利用近紅外頻譜的本發(fā)明的面部檢測，可用于檢測玻璃擋板后的人物，舉例來說，售票廳的玻璃擋板、機(jī)場的玻璃擋板等等。
圖12中的曲線127及128分別展示白人男性淺與深膚色對(duì)紅外光的反射百分率。反射率在0.6至1.4微米范圍內(nèi)較好。當(dāng)超過1.4微米時(shí)，反射率明顯減小。不過，淺與深膚色反射率的差別卻是微乎其微的。
圖13中的曲線129及130分別展示亞裔男性淺與深膚色的皮膚的反射率。圖14中的曲線131及132分別展示非洲裔男性淺與深膚色皮膚的反射率。盡管淺膚色的反射率較深膚色的反射率高，但圖12-14中的曲線127、128、129、130、131及132具有類似的形狀，并且所有的曲線在1.4微米左右開始下降。這些反射率曲線展示所有膚色的白人、亞裔人與非洲裔人在0.6至1.4微米范圍內(nèi)反射率的某些差異。
圖15中的曲線133及134分別展示差異更極端的淺色皮膚及深色皮膚的反射率。淺色皮膚及深色皮膚的反射率在1.4微米以下差別明顯。當(dāng)超過1.4微米后，分別表示淺色皮膚及深色皮膚的反射率曲線133及134，變得幾乎重合，并且反射率也降到20％以下。因此，在1.4微米及1.4微米以上的近紅外波段，檢測到的具有各種各樣膚色深淺層次的人的反射率，當(dāng)波長大于1.4微米時(shí)基本一致。
圖16中的曲線135、136及137分別展示棉花、木材及聚酰胺的反射率，其差別不僅在0.6至1.4微米范圍內(nèi)，而且在1.4微米以上都很顯著。其反射率在超過1.4微米的閾值點(diǎn)后下降不明顯的現(xiàn)象，是展現(xiàn)人面部(舉例來說，面部的皮膚)的反射率與作為背景的無生命物體(舉例來說，諸如車內(nèi)的裝飾物，儀表盤及紡織品)的反射率之間巨大差別的基礎(chǔ)，也提供了在1.4至2.2微米范圍內(nèi)對(duì)人面部(舉例來說，面部的皮膚)的便捷的檢測方法。
因而，在照相機(jī)工作的1.4至2.2微米范圍內(nèi)，圖像中的白人男性與假人頭和/或背景相比，反射率有明顯的差別。假人頭的圖像反射較多并顯得較亮，而真人男性的圖像較暗，因此兩幅圖像之間的效果差別是實(shí)實(shí)在在的。
這種人物檢測(舉例來說，皮膚檢測)的方案比用可見光成像的方法優(yōu)越許多，因?yàn)楹笠环N方案在白人與膚色類似的假人頭之間只呈現(xiàn)出很小差別或無法呈現(xiàn)出任何差別。概括地說，在1.4至2.2微米范圍內(nèi)的成像很容易區(qū)分出是真人頭像還是假人頭像，然而在0.8至1.4微米范圍內(nèi)的成像卻不容易將各自的頭像區(qū)分開來。
人皮膚在1.4至2.2微米范圍內(nèi)的低反射率，可通過由圖17中的曲線138展示的蒸餾水的光譜反射率來說明。其反射率在1.4微米附近有較大的下降。超過1.4微米后，水吸收了大量的紅外輻射并在圖像中呈現(xiàn)為暗的實(shí)體。由于人體中天生有70％是水，其光譜響應(yīng)也就與水的相近。所以工作在1.4至2.2微米范圍內(nèi)的照相機(jī)112，捕捉到了這個(gè)獨(dú)特的人體區(qū)分特質(zhì)。在照相機(jī)112的工作范圍內(nèi)，人們可以安全地在夜間使用一臺(tái)相匹配的近紅外照明裝置114，以提高檢測到的面部13的圖像質(zhì)量。所述光線人看不到，也對(duì)他們的眼睛無害，因?yàn)檎彰餮b置114的波長高于為1.4微米的安全線。
下面將進(jìn)一步參照前面的幾幅圖以及圖18-19，描述自然人的組織結(jié)構(gòu)(舉例來說，天生的皮膚與頭發(fā))對(duì)近紅外光譜的上波段的反射特性。例如，這些特性可用于皮膚檢測，或?qū)⑵つw從背景或其它與背景相關(guān)的人造材料中離析出來。
人的皮膚對(duì)近紅外光譜上波段(即近紅外光譜中1.4微米及1.4微米以上的波段)的反射率極低，所述特性已在前面參照?qǐng)D12-15描述過了。圖12-15展示人的皮膚在0.6微米至1.4微米之間有高的反射率。然而，超過1.4微米，所述反射率明顯減小。因?yàn)閹缀跛衅渌幵诘湫途跋笾械奈矬w對(duì)近紅外光譜中波長超過1.4微米的上波段具有較高的反射率，所以人的皮膚(例如，面部及頸部)與背景之間的反差強(qiáng)烈。
再者，如圖12-15所示，皮膚的反射特性，即人的皮膚對(duì)超過1.4微米的近紅外光譜上波段反射率明顯減小的特性，是對(duì)所有人種適用的，舉例來說，當(dāng)對(duì)比白人、亞裔人及非洲裔人時(shí)，他們對(duì)超過1.4微米的近紅外光譜上波段的反射特性差別很小。例如，圖10展示白人男性的反射率在1.4微米或大概在1.4微米下降很多，圖11展示亞裔男性同樣的反射率下降，圖12展示非洲裔男性同樣的反射率下降，并且圖13也展示淺色皮膚與深色皮膚之間反射率下降的極端差別。因此，并如本申請(qǐng)前面所描述的，在近紅外1.4微米及1.4微米以上的波段，檢測到的具有各種各樣膚色深淺層次的人的天然皮膚的反射率，當(dāng)波長大于1.4微米時(shí)基本一致。
與天然皮膚相對(duì)，人的頭發(fā)(即天然的毛發(fā))對(duì)大于1.4微米的近紅外光譜上波段有很高的反射率。這個(gè)反射特性也是對(duì)所有人種都適用的特性。圖18概括展示出了人的毛發(fā)對(duì)大于1.4微米的近紅外光譜上波段有高反射率的本性。在圖18中，展示天然的人的毛發(fā)對(duì)至少一部分的近紅外光譜的反射率圖。圖中展示一份天然的人毛發(fā)樣本的三個(gè)單獨(dú)的反射率的測量值，所述樣本展示出高反射率。
與人的天然毛發(fā)的高反射率相對(duì)，圖19展示某個(gè)用人發(fā)作的假發(fā)套(一種本申請(qǐng)下面將描述的人工的材料)的反射率圖。所述圖對(duì)于人的眼睛在近紅外光譜上波段的反射率同樣正確。如圖所示，在近紅外光譜上波段，假發(fā)套的反射率比天然毛發(fā)低很多。即使假頭套用真人發(fā)織成，由于在制作假頭套過程中的化學(xué)處理，其反射特性發(fā)生了改變。盡管在對(duì)比真人發(fā)織成的假頭套與真的天然的人毛發(fā)時(shí)，反射率的差別比較細(xì)微，但這種反射率的差別是實(shí)實(shí)在在的并可很容易地捕捉到。
另外，各種人造材料的反射率，諸如那些用于偽裝及通常如下所定義的材料(很厚的化妝品，人造的面部的部件，加上去的頭發(fā)，等等)，其典型特征為其對(duì)超過1.4微米波長的反射率相當(dāng)高。例如，如圖16所示并如本申請(qǐng)前面所述，棉花、木材及聚酰胺的反射特性為其反射率在超過1.4微米波長點(diǎn)后并不顯著下降。
考慮到以上情況，人們可以發(fā)現(xiàn)天然的人皮膚與其他人造材料的反射特性之間有顯著的差別。例如，在近紅外光譜的上波段天然的人毛發(fā)與人皮膚之間以及在近紅外光譜的下波段面部的眼睛與人皮膚之間，都有著顯著的差別。近紅外光譜中這種反射特性的差別，使得基于本發(fā)明的面部檢測操作成為可能。
再者，如本申請(qǐng)前面所述，無論上下波段的近紅外射線都可穿透汽車的玻璃窗。因此，與可見光譜及熱紅外光譜相比，這是一個(gè)不容置疑的優(yōu)點(diǎn)。因此，利用近紅外光譜上波段的本發(fā)明可以檢測并離析即使是在玻璃后面的皮膚。
依照本發(fā)明的皮膚檢測器模塊26利用近紅外光譜的上下波段的至少一部分，在被監(jiān)控的景象中將皮膚從背景中離析出來，所述過程由圖5中面部檢測方法52的模塊74概括地表示。如在本發(fā)明中使用的，所述被利用的近紅外光譜上波段的部分包括從1.4微米到至少1.7微米范圍的部分。如本申請(qǐng)前面所指出的，在2.8微米處熱能量開始出現(xiàn)。如在本發(fā)明中使用的，所述被利用的近紅外光譜下波段的部分包括從至少0.9微米到1.4微米范圍的部分。
從事本領(lǐng)域工作的技術(shù)人員將會(huì)認(rèn)識(shí)到略微短些或略微長些的范圍也可得到滿意的檢測結(jié)果。例如，相對(duì)于上面所給出的范圍，如果與這些波長數(shù)值有偏差的范圍也可提供滿意的檢測結(jié)果，那么，所述偏差也可被認(rèn)為是在所指定的范圍中。比如，下波段可延伸到0.6微米，而上波段可延伸到2.4微米。
此外，如在本發(fā)明中使用的，背景包括任何除了天然皮膚和/或天然毛發(fā)之外的任何物質(zhì)，如景象中的其它物件及材料。例如假發(fā)套、化裝材料、人造鼻子部分等等，是由一種或多種諸如聚合物、纖維等等的人造材料或非生物的物品構(gòu)成的，所有這些都在這里被稱為背景材料。再者，背景目標(biāo)在這里也涉及人造物質(zhì)，舉例來說，人身后的汽車、人的衣服等等。
圖5概略展示的面部檢測方法52中的皮膚離析進(jìn)程(方框74)的一個(gè)最佳實(shí)施例可以通過以上描述的概念來完成。用于將兩幅近紅外圖像(即上波段及下波段圖像)合并的像素變換，最好是利用以上所述方法并由下式表示P(i，j)合并＝P(i，j)下-f*P(i，j)上其中，P(i，j)x是代表圖像x的、位置在(i，j)的像素值，而f為所用的加權(quán)因子(前面列為常數(shù)C)。例如，通過實(shí)驗(yàn)可確定接近最優(yōu)的f＝1.38。如前所述加權(quán)相減運(yùn)算顯著地增強(qiáng)了圖像數(shù)據(jù)中人皮膚與背景之間的反差。
緊接著加權(quán)相減進(jìn)程，再進(jìn)行閾值化操作。人們已經(jīng)使用了多種閾值技術(shù)，正如本領(lǐng)域的技術(shù)人員所知的。根據(jù)本發(fā)明，可以使用任何適當(dāng)?shù)目商峁M意的暗區(qū)與亮區(qū)分割的閾值化進(jìn)程。通常，這些閾值化進(jìn)程將表示反射值的數(shù)據(jù)與一個(gè)或多個(gè)閾值進(jìn)行比較。這些閾值的確定可基于各種各樣的因素，例如天然皮膚、天然毛發(fā)、背景等的反射特性。例如，根據(jù)本發(fā)明，可以使用大津(Otsu)在電氣與電子工程師協(xié)會(huì)期刊《系統(tǒng)、人及控制論》(IEEE Transactions onSystems，Man and Cybernetics)的1979年1月的SMC-9卷第一期上發(fā)表的文章”從灰度直方圖推導(dǎo)出的一種閾值選取方法”中所描述的閾值化進(jìn)程。閾值化進(jìn)程通常涉及一個(gè)非參數(shù)的并且無監(jiān)管的閾值選取方法。一種最優(yōu)的閾值選取是為了使在灰度級(jí)上生成的類別的分離程度最大化。所述算法只利用灰度級(jí)直方圖的零階及一階累積矩(cumulative moment)。所述系統(tǒng)的速度，部分地由于所述閾值化進(jìn)程，可為用戶提供實(shí)時(shí)的圖像。
圖22a-22d中圖解說明皮膚離析進(jìn)程。圖22a展示近紅外下波段圖像，其中皮膚有強(qiáng)反射率，而圖22b展示近紅外上波段圖像，其中與在上面所述下波段中皮膚有強(qiáng)反射率的情況相比，皮膚在近紅外上波段有相對(duì)較低的反射率。經(jīng)加權(quán)相減后的圖像如圖22c所示，所述圖像提供了皮膚與背景之間更強(qiáng)的反差。更進(jìn)一步，接下來的閾值化算法的應(yīng)用，人們就可以得到圖22d中的二進(jìn)制圖像。
在獲得經(jīng)歷了閾值化過程的圖像后(所述圖像表示面部的搜索區(qū)域，而所述搜索區(qū)域用于如下所述對(duì)所述人物眼睛的搜索)，進(jìn)一步對(duì)二進(jìn)制圖像的界定可壓縮搜索區(qū)域。這樣可節(jié)約后面對(duì)面部搜索區(qū)域中的像素應(yīng)用其它算法的處理時(shí)間。
例如，如圖22e-22h所示并參照?qǐng)D21所描述的，這樣的進(jìn)一步界定處理包括提供從背景中離析出的代表皮膚的圖像像素?cái)?shù)據(jù)，舉例來說，如圖22d所示的二進(jìn)制圖像(方框80)。然后，對(duì)圖像數(shù)據(jù)進(jìn)行開放與閉合操作(opening and closing operations)，使其中表示皮膚或輪廓的圖像數(shù)據(jù)平滑。換句話說，將對(duì)二進(jìn)制圖像進(jìn)行一系列形態(tài)學(xué)操作(morphological operation)。
例如，開放操作(opening operation)平滑了皮膚區(qū)域的輪廓，斷開狹窄的峽部，并去除微小的孤立區(qū)域及尖銳的峰或岬。一幅開放圖像如圖22e所示。閉合操作合并狹窄的斷裂及長而窄的裂口；去除微小的洞；并填充輪廓的縫隙。一幅閉合圖像如圖22f所示。這些開放和閉合技術(shù)是圖像處理技術(shù)的專業(yè)人員所熟知的。
更進(jìn)一步，可用膨脹及侵蝕算法(dilation and erosionalgorithms)來產(chǎn)生除去圖像的微小細(xì)節(jié)的效果(方框84)。這些技術(shù)也為本行業(yè)的技術(shù)人員所熟知。經(jīng)過膨脹處理的圖像如圖22g所示，而而經(jīng)過侵蝕處理的圖像如圖22h所示。
盡管已經(jīng)描述了幾種不同的圖像處理技術(shù)，但還可能有其它技術(shù)可用于進(jìn)一步限定面部搜索區(qū)域。所述限定的搜索區(qū)域提供了用于確定檢測到的面部范圍的數(shù)據(jù)。
利用如上所述通過離析出景象中的皮膚而確定的面部搜索區(qū)域，可以對(duì)落在被確定范圍內(nèi)的像素應(yīng)用面部檢測器方法52中的眼定位進(jìn)程78。然而，必須意識(shí)到眼定位進(jìn)程可應(yīng)用于一個(gè)大得多的、不曾確定過面部搜索區(qū)域的區(qū)域，來確定某人物的眼睛。無論如何，最好是相對(duì)于背景將皮膚離析出來，從而提供一個(gè)較小的區(qū)域，并對(duì)所述區(qū)域使用眼定位進(jìn)程78。
面部檢測方法52，特別是眼定位進(jìn)程78的主要目的是，確定被監(jiān)測人物的面部13的朝向及范圍。這個(gè)目的可以通過找到面部上的一只或兩只眼睛來完成，最好是在確定的面部搜索區(qū)域內(nèi)進(jìn)行，正如將要參照?qǐng)D23-28所展示和描述的說明性實(shí)施例所描述的。
面部檢測方法52為了給面部識(shí)別系統(tǒng)提供某些有用的信息，必須準(zhǔn)確地確定至少一只眼睛的位置。本發(fā)明的一個(gè)主要優(yōu)點(diǎn)是利用已在前面描述過的皮膚、眼睛以及毛發(fā)在電磁頻譜的近紅外波段所展現(xiàn)的現(xiàn)象學(xué)特征。
面部檢測方法52，特別是眼定位進(jìn)程78，通常利用如圖23所示的三個(gè)步驟來確定一只或一雙眼睛的位置。當(dāng)接收到用于所述限定的面部搜索區(qū)域的圖像數(shù)據(jù)時(shí)(方框90)(如分別如圖22a及22b所示的上及下波段的近紅外圖像時(shí))以及來自如圖22h例示的皮膚檢測模塊的輸出圖像后，就執(zhí)行提取進(jìn)程91。所述提取進(jìn)程91在上下波段近紅外圖像中提取有可能是眉毛(例如，參見圖26a)及眼睛(例如，參見圖26b)的區(qū)域。然后，將提取的有可能是眉毛及眼睛的區(qū)域合并成一幅組合容貌特征圖像(例如，參見圖26c)。
然后，再對(duì)組合容貌特征圖像利用表示眼睛區(qū)域的模型數(shù)據(jù)進(jìn)行搜索，舉例來說，模型數(shù)據(jù)為通常表示多數(shù)人面部特征的標(biāo)準(zhǔn)數(shù)據(jù)(方框98)，從而確定包含眼睛的區(qū)域。其后，再在已定位的包含眼睛的區(qū)域內(nèi)估算面部上一只或一雙眼睛的中心(方框100)。
下面將更加詳細(xì)地描述一個(gè)說明性的面部檢測方法52，特別是眼定位進(jìn)程78。首先，眼定位進(jìn)程78包括提取上下波段近紅外圖像區(qū)域，所述近紅外圖像可能是眉毛(方框92)以及可能是眼睛(方框94)。所述提取過程利用人的毛發(fā)與皮膚在上下近紅外波段獨(dú)特的反射特性來實(shí)現(xiàn)。
在近紅外上波段，眉毛相對(duì)于人皮膚極低的反射率而較醒目。所得到的適合于眉毛提取的閾值如下(原文空白)其中(原文空白)為眉毛閾值函數(shù)，而(原文空白)為在上波段近紅外圖像位置(原文空白)的像素值。
在近紅外下波段，眼睛相對(duì)于人皮膚的極高的反射率而較醒目。所得到的最適合于眼睛提取的閾值如下(原文空白)其中(原文空白)為眼睛閾值函數(shù)，而(原文空白)為在下波段近紅外圖像位置(原文空白)的像素值。
圖26a展現(xiàn)至少一個(gè)提取的滿足閾值的眉毛區(qū)域400及其它滿足閾值的區(qū)域。此外，圖26b展現(xiàn)至少一個(gè)提取的滿足閾值的眼睛區(qū)域402及其它滿足閾值的區(qū)域。
提取的眉毛與眼睛的容貌特征圖像再被合并成一幅組合容貌特征圖像(方框96)。如圖26c所示，圖中呈現(xiàn)一幅三個(gè)層次的圖像，其中黑色區(qū)域可能表示眉毛區(qū)域，灰色區(qū)域可能表示眼睛區(qū)域，而白色區(qū)域表示除了眉毛和眼睛的其他區(qū)域。
從上述圖中可看出，實(shí)際的眉毛區(qū)域400及眼鏡區(qū)域402相互位置之間很接近。這種相互關(guān)系可用于使用下面將描述的基于眼睛區(qū)域模型數(shù)據(jù)的模板進(jìn)程，來搜索組合圖像，以確定包含眼睛的區(qū)域(方框98)。
下面將參照?qǐng)D24描述一個(gè)示意性的搜索方法98的實(shí)施例。如圖24所示，搜索方法98包括接收代表組合圖像的圖像數(shù)據(jù)，所述組合圖像包括提取的區(qū)域(方框200)。一個(gè)表示眼睛與眉毛位置的模板模型，舉例來說，一個(gè)經(jīng)過多數(shù)人規(guī)格化的模板，將被用于包含提取的區(qū)域的組合容貌特征圖像(方框202)。例如，所述模板通過給定的人類解剖學(xué)的約束為組合圖像中包含眼睛的區(qū)域的外觀建模。其后，將提供代表任何找到的或結(jié)果的包含眼睛的區(qū)域的圖像數(shù)據(jù)，用于進(jìn)一步的分析(方框204)。
在一個(gè)示意性的搜索方法98中，使用了一個(gè)模板進(jìn)程，舉例來說，哈夫變換，來從組合容貌特征圖像中尋找包含眼睛的區(qū)域。例如，一個(gè)被博拉德(D.H.Ballard)描述過的廣義的哈夫變換模板，是通過組合容貌特征圖像中所期望的眼睛區(qū)域的外觀來建模的，博拉德的文章”將哈夫變換一般化以檢測任意形狀”發(fā)表在《PatternRecognition》第13卷，第2期，111-122頁(1981)。一個(gè)范例性的模板408如圖27所示。模板408包括處在灰色區(qū)域420(對(duì)眼睛建模)上方的黑色區(qū)域410(對(duì)眉毛建模)。模板408在具體實(shí)現(xiàn)的每一點(diǎn)上可旋轉(zhuǎn)并可確定尺寸，從而可應(yīng)付各個(gè)人面部的旋轉(zhuǎn)及變化。所述變換的結(jié)果是得到一個(gè)或多個(gè)包含眼睛的區(qū)域的位置。
例如，圖26d是應(yīng)用模板408的結(jié)果的范例性表示。所述結(jié)果是三個(gè)層次的圖像。背景430顯示為白色，皮膚區(qū)域?yàn)榛疑?32，而皮膚區(qū)域中對(duì)眼睛模板呈現(xiàn)最強(qiáng)響應(yīng)的范圍(或多個(gè)范圍)則顯示為黑色(舉例來說，包含眼睛的區(qū)域434)。換句話說，圖26d展示疊加在確定的皮膚圖像上的哈夫變換的結(jié)果。通過圖26d可看出，邊界436表示確定出的搜索區(qū)域，所述區(qū)域由前面所述檢測到的或離析出的皮膚來確定輪廓。面部的范圍取決于這樣的邊界的參數(shù)和/或特性。
圖28a-28c中展示眼定位方法78中眼中心估算進(jìn)程100的一個(gè)說明性實(shí)施例，將通過參照?qǐng)D25來描述所述實(shí)施例。估算進(jìn)程100接收表示包含眼睛的區(qū)域的數(shù)據(jù)(方框210)，所述包含眼睛的區(qū)域最好與限定的離析出的皮膚區(qū)域相關(guān)聯(lián)(例如見圖26d)。進(jìn)程100確定被定位的包含眼睛的區(qū)域(或多個(gè)區(qū)域)屬于何種類型(方框212)。當(dāng)鑒別出包含眼睛的區(qū)域(或多個(gè)區(qū)域)的類型后，則可估算一只或一雙眼睛的近似中心(方框214)。
例如，主體眼睛的中心可通過斑點(diǎn)分析來估算。一個(gè)斑點(diǎn)是指一組相連的像素。因?yàn)椴煌说拿娌坑兴煌?，在如圖28a-28c所示的哈夫變換圖像中可產(chǎn)生許多不同的符合包含眼睛的區(qū)域的”眼睛”斑點(diǎn)圖案。具體地說，例如如圖28a所示的情況1一個(gè)跨越整個(gè)面部區(qū)域?qū)挾鹊膯蝹€(gè)斑點(diǎn)。所述斑點(diǎn)被從中間切斷并按兩個(gè)較小的斑點(diǎn)來處理，以確定其中所包含的一雙眼睛的中心。
如圖28b所示的情況2有兩個(gè)大小相近的斑點(diǎn)，并且這兩個(gè)斑點(diǎn)通常較其它的斑點(diǎn)大。由此可確定其所表示的一雙眼睛的中心。
如圖28c所示的情況3只有一個(gè)單個(gè)的小斑點(diǎn)與其它斑點(diǎn)分離且較其它斑點(diǎn)大。在這種情況下，只確定單只眼睛的中心。
最終，面部檢測器確定一只或一雙眼睛的中心位置。例如，中心可以選用所提取的斑點(diǎn)的質(zhì)心。不過，由于斑點(diǎn)既可代表眼睛，又可代表眉毛，所以眼睛的中心并不是斑點(diǎn)的質(zhì)心，但通常可發(fā)現(xiàn)它是這樣的斑點(diǎn)的質(zhì)心的函數(shù)，舉例來說，偏離質(zhì)心一定距離。
一旦眼睛中心的位置確定后，頭的取向也可被判定。例如，如果眼睛的位置處在被離析出的皮膚的某個(gè)區(qū)域，則可判定頭處在某一位置，舉例來說，被檢測的目標(biāo)也許朝下看或朝上看。
當(dāng)知道了頭的取向與位置后，就可確定是否可以提取一幅滿意的面部圖像以供識(shí)別之用。通過必要的外推運(yùn)算從任意給定的面部的旋轉(zhuǎn)角度來生成面部的正面圖像也是一種可行的方案，當(dāng)然，前提是至少可以看到一半的面部。
所有在此引用的專利及參考文獻(xiàn)，是對(duì)其全面的引用，就像對(duì)其中每一篇的分別引用一樣。盡管本發(fā)明以參照其特定的最佳實(shí)施例的形式來描述，但在權(quán)利要求書的預(yù)期范圍中可以對(duì)本發(fā)明各種變化和修改，正如本專業(yè)的技術(shù)人員已知的。
權(quán)利要求
1.一種用于檢測人的面部的方法，所述方法包括提供代表來自景象的反射光的圖像數(shù)據(jù)，所述反射光屬于反射的紅外射線范圍中的至少一個(gè)波長范圍；從所述圖像數(shù)據(jù)中提取有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域；從所述圖像數(shù)據(jù)中提取有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域；將所述提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域和所述提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域合并，從而生成一幅組合容貌特征圖像；以及依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，以便檢測所述人物的一只或一雙眼睛。
2.如權(quán)利要求1所述的方法，其特征在于所述”提供代表來自景象的反射光的圖像數(shù)據(jù)，所述反射光屬于反射的紅外射線范圍中的至少一個(gè)波長范圍”包括提供代表來自景象的反射光的第一圖像輸出，所述反射光屬于反射的紅外射線范圍中的第一波長范圍，其中從所述第一圖像輸出提取有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域，而且其中所述有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域在所述第一波長范圍比人的皮膚有相對(duì)較高的反射率；以及提供代表來自景象的反射光的第二圖像輸出，所述反射光屬于反射的紅外射線范圍中的第二波長范圍，其中從所述第二圖像輸出提取有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域，而且其中所述有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域在所述第二波長范圍比人的皮膚有相對(duì)較低的反射率。
3.如權(quán)利要求2所述的方法，其特征在于位于所述第一波長范圍與所述第二波長范圍之間的波長為大約1.4微米。
4.如權(quán)利要求3所述的方法，其特征在于所述第二波長范圍是從至少大約0.9微米到1.4微米，而所述第一波長范圍是從1.4微米到至少大約1.7微米。
5.如權(quán)利要求2所述的方法，其特征在于所述方法還包括通過依據(jù)所述第一和第二圖像輸出而從景象中相對(duì)于背景離析出人的皮膚來確定面部搜索區(qū)域。
6.如權(quán)利要求5所述的方法，其特征在于人皮膚在所述第一波長范圍內(nèi)的反射率與人皮膚在所述第二波長范圍內(nèi)的反射率之間的差別，比除了人皮膚以外的背景中的其它物體在所述第一波長范圍內(nèi)的反射率與所述其它物體在所述第二波長范圍內(nèi)的反射率之間的差別大。
7.如權(quán)利要求5所述的方法，其特征在于所述”通過從景象中離析出相對(duì)于背景的人皮膚來確定面部搜索區(qū)域”包括對(duì)所述第一圖像輸出中像素的光譜功率與所述第二圖像輸出中相應(yīng)像素的光譜功率進(jìn)行加權(quán)差運(yùn)算，從而得到所述各像素的加權(quán)差輸出。
8.如權(quán)利要求7所述的方法，其特征在于所述”通過從景象中離析出人皮膚來確定面部搜索區(qū)域”還包括將所各像素的加權(quán)差與一個(gè)或多個(gè)閾值相比較，以便把代表皮膚的像素與代表背景中并非人皮膚的物體的像素區(qū)分開。
9.如權(quán)利要求1所述的方法，其特征在于所述方法還包括通過從景象中相對(duì)于背景離析出人的皮膚來確定面部搜索區(qū)域。
10.如權(quán)利要求9所述的方法，其特征在于從所述確定了的搜索區(qū)域中提取所述圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一條或兩條眉毛或者有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域。
11.如權(quán)利要求9所述的方法，其特征在于所述方法還包括檢測人物面部的朝向或范圍，所述檢測是依據(jù)檢測到的所述人物的一只或一雙眼睛以及離析出的所述人物的皮膚來實(shí)現(xiàn)的。
12.如權(quán)利要求1所述的方法，其特征在于所述方法還包括檢測所述人物面部的朝向，所述檢測至少是依據(jù)檢測到的人物的無論一只還是一雙眼睛來實(shí)現(xiàn)的。
13.如權(quán)利要求1所述的方法，其特征在于所述”依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，以便檢測所述人物的一只或一雙眼睛”包括依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)來對(duì)所述組合容貌特征圖像進(jìn)行搜索，從而得到一個(gè)或多個(gè)包含眼睛的區(qū)域；以及估算所述一個(gè)或多個(gè)包含眼睛的區(qū)域中一只或一雙眼睛的中心。
14.如權(quán)利要求13所述的方法，其特征在于所述”依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，從而得到一個(gè)或多個(gè)包含眼睛的區(qū)域”包括把代表多數(shù)人眼睛與眉毛關(guān)系的模板用于所述組合容貌特征圖像，以便確定所述一個(gè)或多個(gè)包含眼睛的區(qū)域的位置。
15.如權(quán)利要求13所述的方法，其特征在于所述”估算所述一個(gè)或多個(gè)包含眼睛的區(qū)域中一只或一雙眼睛的中心”包括判定所述一個(gè)或多個(gè)包含眼睛的區(qū)域是橫跨所述人物面部大部分的單一斑點(diǎn)，還是兩個(gè)尺寸大約相等的斑點(diǎn)，或是比橫跨所述人物面部大部分的單一斑點(diǎn)尺寸相對(duì)較小，但卻比其它確定了位置的包含眼睛的區(qū)域大的單一斑點(diǎn)。
16.如權(quán)利要求1所述的方法，其特征在于所述方法還包括監(jiān)測景象的亮度級(jí)，并對(duì)所述監(jiān)測結(jié)果作出反應(yīng)而動(dòng)態(tài)地調(diào)整所述亮度級(jí)。
17.一種用于檢測人物面部的系統(tǒng)，所述系統(tǒng)包括至少一臺(tái)成像裝置，可以用來提供代表來自景象的反射光的圖像數(shù)據(jù)，所述反射光屬于反射的紅外射線范圍中的至少一個(gè)波長范圍；以及處理裝置，所述處理裝置可以用來從所述圖像數(shù)據(jù)中提取有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域；從所述圖像數(shù)據(jù)中提取有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域；將所述提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域和所述提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域合并，從而生成一幅組合容貌特征圖像；以及依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，以便檢測所述人物的一只或一雙眼睛。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于所述”至少一臺(tái)成像裝置”包括對(duì)屬于反射的紅外射線范圍中所述第一波長范圍的反射光敏感以提供代表所述景象的第一圖像輸出的第一成像裝置，其中，從所述第一圖像輸出提取有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域，而且其中所述有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域在所述第一波長范圍比人的皮膚有相對(duì)較高的反射率；以及對(duì)屬于反射的紅外射線范圍中所述第二波長范圍的反射光敏感以提供代表所述景象的第二圖像輸出的第二成像裝置，其中，從所述第二圖像輸出提取有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域，而且其中所述有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域在所述第二波長范圍比人的皮膚有相對(duì)較低的反射率。
19.如權(quán)利要求18所述的系統(tǒng)，其特征在于位于所述第一波長范圍與所述第二波長范圍之間的波長為大約1.4微米。
20.如權(quán)利要求18所述的系統(tǒng)，其特征在于所述第二波長范圍是從至少大約0.9微米到1.4微米，而所述第一波長范圍是從1.4微米到至少大約1.7微米。
21.如權(quán)利要求18所述的系統(tǒng)，其特征在于所述處理裝置還可以用于通過依據(jù)所述第一和第二圖像輸出從景象中相對(duì)于背景離析出人皮膚來確定面部搜索區(qū)域。
22.如權(quán)利要求21所述的系統(tǒng)，其特征在于人皮膚在所述第一波長范圍內(nèi)的反射率與人皮膚在所述第二波長范圍內(nèi)的反射率之間的差別，比景象中除了人皮膚以外的其它物體在所述第一波長范圍內(nèi)的反射率與所述其它物體在所述第二波長范圍內(nèi)的反射率之間的差別大。
23.如權(quán)利要求21所述的系統(tǒng)，其特征在于所述處理裝置還可以用于對(duì)所述第一圖像輸出中各像素的光譜功率與所述第二圖像輸出中相應(yīng)像素的光譜功率進(jìn)行加權(quán)差運(yùn)算，從而得到所述各像素的加權(quán)差輸出。
24.如權(quán)利要求23所述的系統(tǒng)，其特征在于所述處理裝置還可以用于將所述各像素的加權(quán)差輸出與一個(gè)或多個(gè)閾值相比較，以便把代表皮膚的像素與代表背景中并非人皮膚的物體的像素區(qū)分開。
25.如權(quán)利要求17所述的系統(tǒng)，其特征在于所述處理裝置還可以用于通過從景象中相對(duì)于背景離析出人皮膚來確定面部搜索區(qū)域。
26.如權(quán)利要求25所述的系統(tǒng)，其特征在于從所述確定了的搜索區(qū)域中提取所述圖像數(shù)據(jù)中有可能對(duì)應(yīng)于人的一條或兩條眉毛或者有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域。
27.如權(quán)利要求25所述的系統(tǒng)，其特征在于所述處理裝置還可以用于檢測人物面部的朝向或范圍，所述檢測是依據(jù)檢測到的所述人物的一只或一雙眼睛以及離析出的所述人物的皮膚來實(shí)現(xiàn)的。
28.如權(quán)利要求17所述的系統(tǒng)，其特征在于所述處理裝置還可以用于檢測所述人物面部的朝向，所述檢測至少是依據(jù)檢測到的人物的無論一只還是一雙眼睛來實(shí)現(xiàn)的。
29.如權(quán)利要求17所述的系統(tǒng)，其特征在于所述處理裝置還可以用于依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，從而得到一個(gè)或多個(gè)包含眼睛的區(qū)域；以及估算所述一個(gè)或多個(gè)包含眼睛的區(qū)域中一只或一雙眼睛的中心。
30.如權(quán)利要求29所述的系統(tǒng)，其特征在于所述處理裝置還可以用于把代表多數(shù)人眼睛與眉毛關(guān)系的模板用于所述組合容貌特征圖像，以確定所述一個(gè)或多個(gè)包含眼睛的區(qū)域的位置。
31.如權(quán)利要求29所述的系統(tǒng)，其特征在于所述處理裝置還可以用于判定所述一個(gè)或多個(gè)包含眼睛的區(qū)域是橫跨所述人物面部大部分的單一斑點(diǎn)，還是兩個(gè)尺寸大約相等的斑點(diǎn)，或是比橫跨所述人物面部大部分的單一斑點(diǎn)尺寸相對(duì)較小，但卻比其它確定了位置的包含眼睛的區(qū)域大的單一斑點(diǎn)。
32.如權(quán)利要求17所述的系統(tǒng)，其特征在于所述系統(tǒng)還包括可以用于監(jiān)測景象中的亮度級(jí)的監(jiān)測裝置；以及用于對(duì)所述監(jiān)測結(jié)果作出反應(yīng)而動(dòng)態(tài)地調(diào)整光源提供的亮度級(jí)的控制裝置。
33.一種用于檢測人的面部的方法，所述方法包括提供代表來自景象的反射光的第一圖像輸出，所述反射光屬于反射的紅外射線范圍中的第一波長范圍；提供代表來自景象的反射光的第二圖像輸出，所述反射光屬于反射的紅外射線范圍中的第二波長范圍；依據(jù)所述第一和第二圖像輸出，通過從景象中相對(duì)于背景離析出人的皮膚來確定至少一個(gè)面部搜索區(qū)域，其中，人皮膚在所述第一波長范圍內(nèi)的反射率與人皮膚在所述第二波長范圍內(nèi)的反射率之間的差別，比除了人皮膚以外的背景中的其它物體在所述第一波長范圍內(nèi)的反射率與所述其它物體在所述第二波長范圍內(nèi)的反射率之間的差別大；從所述確定了的面部搜索區(qū)域中提取有可能對(duì)應(yīng)于人的一條或兩條眉毛的區(qū)域，其中，所述有可能對(duì)應(yīng)于人的一條或兩條眉毛的區(qū)域在所述第一波長范圍比人皮膚有相對(duì)較高的反射率；從所述確定了的面部搜索區(qū)域中提取有可能對(duì)應(yīng)于人的一只或一雙眼睛的區(qū)域，其中，所述有可能對(duì)應(yīng)于人的一只或一雙眼睛的區(qū)域在所述第一波長范圍比人皮膚有相對(duì)較低的反射率；將所述提取的有可能對(duì)應(yīng)于人的一條或兩條眉毛的景象區(qū)域和所述提取的有可能對(duì)應(yīng)于人的一只或一雙眼睛的景象區(qū)域合并，從而生成一幅組合容貌特征圖像；依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，以確定一個(gè)或多個(gè)包含眼睛的區(qū)域的位置；以及估算所述一個(gè)或多個(gè)包含眼睛的區(qū)域中一只或一雙眼睛的中心。
34.如權(quán)利要求33所述的方法，其特征在于位于所述第一波長范圍與所述第二波長范圍之間的波長為大約1.4微米。
35.如權(quán)利要求33所述的方法，其特征在于所述第二波長范圍是從至少大約0.9微米到1.4微米，而所述第一波長范圍是從1.4微米到至少大約1.7微米。
36.如權(quán)利要求33所述的方法，其特征在于所述”通過從景象中離析出人的皮膚來確定面部搜索區(qū)域”包括對(duì)所述第一圖像輸出的各像素的光譜功率與所述第二圖像輸出的相應(yīng)像素的光譜功率進(jìn)行加權(quán)差運(yùn)算，從而得到所述各像素的加權(quán)差輸出。
37.如權(quán)利要求36所述的方法，其特征在于所述”通過從景象中離析出人的皮膚來確定面部搜索區(qū)域”還包括將所述各像素的加權(quán)差輸出與一個(gè)或多個(gè)閾值相比較，以便把代表皮膚的像素與代表背景中并非人皮膚的物體的像素區(qū)分開。
38.如權(quán)利要求33所述的方法，其特征在于所述方法還包括檢測人物面部的朝向或范圍，所述檢測是依據(jù)檢測到的所述人物的一只或一雙眼睛以及離析出的所述人物的皮膚來實(shí)現(xiàn)的。
39.如權(quán)利要求33所述的方法，其特征在于所述方法還包括檢測所述人物面部的朝向，所述檢測至少是依據(jù)檢測到的人物的無論一只還是一雙眼睛來實(shí)現(xiàn)的。
40.如權(quán)利要求33所述的方法，其特征在于所述”依據(jù)表示眼睛區(qū)域的模型數(shù)據(jù)對(duì)所述組合容貌特征圖像進(jìn)行搜索，從而得到一個(gè)或多個(gè)包含眼睛的區(qū)域”包括把代表多數(shù)人眼睛與眉毛關(guān)系的模板用于所述組合容貌特征圖像，以便確定所述一個(gè)或多個(gè)包含眼睛的區(qū)域的位置。
41.如權(quán)利要求33所述的方法，其特征在于所述”估算所述一個(gè)或多個(gè)包含眼睛的區(qū)域中一只或一雙眼睛的中心”包括判定所述一個(gè)或多個(gè)包含眼睛的區(qū)域是橫跨所述人物面部大部分的單一斑點(diǎn)，還是兩個(gè)尺寸大約相等的斑點(diǎn)，或是比橫跨所述人物面部大部分的單一斑點(diǎn)尺寸相對(duì)較小，但卻比其它確定了位置的包含眼睛的區(qū)域大的單一斑點(diǎn)。
42.如權(quán)利要求33所述的方法，其特征在于所述方法還包括將代表所述一只或一雙眼睛的估算的中心的數(shù)據(jù)至少應(yīng)用于面部識(shí)別系統(tǒng)。
全文摘要
一種用于檢測人的面部的方法與系統(tǒng)包括提供代表從景象中反射回來的光的圖像數(shù)據(jù)，所述反射光處于反射紅外射線范圍中的至少一個(gè)波長范圍。將圖像數(shù)據(jù)中有可能對(duì)應(yīng)于某人一條或兩條眉毛的景象區(qū)域和有可能對(duì)應(yīng)于某人一只或一雙眼睛的景象區(qū)域從數(shù)據(jù)中提取出來。再將所提取的有可能對(duì)應(yīng)于某人一條或兩條眉毛的景象區(qū)域和有可能對(duì)應(yīng)于某人一只或一雙眼睛的景象區(qū)域合并成一幅組合容貌特征圖像。然后再利用代表眼睛區(qū)域的模型數(shù)據(jù)對(duì)組合容貌特征圖像進(jìn)行搜索，從而確定人物的一只或一雙眼。
文檔編號(hào)A61B5/117GK1585957SQ02822430
公開日2005年2月23日 申請(qǐng)日期2002年9月13日 優(yōu)先權(quán)日2001年9月13日
發(fā)明者I·帕夫利迪斯, J·B·道達(dá)爾 申請(qǐng)人:霍尼韋爾國際公司