專利名稱：基于多攝像機信息融合的人臉識別檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉識別檢測領(lǐng)域，尤其是一種人臉識別檢測裝置。

背景技術(shù)：
基于人臉識別檢測可用于機關(guān)單位的安全和考勤、網(wǎng)絡(luò)安全、銀行、海關(guān)邊檢、物業(yè)管理、軍隊安全、計算機登錄系統(tǒng)。比如，公安布控監(jiān)控、監(jiān)獄監(jiān)控、司法認(rèn)證、民航安檢、口岸出入控制、海關(guān)身份驗證、銀行密押、智能身份證、智能門禁、智能視頻監(jiān)控、智能出入控制、司機駕照驗證、各類銀行卡、金融卡、信用卡、儲蓄卡的持卡人的身份驗證，等等。
人臉識別檢測研究，主要包括人臉識別(face recognition)技術(shù)和人臉檢測(facedetection)技術(shù)的研究。最初人臉研究主要集中在人臉識別領(lǐng)域，而且早期的人臉識別算法都是在認(rèn)為已經(jīng)得到了一個正面人臉或者人臉很容易獲得的前提下進(jìn)行的。但是隨著人臉應(yīng)用范圍的不斷擴大和開發(fā)實際系統(tǒng)需求的不斷提高，這種假設(shè)下的研究不再能滿足需求。在無約束條件情況下人臉識別檢測正在作為獨立的研究內(nèi)容引起研究人員的更多關(guān)注和重視。
人臉識別檢測是指對于任意一幅給定的圖像，采用一定的策略對其進(jìn)行搜索以確定其中是否含有人臉，如果是則返回人臉的位置、大小和姿態(tài)，接著對人臉進(jìn)行識別。它是一個復(fù)雜的具有挑戰(zhàn)性的模式檢測問題，其主要的難點有三方面，(一)由于人臉內(nèi)在的變化所引起(1)人臉具有相當(dāng)復(fù)雜的細(xì)節(jié)變化，不同的外貌如臉形、膚色等，不同的表情如眼、嘴的開與閉等；(2)人臉的遮擋，如眼鏡、頭發(fā)和頭部飾物以及其他外部物體等；(二)由于外在條件變化所引起(1)由于成像角度的不同造成人臉的多姿態(tài)，如平面內(nèi)旋轉(zhuǎn)、深度旋轉(zhuǎn)以及上下旋轉(zhuǎn)，其中深度旋轉(zhuǎn)影響較大；(2)光照的影響，如圖像中的亮度、對比度的變化和陰影等。(3)圖像的成像條件，如攝像設(shè)備的焦距、成像距離，圖像獲得的途徑等等；(三)由于圖像采集手段所引起在非理想采集條件下，人臉識別檢測裝置是在攝像環(huán)境不可控、環(huán)境條件變化劇烈、用戶不配合的情況下使用的，難度更大的是在大空間范圍內(nèi)如何快速有效的跟蹤多目標(biāo)人體對象、獲取人臉部位的圖像，尤其是正面的人臉圖像。上述這些困難都為解決人臉識別檢測問題造成了難度。
精度和速度是一個人臉識別檢測系統(tǒng)的兩個重要方面，一般都希望一個系統(tǒng)既能有很高的精度又能達(dá)到實時的速度。但是實際應(yīng)用中這兩方面又常常存在矛盾。一般是在精度不能滿足的條件下，犧牲速度來滿足精度。如何能在保證精度的前提下，有效地提高系統(tǒng)的速度，對人臉識別檢測的實際應(yīng)用有很重要的意義。
在候機、候車、侯船大廳或者人潮擁擠的車站等大空間進(jìn)行攝像監(jiān)控時，最大的問題是如何架設(shè)攝像機以有效覆蓋整個監(jiān)控范圍。光是監(jiān)控幾個出入口是不夠的，當(dāng)要監(jiān)控在大空間內(nèi)任意移動的人或物的行為或動向時，目前多采用架設(shè)多個固定攝像機來覆蓋整個空間或采用快速球型攝像機來掃描整個空間。但是采用架設(shè)多個固定攝像機時如何有效管理這些攝像機是一個大問題，而且每個攝像機與實際環(huán)境的對應(yīng)關(guān)系不容易建立，以及各攝像機的分辨率等不足等問題的存在都可能造成識別檢測時的困難。即使采用快速球型攝像機來掃描整個空間，攝像機在轉(zhuǎn)動過程中也會產(chǎn)生時間上的監(jiān)控死角。尤其是在控制快速球型攝像機轉(zhuǎn)動時，因為只能控制向上、向下、向左、向右等運動，往往無法很快地將快速球型攝像機轉(zhuǎn)動到希望的監(jiān)控對象位置，或者說不知道要控制快速球型攝像機轉(zhuǎn)動到什么地方，造成監(jiān)控效率的降低。
另外在大空間進(jìn)行人臉識別檢測時，最大的問題是如何獲得人臉的正面圖像。一般的人臉識別系統(tǒng)為了提高識別率，要求被識別者以正面的角度面對攝像機，這種方式容易造成被識別者的負(fù)擔(dān)。另一方面，由于被識別者意識到攝像機的存在，故意避開攝像機或者背向攝像機而造成很難應(yīng)用在安全監(jiān)控系統(tǒng)上。由于上述原因，目前的這些識別檢測方法在這樣的情況下識別性能下降非?？旌芏嗲闆r下識別系統(tǒng)正確識別率陡降至75％以下，識別檢測系統(tǒng)等錯誤率攀升到10％以上，這樣的性能顯然是應(yīng)用系統(tǒng)用戶無法接受的。
中國發(fā)明專利CN1794264中提出的視頻序列中人臉的實時檢測與持續(xù)跟蹤的方法及系統(tǒng)，中國發(fā)明專利CN1924894中提出的多姿態(tài)人臉檢測與追蹤系統(tǒng)及方法，這些發(fā)明都是基于在小范圍內(nèi)的人臉檢測；美國專利US2007092245中提出使用多個云臺攝像機(PTZ Camera)監(jiān)控以實現(xiàn)人臉的檢測與跟蹤，而多攝像機的跟蹤對于運動目標(biāo)的定位存在著一定的難度，同時采用普通的攝像機由于可視的范圍是受限的，單一角度的，而且這種人臉檢測的方法需要人必須正對著攝像機或者正側(cè)面對著攝像機。上述已有技術(shù)在大范圍多目標(biāo)、攝像環(huán)境不可控、環(huán)境條件變化劇烈、用戶不配合的情況下的人臉識別檢測是難以實現(xiàn)的。
一個完善的、實用的人臉識別檢測裝置應(yīng)該是裝置去適應(yīng)人，而不是人來適應(yīng)裝置，為了達(dá)到人臉識別的目的對使用者做過多的限制和要求實際上降低了裝置實際應(yīng)用價值。因此需要人臉識別檢測裝置自動判斷人的存在與否，并且始終跟隨人的運動，在此過程中完成智能感知或者交互的任務(wù)，然后根據(jù)被跟蹤的人體對象的各方面細(xì)節(jié)去分析與判斷該對象是誰；雖然目前的許多研究者嘗試用人臉跟蹤的方法獲得更多的人臉部位的信息，但是人不可能總是固定不動，會有轉(zhuǎn)身等動作；當(dāng)這類動作發(fā)生時，人臉跟蹤就會出現(xiàn)丟失、跟蹤不到人臉而無法實現(xiàn)智能感知等問題，同時這種人臉跟蹤技術(shù)無法實現(xiàn)對多目標(biāo)情況下的人臉檢測與識別。


發(fā)明內(nèi)容
為了克服現(xiàn)有的人臉識別檢測裝置在獲取人臉部分視頻手段上單一、受限，無法實現(xiàn)大范圍多目標(biāo)的人臉識別以及在人臉識別時必須要求被識別者以正面或者正側(cè)面的角度面對攝像機、識別的精度與速度還達(dá)不到實際應(yīng)用等問題，本發(fā)明提供一種實現(xiàn)大范圍實時人體跟蹤視頻監(jiān)控與多角度定點的人臉抓拍、識別精度高、速度快、實用性好的基于多攝像機信息融合的人臉識別檢測裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于多攝像機信息融合的人臉識別檢測裝置，包括用于跟蹤監(jiān)控大空間范圍內(nèi)多目標(biāo)人體的運動以及行為的大范圍視頻監(jiān)控攝像機、用于對被跟蹤的人物的臉部進(jìn)行特寫抓拍的多個快速球型攝像機和用于對多攝像機進(jìn)行信息融合和人臉檢測識別處理的微處理器，所述的微處理器包括大范圍監(jiān)控攝像機標(biāo)定模塊，用于建立監(jiān)控空間的圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；大范圍監(jiān)控攝像機與快速球攝像機之間的視頻數(shù)據(jù)融合模塊，用于控制快速球攝像機的轉(zhuǎn)動與調(diào)焦，使得快速球攝像機能對準(zhǔn)所跟蹤人體對象的臉部進(jìn)行特寫抓拍；虛擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的檢測檢測線，虛擬線定制在監(jiān)控領(lǐng)域的出入口處； 人體對象ID號和存放跟蹤人體對象的臉部圖像文件夾的自動生成模塊，用于對剛進(jìn)入大范圍監(jiān)控攝像機的視場最外邊的虛擬線的人體對象進(jìn)行命名，當(dāng)活動人體對象進(jìn)入監(jiān)控范圍時，系統(tǒng)自動會產(chǎn)生一個人體對象ID號并同時生成一個以該人體對象ID號命名的文件夾，用于存放該人體對象的臉部的特寫圖像； 多對象人體跟蹤模塊，用于跟蹤監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)人體對象，包括 自適應(yīng)背景消減單元，用于在底層特征層將監(jiān)控領(lǐng)域背景中把前景對象目標(biāo)部分的像素點提取出來，混合高斯分布模型來表征圖像幀中每一個像素點的特征；設(shè)用來描述每個點顏色分布的高斯分布共有K個，分別標(biāo)記為 η(Yt，μt，i，∑t，i)，i＝1，2，3…，k (12) 式(12)中的下標(biāo)t表示時間，各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點時，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配，若匹配，則判定該點可能為前景點，否則為前景點；若某個高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按一定的更新率進(jìn)行更新； 陰影抑制單元，用于通過形態(tài)學(xué)運算實現(xiàn)，利用腐蝕和膨脹算子分別去除孤立的噪聲前景點和填補目標(biāo)區(qū)域的小孔，先對消除了背景模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴張集Fe和收縮集Fc，通過處理所得到的擴張集Fe和收縮集Fc是對初始前景點集F進(jìn)行填補小孔和去除孤立噪聲點的結(jié)果；因此有以下關(guān)系Fc＜F＜Fe成立，接著以收縮集Fc作為起始點，在擴張集Fe上檢測連通區(qū)域，然后將檢測結(jié)果記為{Rei，i＝1，2，3，…，n}，最后將檢測所得的連通區(qū)域重新投影到初始前景點集F上，得到最后的連通檢測結(jié)果{Ri＝Rei∩F，i＝1，2，3，…，n}； 連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法提取前景目標(biāo)對象； 跟蹤處理單元；用于基于目標(biāo)顏色特征跟蹤算法，利用目標(biāo)對象的顏色特征在視頻圖像中找到運動目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用運動目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，在連通區(qū)域標(biāo)識單元處理后所得到的目標(biāo)對象的方位以及大小，然后將處理結(jié)果提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)多目標(biāo)對象的自動跟蹤； 人體對象的臉部特寫圖像定位抓拍模塊，用于定位抓拍跟蹤人體對象的臉部圖像，對人體膚色建立一張二值圖像，進(jìn)行連通區(qū)域個數(shù)計算，檢測人體頭部在整個人體上端部位，檢測連通區(qū)域高度的1/3； 人臉圖像檢測預(yù)處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)人體對象的臉部特寫圖像進(jìn)行粗檢測，用膚色區(qū)域的二值映射圖作為人臉檢測判定標(biāo)準(zhǔn)，如檢測窗口Awindow內(nèi)皮膚區(qū)域面積Askin所占的比例在設(shè)定范圍之間，遍歷整個人臉圖像，并采用橢圓方法判定是否為正面人臉； 人臉檢測精處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)經(jīng)人臉圖像檢測預(yù)處理后的圖像進(jìn)行進(jìn)一步的處理，采用離散小波分解、局部加窗得到局部冗余信號，兩兩配對計算局部信號相似度得到局部特征向量集，并將特征集分為兩類“類內(nèi)差”ΩT和“類間差”ΩE，利用Boosting算法從特征集中自適應(yīng)選擇弱分類器，最終構(gòu)成強分類器，得到人臉圖像IS； 人臉識別模塊，用于對存放在人體對象ID號命名的文件夾中的有標(biāo)記的人體對象的臉部的特寫圖像進(jìn)行識別，經(jīng)精檢測后的人臉圖像IS經(jīng)過與訓(xùn)練步驟相同的特征提取得到局部信號，并與比對樣本逐個計算局部相似度，然后輸入集成分類器，最終識別類別由輸出值最大的樣本決定。
作為優(yōu)選的一種方案所述微處理器還包括識別結(jié)果進(jìn)行表決處理模塊，用于對某個人體對象ID所對應(yīng)的多個識別結(jié)果進(jìn)行表決，評價一個人臉識別系統(tǒng)的標(biāo)準(zhǔn)，包括識別率、錯誤拒絕率、錯誤接受率；通過混淆矩陣來定義，混淆矩陣表示屬于第i類的測試特征向量被分配到第j類的概率，用矩陣表示估計值和實際輸出值，對于每一張人臉圖像識別是一個兩類問題的四個可能的分類結(jié)果； 對于第I張人臉圖像的識別率可以由以下公式(19)計算， 對于第I張人臉圖像的拒判率(False rejection rate，F(xiàn)RR)或拒真率(Falsenegtive rate)可以由以下公式(20)計算， 對于第I張人臉圖像的誤判率(False acceptance rate，F(xiàn)AR)或認(rèn)假率(Falsepositive rate)可以由以下公式(21)計算， 采用多數(shù)表決的方法來確定K/n多數(shù)表決系統(tǒng)的PersonIDFAR(K/n)、PersonIDFRR(K/n)和PersonIDaccuracy(K/n)； 共有n張被識別的圖像，如果K張圖像的人臉識別結(jié)果相同就判定為該結(jié)果，K為預(yù)設(shè)的閾值。
作為優(yōu)選的另一種方案所述微處理器采用多線程處理，將整個人臉識別檢測分為以下處理線程①多目標(biāo)的人體跟蹤與特寫抓拍作為一個線程；②將基于YCrCb顏色模型進(jìn)行粗檢測作為一個線程，③將基于AdaBoost算法的組合成強分類器處理作為一個線程；④將人臉圖像識別作為一個線程；⑤將表決處理作為一個線程；上述5個線程的優(yōu)先級別是從線程的①到⑤順序來確定。
進(jìn)一步，所述的大范圍視頻監(jiān)控攝像機為廣角攝像機，所述廣角攝像機安裝在監(jiān)控空間的一側(cè)。
所述的大范圍監(jiān)控攝像機與快速球攝像機之間的視頻數(shù)據(jù)融合模塊，通過空間位置的映射將大范圍視頻監(jiān)控攝像機和快速球型攝像機進(jìn)行融合，當(dāng)大范圍視頻監(jiān)控攝像機發(fā)現(xiàn)人體對象目標(biāo)之后，系統(tǒng)返回一個人體對象目標(biāo)的坐標(biāo)信息，并利用這一信息來控制多個快速球型攝像機以定位拍人體對象頭部目標(biāo)，多個快速球型攝像機抓拍人體對象頭部目標(biāo)的圖像信息保存在系統(tǒng)所規(guī)定的文件夾內(nèi)供后續(xù)人臉檢測及人臉識別處理；每個快速球型攝像機安裝位置不同，每個快速球型攝像機對應(yīng)相應(yīng)的空間對應(yīng)關(guān)系標(biāo)定表，當(dāng)大范圍視頻監(jiān)控攝像機檢測到人體目標(biāo)時，每個快速球型攝像機能根據(jù)自己與大范圍視頻監(jiān)控攝像機的對應(yīng)關(guān)系標(biāo)定表進(jìn)行快速定位。
所述大范圍視頻監(jiān)控攝像機采用全方位視覺傳感器，標(biāo)定方法為以全景圖像中心為圓心，根據(jù)需要將全景圖像分成一些圓環(huán)，然后將每個圓環(huán)劃分成數(shù)個等份；一幅全景圖像就被規(guī)則地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、方向和大小；根據(jù)全方位視覺傳感器距地面的高度、快速球型攝像機空間位置和攝像頭焦距等參數(shù)，依次確定各快速球型攝像機要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。
所述大范圍視頻監(jiān)控攝像機采用廣角攝像裝置，標(biāo)定方法為依據(jù)廣角攝像機的視場范圍將所拍攝到的圖像劃分成數(shù)個等份，每個區(qū)域有它特定的角度、方向和大小，根據(jù)廣角攝像裝置距地面的高度、傾斜的角度、快速球型攝像機空間位置和攝像頭焦距參數(shù)，依次確定各快速球型攝像機要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。
或者所述的大范圍視頻監(jiān)控攝像機為全方位攝像機，所述全方位攝像機安裝在監(jiān)控領(lǐng)域的中間，所述的全方位攝像機包括用于反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于防止光折射和光飽和的黑色圓錐體，黑色圓錐體固定在折反射鏡面外凸部的中心，用于支撐外凸折反射鏡面的透明圓柱體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上。
本發(fā)明的技術(shù)構(gòu)思為近年發(fā)展起來的全方位攝像機ODVS(Omni-Directional Vision Sensors)為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由；檢測環(huán)境時ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤檢測范圍內(nèi)的運動物體時算法更加簡單；ODVS容易獲得場景的實時圖像并通過與快速球型攝像機之間的所建立映射關(guān)系實現(xiàn)多攝像機之間的信息融合。通過對360度全景范圍內(nèi)多目標(biāo)人體對象的跟蹤技術(shù)、全方位攝像機的三維空間定位技術(shù)以及多攝像機的信息融合技術(shù)，控制多個預(yù)先架設(shè)好的快速球型攝像機來同時對準(zhǔn)某特定人物進(jìn)行抓拍，然后系統(tǒng)自動判斷適合的正面人臉后送給人臉識別引擎進(jìn)行后續(xù)的人臉識別處理。本發(fā)明中將多目標(biāo)人體對象的跟蹤、快速球型攝像機的定位抓拍、人臉的檢測與識別等處理采用多線程的方法對多個模塊進(jìn)行并行處理，這樣人臉識別檢測裝置能夠及時把處理器資源分給不同的模塊，從而在保證檢測和識別精度的前提下一定程度上解決了速度問題，使人臉識別檢測裝置達(dá)到實時與實用。
要解決人臉識別實用化的核心問題是1)要實現(xiàn)使被識別者在無意識狀態(tài)下的人臉識別，識別的環(huán)境條件幾乎沒有任何限制；2)識別的速度和精度都必須在使用者可以接受的范圍內(nèi)。
通過大范圍視頻監(jiān)控攝像機來跟蹤監(jiān)控大空間范圍內(nèi)多目標(biāo)人體的運動以及行為，通過對大空間范圍內(nèi)多目標(biāo)人體對象的跟蹤技術(shù)、人臉的定位技術(shù)、全方位攝像機的三維空間定位技術(shù)以及多攝像機的位置信息融合技術(shù)，控制多個預(yù)先架設(shè)好的快速球型攝像機來同時對準(zhǔn)某特定人物的人臉部位進(jìn)行特寫抓拍，得到多角度的該人物的人臉部位圖像并對其進(jìn)行粗檢測，然后由裝置自動判斷適合的正面或者正側(cè)位人臉圖像后送給人臉識別引擎進(jìn)行后續(xù)的人臉識別檢測處理，最后對上述多張單個人臉圖像(不同攝像機在不同時間所拍攝的人臉圖像)的識別結(jié)果通過系統(tǒng)的決策表決方式來確定系統(tǒng)人臉識別的結(jié)果。
本發(fā)明的有益效果主要表現(xiàn)在解決了傳統(tǒng)的監(jiān)控設(shè)備監(jiān)控范圍單一角度的問題，從而無論人體處在實際場景的任何位置，都可以抓拍到實際的人臉的識別，不在需要人臉正對著攝像頭，實現(xiàn)了機器去適應(yīng)人；2、采用了從宏觀、中觀到微觀的不同層次的、從全局到局部的、從粗到細(xì)節(jié)的各種不同的圖像處理方法，并將這些處理分別以多線程方式來實現(xiàn)，圓滿的解決了人臉識別中的速度與精度兩者之間的矛盾，處理無須依賴于較大型設(shè)備，提高了系統(tǒng)的性能價格比；3、采用信息融合的手段，從時間和空間上將多個攝像機的信息進(jìn)行融合，對多個人臉識別結(jié)果在決策層的信息融合，大大提高了人臉識別的正確率，減少了誤判率和拒判率；4、實現(xiàn)的算法自動化智能化程度高，使用過程中無需人的任何干預(yù)，安裝全方位攝像機以及快速球型攝像機方便、容易實現(xiàn)多傳感器的信息融合。



圖1為全方位視覺傳感器作為人體跟蹤其他多個快速球型攝像機作為抓拍人體特寫圖像的多傳感器融合的結(jié)構(gòu)原理圖； 圖2為廣角攝像機作為人體跟蹤其他多個快速球型攝像機作為抓拍人體特寫圖像的多傳感器融合的結(jié)構(gòu)原理圖； 圖3為多視覺傳感器融合的硬件組成結(jié)構(gòu)圖； 圖4為多視覺傳感器融合的人臉識別流程框圖； 圖5為人臉圖像精檢測中層疊分類器的處理流程； 圖6為四個矩形的積分圖的值計算的示意圖； 圖7為5種檢測窗內(nèi)的矩形特征例子； 圖8為人臉識別系統(tǒng)訓(xùn)練過程框架圖； 圖9為人臉識別系統(tǒng)識別過程框架圖； 圖10為局部圖像塊采樣掃描過程示意圖； 圖11為在最后的決策層中K/n多數(shù)表決系統(tǒng)的示意圖； 圖12為雙曲面全方位視覺光學(xué)原理圖； 圖13為一種雙曲面全方位視覺傳感器的結(jié)構(gòu)圖； 圖14為基于多攝像機信息融合的人臉識別檢測系統(tǒng)的處理流程圖； 圖15為多目標(biāo)人體跟蹤的前期預(yù)處理流程圖。

具體實施例方式 下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。
實施例1 參照圖1、圖3～圖15，一種基于多攝像機信息融合的人臉識別檢測裝置，大范圍視頻監(jiān)控攝像機1，用于跟蹤監(jiān)控大空間范圍內(nèi)多目標(biāo)人體的運動以及行為；采用多個快速球型攝像機2，用于對被跟蹤的人物的臉部進(jìn)行特寫抓拍；采用一臺微處理器5，用于對多攝像機進(jìn)行信息融合和人臉檢測識別處理，處理的流程參照附圖14進(jìn)行說明，1)大范圍視頻監(jiān)控攝像機1跟蹤大范圍內(nèi)多目標(biāo)人體對象；2)根據(jù)被跟蹤的人體對象的空間位置控制多個快速球型攝像機2對臉部進(jìn)行特寫抓拍；3)將特寫抓拍到的臉部圖像保存在某一預(yù)定的存儲單元內(nèi)；上述的處理是在一個線程中進(jìn)行處理的，該線程的處理級別最高，如圖14中的線程①所示；接著線程②對所采集到的人臉圖像進(jìn)行粗檢測，在該線程處理中采用模式拒絕思想，對存儲單元內(nèi)的圖像采用基于YCrCb顏色模型進(jìn)行粗檢測，淘汰一些不能或者難以進(jìn)行人臉檢測識別圖像，接著判斷可進(jìn)行人臉檢測識別圖像數(shù)，如果達(dá)不到規(guī)定的可進(jìn)行人臉檢測識別圖像數(shù)則要求多個快速球型攝像機2對繼續(xù)跟蹤人體臉部進(jìn)行特寫抓拍；粗檢測后通過的圖像文件被重新命名保存在文件夾內(nèi)以便作下一步的精檢測，線程②的優(yōu)先級別略低于線程①；進(jìn)一步進(jìn)行人臉的精檢測，精檢測是在線程③中完成的，具體做法是采用基于AdaBoost算法的組合成強分類器，強分類器作為分級分類器的前面幾級，對基于YCrCb顏色模型進(jìn)行粗檢測后的圖像進(jìn)行過濾，最后再用一個強分類器進(jìn)行進(jìn)一步過濾。通過在前幾級的處理基本上過濾掉了大多數(shù)的非人臉圖像以及難以識別的人臉圖像，因此在最后一級強分類器的圖像窗口有大幅度的減少，在提高檢測速度的同時又提高檢測精度；精檢測后通過的圖像文件被重新命名保存在文件夾內(nèi)以便作下一步的人臉識別，線程③的優(yōu)先級別略低于線程②；更進(jìn)一步，對精檢測處理后的圖像進(jìn)行人臉識別，人臉識別是在線程④中完成的；在該線程中采用基于局部特征人臉識別方法，與人臉檢測一樣，不同的是在人臉檢測中使用的樣本是人臉和非人臉，而在人臉識別中使用的樣本各種不同人臉樣本，識別的結(jié)果是找到與人臉樣本中相匹配的人臉，線程④的優(yōu)先級別略低于線程③；最后對多個人臉圖像識別的結(jié)果進(jìn)行表決處理，由于在上述的技術(shù)方案中采用了對在不同的攝像條件下某一個特定的人臉進(jìn)行了多次識別，每張人臉圖像識別結(jié)果是相對獨立的，因此可以采用概率統(tǒng)計的方法對多個識別結(jié)果進(jìn)行表決處理來提高整個裝置的識別率(Accuracy)，減少誤判率(False acceptance rate，F(xiàn)AR)和拒判率(False rejectionrate，F(xiàn)RR)；表決處理是在線程⑤中進(jìn)行的，其優(yōu)先級別是最低的； 下面結(jié)合上述的處理流程具體說明實現(xiàn)的細(xì)節(jié)與系統(tǒng)的連接方法，所述大范圍視頻監(jiān)控攝像機1和多個快速球型攝像機2通過視頻卡連接微處理器，如圖3所示；所述的微處理器包括圖像顯示單元，用于顯示整個監(jiān)控范圍內(nèi)的視頻圖像、跟蹤人體對象的人臉部位圖像；所述的大范圍監(jiān)控攝像機1為全方位攝像機，該全方位攝像機安裝在監(jiān)控領(lǐng)域的中間，用于監(jiān)視整個空間內(nèi)的人體對象；所述的快速球型攝像機2，用于對進(jìn)入監(jiān)控領(lǐng)域內(nèi)的人體對象的人臉部位進(jìn)行特寫抓拍，通過大范圍監(jiān)控攝像機1的跟蹤得到人體對象所在的空間位置，微處理器根據(jù)該位置信息指示快速球型攝像機2朝著人體對象的人臉部位所在的空間位置的方向旋轉(zhuǎn)調(diào)焦，然后進(jìn)行抓拍；所述的大范圍監(jiān)控攝像機1與快速球型攝像機2之間的動作關(guān)系是通過映射表來實現(xiàn)的；所述的全方位攝像機包括用于反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于防止光折射和光飽和的黑色圓錐體，黑色圓錐體固定在折反射鏡面外凸部的中心，用于支撐外凸折反射鏡面的透明圓柱體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上；所述的微處理器還包括大范圍監(jiān)控攝像機1標(biāo)定模塊，用于建立監(jiān)控空間的圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；大范圍監(jiān)控攝像機1與快速球攝像機2之間的視頻數(shù)據(jù)融合模塊，用于控制快速球攝像機2的轉(zhuǎn)動與調(diào)焦，使得快速球攝像機2能對準(zhǔn)所跟蹤人體對象的臉部進(jìn)行特寫抓拍；多目標(biāo)跟蹤模塊，用于跟蹤監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)人體對象；虛擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的檢測檢測線，一般虛擬線定制在監(jiān)控領(lǐng)域的出入口處；人體對象ID號和存放跟蹤人體對象的臉部圖像文件夾的自動生成模塊，用于對剛進(jìn)入大范圍監(jiān)控攝像機的視場最外邊的虛擬線的人體對象進(jìn)行命名，當(dāng)活動人體對象進(jìn)入監(jiān)控范圍時，系統(tǒng)自動會產(chǎn)生一個人體對象ID號并同時生成一個以該人體對象ID號命名的文件夾，用于存放該人體對象的臉部的特寫圖像；多目標(biāo)人體跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)人體對象；人體對象的臉部特寫圖像定位抓拍模塊，用于定位抓拍跟蹤人體對象的臉部圖像；人臉圖像檢測預(yù)處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)人體對象的臉部特寫圖像進(jìn)行粗檢測，快速的淘汰一些沒有人臉部位的圖像，對有希望能進(jìn)行人臉識別的圖像的文件名上做上標(biāo)記，為后續(xù)人臉檢測精處理準(zhǔn)備好圖像數(shù)據(jù)；人臉檢測精處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)經(jīng)人臉圖像檢測預(yù)處理后的圖像進(jìn)行進(jìn)一步的處理，以保證后續(xù)圖像識別處理的效率，對有希望能進(jìn)行人臉識別的圖像的文件名上做上標(biāo)記，為后續(xù)人臉識別處理準(zhǔn)備好圖像數(shù)據(jù)；人臉識別模塊，用于對存放在人體對象ID號命名的文件夾中的有標(biāo)記的人體對象的臉部的特寫圖像進(jìn)行識別；識別結(jié)果進(jìn)行表決處理模塊，用于對某個人體對象ID所對應(yīng)的多個識別結(jié)果進(jìn)行表決，以提高整個裝置的識別率，減少誤判率和拒判率； 所述的人體對象ID號，用于產(chǎn)生一個能標(biāo)識跟蹤的人體對象、存儲對該人體對象的進(jìn)入監(jiān)控領(lǐng)域的時間、走向等數(shù)據(jù)進(jìn)行記錄的主鍵，人體對象ID號的命名規(guī)則是YYYYMMDDHHMMSS*以14位符號命名，YYYY-表示公歷的年；MM-表示月；DD-表示日；HH-表示小時；MM-表示分；SS-表示秒；均由計算機的系統(tǒng)時間自動產(chǎn)生； 所述的人體對象ID號和存放跟蹤人體對象的臉部圖像文件夾的自動生成模塊，用于保存跟蹤的人體對象臉部的特寫圖像以及后續(xù)處理后的圖像結(jié)果，當(dāng)人體對象進(jìn)入監(jiān)控范圍(最外的虛擬線)時，系統(tǒng)自動產(chǎn)生一個人體對象ID號，同時在某個存放圖像的文件夾內(nèi)創(chuàng)建一個與人體對象ID號同名的文件夾，用來存放該人體對象臉部的特寫圖像以及后續(xù)處理后的圖像結(jié)果，圖像文件的命名方式是根據(jù)對快速球攝像機2的編號以及抓拍的次數(shù)來確定的，如果有5臺快速球攝像機2構(gòu)成，我們對這5臺快速球攝像機2進(jìn)行編號，分別為1號快速球攝像機，...，5號快速球攝像機；如果系統(tǒng)抓拍了一次，那么所產(chǎn)生的圖像文件名分別為11、21、31、41、51，圖像文件名51就表示了編號為5號的快速球攝像機第1次抓拍到的人體對象臉部的特寫圖像； 所述的多目標(biāo)人體跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)人體對象；為計算活動人體走向、各種事件的檢測以及人體對象臉部的定位抓拍提供技術(shù)基礎(chǔ)；在實現(xiàn)多目標(biāo)人體跟蹤時，首先要在底層特征層將監(jiān)控領(lǐng)域背景中把前景人體部分的像素點提取出來。提取人體部分的像素點的方法主要由自適應(yīng)背景消減、陰影抑制和連通區(qū)域標(biāo)識三個部分組成，其順序圖如附圖15所示； 所述的自適應(yīng)背景消減，用于實時分割人體對象目標(biāo)，我們采用的是基于混合高斯分布模型的自適應(yīng)背景消除算法，它的基本思想是使用混合高斯分布模型來表征圖像幀中每一個像素點的特征；當(dāng)獲得新的圖像幀時，更新混合高斯分布模型；在每一個時間段上選擇混合高斯分布模型的子集來表征當(dāng)前的背景；如果當(dāng)前圖像的像素點與混合高斯分布模型相匹配，則判定該點為背景點，否則判定該點為前景點。
針對圖像的YCrCb顏色空間中的亮度值Y分量進(jìn)行檢測。自適應(yīng)混合高斯模型對每個圖像點采用了多個高斯模型的混合表示，設(shè)用來描述每個點顏色分布的高斯分布共有K個，分別標(biāo)記為 η(Yt，μt，i，∑t，i)，i＝1，2，3…，k (1) 式(1)中的下標(biāo)t表示時間。各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值。在檢測前景點時，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配。若匹配，則判定該點可能為前景點，否則為前景點。若某個高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按一定的更新率進(jìn)行更新。
所述的連通區(qū)域標(biāo)識，用于提取前景人體對象，連通區(qū)域標(biāo)識的方法很多，本發(fā)明中采用的是八連通區(qū)域提取算法。另外連通區(qū)域標(biāo)識受初始數(shù)據(jù)中的噪聲影響很大，一般需要先進(jìn)行去噪處理，去噪處理可以通過形態(tài)學(xué)運算實現(xiàn)，本文中利用腐蝕和膨脹算子分別去除孤立的噪聲前景點和填補目標(biāo)區(qū)域的小孔，具體做法是先對消除了背景模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴張集Fe和收縮集Fc，通過處理所得到的擴張集Fe和收縮集Fc可以認(rèn)為是對初始前景點集F進(jìn)行填補小孔和去除孤立噪聲點的結(jié)果。因此有以下關(guān)系Fc＜F＜Fe成立，接著以收縮集Fc作為起始點，在擴張集Fe上檢測連通區(qū)域，然后將檢測結(jié)果記為{Rei，i＝1，2，3，...，n}，最后將檢測所得的連通區(qū)域重新投影到初始前景點集F上，得到最后的連通檢測結(jié)果{Ri＝Rei∩F，i＝1，2，3，...，n}，通過這種目標(biāo)分割算法既能保持目標(biāo)的完整性同時也避免了噪聲前景點的影響，還保留了目標(biāo)的邊緣細(xì)節(jié)部分。
經(jīng)過以上三個步驟就可以從靜態(tài)的監(jiān)控領(lǐng)域背景中將動態(tài)的前景人體對象提取出來，并且可以得到基于人體對象的一些初始信息，如人體對象的大小和位置等等。在監(jiān)控領(lǐng)域背景中提取出前景人體對象后，接著的處理是對監(jiān)控領(lǐng)域內(nèi)的人體對象進(jìn)行跟蹤處理；本發(fā)明中采用基于目標(biāo)顏色特征跟蹤算法，該算法是對MEANSHIFT算法的進(jìn)一步改進(jìn)，在該算法中利用人體目標(biāo)對象的顏色特征在視頻圖像中找到運動人體目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用運動目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，重復(fù)這個過程就可以實現(xiàn)對目標(biāo)的連續(xù)跟蹤。在每次搜尋前將搜尋窗口的初始值設(shè)置為運動目標(biāo)當(dāng)前的位置和大小，由于搜尋窗口就在運動日標(biāo)可能出現(xiàn)的區(qū)域附近進(jìn)行搜尋，這樣就可以節(jié)省大量的搜尋時間，使該算法具有了良好的實時性。同時該算法是通過顏色匹配找到運動目標(biāo)，在運動目標(biāo)運動的過程中，顏色信息變化不大，所以該算法具有良好的魯棒性。在連通區(qū)域標(biāo)識處理后所得到的人體目標(biāo)對象的方位以及大小，然后將處理結(jié)果提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)人體對象的自動跟蹤，如附圖4所示。
所述的人體對象的臉部特寫圖像定位抓拍模塊，用于定位抓拍跟蹤人體對象的臉部圖像；在多目標(biāo)人體跟蹤模塊處理中獲得了人體對象的大小與方位信息，我們還需要從整個人體跟蹤框內(nèi)快速的獲得人體對象的臉部位置信息，以便能對人體對象的臉部特寫抓拍；但是有時候會出現(xiàn)這種情況，即人體對象背朝著大范圍監(jiān)控攝像機1的視覺方向，因此在大范圍監(jiān)控攝像機1視頻圖像中無法獲得人體對象的臉部信息；本發(fā)明中采用膚色定位以及人體模型來確定人體對象的頭部位置，大量研究表明不同年齡的人的膚色看上去不同，但是這種不同主要體現(xiàn)在亮度上。在去除亮度的亮度空間中，不同人的膚色分布具有很好的聚類性。建立膚色聚類模型的步驟如下 1、將人臉的皮膚區(qū)域從每區(qū)域分割出來，獲取膚色樣本； 2、由于大部分的圖像捕捉設(shè)備采用的都是RGB格式，因此需要將膚色樣本的顏色格式進(jìn)行轉(zhuǎn)換，從RGB空間轉(zhuǎn)換到Y(jié)UV色彩空間的轉(zhuǎn)換矩陣如下； 3、對轉(zhuǎn)換后的膚色區(qū)域的Cr和Cb的值進(jìn)行統(tǒng)計分析，給出它們值的分布信息。根據(jù)研究成果，發(fā)現(xiàn)人臉膚色在YUV空間內(nèi)的Cr和Cb值分布在特定的范圍之內(nèi)133≤Cr≤173，77≤Cb≤127，則可判斷出為人體。如果滿足上述條件，即為膚色點，并對人體膚色建立一張二值圖像，并進(jìn)行連通區(qū)域個數(shù)計算。對于人臉膚色的檢測，并不需要檢測二值圖中的一個連通區(qū)域的全部，因為只需要臉部膚色檢測即可，人體頭部在整個人體上端部位，則可設(shè)置只檢測連通區(qū)域高度的1/3，能快速的將人臉部位進(jìn)行定位。對于無法檢測到的人臉膚色情況，考慮人體的頭部占整個人體對象高度方向上的1/7左右，因此可以對所檢測連通區(qū)域高度方向上端的1/6～1/7處進(jìn)行定位，定位框的大小是由人體對象連通區(qū)域?qū)挾群腿梭w對象高度的比例來確定的。在得到定位框的大小以及方位后，就可以指示其他多個快速球攝像機2朝著定位框的方位進(jìn)行抓拍人臉部位圖像，所拍攝的圖像按所述的人體對象ID號和存放跟蹤人體對象的臉部圖像文件夾的自動生成模塊中所約定的方式存儲，為是否含有人臉檢查模塊中進(jìn)行粗檢測提供圖像數(shù)據(jù)； 上述這些處理模塊都集成在線程①內(nèi)； 所述的人臉檢測預(yù)處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)人體對象的臉部特寫圖像進(jìn)行粗檢測，集成在線程②內(nèi)，主要是對有希望能進(jìn)行人臉識別的圖像的文件名上做上標(biāo)記，為后續(xù)人臉識別處理準(zhǔn)備好圖像數(shù)據(jù)；本發(fā)明中采用模式拒絕思想，對存儲單元內(nèi)的臉部特寫圖像采用基于YCrCb顏色模型進(jìn)行粗檢測，淘汰一些不能或者難以進(jìn)行人臉檢測識別圖像，基于膚色模型的人臉檢測大致上可分為兩個步驟(1)人臉區(qū)域篩選利用膚色模型逐個檢測像素是否屬于皮膚或人臉區(qū)域內(nèi)的像素或者評估屬于皮膚或人臉區(qū)域的似然度。與模式拒絕的類似，用于減少侯選區(qū)域的范圍；(2)人臉驗證對屬于皮膚或人臉的區(qū)域進(jìn)一步進(jìn)行驗證，以判斷是否為人臉。人臉檢測預(yù)處理算法步驟如下 1)遍歷圖像的每個像素，用YCrCb空間的查找表方法為每個像素賦一個屬于膚色的概率值，根據(jù)預(yù)先設(shè)置的閾值(133≤Cr≤173，77≤Cb≤127)決定該像素是否屬于人臉皮膚，最后得到圖像的膚色區(qū)域二值映射圖，0、1分別表示皮膚區(qū)域和非皮膚區(qū)域； 2)用膚色區(qū)域的二值映射圖作為人臉檢測的重要線索，只有檢測窗口Awindow內(nèi)皮膚區(qū)域面積Askin所占的比例在某個范圍之間才進(jìn)行下一步的人臉驗證，驗證的公式如式(3)所示， 式中Awindow為二值映射圖的檢測窗口，Askin為二值映射圖的檢測窗口Awindow內(nèi)皮膚區(qū)域面積，λ1、λ2為判斷系數(shù)，分別取0.65和0.98；在計算檢測窗口內(nèi)皮膚區(qū)域的面積時用到積分圖像的方法，對上面的二值映射圖求積分圖像，這樣膚色區(qū)域面積可以通過積分圖像的簡單的加減運算得到，事實上積分圖像在上一步遍歷圖像的同時即可計算得到，通過人臉檢測預(yù)處理的篩選大部分非人臉區(qū)域以及側(cè)位的人臉圖像被排淘汰了；由于人臉在正面情況下，其外部輪廓為橢圓型，因此也可以通過橢圓擬合的方法來進(jìn)行驗證二值映射圖是否是正面人臉； 3)對于通過人臉驗證的檢測窗口Awindow，為了提高后續(xù)人臉識別的效率，首先我們將檢測窗口Awindow乘上一個數(shù)來適當(dāng)?shù)臄U大窗口的面積，使得該面積能包含整個人臉部分(類似于身份證的照片)并對其進(jìn)行截取，然后將所截取在原圖像名的后面加上一個字符0，比如原圖像名為51，經(jīng)人臉檢測預(yù)處理算法處理后的圖像名為510，在后續(xù)人臉識別處理中只對文件名長度為3個字符的圖像文件進(jìn)行人臉識別檢測處理； 4)在人臉檢測預(yù)處理模塊中需要遍歷在文件夾下面的所有文件名長度為2個字符的圖像文件(抓拍的圖像)，在處理完這些圖像文件后，需要檢查可供人臉識別檢測處理的圖像文件數(shù)，如果檢測出少于所規(guī)定的數(shù)，那么就要求快速球攝像機2繼續(xù)進(jìn)行抓拍。
所述的人臉檢測精處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)經(jīng)人臉圖像檢測預(yù)處理后的圖像進(jìn)行進(jìn)一步的處理，以保證后續(xù)圖像識別處理的效率，該模塊集成在線程③內(nèi)，主要是對有希望能進(jìn)行人臉識別的圖像的文件名上做上標(biāo)記，為后續(xù)人臉識別處理準(zhǔn)備好圖像數(shù)據(jù)；本發(fā)明中采用基于AdaBoost算法的組合成強分類器對人臉圖像檢測預(yù)處理后的圖像進(jìn)行處理，附圖5為一種層疊分類器的形式，它是由一系列強分類器的組合而成，其中每一層都是算法訓(xùn)練得到的一個強分類器。層疊分類器中的第一級可以只使用非常少的計算量，去除大量的非人臉窗口。接下來的一些子分類器層進(jìn)一步去除剩余部分中的非人臉窗口，但是需要更多的計算量。經(jīng)過幾級分類器的處理，候選人臉的子窗口數(shù)量急劇下降。組成強分類器的弱分類器個數(shù)隨著級數(shù)的增加而增加。每層的強分類器經(jīng)過閾值調(diào)整，使得每一層都能讓幾乎全部的人臉樣本通過，而淘汰很大一部分非人臉樣本。
人臉檢測精處理模塊中主要包括訓(xùn)練器和檢測器兩個部分，關(guān)于檢測器中的特征計算主要由學(xué)者P.Viola首先提出，該學(xué)者的重要貢獻(xiàn)是實現(xiàn)了快速人臉檢測，使人臉檢測更趨于實用。在檢測器中有三個關(guān)鍵問題得到了很好的解決1)利用了“積分圖”的概念，這使得檢測器中特征的計算非常快；2)基于AdaBoost的學(xué)習(xí)算法。它能從一個很大的特征集中選擇很小的一部分關(guān)鍵的特征，從而產(chǎn)生一個極其有效的分類器；3)在級聯(lián)的檢測器中不斷增加更多的強分類器。這可以很快排除背景區(qū)域，從而節(jié)約出時間用于對那些更像人臉的區(qū)域進(jìn)行計算。
所述的“積分圖”，如附圖6所示，坐標(biāo)點(x，y)的積分圖定義為其所對應(yīng)的圖中左上角的像素值之和，用公式(4)表示， 式中，ii(x，y)表示像素點(x，y)的積分圖，i(x，y)表示原始圖像。
因此要計算得到ii(x，y)通過通過公式(5)進(jìn)行迭代計算， s(x，y)＝s(x，y-1)+i(x，y) (5) ii(x，y)＝ii(x-1，y)+s(x，y) 式中，s(x，y)表示行的積分和，且s(x，-1)＝0，ii(-1，y)＝0。
因此要求得一幅圖像的積分和，只需遍歷一次圖像即可。借助于圖6中使用的四個矩形，可以使用積分圖計算任何矩形中所有像素的值之和。對于圖6中使用的四個矩形的積分圖的值計算，點“1”的積分圖的值是矩形框A中所有像素的像素值之和。點“2”的積分圖所對應(yīng)的值為A+B，點“3”是A+C，點“4”是A+B+C+D，所以D中所有的像素值之和可以用4+1-(2+3)計算。
關(guān)于求矩形構(gòu)成的特征，如圖7所示的是檢測窗內(nèi)的矩形特征例子。特征值的求法為白色矩形框內(nèi)的所有像素點的和減去灰色矩形框中的所有像素點的和。圖7中的(A)(B)表示的是兩個矩形框的Harr-like特征，圖7中的(C)表示的是三個矩形框的Harr-like特征，圖7中的(D)(E)表示的是四個矩形框的Harr-like特征，這五種對稱矩形Haar-Like特征是由學(xué)者P.Viola所提出，并用來描述人臉的邊緣特征信息。很明顯，圖7中由兩個矩形構(gòu)成的特征，其像素和之差可通過六個參考矩形求得；由三個矩形構(gòu)成的特征可以通過八個參考矩形求得；由四個矩形構(gòu)成的特征可以通過九個參考矩形求得。
所述的基于AdaBoost的學(xué)習(xí)算法，用于將一個很大的特征集中選擇很小的一部分人臉關(guān)鍵的特征，從而產(chǎn)生一個極其有效的分類器；圖7中所示的矩形特征在樣本圖像中的大小和位置都是可變的，因此在逐像素遍歷的情況下特征總數(shù)目為210208個，其具體分布數(shù)目如表1所示， 表1對稱矩形特征數(shù)目統(tǒng)計表 表1中的特征總數(shù)目數(shù)遠(yuǎn)大于圖像中像素的數(shù)目，由于采用了上述的“積分圖”后每個特征都能很快計算出來，表2為各類對稱矩形特征值的輔助計算次數(shù)表， 表2對稱矩形特征值的輔助計算次數(shù)表 由于正面人臉的器官布局比較固定，具有明顯的對稱性，考慮到后續(xù)的人臉識別中需要的是正面人臉的圖像，所以本發(fā)明中采用對稱矩形特征來描述人臉。接著可以通過試驗選出一小部分作為特征以形成一個有效的分類器。要得到最終的強分類器，最重要的是如何找到這些特征。因此每個弱分類器的設(shè)計都是從能對正例和反例進(jìn)行正確分類的所有弱分類器的集合中選擇錯誤率最小的一個。對每個特征而言，弱學(xué)習(xí)器決定弱分類器的最佳的門限值，使其具有最小的誤分樣本數(shù)。因此一個弱分類器hj(x)由一個特征fj、一個門限值θj和一個指示不等式方向的校驗器Pj所構(gòu)成，用公式(7)表示， 式中hj(x)表示弱分類器的分類結(jié)果，θj表示弱學(xué)習(xí)算法尋找出的閾值，Pj∈{-1，1)表示不等號的偏置方向，fj(x)表示特征值，x表示一個矩形特征，是圖像中一個24×24像素大小的子窗口；由于不等號的偏置方向有兩個，因而每個特征對應(yīng)有兩個弱分類器。弱學(xué)習(xí)的最終目的是找出使分類器具有最好分類性能的θj和Pj。
在AdaBoost的訓(xùn)練過程中，訓(xùn)練樣本自身的各個特征值不會隨著訓(xùn)練而改變，改變的只是樣本的權(quán)重ωj。因此對于每個正在進(jìn)行弱學(xué)習(xí)的特征，將對于所有樣本的該特征值都計算出來，θj的遍歷尋優(yōu)只需在樣本特征值分布空間中進(jìn)行，對單個特征fj(x)而言，所有的訓(xùn)練樣本對于該特征值可以表示為fj(x1)，fj(x2)，…，fj(xn)，因此只要求得

和

i＝1，2，…，n，這樣得到了一個先驗信息，最優(yōu)閾值θj只需要在區(qū)間內(nèi)尋找，從而可以縮小遍歷空間，減少訓(xùn)練時間。另外偏置Pj∈{-1，1}所構(gòu)成的弱分類器的誤差εt，P＝-1和εt，P＝1是互補的，即存在著εt，P＝-1＝1-εt，P＝1關(guān)系，所以我們只需要對其中一個偏置計算出其最大的誤差率maxεt，P＝-1或者最小的誤差率minεt，P＝-1，如果minεt，P＝-1＜1-maxεt，P＝-1成立，那么該弱分類器的最優(yōu)偏置為-1，否則為1，通過這種判斷可以減少計算量。下面是訓(xùn)練一個弱分類器的算法， ●給定矩形特征f(x)及訓(xùn)練樣本(x1，y1)，...，(xm，ym)和樣本權(quán)值ω1，...，ωm； ●error＝(lerror+rerror)表示當(dāng)前弱分類器的錯誤里的最小值。初始時左誤差lerror＝lel0，右誤差rerror＝lel0； ●for i＝1 to rn＝f(xj) ●對樣本按eval從小到大排序 ●for i＝1 to m-1 3.left＝wyl/wl，right＝wyr/wr 4.if left＜right then left＝-1，right＝1else left＝1，right＝-1 6.if lerror+rerror＜error then error＝lerror+rerror θ＝(eval[i]+eval[i+1])/2 α1＝left，α2＝right 從AdaBoost算法的迭代過程可以看出，AdaBoost算法的核心思想是每一次迭代過程在當(dāng)前的概率分布(樣本權(quán)值可以看作一種概率分布)上找到一個具有最小錯誤率的弱分類器，然后調(diào)整概率分布，增大當(dāng)前弱分類器錯分的樣本的權(quán)值，降低當(dāng)前弱分類器正確分類的樣本的權(quán)值，以突出分類錯誤的樣本，使得下一次迭代更加針對本次的不正確分類，即針對更“難”分類的樣本，使得那些被錯分的樣本得到進(jìn)一步的重視。最終選擇最具有分類意義的t個弱分類器根據(jù)權(quán)值合成一個強分類器。
所述的AdaBoost訓(xùn)練強分類器算法如下， ●確定要訓(xùn)練的輪數(shù)T ●獲取并保存訓(xùn)練樣本 P表示人臉樣本集合，叫做P集，人臉樣本也叫正例；N表示非人臉樣本集合，叫做N集，非人臉樣本也叫負(fù)例；樣本可以表示為(x1，y1)，...，(xm，ym)，當(dāng)yi＝1時，樣本i是正例，yi＝-1是負(fù)例；m是樣本總個數(shù)，p為正樣本個數(shù)q為負(fù)樣本個數(shù)，p+q＝m。
●初始化樣本權(quán)值，wi(i)＝1/2p for正例，wi(i)＝1/2q for負(fù)例 ●f為當(dāng)前強分類器的誤檢率，初值f＝1 ●for t＝1 to T ●for每個矩形特征訓(xùn)練一個相應(yīng)的弱分類器hj(x)，選擇分類錯誤最小的弱分類器做為當(dāng)前分類器ht(x)。其中，分類錯誤 ●更新每個樣本的權(quán)值 ●t＝t+1 上述的AdaBoost算法用于人臉與非人臉的檢測，在檢測并判定為是人臉的情況下，接著就需要進(jìn)行人臉識別，識別出這張圖像是誰； 所述的人臉識別，用于對精檢測后的人臉圖像進(jìn)行人臉識別，該識別模塊集成在線程④內(nèi)，本專利中采用基于局部特征人臉識別方法，與人臉檢測一樣，不同的是在人臉檢測中使用的樣本是人臉和非人臉，而在人臉識別中使用的樣本各種不同人臉樣本，因此首先對精檢測后的人臉圖像IS進(jìn)行離散小波變換將人臉模式的差異分為類內(nèi)差和類間差，通過在不同分辨率的局部區(qū)域采樣構(gòu)造弱分類器并用AdaBoost算法進(jìn)行自適應(yīng)集成。針對輸入圖像IS和數(shù)據(jù)庫樣本IT之間的差異d(IS，IT)進(jìn)行建模，d(IS，IT)可以分為兩類，“類內(nèi)差”ΩT和“類間差”ΩE。根據(jù)Bayes決策理論，若IS和IT屬于同類則有公式(8)， P(ΩT|d(Is，IT))＞P(ΩE|d(Is，IT)) (8) 決策規(guī)則可以用公式(9)表示， J(Is，IT)＝P(d(Is，IT)|ΩT)P(ΩT)-P(d(Is，IT)|ΩE)P(ΩE)(9) 在識別過程中只有J(Is，IT)≥0，即當(dāng)差異屬于“類內(nèi)差”ΩT時，才將IS和IT判為同類，否則屬于不同類；為了實現(xiàn)基于局部特征人臉識別，系統(tǒng)構(gòu)造分為訓(xùn)練和識別兩個階段，在系統(tǒng)訓(xùn)練階段時，人臉識別系統(tǒng)訓(xùn)練過程框架如附圖8所示；人臉圖像樣本經(jīng)過預(yù)處理、離散小波分解、局部加窗采樣得到局部冗余信號，然后兩兩配對計算局部信號相似度得到局部特征向量集，并將特征集分為兩類“類內(nèi)差”ΩT和“類間差”ΩE。然后利用Boosting算法從特征集中自適應(yīng)選擇弱分類器，最終構(gòu)成強分類器；在系統(tǒng)識別階段時，人臉識別系統(tǒng)框架如附圖9所示，經(jīng)精檢測后的人臉圖像IS經(jīng)過與訓(xùn)練步驟相同的特征提取得到局部信號，并與比對樣本逐個計算局部相似度，然后輸入集成分類器，最終識別類別由輸出值最大的樣本決定。在進(jìn)行人臉識別時提交給識別的圖像是在人臉精檢測處理后的人臉圖像，從而保證了在識別階段的人臉圖像的質(zhì)量，同時也決定了人臉的確切位置。
在附圖8、9中所示的圖像預(yù)處理中，本發(fā)明中用一個橢圓模板對圖像進(jìn)行掩模處理，其目的是為了突出人臉部分而抑制發(fā)型衣服背景的影響，具體做法是采用模糊模板構(gòu)造方法，以坐標(biāo)(39.5，41)為中心的橢圓，把橢圓內(nèi)部設(shè)置為1，把橢圓外部以指數(shù)形式遞減至0；在掩模處理操作時只要將這個預(yù)先存儲的模板與輸入的圖像矩陣做點對點的乘法即可；這種做法的優(yōu)點是考慮到不同的臉型在人臉識別中的重要作用的同時又能充分抑制背景、衣服等對識別的影響； 在附圖8、9中所示的離散小波變換處理中，本發(fā)明采用線性變換的形式對掩模處理后的人臉圖像進(jìn)行離散小波變換，變換公式由(10)給出， 式中，WwaveletT為小波濾波器，y稱為小波臉，x為掩模處理后的人臉圖像； 由于小波臉投影方向只與單個樣本有關(guān)，當(dāng)人臉數(shù)據(jù)庫中加入新個體時不需要考慮全部訓(xùn)練樣本。如果我們采用4級小波分解的系數(shù)的方法，其中每級分解都是在前一級的近似系數(shù)域上進(jìn)行的，同時拋棄第一、二級分解的細(xì)節(jié)系數(shù)，可以得到14個小波系數(shù)域；在低分辨率的小波域中不同個體的人臉表現(xiàn)出極大的相似性，因而不容易進(jìn)行人臉識別；而在較高的分辨率的小波域中能顯示出不同人臉間的細(xì)節(jié)差異，通過提取局部人臉特征信息為人臉識別作好特征數(shù)據(jù)準(zhǔn)備； 在附圖8、9中所示的局部區(qū)域采樣處理中，為了得到魯棒的局部分類器，對原始信號冗余化，用移動正方形窗口在小波系數(shù)域上采樣，子窗口掃描方向為從左到右、從上到下，附圖10表示了局部圖像塊采樣掃描過程；窗口邊長si和移動距離gi在不同分辨率有所不同，表3所示的是小波分解每級的局部特征說明， 表3小波分解每級的局部特征 接著需要進(jìn)行計算小波局部塊特征，這些計算出來的特征值用于設(shè)計弱分類器，弱分類器的設(shè)計要求是對特征計算簡單并能有效的區(qū)分“類內(nèi)差”ΩT和“類間差”ΩE兩類不同的特征，本發(fā)明中使用一對局部信號WIlt、WIlr的歸一化相關(guān)系數(shù)作為區(qū)分兩類的特征，用公式(11)來進(jìn)行計算， 式中，1為對應(yīng)的局部區(qū)域，xl的取值范圍[-1，+1]，越接近1表示相關(guān)性越好，為了增加特征對人臉表情和光照等變化的魯棒性，本發(fā)明中采用了鄰域局部搜索和方差規(guī)范化這兩種方法； 所述的鄰域局部搜索方法，是對輸入圖像的局部塊在參考圖像對應(yīng)塊鄰域上下左右平移計算相關(guān)值，并取最大值，由計算公式(12)給出， 式中，參考圖像對應(yīng)塊鄰域上下左右平移量Δ＝si/8，si為局部塊的邊長； 所述的方差規(guī)范化方法，本發(fā)明中采用塊內(nèi)方差規(guī)范化方法來抑制光照的影響，塊內(nèi)方差規(guī)范化計算公式由(13)給出， 式中，m為信號均值，σ為方差，σ的計算公式如下， 為了提高計算速度，本發(fā)明中使用附圖6所示的積分圖方法，預(yù)先計算并存儲樣本小波系數(shù)的積分圖及平方值的積分圖，這樣可以把局部求和的運算簡化為加減運算； 在附圖8、9中所示的強分類器，是從以上計算得到的弱分類器集合里選擇一個子集組成有效的強分類器，并計算弱分類器權(quán)重；因此組合強分類器模型構(gòu)造的關(guān)鍵問題是1)如何選擇弱分類器{ht(x)}t＝1T；2)如何確定分類器權(quán)重{αt}t＝1T，使得組合分類器的泛化誤差小。
所述的弱分類器，是在小波分解系數(shù)的不同區(qū)域構(gòu)造多個分類器；“類內(nèi)差”ΩT和“類間差”ΩE分別構(gòu)成訓(xùn)練集的正樣本和負(fù)樣本。分類效率是選擇弱學(xué)習(xí)器的主要依據(jù)，本專利中使用優(yōu)化閾值分類器用樣本特征的加權(quán)版本訓(xùn)練，wi為樣本權(quán)重，優(yōu)化約束條件為 ，利用梯度下降法得到對應(yīng)的最優(yōu)閾值θi，這樣閾值分類函數(shù)可以由公式(14)給出， 所述的確定分類器權(quán)重{αt}t＝1T，用于將以上弱分類器集合里選擇一個子集組成有效的強分類器，本發(fā)明中采用基于置信率Confidence-rated的AdaBoost分類方法組成有效的強分類器，該分類方法是一個迭代過程它的每次迭代都選擇一個弱分類器ht，使公式(15)最小化， 式中，wt(i)是第t次迭代中樣本i的權(quán)重，xi是樣本特征，yi∈(-1，1)為類標(biāo)記，ht為弱分類器，置信率α有兩種可能的取值，即 式中，W+-為正樣本被錯分為負(fù)樣本時的權(quán)重，W-+為負(fù)樣本被錯分為正樣本時的權(quán)重，W++為正樣本被分為正樣本時的權(quán)重，W--為負(fù)樣本被分為負(fù)樣本時的權(quán)重； 人臉識別與訓(xùn)練的關(guān)鍵算法如下， ●輸入N個訓(xùn)練樣本序列((x1，y1)，...，(xN，yN)) ●初始化根據(jù)yi＝-1或1設(shè)置訓(xùn)練樣本初始權(quán)重 其中i＝1，...，N，m和l分別為負(fù)樣本和正樣本個數(shù)，N＝m+1 ●Do for t＝1，...，T其中T代表迭代次數(shù) 1.規(guī)范化權(quán)重分布 2.對于每一個特征j用權(quán)重分布wit訓(xùn)練弱分類器hj，具體見上述的弱分類器訓(xùn)練過程， 3.計算hj誤分類損失 4.選擇弱分類器ht，依據(jù)若εt＞0.5，則置T＝t-1退出循環(huán)。
5.計算加權(quán)值αt，具體見確定分類器權(quán)重的處理，公式(16) 6.設(shè)置新的權(quán)重向量為 ●輸出 最終的強分類器為 為了提高人臉識別速度，在識別過程中增加了模式拒絕的手段來加速識別速度，具體做法是首先排除明顯的樣本空間中不相關(guān)樣本來縮小侯選范圍，由T個弱分類器組成強分類器， 然而T個弱分類器不必全部計算完后才進(jìn)行判斷，階段性地根據(jù)拒絕閾值Threject拒絕負(fù)樣本，即樣本相似度小于Threject則屬于“類間差”ΩE，用公式(17)來表示， 式中， Ti為弱特征子集個數(shù)，Ti＜T，拒絕閾值Threject通過訓(xùn)練樣本得到； 實際中為了保證魯棒性每增加10個特征進(jìn)行一次拒絕操作，并給拒絕閾值設(shè)置一個松弛量Threject＝min(H(x+)t-Δ)，Δ的取值范圍可以由下列公式計算， Δ＝0.1*(max(H(x+)t)-min(H(x+)t))(18) 所述的決策層表決處理模塊，用于對某個人體對象ID所對應(yīng)的多個識別結(jié)果進(jìn)行表決，以提高整個裝置的識別率，減少誤判率和拒判率；該模塊集成在線程⑤內(nèi)；評價一個人臉識別系統(tǒng)的標(biāo)準(zhǔn)，包括識別率、錯誤拒絕率、錯誤接受率等；可以通過混淆矩陣來定義，混淆矩陣(Confusion matrix)表示屬于第i類的測試特征向量被分配到第j類的概率，用矩陣表示估計值和實際輸出值，對于每一張人臉圖像識別是一個兩類問題的四個可能的分類結(jié)果；用表4表示一張人臉圖像識別分類的混淆矩陣， 表4混淆矩陣
對于第I張人臉圖像的識別率可以由以下公式(19)計算， 對于第I張人臉圖像的拒判率(False rejection rate，F(xiàn)RR)或拒真率(Falsenegtive rate)可以由以下公式(20)計算， 對于第I張人臉圖像的誤判率(False acceptance rate，F(xiàn)AR)或認(rèn)假率(Falsepositive rate)可以由以下公式(21)計算， 誤判率是衡量一張人臉圖像的識別性能好壞的重要指標(biāo)，然而實際使用中更關(guān)注的是拒真率FRR和認(rèn)假率FAR這兩項指標(biāo)。因為識別率＝100％-FAR-FRR，而由于接受閾值的作用使FAR和FRR之間是相互矛盾的，因此根據(jù)實際應(yīng)用需求合理地選擇平衡這兩個指標(biāo)是非常重要的； 在本發(fā)明中，我們采用了人體跟蹤技術(shù)，并將在多個角度、多個攝像機抓拍的人臉圖像經(jīng)檢測預(yù)處理后存放在存放跟蹤人體對象的臉部圖像文件夾內(nèi)，因此可以采用對在不同的攝像條件下某一個特定人物的多張人臉圖像進(jìn)行識別；由于攝像人臉的內(nèi)外部條件相對獨立這時該人物的每張人臉圖像識別結(jié)果是相對獨立的，因此可以采用概率統(tǒng)計的方法對多個識別結(jié)果進(jìn)行表決處理來提高整個裝置的識別率(Accuracy)，減少誤判率(False acceptance rate，F(xiàn)AR)和拒判率(Falserejection rate，F(xiàn)RR)；如附圖4所示，下面結(jié)合圖4做流程說明，圖中有5個快速球型攝像機，在跟蹤某一個人體對象過程中共抓拍了5次，共得到25張抓拍圖像，經(jīng)人臉檢測檢驗后可用于人臉識別的圖像共有5張(文件名以3個字符表示)，也就是說在人臉檢測檢驗過程中淘汰了20張不太有希望進(jìn)行人臉識別的圖像，我們用表5來表示該過程，圖像文件名的變遷情況，表5經(jīng)人臉檢測檢驗前后抓拍的圖像文件的變化
為了提高人臉識別率、減少誤判率和拒判率，本專利中提出了一種簡單的K/n的多數(shù)表決方法，既共有n張被識別的圖像，如果有K張圖像的人臉識別結(jié)果相同就判定為該結(jié)果，多數(shù)表決系統(tǒng)框圖如圖11所示；多數(shù)表決系統(tǒng)的作用是將多攝像機在不同的空間和時間所獲得的人臉圖像識別結(jié)果在決策層進(jìn)行信息融合；具體的做法是采用多數(shù)表決的方法來確定K/n多數(shù)表決系統(tǒng)的PersonIDFAR(K/n)、PersonIDFRR(K/n)和PersonIDaccuracy(K/n)； 針對表5所示的情況，對110、150、430、520和540這5張人臉圖像進(jìn)行識別，為了簡化計算，我們假設(shè)在人臉識別處理中在大量被測試者的人臉識別率的統(tǒng)計概率FAR為10％，F(xiàn)RR為10％，Accuracy為80％的話，并假設(shè)每張人臉圖像識別的FAR、FRR和Accuracy都相同，如果我們采用3/5作為多數(shù)表決的話，那么可以通過如下計算得到系統(tǒng)的正確識別率為， 同樣道理，用以下公式計算4/7多數(shù)表決結(jié)果，可以得到系統(tǒng)的正確識別率為， 我們可以用同樣方法得到各種K/n多數(shù)表決系統(tǒng)的PersonIDFAR(K/n)、PersonIDFRR(K/n)和PersonIDaccuracy(K/n)的估計值； 進(jìn)一步，要實現(xiàn)大范圍、無約束的人臉識別，第一步是大范圍內(nèi)的人體視頻檢測，為了獲得更多的視頻信息，本發(fā)明中的大范圍監(jiān)控視覺傳感器1采用全方位視覺傳感器，由于全方位視覺傳感器能捕捉到水平方向上360°的視頻圖像，如附圖1所示，而快速球型攝像機2的水平方向的轉(zhuǎn)角范圍是360°、垂直方向的轉(zhuǎn)角范圍是90°，通過空間位置的映射將全方位視覺傳感器和快速球型攝像機進(jìn)行融合，當(dāng)全方位視覺傳感器發(fā)現(xiàn)某個人體對象目標(biāo)之后，系統(tǒng)返回一個人體對象目標(biāo)的坐標(biāo)信息，并利用這一信息來控制多個快速球型攝像機以定位拍人體對象頭部目標(biāo)，多個快速球型攝像機抓拍人體對象頭部目標(biāo)的圖像信息保存在系統(tǒng)所規(guī)定的文件夾內(nèi)供后續(xù)人臉檢測及人臉識別處理。值得指出的是，由于每個快速球型攝像機安裝位置不同，有多少個快速球型攝像機就需要事先設(shè)定多少張空間對應(yīng)關(guān)系標(biāo)定表，當(dāng)全方位視覺傳感器檢測到人體目標(biāo)時，每個快速球型攝像機能根據(jù)自己與全方位視覺傳感器的對應(yīng)關(guān)系標(biāo)定表進(jìn)行快速定位。標(biāo)定方法為以全景圖像中心為圓心，根據(jù)需要將全景圖像分成一些圓環(huán)，如圖1所示，然后將每個圓環(huán)劃分幾等份，可根據(jù)實際需要劃分。這樣，一幅全景圖像就被規(guī)則地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、方向和大小。然后，根據(jù)全方位視覺傳感器距地面的高度、快速球型攝像機空間位置和攝像頭焦距等參數(shù)，依次確定快速球型攝像機要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。如果全方位視覺傳感器檢測到有人體對象目標(biāo)存在，系統(tǒng)就可以根據(jù)該人體對象目標(biāo)所在區(qū)域和標(biāo)定表自動調(diào)節(jié)各個快速球型攝像機，對人體對象目標(biāo)進(jìn)行抓拍特寫；在全方位視覺傳感器中能實現(xiàn)水平方向的360°的實時監(jiān)控，其核心部件是折反射鏡面，如圖13中的3所示；其工作原理是進(jìn)入雙曲面鏡的中心的光，根據(jù)雙曲面的鏡面特性向著其虛焦點折射。實物圖像經(jīng)雙曲面鏡反射到聚光透鏡中成像，在該成像平面上的一個點P(x，y)對應(yīng)著實物在空間上的一個點的坐標(biāo)A(X，Y，Z)。
圖12中3-雙曲線面鏡，4-入射光線，7-雙曲面鏡的焦點Om(0，0，c)，8-雙曲面鏡的虛焦點即相機中心Oc(0，0，-c)，9-折反射光線，10-成像平面，11-實物圖像的空間坐標(biāo)A(X，Y，Z)，5-入射到雙曲面鏡面上的圖像的空間坐標(biāo)，6-反射在成像平面上的點P(x，y)。
進(jìn)一步，所述的折反射鏡面為了能夠得到與空間物體坐標(biāo)的對應(yīng)點，折反射鏡面采用雙曲面鏡來進(jìn)行設(shè)計所示的雙曲面鏡構(gòu)成的光學(xué)系統(tǒng)可以由下面5個等式表示； ((X2+Y2)/a2)-(Z2/b2)＝-1(Z＞0) (23) β＝tan-1(Y/X) (25) α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(26) 式中X，Y，Z表示空間坐標(biāo)，c表示雙曲面鏡的焦點，2c表示兩個焦點之間的距離，a，b分別是雙曲面鏡的實軸和虛軸的長度，β表示入射光線在XY平面上的夾角一方位角，α表示入射光線在XZ平面上的夾角一俯角，f表示成像平面到雙曲面鏡的虛焦點的距離； 通過公式(28)，(29)，可將空間上的點(X，Y，Z)映射到成像平面上的坐標(biāo)點(x，y)，可以實現(xiàn)空間的信息與成像平面信息的轉(zhuǎn)換，以達(dá)到空間信息標(biāo)定成像平面的信息的目的。
更進(jìn)一步，多視覺傳感器信息的融合是通過映射表來實現(xiàn)的，目前市場上銷售的快速球型攝像機可以帶80-256個預(yù)置點，為了達(dá)到快速地將快速球型攝像機轉(zhuǎn)動到全方位視覺傳感器所檢測到的目標(biāo)并迅速對焦；為了實現(xiàn)多視覺傳感器信息的融合，在本專利中將全方位視覺傳感器的視場分為128個區(qū)域，如附圖1所示，每個區(qū)域?qū)?yīng)著其他多個快速球型攝像機的一個預(yù)置點，因此只要在全方位視覺傳感器所拍攝的視頻圖像上劃分好128個區(qū)域，然后對每個區(qū)域的中心作為其他多個快速球型攝像機的預(yù)置點；在全方位視覺傳感器檢測到人體對象的頭部在某個檢測區(qū)域出現(xiàn)時，微處理器得到該信息后控制快速球攝像機到與該區(qū)域所對應(yīng)的預(yù)置點，對人體對象的頭部進(jìn)行特寫抓拍。
實施例2 參照圖2，其余部分與實施例1相同，所不同的是大范圍監(jiān)控攝像機1為廣角攝像機，安裝在監(jiān)控空間的某一側(cè)，用于監(jiān)視整個空間內(nèi)的人體對象，相應(yīng)的廣角攝像機與多個快速球型攝像機的映射表的建立是依據(jù)廣角攝像機的視場范圍來確定的。
實施例3 其余部分與實施例1～2相同，所不同的是各種線程的處理分布在不同的計算機上完成，具體做法是將多臺計算機組成網(wǎng)絡(luò)，將圖像文件夾作為共享，在不同的計算機上完成其不同的計算內(nèi)容，并將計算結(jié)果放入約定好的文件夾內(nèi)，以實現(xiàn)分布式計算，提高運行速度。
權(quán)利要求
1、一種基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述人臉識別檢測裝置包括用于跟蹤監(jiān)控大空間范圍內(nèi)多目標(biāo)人體的運動以及行為的大范圍視頻監(jiān)控攝像機、用于對被跟蹤的人物的臉部進(jìn)行特寫抓拍的多個快速球型攝像機和用于對多攝像機進(jìn)行信息融合和人臉檢測識別處理的微處理器，所述的微處理器包括
大范圍監(jiān)控攝像機標(biāo)定模塊，用于建立監(jiān)控空間的圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；
大范圍監(jiān)控攝像機與快速球攝像機之間的視頻數(shù)據(jù)融合模塊，用于控制快速球攝像機的轉(zhuǎn)動與調(diào)焦，使得快速球攝像機能對準(zhǔn)所跟蹤人體對象的臉部進(jìn)行特寫抓拍；
虛擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的檢測檢測線，虛擬線定制在監(jiān)控領(lǐng)域的出入口處；
人體對象ID號和存放跟蹤人體對象的臉部圖像文件夾的自動生成模塊，用于對剛進(jìn)入大范圍監(jiān)控攝像機的視場最外邊的虛擬線的人體對象進(jìn)行命名，當(dāng)活動人體對象進(jìn)入監(jiān)控范圍時，系統(tǒng)自動會產(chǎn)生一個人體對象ID號并同時生成一個以該人體對象ID號命名的文件夾，用于存放該人體對象的臉部的特寫圖像；
多對象人體跟蹤模塊，用于跟蹤監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)人體對象，包括
自適應(yīng)背景消減單元，用于在底層特征層將監(jiān)控領(lǐng)域背景中把前景對象目標(biāo)部分的像素點提取出來，混合高斯分布模型來表征圖像幀中每一個像素點的特征；設(shè)用來描述每個點顏色分布的高斯分布共有K個，分別標(biāo)記為
η(Yi，μt，i，∑t，i)，i＝1，2，3…，k (12)
式(12)中的下標(biāo)t表示時間，各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點時，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配，若匹配，則判定該點可能為前景點，否則為前景點；若某個高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按一定的更新率進(jìn)行更新；
陰影抑制單元，用于通過形態(tài)學(xué)運算實現(xiàn)，利用腐蝕和膨脹算子分別去除孤立的噪聲前景點和填補目標(biāo)區(qū)域的小孔，先對消除了背景模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴張集Fe和收縮集Fc，通過處理所得到的擴張集Fe和收縮集Fc是對初始前景點集F進(jìn)行填補小孔和去除孤立噪聲點的結(jié)果；因此有以下關(guān)系Fc＜F＜Fe成立，接著以收縮集Fc作為起始點，在擴張集Fe上檢測連通區(qū)域，然后將檢測結(jié)果記為{Rei，i＝1，2，3，…，n}，最后將檢測所得的連通區(qū)域重新投影到初始前景點集F上，得到最后的連通檢測結(jié)果{Ri＝Rei∩F，i＝1，2，3，…，n}；
連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法提取前景目標(biāo)對象；
跟蹤處理單元；用于基于目標(biāo)顏色特征跟蹤算法，利用目標(biāo)對象的顏色特征在視頻圖像中找到運動目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用運動目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，在連通區(qū)域標(biāo)識單元處理后所得到的目標(biāo)對象的方位以及大小，然后將處理結(jié)果提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)多目標(biāo)對象的自動跟蹤；
人體對象的臉部特寫圖像定位抓拍模塊，用于定位抓拍跟蹤人體對象的臉部圖像，對人體膚色建立一張二值圖像，進(jìn)行連通區(qū)域個數(shù)計算，檢測人體頭部在整個人體上端部位，檢測連通區(qū)域高度的1/3；
人臉圖像檢測預(yù)處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)人體對象的臉部特寫圖像進(jìn)行粗檢測，用膚色區(qū)域的二值映射圖作為人臉檢測判定標(biāo)準(zhǔn)，如檢測窗口Awindow內(nèi)皮膚區(qū)域面積Askin所占的比例在設(shè)定范圍之間，遍歷整個人臉圖像，并采用橢圓方法判定是否為正面人臉；
人臉檢測精處理模塊，用于對存放在以人體對象ID號命名的文件夾內(nèi)經(jīng)人臉圖像檢測預(yù)處理后的圖像進(jìn)行進(jìn)一步的處理，采用離散小波分解、局部加窗得到局部冗余信號，兩兩配對計算局部信號相似度得到局部特征向量集，并將特征集分為兩類“類內(nèi)差”ΩT和“類間差”ΩE，利用Boosting算法從特征集中自適應(yīng)選擇弱分類器，最終構(gòu)成強分類器，得到人臉圖像IS；
人臉識別模塊，用于對存放在人體對象ID號命名的文件夾中的有標(biāo)記的人體對象的臉部的特寫圖像進(jìn)行識別，經(jīng)精檢測后的人臉圖像IS經(jīng)過與訓(xùn)練步驟相同的特征提取得到局部信號，并與比對樣本逐個計算局部相似度，然后輸入集成分類器，最終識別類別由輸出值最大的樣本決定。
2、如權(quán)利要求1所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述微處理器還包括
識別結(jié)果進(jìn)行表決處理模塊，用于對某個人體對象ID所對應(yīng)的多個識別結(jié)果進(jìn)行表決，評價一個人臉識別系統(tǒng)的標(biāo)準(zhǔn)，包括識別率、錯誤拒絕率、錯誤接受率；
通過混淆矩陣來定義，混淆矩陣表示屬于第i類的測試特征向量被分配到第i類的概率，用矩陣表示估計值和實際輸出值，對于每一張人臉圖像識別是一個兩類問題的四個可能的分類結(jié)果；
對于第I張人臉圖像的識別率可以由以下公式(19)計算，
對于第I張人臉圖像的拒判率(False rejection rate，F(xiàn)RR)或拒真率(Falsenegtive rate)可以由以下公式(20)計算，
對于第I張人臉圖像的誤判率(False acceptance rate，F(xiàn)AR)或認(rèn)假率(Falsepositive rate)可以由以下公式(21)計算，
采用多數(shù)表決的方法來確定K/n多數(shù)表決系統(tǒng)的PersonIDFAR(K/n)、PersonIDFRR(K/n)和PersonIDaccuracy(K/n)；
共有n張被識別的圖像，如果K張圖像的人臉識別結(jié)果相同就判定為該結(jié)果，K為預(yù)設(shè)的閾值。
3、如權(quán)利要求2所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述微處理器采用多線程處理，將整個人臉識別檢測分為以下處理線程①多目標(biāo)的人體跟蹤與特寫抓拍作為一個線程；②將基于YCrCb顏色模型進(jìn)行粗檢測作為一個線程，③將基于AdaBoost算法的組合成強分類器處理作為一個線程；④將人臉圖像識別作為一個線程；⑤將表決處理作為一個線程；上述5個線程的優(yōu)先級別是從線程的①到⑤順序來確定。
4、如權(quán)利要求1-3之一所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述的大范圍視頻監(jiān)控攝像機為廣角攝像機，所述廣角攝像機安裝在監(jiān)控空間的一側(cè)。
5、如權(quán)利要求1-3之一所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述的大范圍視頻監(jiān)控攝像機為全方位攝像機，所述全方位攝像機安裝在監(jiān)控領(lǐng)域的中間，所述的全方位攝像機包括用于反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面，外凸折反射鏡面朝下，用于防止光折射和光飽和的黑色圓錐體，黑色圓錐體固定在折反射鏡面外凸部的中心，用于支撐外凸折反射鏡面的透明圓柱體，用于拍攝外凸反射鏡面上成像體的攝像頭，攝像頭對著外凸反射鏡面朝上。
6、如權(quán)利要求1-3之一所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述的大范圍監(jiān)控攝像機與快速球攝像機之間的視頻數(shù)據(jù)融合模塊，通過空間位置的映射將大范圍視頻監(jiān)控攝像機和快速球型攝像機進(jìn)行融合，當(dāng)大范圍視頻監(jiān)控攝像機發(fā)現(xiàn)人體對象目標(biāo)之后，系統(tǒng)返回一個人體對象目標(biāo)的坐標(biāo)信息，并利用這一信息來控制多個快速球型攝像機以定位拍人體對象頭部目標(biāo)，多個快速球型攝像機抓拍人體對象頭部目標(biāo)的圖像信息保存在系統(tǒng)所規(guī)定的文件夾內(nèi)供后續(xù)人臉檢測及人臉識別處理；每個快速球型攝像機安裝位置不同，每個快速球型攝像機對應(yīng)相應(yīng)的空間對應(yīng)關(guān)系標(biāo)定表，當(dāng)大范圍視頻監(jiān)控攝像機檢測到人體目標(biāo)時，每個快速球型攝像機能根據(jù)自己與大范圍視頻監(jiān)控攝像機的對應(yīng)關(guān)系標(biāo)定表進(jìn)行快速定位。
7、如權(quán)利要求6所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述大范圍視頻監(jiān)控攝像機采用全方位視覺傳感器，標(biāo)定方法為以全景圖像中心為圓心，根據(jù)需要將全景圖像分成一些圓環(huán)，然后將每個圓環(huán)劃分成數(shù)個等份；一幅全景圖像就被規(guī)則地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、方向和大?。桓鶕?jù)全方位視覺傳感器距地面的高度、快速球型攝像機空間位置和攝像頭焦距等參數(shù)，依次確定各快速球型攝像機要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。
8、如權(quán)利要求6所述的基于多攝像機信息融合的人臉識別檢測裝置，其特征在于所述大范圍視頻監(jiān)控攝像機采用廣角攝像裝置，標(biāo)定方法為依據(jù)廣角攝像機的視場范圍將所拍攝到的圖像劃分成數(shù)個等份，每個區(qū)域有它特定的角度、方向和大小，根據(jù)廣角攝像裝置距地面的高度、傾斜的角度、快速球型攝像機空間位置和攝像頭焦距參數(shù)，依次確定各快速球型攝像機要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角度以及焦距。
全文摘要
一種基于多攝像機信息融合的人臉識別檢測裝置，包括用于監(jiān)控大空間范圍內(nèi)多目標(biāo)人體的大范圍視頻監(jiān)控攝像機、用于對被跟蹤的人物的臉部進(jìn)行特寫抓拍的多個快速球型攝像機和用于進(jìn)行信息融合和人臉檢測識別處理的微處理器，控制多個預(yù)先架設(shè)好的快速球型攝像機同時對準(zhǔn)某特定人物的人臉部位進(jìn)行特寫抓拍，得到多角度的人臉部位圖像并對其進(jìn)行粗檢測，自動判斷適合的正面或者正側(cè)位人臉圖像后送給人臉識別引擎進(jìn)行人臉識別檢測處理，最后對上述多張單個人臉圖像的識別結(jié)果通過系統(tǒng)的決策表決方式來確定系統(tǒng)人臉識別的結(jié)果。本發(fā)明實現(xiàn)的大范圍、實時、非配合情況下人臉識別裝置，具有識別精度高、檢測速度快、設(shè)備要求低、實用性好等優(yōu)點。
文檔編號G06K9/00GK101236599SQ200710307579
公開日2008年8月6日 申請日期2007年12月29日 優(yōu)先權(quán)日2007年12月29日
發(fā)明者湯一平 申請人:浙江工業(yè)大學(xué)