用于面部驗(yàn)證的系統(tǒng)及方法
【專利摘要】本發(fā)明揭示用于檢測圖像中的活人面部的系統(tǒng)及方法。所述方法及系統(tǒng)能夠接收包含人面部的多譜圖像數(shù)據(jù)。所述多譜圖像數(shù)據(jù)可包括可見光圖像數(shù)據(jù)及近紅外線NIR圖像數(shù)據(jù)。所述多譜圖像數(shù)據(jù)可經(jīng)處理以檢測所述人面部?？墒顾隹梢姽鈭D像數(shù)據(jù)中的所述所檢測人面部與所述NIR圖像數(shù)據(jù)中的所述所檢測人面部相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部。
【專利說明】用于面部驗(yàn)證的系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于面部驗(yàn)證的系統(tǒng)及方法。明確地說，本發(fā)明涉及用于檢測人面部 且確定所檢測人面部是否為活人面部的系統(tǒng)及方法。

【背景技術(shù)】
[0002] 面部檢測及/或驗(yàn)證系統(tǒng)可在多種情境中有用，包含（例如）父母控制應(yīng)用程序、 法律執(zhí)行、移動銀行及安全應(yīng)用程序。常規(guī)自動面部檢測系統(tǒng)可檢測圖像中的人面部。然 而，此等系統(tǒng)一般不能確定圖像中所檢測的面部是否從活人面部捕捉，或僅從照片或人面 部的其它再現(xiàn)捕捉。
[0003] 舉例來說，在一些情況下，所檢測面部可來自人造來源，例如照片中的面部、顯示 屏幕上面部的圖像、面罩、面部的模型再現(xiàn)、人體模特、或任何其它無生命面部。想要產(chǎn)生假 身份證件的人（例如）可使用別人的面部照片或面罩來嘗試欺騙面部檢測系統(tǒng)。此外，甚 至對于慮及眨眼及其它類型的面部運(yùn)動的復(fù)雜系統(tǒng)來說，檢測活的面部可由于使用別人的 面部的視頻流來代替活的面部而受挫。


【發(fā)明內(nèi)容】

[0004] 在一個實(shí)施方案中，揭示一種用于檢測圖像中的活人面部的方法。所述方法可包 含接收包含人面部的多譜圖像數(shù)據(jù)，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù)及近紅外線 (NIR)圖像數(shù)據(jù)。所述方法可包括處理所述多譜圖像數(shù)據(jù)以檢測人面部，及可進(jìn)一步包含使 所述可見光圖像數(shù)據(jù)中的所檢測人面部與所述NIR圖像數(shù)據(jù)中的所檢測人面部相關(guān)聯(lián)以 確定所檢測人面部是否是活人面部。
[0005] 在另一實(shí)施方案中，揭示一種用于檢測圖像中的活人面部的成像系統(tǒng)。成像系統(tǒng) 可包含至少一個圖像傳感器，其經(jīng)配置以捕捉包括可見光圖像數(shù)據(jù)及近紅外線（NIR)圖像 數(shù)據(jù)的多譜圖像數(shù)據(jù)，其中所述多譜圖像數(shù)據(jù)包含人面部。另外，成像系統(tǒng)可包含面部檢測 模塊，其經(jīng)配置以分析所述多譜圖像數(shù)據(jù)以檢測所述人面部。成像系統(tǒng)還可包含皮膚驗(yàn)證 模塊，其經(jīng)配置以分析所述所檢測面部的多譜圖像數(shù)據(jù)及確定所檢測人面部是否是活人面 部。
[0006] 在另一實(shí)施方案中，揭示一種成像系統(tǒng)。所述成像系統(tǒng)可包含用于接收包含人面 部的多譜圖像數(shù)據(jù)的裝置，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù)及近紅外線（NIR)圖像 數(shù)據(jù)。所述系統(tǒng)可進(jìn)一步包含用于處理所述多譜圖像數(shù)據(jù)以檢測所述人面部的裝置。另 夕卜，所述系統(tǒng)可包含用于使所述可見光圖像數(shù)據(jù)中的所檢測人面部與所述NIR圖像數(shù)據(jù)中 的所檢測人面部相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部的裝置。
[0007] 在另一實(shí)施方案中，揭示一種非暫時性計(jì)算機(jī)可讀媒體。所述非暫時性計(jì)算機(jī)可 讀媒體可具有存儲在其上的代碼，所述代碼被執(zhí)行時執(zhí)行一方法。所述方法可包括接收包 含人面部的多譜圖像數(shù)據(jù)，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù)及近紅外線（NIR)圖像 數(shù)據(jù)。所述方法可進(jìn)一步包括處理所述多譜圖像數(shù)據(jù)以檢測所述人面部。另外，所述方法 可包含使所述可見光圖像數(shù)據(jù)中的所檢測人面部與所述NIR圖像數(shù)據(jù)中的所檢測人面部 相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部。

【專利附圖】

【附圖說明】
[0008] 圖1為根據(jù)一個實(shí)施方案的面部驗(yàn)證系統(tǒng)的示意圖。
[0009] 圖2為說明用于使用多譜成像數(shù)據(jù)來驗(yàn)證活人面部的方法的一個實(shí)施方案的流 程圖。
[0010] 圖3為說明用于驗(yàn)證活人面部的方法的另一實(shí)施方案的流程圖。
[0011] 圖4說明來自圖3中所呈現(xiàn)的方法的實(shí)驗(yàn)結(jié)果。
[0012] 圖5為說明用于確定所捕捉人面部是否為活人面部的一個方法的流程圖。
[0013] 圖6A為說明用于確定像素是代表活人皮膚還是非活人皮膚的方法的流程圖。
[0014] 圖6B為說明根據(jù)一個實(shí)施方案的確定性方法的流程圖。
[0015] 圖6C為說明根據(jù)另一實(shí)施方案的概率性方法的流程圖。
[0016] 圖6D及6E為用于導(dǎo)出概率密度函數(shù)的實(shí)驗(yàn)結(jié)果的圖表。
[0017] 圖6F為說明用于確定面部是否為活人面部的一個方法的流程圖。
[0018] 圖7A-7B為根據(jù)各種實(shí)施方案的用戶接口的圖像。
[0019] 圖8A-8B為說明用于驗(yàn)證活人面部的各種其它實(shí)施方案的流程圖。

【具體實(shí)施方式】
[0020] 系統(tǒng)概沭
[0021] 本文所揭示的實(shí)施方案提供用于使用具有一或多個成像傳感器的電子裝置來驗(yàn) 證活人面部的系統(tǒng)、方法及設(shè)備。舉例來說，在一個實(shí)施例中，系統(tǒng)可包含可見光成像傳感 器及紅外光成像傳感器。在圖像捕捉期間，系統(tǒng)可藉由組合來自兩傳感器的信息對比照片 或視頻來檢測所捕捉面部是否來自活人。舉例來說，在一些波長下，來自紅外光成像傳感器 的數(shù)據(jù)可用以確定是否存在從所捕捉面部散發(fā)的熱，而在其它波長下，來自紅外線成像傳 感器的數(shù)據(jù)可用以捕捉來自所述面部的詳細(xì)紋理信息。在另一實(shí)施例中，所述系統(tǒng)可確定 對應(yīng)于所捕捉面部的像素是否為來自活的皮膚的像素，如下所述。所屬領(lǐng)域的技術(shù)人員將 認(rèn)識到所揭示實(shí)施例可實(shí)施在硬件、軟件、固件或其任何組合中。
[0022] 在以下描述中，給定特定細(xì)節(jié)以提供實(shí)例的透徹理解。然而，所屬領(lǐng)域的技術(shù)人員 將理解，可在沒有這些特定細(xì)節(jié)的情況下實(shí)踐所述實(shí)例。舉例來說，可用框圖展示電組件/ 裝置以便不在不必要的細(xì)節(jié)方面模糊所述實(shí)例。在其它例子中，可詳細(xì)展示此類組件、其它 結(jié)構(gòu)及技術(shù)以進(jìn)一步解釋所述實(shí)例。
[0023] 還應(yīng)注意可將實(shí)例描述為過程，所述實(shí)例經(jīng)描繪為流程圖、流圖、有限狀態(tài)圖、結(jié) 構(gòu)圖或框圖。盡管流程圖可將操作描述為順序過程，但可平行或同時執(zhí)行許多操作，且可重 復(fù)所述過程。另外，可重新布置操作的次序。過程在其操作完成時終止。過程可對應(yīng)于方 法、功能、程序、子例程、子程序等。當(dāng)過程對應(yīng)于軟件函式時，其終止可對應(yīng)于將所述函式 返回到調(diào)用函式或主函式、或子例程或相同功能性的類似完成。
[0024] 所屬領(lǐng)域的技術(shù)人員將了解，可使用多種不同技藝及技術(shù)中的任一者來表示信息 及信號。舉例來說，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來 表示在以上描述中始終參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號及碼片。
[0025] 圖1說明用于驗(yàn)證成像人面部為活人面部的面部驗(yàn)證系統(tǒng)1的一個實(shí)施方案。面 部驗(yàn)證系統(tǒng)1包含多譜成像系統(tǒng)2。多譜成像系統(tǒng)2可經(jīng)配置以包含多譜成像傳感器，其可 感測包含至少可見光波長及近紅外線（NIR)光波長的寬帶波長。多譜成像傳感器可經(jīng)配置 以檢測在約390nm與約HOOnm之間的波長。當(dāng)然，成像傳感器還可同樣經(jīng)配置以檢測更寬 范圍的波長。在一些實(shí)施方案中，電荷耦合裝置（CCD)可用作多譜成像傳感器。在其它實(shí) 施方案中，CMOS成像傳感器可用作多譜成像傳感器。
[0026] 在其它實(shí)施方案中，多譜成像系統(tǒng)2可包含兩個單獨(dú)傳感器來代替多譜成像傳感 器。在此實(shí)施例中，多譜成像系統(tǒng)2可包含可見光傳感器及單獨(dú)NIR傳感器。舉例來說，多 譜成像系統(tǒng)2可包含例如(XD/CM0S等第一傳感器，其能夠檢測至少在約390nm與約800nm 之間的范圍中的可見光。多譜成像系統(tǒng)2可進(jìn)一步包含例如(XD/CM0S等第二傳感器，其能 夠檢測在約800nm與約HOOnm之間的范圍中的NIR光。在一些實(shí)施方案中，用于可見及 NIR傳感器的波長范圍可重疊或可甚至為實(shí)質(zhì)上相同的。舉例來說，在各種實(shí)施方案中，由 艾納成像公司（Aptina Imaging)(加州圣荷西）制造的MT9M112傳感器可用作可見光傳感 器，及由艾納成像公司（加州圣荷西）制造的MT9M001傳感器可用作NIR傳感器。所屬領(lǐng) 域的技術(shù)人員將了解，其它類型的傳感器是可能的。在一些實(shí)施方案中，成像濾波器（例如 NIR通濾波器）可用于合適的(XD/CM0S上以僅檢測NIR數(shù)據(jù)。所屬領(lǐng)域的技術(shù)人員將了解 各種其它傳感器或其組合可用以捕捉可見及NIR圖像數(shù)據(jù)。
[0027] 面部驗(yàn)證系統(tǒng)1可進(jìn)一步包含存儲器3及處理器4。存儲器3及處理器4經(jīng)配置 以彼此且與多譜成像傳感器2電通信。面部驗(yàn)證系統(tǒng)1還具有能夠存儲可由處理器3執(zhí)行 的各種軟件模塊的儲存裝置5。在一些實(shí)施方案中，處理器4可從多譜成像系統(tǒng)2接收數(shù)據(jù) 及發(fā)射數(shù)據(jù)到多譜成像系統(tǒng)2,且可通過執(zhí)行存儲在儲存裝置5中的軟件模塊中的計(jì)算機(jī) 實(shí)施指令而對所述數(shù)據(jù)操作。
[0028] 儲存裝置5可為任何合適的計(jì)算機(jī)可讀存儲媒體，例如非暫時性存儲媒體。儲存 裝置5可包括任何數(shù)目個軟件模塊。舉例來說，通信模塊10及預(yù)處理模塊11可存儲在儲 存裝置5上。通信模塊10可包括管理面部驗(yàn)證系統(tǒng)1的組件之間的數(shù)據(jù)流的計(jì)算機(jī)實(shí)施 指令。預(yù)處理模塊11可經(jīng)配置以在對數(shù)據(jù)（例如從多譜成像系統(tǒng)2接收的圖像數(shù)據(jù)）執(zhí) 行其它操作之前對所述數(shù)據(jù)進(jìn)行預(yù)處理。儲存裝置5還可包含用戶接口模塊12。用戶接口 模塊可包括用于實(shí)施用戶接口 6的指令。如將在下文參看圖7A-7B更詳細(xì)論述，在一些實(shí) 施方案中，可在系統(tǒng)所檢測面部周圍繪制虛擬框以供用戶觀察，且可在用戶接口 6上顯示 活皮膚概率比非活皮膚概率高的像素的百分比。其它用戶接口（包含圖形用戶接口（GUI)) 可由存儲在用戶接口模塊12中的指令控制或?qū)嵤?br> [0029] 存儲裝置5進(jìn)一步包含面部檢測模塊13。面部檢測模塊13可包含可檢測圖像中 的人面部的軟件。在一些實(shí)施方案中，面部檢測模塊13可使用已知技術(shù)來檢測及驗(yàn)證圖像 中所捕捉面部的幾何形狀。在一些實(shí)施方案中，面部檢測模塊13可經(jīng)配置以檢測面部輪 廓，而在其它實(shí)施方案中，面部檢測模塊13可檢測面部所定位的大體區(qū)域（例如，面部定位 于特定正方形還是矩形區(qū)域內(nèi)）。在一個實(shí)施方案中，例如，日本京都的歐姆龍（OMRON)公 司所制造的OKAO視覺面部感測技術(shù)可由面部檢測模塊13來使用。面部檢測模塊13的其 它實(shí)施方案是可能的，且因此實(shí)施例并不限于用于檢測圖像中的面部的任何特定方法。
[0030] 還可將皮膚驗(yàn)證模塊14存儲在存儲裝置5中。如本文將更詳細(xì)描述，皮膚驗(yàn)證 模塊14可包含用于驗(yàn)證人面部的圖像中的皮膚是活人皮膚（與從照片或其它人造人面部 而捕捉的圖像所產(chǎn)生的非活皮膚相對）的計(jì)算機(jī)實(shí)施指令。在一些實(shí)施方案中，皮膚驗(yàn)證 模塊14還可驗(yàn)證人體的其它部位上的皮膚是活人皮膚。儲存裝置5還包含用戶通知模塊 15。用戶通知模塊15可經(jīng)配置以通知用戶所檢測面部為活人面部或非活人面部。在一些 實(shí)施方案中，用戶通知模塊15能夠通知用戶哪些像素被確定為皮膚像素或非活皮膚像素。 而且，如圖1中所示，可根據(jù)需要將其它處理模塊16存儲在存儲裝置5中以實(shí)施用于系統(tǒng) 1的各種其它功能性。
[0031] 面部驗(yàn)證系統(tǒng)1包含用戶接口 6。用戶接口 6可使系統(tǒng)1的用戶能夠與系統(tǒng)交互， 且有效地使用各種模塊來驗(yàn)證所成像面部為圖像中的活人面部。舉例來說，用戶接口 6可 包含一或多個顯示器以顯示所捕捉圖像及/或與面部驗(yàn)證操作相關(guān)的其它數(shù)據(jù)。顯示器還 可經(jīng)配置以顯示圖形用戶接口（⑶I)以進(jìn)一步增強(qiáng)系統(tǒng)1的可用性。用戶接口 6可包含各 種音頻裝置（例如麥克風(fēng)、揚(yáng)聲器）或經(jīng)配置以接收或發(fā)射聲音的其它裝置。在一些實(shí)施 方案中，用戶接口 6可包含各種外圍裝置，包含（例如）鍵盤、鼠標(biāo)、打印機(jī)及其它輸入/輸 出裝置。
[0032] 面部驗(yàn)證系統(tǒng)1可實(shí)施于移動裝置上，包含移動電話或智能電話、平板計(jì)算機(jī)、膝 上型計(jì)算機(jī)、數(shù)碼相機(jī)或類似者。通過將多譜成像系統(tǒng)2、存儲器3、處理器4、存儲裝置5及 用戶接口 6集成在移動裝置上，可有利地使用面部驗(yàn)證系統(tǒng)1而不需要系統(tǒng)保持處于固定 位置。然而，在其它實(shí)施方案中，面部驗(yàn)證系統(tǒng)1可包括桌上型計(jì)算機(jī)、服務(wù)器、計(jì)算機(jī)工作 站或其它類型的計(jì)算裝置。多譜成像系統(tǒng)2可與其它計(jì)算機(jī)硬件集成，或多譜成像系統(tǒng)2 可與計(jì)算裝置分離，例如作為單獨(dú)攝像機(jī)或多個攝像機(jī)。
[0033] 多譜成像概沭
[0034] 圖2為說明用于使用多譜成像數(shù)據(jù)來驗(yàn)證活人面部的方法20的一個實(shí)施方案的 流程圖。在方框21中，捕捉多譜圖像數(shù)據(jù)。多譜圖像數(shù)據(jù)可包括跨越至少可見光及NIR光 譜的圖像數(shù)據(jù)。舉例來說，可通過多譜成像系統(tǒng)2捕捉在約390nm與約HOOnm之間的波長 范圍內(nèi)的圖像數(shù)據(jù)。通過利用跨越可見及NIR波長兩者的圖像數(shù)據(jù)，與圖像數(shù)據(jù)限于較窄 光譜的情況相比，可感測場景或物體的更豐富細(xì)節(jié)。舉例來說，在一些情況下，NIR圖像數(shù) 據(jù)可產(chǎn)生比對應(yīng)可見光圖像數(shù)據(jù)平滑的表面。
[0035] 在于方框21捕捉圖像之后，方法20移動到方框22,在方框22中在所捕捉圖像中 檢測人面部。面部檢測的任何合適方法可用以檢測圖像中的面部。舉例來說，如上所述，面 部檢測模塊13可檢測關(guān)于所捕捉面部的幾何形狀的細(xì)節(jié)?；蛘撸娌繖z測模塊13可檢測 面部所位于的大體區(qū)域，例如在圖像中的特定框內(nèi)。
[0036] 然而，如上文解釋，面部檢測可不能夠確定所檢測面部為活人面部還是面部的人 造再現(xiàn)，例如從照片捕捉的圖像、面罩、面部模塊或模具、或任何其它人造人面部。在于方框 22中檢測面部之后，方法20移動到方框23,在方框23中面部驗(yàn)證系統(tǒng)1可驗(yàn)證所檢測面 部上的皮膚為活人皮膚。如下文更詳細(xì)論述，可使用多種方法來驗(yàn)證所述皮膚為活皮膚。 [0037] 方法20接著移動到?jīng)Q策方框24以確定所檢測面部是否為活人面部。存在用以確 定所檢測面部是否為活人面部的多種方式。舉例來說，如下文關(guān)于圖6F所解釋，可計(jì)算或 皮膚像素或非活皮膚像素的數(shù)目。如果活皮膚像素的數(shù)目超過所檢測面部內(nèi)像素的某一閾 值數(shù)目，那么可確定所檢測面部為活人面部。在其它實(shí)施例中，對于每一像素，可計(jì)算所述 像素為活皮膚像素的概率?？捎?jì)算其中像素較可能是活皮膚而不是非活皮膚的像素的數(shù)目 以確定活皮膚像素的數(shù)目。如果活皮膚像素比非活皮膚像素（或另一閾值）多，那么可確 定面部為活人面部。
[0038] 如果進(jìn)行決定所述面部為活面部，那么方法20移動到方框26以通知用戶所述面 部為活的。如果進(jìn)行決定所述面部并非活面部，那么方法20移動到方框25,在方框25中用 戶被通知所述面部并非活的人面部。舉例來說，用戶通知模塊15可經(jīng)實(shí)施以通過（例如） 用戶接口 6來通知用戶所述面部為非活面部。如下所述，給定用于圖像中的像素集合的圖 像數(shù)據(jù)，可整體確定面部是活的還是非活的。舉例來說，所檢測面部可為人面部的再現(xiàn)的圖 像，例如另一照片的圖像。下文描述關(guān)于系統(tǒng)檢測所述面部是活的還是非活的的方式的較 多細(xì)節(jié)。
[0039] 轉(zhuǎn)到圖3,揭示用于驗(yàn)證活人面部的方法30的另一實(shí)施方案。然而，與圖2中不 同，在方法30中，可分別捕捉NIR圖像數(shù)據(jù)及可見光圖像數(shù)據(jù)（與使用單個多譜傳感器相 對比）。方法30開始且移動到方框31，在方框31中，捕捉待分析的面部的可見光圖像及 NIR圖像。如上文關(guān)于圖1所解釋，單獨(dú)可見光及NIR傳感器（例如，C⑶或CMOS)可捕捉 含有人面部的兩單獨(dú)圖像。
[0040] 方法30接著移動到方框32,在方框32中，在可見光及NIR圖像兩者中檢測人面 部。如上所述，可針對可見及NIR圖像兩者實(shí)施任何合適的面部檢測方法。舉例來說，可在 一些實(shí)施方案中使用歐姆龍公司所制造的OKAO視覺面部感測技術(shù)以檢測面部。方法30接 著移動到方框33,在方框33中，系統(tǒng)驗(yàn)證在可見光及NIR圖像兩者中的所檢測面部上的皮 膚為活人皮膚。本文呈現(xiàn)用于驗(yàn)證活皮膚的各種系統(tǒng)及方法，例如關(guān)于圖6A-6C所論述。
[0041] 一旦在方框33中皮膚得以驗(yàn)證，方法30即移動到?jīng)Q策方框34以確定所捕捉面部 是否為活面部。如上文關(guān)于圖2所描述，存在用以確定所檢測面部是否為活人面部的多種 方式。舉例來說，如上所述，如果活皮膚像素的數(shù)目超過所檢測面部內(nèi)像素的某一閾值數(shù) 目，那么可確定所檢測面部為活人面部。如在圖2中，如果在方框34中確定所檢測面部并 非活人面部，那么方法30移動到方框35,在方框35中所述用戶被通知面部并非活的。然 而，如果在決策方框34進(jìn)行確定確定所檢測面部是活人面部，那么方法30移動到方框36， 且用戶被通知所捕捉面部是來自活人。
[0042] 圖4說明來自圖3中所呈現(xiàn)的方法的實(shí)驗(yàn)結(jié)果。如關(guān)于方框31所描述，分別通過 單獨(dú)NIR及可見光傳感器捕捉NIR圖像41及捕捉可見（例如，RGB)圖像42?；蛘撸墒褂?多譜傳感器，且圖像數(shù)據(jù)可經(jīng)后處理以將NIR圖像數(shù)據(jù)與可見光圖像數(shù)據(jù)分開。在其它實(shí) 施方案中，可將濾波器應(yīng)用到傳感器上以對所要波長濾波。
[0043] 在NIR及可見圖像41、42兩者中，呈現(xiàn)一個活人面部46,及呈現(xiàn)兩個人造人面部 45。通過人面部的照片來表示人造人面部45。舉例來說，可通過人面部的彩色或黑白照相 印刷來表示人造面部。實(shí)際上，面部驗(yàn)證系統(tǒng)1可在彩色及黑白圖像或表示兩者中在驗(yàn)證 活的人面部時有效。應(yīng)了解，人面部的其它人造表示為可能的。常規(guī)面部檢測系統(tǒng)可能夠 檢測圖像41、42中的所有三個人面部；而常規(guī)系統(tǒng)不能夠檢測到圖像41、42中的三個面部 中的兩者實(shí)際上是人造面部45而不是活的人面部46。
[0044] 圖4的皮膚驗(yàn)證圖像43說明在執(zhí)行圖3的方框33的皮膚驗(yàn)證方法之后的結(jié)果， 其將在下文在圖6A-6C的討論中更詳細(xì)解釋。如在皮膚驗(yàn)證圖像43中可見，已通過皮膚驗(yàn) 證模塊14準(zhǔn)確地驗(yàn)證活的人面部46,如活的面部46與黑色背景之間的高對比度。圖像43 中活的面部46的高對比度反映圖像43中所檢測的活皮膚像素的相對較高數(shù)目。人造人面 部45經(jīng)說明為具有與黑色背景的較低對比度，這是因?yàn)榇嬖诮?jīng)確定為活皮膚像素的較少 像素。
[0045] 在圖4的最終活面部驗(yàn)證圖像44中，活的面部46已被準(zhǔn)確地檢測，如作為活的面 部46的邊界的框47的實(shí)線所示。另一方面，兩個非活面部45也被識別，如通過具有為非 活面部45的邊界的虛線的兩個框48所說明。給定最終圖像44,用戶可被準(zhǔn)確地通知所檢 測人面部（中的哪些）是否的確是活的人面部。
[0046] 概沭-駘證所檢測面部為活的人面部
[0047] 圖5為說明用于確定所捕捉人面部是否為活人面部的一個方法50的流程圖。在 方框51中開始方法50,在方框51中通過面部驗(yàn)證系統(tǒng)1來接收可見圖像數(shù)據(jù)及NIR圖像 數(shù)據(jù)。在一些實(shí)施方案中，通信模塊10及/或處理器4可從多譜成像系統(tǒng)2接收圖像。圖 像數(shù)據(jù)可通過多譜成像系統(tǒng)2捕捉，或所述數(shù)據(jù)可通過外部成像系統(tǒng)捕捉且傳達(dá)到處理器 4及/或通信模塊10。如上文解釋，NIR及可見圖像數(shù)據(jù)可通過單個傳感器或通過單獨(dú)傳 感器來捕捉。
[0048] 在于方框51中接收可見及NIR圖像數(shù)據(jù)后，方法50移動到方框52以處理可見及 NIR圖像數(shù)據(jù)以檢測人面部。舉例來說，面部檢測模塊13可使用如上文關(guān)于圖1-3所解釋 的任何合適的面部檢測方法來檢測圖像中的人面部。方法50接著移動到方框53,在方框53 中使可見圖像數(shù)據(jù)與NIR圖像數(shù)據(jù)相關(guān)聯(lián)以確定所檢測人面部是否為活人面部。可將可見 圖像數(shù)據(jù)與NIR圖像數(shù)據(jù)的關(guān)聯(lián)應(yīng)用到單批多譜圖像數(shù)據(jù)或應(yīng)用到單獨(dú)可見及NIR圖像。 方法50接著移動到?jīng)Q策方框54以確定所檢測面部是否表示人造面部。如果進(jìn)行決定所檢 測面部并非活人面部，那么方法50移動到方框55以通知用戶所述面部并非活的面部。然 而，如果進(jìn)行決定所檢測面部為活面部，那么方法50移動到方框56以通知用戶所檢測面部 是來自活的人。
[0049] 識別活的及非活皮膚像素
[0050] 圖6A-6C為說明用于識別多譜圖像數(shù)據(jù)中的所檢測人面部中的活的及非活皮膚 像素的各種實(shí)施方案。在一些實(shí)施方案中，在用戶被通知關(guān)于所檢測面部是活人面部的確 定之前，皮膚驗(yàn)證模塊14可基于逐個像素來確定哪些像素表示活人皮膚及哪些像素表示 非活人皮膚。
[0051] 圖6A為用于確定圖像中的特定像素 i是代表活人皮膚還是非活人皮膚的方法的 60的流程圖。所說明方法60在方框61中開始，在方框61中，針對與NIR及可見圖像數(shù)據(jù) 兩者相關(guān)聯(lián)的特定像素 i來計(jì)算第一反射率差V1及第二反射率差V2。第一反射率差V1及 第二反射率差V 2可部分基于人皮膚在可見及NIR光譜兩者中的反射率值。根據(jù)一個實(shí)施 方案，第一及第二反射率差可通過以下來確定
[0052] Vl = p i ( λ ) - p i ( λ g)，及
[0053] v2 = p i ( λ g) - p i ( λ r)
[0054] 其中P i表示所捕捉皮膚（無論是活的還是非活的）的像素 i分別在NIR波長 (λΝΙΚ)、綠色波長（Ag)及紅色波長（λ J下的反射率值。在一些實(shí)施方案中，可基于沖擊 于表面上的照射L及特定材料的反射率R來使反射率值Pi模型化。在此情況下，皮膚的 反射率R可在NIR光譜中比在可見光譜中強(qiáng)很多（且尤其比綠色波長帶強(qiáng)）。由于NIR及 綠色波長之間的反射率的差異，在一些實(shí)施方案中綠色圖像數(shù)據(jù)可用于計(jì)算反射率差。然 而，請注意由于V 1及V2的計(jì)算與所指示波長下的檢測強(qiáng)度之間的差成正比，實(shí)際上，在計(jì)算 反射率差V1及V 2時，用于每一波長的原始像素值可用于每一像素 i。因此，反射率差V1及 V2大體可分別與成像皮膚針對NIR及綠色波長以及針對綠色及紅色波長的所檢測強(qiáng)度之間 的差成正比。
[0055] 如上文用于V1及V2的關(guān)系式所展示，第一反射率差V 1可基于NIR圖像數(shù)據(jù)的一 部分中的反射率值（或原始像素?cái)?shù)據(jù)）P ?(λΝΙΚ)與可見光圖像數(shù)據(jù)的對應(yīng)部分中的綠色數(shù) 據(jù)的反射率值（或原始像素?cái)?shù)據(jù)）Pi(A g)之間的差來確定。在一些實(shí)施方案中，NIR圖像 數(shù)據(jù)的部分為特定像素或像素組，及可見光圖像數(shù)據(jù)的對應(yīng)部分為可見光圖像數(shù)據(jù)的對應(yīng) 像素或像素組。第二反射率差可為可見光圖像數(shù)據(jù)的對應(yīng)部分（例如，像素或像素組）中 的綠色數(shù)據(jù)的反射率值（或原始像素?cái)?shù)據(jù)）與紅色數(shù)據(jù)的反射率值（或原始像素?cái)?shù)據(jù)）之 間的差。不受理論限制的情況下，綠色圖像數(shù)據(jù)可用以計(jì)算反射率值及/或反射率差，這是 因?yàn)椋ㄈ缟衔慕忉專㎞IR數(shù)據(jù)與綠色數(shù)據(jù)之間的對比度可大于NIR數(shù)據(jù)與其它色彩（例如， 藍(lán)色或紅色）之間的對比度。當(dāng)然，可比較用于其它色彩的反射率值。舉例來說，在一些實(shí) 施方案中可比較紅色與藍(lán)色反射率值或綠色與藍(lán)色反射率值以計(jì)算V 2及Vp
[0056] 在計(jì)算特定像素的第一及第二反射率差之后，方法60移動到圖6A的方框62,在方 框62中，分別使第一及第二反射率差V 1及V2歸一化以獲得第一及第二歸一化反射率差Γι 及1"2，由以下式給出

【權(quán)利要求】
1. 一種用于檢測圖像中的活人面部的方法，其包括： 接收包含人面部的多譜圖像數(shù)據(jù)，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù)及近紅外線 NIR圖像數(shù)據(jù)； 處理所述多譜圖像數(shù)據(jù)以檢測所述人面部；及 使所述可見光圖像數(shù)據(jù)中的所述所檢測人面部與所述NIR圖像數(shù)據(jù)中的所述所檢測 人面部相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述可見光圖像數(shù)據(jù)中檢測的所述面部與所述 NIR圖像數(shù)據(jù)中檢測的所述面部之間的所述關(guān)聯(lián)至少部分基于第一反射率差及第二反射率 差，其中所述第一反射率差是所述NIR圖像數(shù)據(jù)的一部分中的反射率值與所述可見光圖像 數(shù)據(jù)的對應(yīng)部分中的第一色彩的反射率值之間的差，及其中所述第二反射率差是所述可見 光圖像數(shù)據(jù)的所述對應(yīng)部分中所述第一色彩的所述反射率值與第二色彩的反射率值之間 的差。
3. 根據(jù)權(quán)利要求2所述的方法，其中使所述可見光圖像數(shù)據(jù)中捕捉的所述所檢測人面 部與所述NIR圖像數(shù)據(jù)中捕捉的所述所檢測人面部相關(guān)聯(lián)包括： 使所述第一反射率差歸一化以獲得第一歸一化反射率差；及 使所述第二反射率差歸一化以獲得第二歸一化反射率差。
4. 根據(jù)權(quán)利要求3所述的方法，其中使所述可見光圖像數(shù)據(jù)中捕捉的所述所檢測人面 部與所述NIR圖像數(shù)據(jù)中捕捉的所述所檢測人面部相關(guān)聯(lián)進(jìn)一步包括： 比較所述第一歸一化反射率差與第一閾值及第二閾值；及 比較所述第二歸一化反射率差與第三閾值及第四閾值。
5. 根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包括至少部分基于所述第一歸一化反射率差 是否大于所述第一閾值且小于所述第二閾值以及至少部分基于所述第二歸一化反射率差 是否大于所述第三閾值且小于所述第四閾值而確定所述NIR圖像數(shù)據(jù)的所述部分及所述 可見光圖像數(shù)據(jù)的所述對應(yīng)部分是否含有代表活人皮膚的圖像數(shù)據(jù)。
6. 根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括至少部分基于所述所檢測面部中含有代 表活人皮膚的圖像數(shù)據(jù)的像素的數(shù)目來確定所述所檢測人面部是否是活人面部。
7. 根據(jù)權(quán)利要求3所述的方法，其中所述第一色彩實(shí)質(zhì)上是綠色，及其中所述第二色 彩實(shí)質(zhì)上是紅色。
8. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包括獲得所述第一歸一化反射率差的第一概 率密度函數(shù)及所述第二歸一化反射率差的第二概率密度函數(shù)，其中所述第一及第二概率密 度函數(shù)是至少部分基于活人皮膚的圖像數(shù)據(jù)。
9. 根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括計(jì)算所述NIR圖像數(shù)據(jù)的所述部分及所 述可見光圖像數(shù)據(jù)的所述對應(yīng)部分含有代表活人皮膚的圖像數(shù)據(jù)的第一概率， 所述第一概率至少部分基于所述第一概率密度函數(shù)及所述第二概率密度函數(shù)。
10. 根據(jù)權(quán)利要求9所述的方法，其進(jìn)一步包括： 獲得所述第一歸一化反射率差的第三概率密度函數(shù)及所述第二歸一化反射率差的第 四概率密度函數(shù)，其中所述第三及第四概率密度函數(shù)是至少部分基于不代表活人皮膚的圖 像數(shù)據(jù)， 計(jì)算所述NIR圖像數(shù)據(jù)的所述部分及所述可見光圖像數(shù)據(jù)的所述對應(yīng)部分含有不代 表活人皮膚的圖像數(shù)據(jù)的第二概率， 所述第二概率至少部分基于所述第三概率密度函數(shù)及所述第四概率密度函數(shù)。
11. 根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包括比較所述第一概率與所述第二概率以 確定所述NIR圖像數(shù)據(jù)的所述部分及所述可見光圖像數(shù)據(jù)的所述對應(yīng)部分是否含有代表 活人皮膚的圖像數(shù)據(jù)。
12. 根據(jù)權(quán)利要求11所述的方法，其進(jìn)一步包括至少部分基于所述所檢測面部中含有 代表活人皮膚的圖像數(shù)據(jù)的像素的所述數(shù)目來確定所述所檢測人面部是否是活人面部。
13. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括用成像設(shè)備來捕捉多譜圖像數(shù)據(jù)。
14. 根據(jù)權(quán)利要求13所述的方法，其中捕捉多譜圖像數(shù)據(jù)包括捕捉可見光圖像及NIR 圖像。
15. 根據(jù)權(quán)利要求14所述的方法，其中處理所述多譜圖像數(shù)據(jù)包括： 處理所述可見光圖像以檢測所述人面部；及 處理所述NIR圖像以檢測所述人面部。
16. -種用于檢測圖像中的活人面部的成像系統(tǒng)，所述系統(tǒng)包括： 至少一個圖像傳感器，其經(jīng)配置以捕捉包括可見光圖像數(shù)據(jù)及近紅外線NIR圖像數(shù)據(jù) 的多譜圖像數(shù)據(jù)，其中所述多譜圖像數(shù)據(jù)包含人面部； 面部檢測模塊，其經(jīng)配置以分析所述多譜圖像數(shù)據(jù)以檢測所述人面部；及 皮膚驗(yàn)證模塊，其經(jīng)配置以分析所述所檢測面部的所述多譜圖像數(shù)據(jù)及確定所述所檢 測人面部是否是活人面部。
17. 根據(jù)權(quán)利要求16所述的成像系統(tǒng)，其中所述至少一個圖像傳感器包括NIR成像傳 感器及可見光傳感器。
18. 根據(jù)權(quán)利要求16所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)配置以至少部分基于 所述所捕捉多譜圖像數(shù)據(jù)的第一反射率差及第二反射率差來確定所述所檢測人面部是否 是活人面部。
19. 根據(jù)權(quán)利要求18所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以： 使所述第一反射率差歸一化以獲得第一歸一化反射率差；及 使所述第二反射率差歸一化以獲得第二歸一化反射率差。
20. 根據(jù)權(quán)利要求19所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以： 比較所述第一歸一化反射率差與第一閾值及第二閾值；及 比較所述第二歸一化反射率差與第三閾值及第四閾值。
21. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以至少部 分基于所述第一歸一化反射率差是否大于所述第一閾值且小于所述第二閾值以及至少部 分基于所述第二歸一化反射率差是否大于所述第三閾值且小于所述第四閾值而確定所述 所檢測人面部是否是活人面部。
22. 根據(jù)權(quán)利要求21所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以至少部 分基于所述所檢測面部中含有代表活人皮膚的圖像數(shù)據(jù)的像素的數(shù)目來確定所述所檢測 人面部是否是活人面部。
23. 根據(jù)權(quán)利要求19所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以獲得所 述第一歸一化反射率差的第一概率密度函數(shù)及所述第二歸一化反射率差的第二概率密度 函數(shù)，其中所述第一及第二概率密度函數(shù)是至少部分基于活人皮膚的圖像數(shù)據(jù)。
24. 根據(jù)權(quán)利要求23所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以： 計(jì)算所述NIR圖像數(shù)據(jù)的一部分及所述可見光圖像數(shù)據(jù)的對應(yīng)部分含有代表活人皮 膚的圖像數(shù)據(jù)的第一概率， 所述第一概率至少部分基于所述第一概率密度函數(shù)及所述第二概率密度函數(shù)。
25. 根據(jù)權(quán)利要求24所述的成像系統(tǒng)，其中所述皮膚驗(yàn)證模塊經(jīng)進(jìn)一步配置以： 獲得所述第一歸一化反射率差的第三概率密度函數(shù)及所述第二歸一化反射率差的第 四概率密度函數(shù)，其中所述第三及第四概率密度函數(shù)是至少部分基于不代表活人皮膚的圖 像數(shù)據(jù)， 計(jì)算所述NIR圖像數(shù)據(jù)的所述部分及所述可見光圖像數(shù)據(jù)的所述對應(yīng)部分含有不代 表活人皮膚的圖像數(shù)據(jù)的第二概率， 所述第二概率至少部分基于所述第三概率密度函數(shù)及所述第四概率密度函數(shù)。
26. 根據(jù)權(quán)利要求16所述的成像系統(tǒng)，其進(jìn)一步包括經(jīng)配置以接收多譜圖像數(shù)據(jù)的通 信模塊。
27. 根據(jù)權(quán)利要求16所述的成像系統(tǒng)，其進(jìn)一步包括經(jīng)配置以通知所述用戶所述所檢 測面部是否是活人面部的用戶通知模塊。
28. 根據(jù)權(quán)利要求16所述的成像系統(tǒng)，其進(jìn)一步包括經(jīng)配置以存儲計(jì)算機(jī)可讀指令及 圖像數(shù)據(jù)中的至少一者的存儲器。
29. -種成像系統(tǒng)，其包括： 用于接收包含人面部的多譜圖像數(shù)據(jù)的裝置，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù) 及近紅外線NIR圖像數(shù)據(jù)； 用于處理所述多譜圖像數(shù)據(jù)以檢測所述人面部的裝置；及 用于使所述可見光圖像數(shù)據(jù)中的所述所檢測人面部與所述NIR圖像數(shù)據(jù)中的所述所 檢測人面部相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部的裝置。
30. 根據(jù)權(quán)利要求29所述的成像系統(tǒng)，其中所述用于接收多譜圖像數(shù)據(jù)的裝置包括通 信模塊。
31. 根據(jù)權(quán)利要求29所述的成像系統(tǒng)，其中所述用于處理所述多譜圖像數(shù)據(jù)的裝置包 括面部檢測模塊。
32. 根據(jù)權(quán)利要求29所述的成像系統(tǒng)，其中所述用于使所述可見光圖像數(shù)據(jù)中的所述 所檢測人面部與所述NIR圖像數(shù)據(jù)中的所述所檢測人面部相關(guān)聯(lián)的裝置包括皮膚驗(yàn)證模 塊。
33. 根據(jù)權(quán)利要求29所述的成像系統(tǒng)，其進(jìn)一步包括用于捕捉多譜圖像數(shù)據(jù)的裝置。
34. 根據(jù)權(quán)利要求33所述的成像系統(tǒng)，其中所述用于捕捉多譜圖像數(shù)據(jù)的裝置包括 NIR成像傳感器及可見光傳感器。
35. -種非暫時性計(jì)算機(jī)可讀媒體，其具有存儲在其上的代碼，所述代碼在被執(zhí)行時執(zhí) 行包括以下各項(xiàng)的方法： 接收包含人面部的多譜圖像數(shù)據(jù)，所述多譜圖像數(shù)據(jù)包括可見光圖像數(shù)據(jù)及近紅外線 NIR圖像數(shù)據(jù)； 處理所述多譜圖像數(shù)據(jù)以檢測所述人面部；及 使所述可見光圖像數(shù)據(jù)中的所述所檢測人面部與所述NIR圖像數(shù)據(jù)中的所述所檢測 人面部相關(guān)聯(lián)以確定所述所檢測人面部是否是活人面部。
【文檔編號】G06K9/00GK104364798SQ201380030542
【公開日】2015年2月18日 申請日期:2013年6月18日 優(yōu)先權(quán)日:2012年6月26日
【發(fā)明者】張曉鵬, 張曉康, 王計(jì)來, 周曉明, 邱剛, 沈亮, 馮晨 申請人:高通股份有限公司