一種基于上下文線性模型的人臉超分辨率處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理和圖像恢復(fù)技術(shù)領(lǐng)域，具體設(shè)及一種基于上下文線性模型約 束的人臉超分辨率處理方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉超分辨率技術(shù)是通過(guò)輔助訓(xùn)練庫(kù)，學(xué)習(xí)高低分辨率對(duì)應(yīng)關(guān)系，進(jìn)而達(dá)到從已 有的低分辨率人臉圖像中估計(jì)出高分辨率人臉圖像的目的。人臉超分辨率現(xiàn)在被廣泛應(yīng)用 于多個(gè)領(lǐng)域，其中最具代表性的領(lǐng)域之一就是監(jiān)控錄像中的人臉圖像增強(qiáng)。隨著監(jiān)控系統(tǒng) 的廣泛普及，監(jiān)控視頻在刑事取證和刑偵調(diào)查過(guò)程中發(fā)揮著越來(lái)越重要的作用。而人臉圖 像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于現(xiàn)有條件 下，目標(biāo)嫌疑人與攝像頭距離相對(duì)較遠(yuǎn)，捕捉到的監(jiān)控人臉可用像素非常少，兼之真實(shí)情況 下由于惡劣天氣（例如：雨霧）、光照（例如:光照過(guò)強(qiáng)、過(guò)暗、明暗不均）、器件等因素對(duì)捕獲 的圖像引發(fā)的嚴(yán)重?fù)p毀(例如:嚴(yán)重的模糊和噪聲），圖像恢復(fù)、放大和辨識(shí)往往受到嚴(yán)重的 干擾。運(yùn)就需要用到人臉超分辨率技術(shù)提升圖像分辨率，從低分辨率圖像恢復(fù)到高分辨率 圖像。
[0003] 近年來(lái)，流形學(xué)習(xí)逐漸成為了人臉超分辨率的主流方法。運(yùn)類方法的核屯、思想是： 描述低分辨率圖像的流形空間關(guān)系，尋找出每個(gè)低分辨率圖像數(shù)據(jù)點(diǎn)周圍的局部性質(zhì)，然 后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對(duì)應(yīng)空 間上做投影，從而合成高分辨圖像。具有代表性的有W下幾種方法:2004年，化ang等首次將 流形學(xué)習(xí)法引入圖像超分辨率重構(gòu)中（[文獻(xiàn)1])，提出了一種鄰域嵌入的圖像超分辨率重 構(gòu)法。Sung Won化rk提出一種基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法（[文獻(xiàn)2])，從局 部子流形分析人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。2005年，Wang提出一 種基于PCA(P;rincipal component analysis,主成分分析)分解的方法（[文獻(xiàn)3])，把低分 辨率待處理圖像用低分辨率空間的主成分的線性組合表示，投影系數(shù)到對(duì)應(yīng)的高分辨率主 成分空間獲得最終結(jié)果。該方法對(duì)早上具有較好的魯棒性，但是仍然在結(jié)果圖像的邊緣存 在鬼影、混疊的現(xiàn)象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方 法（[文獻(xiàn)4])，通過(guò)將PCA空間延伸至CCA空間，進(jìn)一步解決了運(yùn)個(gè)問(wèn)題。同年，Lan針對(duì)監(jiān)控 環(huán)境下嚴(yán)重的模糊和噪聲導(dǎo)致的圖像像素?fù)p毀嚴(yán)重的問(wèn)題，提出一種基于形狀約束的人臉 超分辨率方法（[文獻(xiàn)5])，在傳統(tǒng)PCA架構(gòu)中添加形狀約束作為相似度度量準(zhǔn)則，利用人眼 睛識(shí)別形狀時(shí)對(duì)干擾的魯棒性來(lái)人工添加形狀特征點(diǎn)作為約束，優(yōu)化低質(zhì)量圖像的重建結(jié) 果。綜上所述，現(xiàn)有的運(yùn)些方法大多僅按照傳統(tǒng)的技術(shù)思路W圖像塊本身的子空間信息作 為目標(biāo)學(xué)習(xí)庫(kù)進(jìn)行高低分辨率關(guān)系學(xué)習(xí)，運(yùn)種一對(duì)一的學(xué)習(xí)過(guò)程作為算法基礎(chǔ)。只考慮了 待處理圖像塊是處在一個(gè)流行空間中的，忽略了所有在庫(kù)的圖像塊都是處于流行空間中的 情況。因此雖然在處理一般環(huán)境下低質(zhì)量圖像的過(guò)程中，可W得到不錯(cuò)的效果。但是圖像質(zhì) 量很低的時(shí)候，像素會(huì)遭到嚴(yán)重的毀壞混疊，圖像本身的子空間信息因此很容易遭到損壞， 用傳統(tǒng)方法恢復(fù)出來(lái)的圖像，效果并不令人滿意。
[0004] [文獻(xiàn) 1]H.化ang,D.-Y. Yeung,and Y.Xiong, "S叩er-resolution through neighbor embedding,"in Proc. IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004, pp.275-282.
[0005] [文獻(xiàn)2]Sung Won Park,Savvides,M."化eaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images",ICASSP,pp:573-576,2007.
[0006] [文南犬 3 ]Xiaogang Wang and Xiaoou Tang, ''Hallucinating face by eigentransformation Systems ,Man ,and Cybernetics ,Part C: Applications and Reviews, IEEE Transactions on,vol.35,no.3,pp.425-434,2005.
[0007] [文南犬 4]Hua Huan 邑，Hui t in 邑 He,Xin Fan,and Junpin 邑 Zhan 邑，"Super-resolution of human face image using canonical correlation analysis,''Pattern Recognition,vol.43,no.7,pp.2532-2543,2010/'
[0008] [文南犬5]C Lan,R Hu,Z Han,A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing!； ICIP), 2021-2024,26-29Sept. 2010.

【發(fā)明內(nèi)容】

[0009] 為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于上下文線性模型約束的人臉超分 辨率處理方法及系統(tǒng)，尤其適用于低質(zhì)量監(jiān)控視頻中人臉圖像的恢復(fù)。
[0010] 本發(fā)明的方法所采用的技術(shù)方案是:一種基于上下文線性模型的人臉超分辨率處 理方法，其特征在于，包括W下步驟：
[0011] 步驟1:構(gòu)建訓(xùn)練庫(kù)，所述訓(xùn)練庫(kù)包含高分辨率人臉圖像庫(kù)及其對(duì)應(yīng)的低分辨率人 臉圖像庫(kù)；
[0012] 取歸一化的清晰人臉圖像若干作為高分辨率圖像庫(kù)，將高分辨率圖像庫(kù)經(jīng)過(guò)統(tǒng)一 下采樣過(guò)程得到低分辨率圖像庫(kù)；
[0013] 步驟2:采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為 具交疊部分的圖像塊，縱軸方向得到U個(gè)圖像塊，橫軸方向得到V個(gè)圖像塊;所述圖像塊為正 方形，其邊長(zhǎng)為psize;u = ceil( (r〇w-dd)/(psize-dd)) ,V= = ceil( (column-dd)/(psize-dd))，其中ceil(.)代表取整操作，dd是交疊像素?cái)?shù)目，row是圖像的長(zhǎng)，column是圖像的寬；
[0014] 步驟3:對(duì)待處理低分辨率人臉圖像中的圖像塊X，確定其位置(i，j)，其中i = l，2， 3，...U，j = 1，2，3，... V;從待處理低分辨率人臉圖像上，找到該圖像塊位于n近鄰范圍內(nèi)的 郵鄰塊，郵鄰塊邊長(zhǎng)為PSize;通過(guò)計(jì)算(i，j)位置的圖像塊與郵鄰塊之間的相關(guān)性，確定該 郵鄰塊的權(quán)重，將權(quán)重與該郵鄰塊，作為新的郵鄰塊;對(duì)于低分辨率人臉圖像庫(kù)，在（i，j)位 置上的每一個(gè)在庫(kù)圖像塊，W相同的方法確定其郵鄰塊；
[0015] 步驟4:用（i，j)位置的圖像塊的每一個(gè)郵鄰塊，輔助估計(jì)出對(duì)應(yīng)的高分辨率(i，j) 位置的圖像塊;其具體實(shí)現(xiàn)過(guò)程包括W下子步驟：
[0016] 步驟4.1:對(duì)于待處理低分辨率的輸入塊，與權(quán)重的郵鄰塊做拼接;對(duì)于在低分辨 率人臉圖像庫(kù)的每一個(gè)(i，j)位置的圖像塊，與其權(quán)重的郵鄰塊做拼接，得到待處理低分辨 率拼接塊；
[0017] 步驟4.2:在低分辨率人臉圖像庫(kù)中，查找得到待處理低分辨率拼接塊的近鄰；
[0018]步驟4.3:利用待處理低分辨率拼接塊的近鄰，線性權(quán)重表示出待處理低分辨率拼 接塊；
[0019]其中權(quán)重
i其中Wpq,k是Wpq的第k個(gè)元 素，k取值為巧化，K為近鄰最大個(gè)數(shù);B(i,j)是待處理低分辨率拼接塊：
是待處理低分辨率塊，Xpq是義片山位于位置pq的郵鄰塊，q表示取近鄰的個(gè)數(shù)，q=l，2，-'Nq; 化是最大郵鄰位置個(gè)數(shù)，a表示Xpq和X(IJ)的相關(guān)性；瑪9,A是對(duì)應(yīng)位置的在低分辨率人臉圖 像庫(kù)的拼接塊
表示（i，j)位置的"低分辨率人臉圖像庫(kù)"中的圖像 塊，k=l，2，...K，K表示近鄰總數(shù)；&表示皆。在p