一種基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法
【專利摘要】本發(fā)明公開了一種基于單幅人像圖像的全自動(dòng)三維頭發(fā)建模方法，該方法主要分為四個(gè)步驟：頭發(fā)圖像訓(xùn)練數(shù)據(jù)的生成，基于分層深度神經(jīng)網(wǎng)絡(luò)的頭發(fā)分割和生長(zhǎng)方向估計(jì)，三維頭發(fā)樣本的生成和組織，以及數(shù)據(jù)驅(qū)動(dòng)的三維頭發(fā)建模；本發(fā)明可以全自動(dòng)地魯棒地生成完整的高質(zhì)量的三維模型，質(zhì)量達(dá)到當(dāng)前最先進(jìn)的基于用戶交互的技術(shù)的水平。本發(fā)明技術(shù)可以用在一系列應(yīng)用中，如人像發(fā)型編輯，發(fā)型風(fēng)格空間的瀏覽，以及搜索相似發(fā)型的互聯(lián)網(wǎng)圖像。
【專利說明】
一種基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及基于單幅圖像的三維建模領(lǐng)域，尤其涉及對(duì)人像圖片的頭發(fā)進(jìn)行自動(dòng) 三維建模的方法。
【背景技術(shù)】
[0002] 基于圖像的頭發(fā)建模是一個(gè)創(chuàng)造高質(zhì)量頭發(fā)幾何的有效途徑?；诙嘁暯菆D像的 頭發(fā)采集技術(shù)經(jīng)常需要復(fù)雜的設(shè)備配置和較長(zhǎng)的處理周期（LUO，L.，LI，H.，AND RUSINKIEffICZ,S.2013.Structure-aware hair capture.ACM Transactions on Graphics (TOG )32,4,76.)(ECHEVARRIA ,J. I . , BRADLEY,D., GUTIERREZ ,D. ,AND BEELER, T.2014.Capturing and stylizing hair for 3d fabrication.ACM Transactions on Graphics(T0G)33,4,125.)(HU,L.,MA,C.,LU0,L.,AND LI,H.2014.Robust hair capture using simulated examples.ACM Transactions on Graphics(TOG)33,4,126.)(HU,L., MA,C.,LUO,L.,WEI,L.-Y.,AND LI,H.2014.Capturing braided hairstyles . ACM Transactions on Graphics(T0G)33,6,225.)，所以不適用于普通用戶，而且要生成大量三 維頭發(fā)模型的話代價(jià)太大。
[0003] 最近基于單幅圖像的頭發(fā)建模技術(shù)取得了令人印象深刻的結(jié)果?，F(xiàn)有技術(shù)使用不 同類型的先驗(yàn)知識(shí)完成建模，如使用圖層邊界和遮擋(CHAI，M.，WANG，L.，WENG，Y.，YU，Y.， GUO,B.,AND ZHOU,K.2012.Single-view hair modeling for portrait manipulation.CM Transactions on Graphics(T0G)31,4,116)(CHAI,M.,WANG,L.,WENG,Y.,JIN,X.,AND ZHOU,K.2013.Dynamic hair manipulation in images and videos.ACM Transactions 〇116抑口11化8(1'06)32,4,75.)，使用三維頭發(fā)模型數(shù)據(jù)庫(kù)（!11]丄.，]\^，(：.，〇]〇，1^，厶冊(cè)1^1， H.2015. Single-view hair modeling using a hairstyle database.ACM Transactions 〇116以口1^。8(1'06)34,4，125.)，以及使用陰影線索（〇^1，]\1.，〇]0，1^，51]疆厶￥厶1^1，1(·， CARR,N.,HADAP,S.,747AND ZHOU,K.2015.High-quality hair modeling from a single portrait photo.ACM Transactions on Graphics(T0G)34,6,204·)。但是這些技術(shù)都需要 不同類型的用戶交互，如需要手動(dòng)將頭發(fā)從圖片中分割出來，或需要用戶提供筆畫提供頭 發(fā)方向信息，或需要用戶畫二維發(fā)束完成搜索。這些用戶交互通常需要5分鐘，而得到最終 結(jié)果需要20分鐘左右，這就限制了大規(guī)模頭發(fā)模型的生成。和上述方法不同，本發(fā)明是全自 動(dòng)，而且效率高，可以處理互聯(lián)網(wǎng)級(jí)別的大量圖片。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供了一種新的全自動(dòng)的基于單幅圖像 的三維頭發(fā)建模方法，通過分層深度卷積神經(jīng)網(wǎng)絡(luò)取得魯棒、高精度的頭發(fā)分割結(jié)果和方 向估計(jì)，再利用數(shù)據(jù)驅(qū)動(dòng)的方法將三維頭發(fā)樣本模型匹配到分割出的頭發(fā)和方向圖，得到 最終的以發(fā)束表達(dá)的頭發(fā)模型。該方法的結(jié)果可媲美當(dāng)前借助用戶交互的方法的結(jié)果，具 有很高的實(shí)用價(jià)值。
[0005] 本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，一種基于單幅圖像的全自動(dòng)三維頭發(fā)建模方 法，包括以下步驟：
[0006] (1)頭發(fā)訓(xùn)練數(shù)據(jù)的預(yù)處理:標(biāo)記頭發(fā)的二維掩碼和生長(zhǎng)方向，并通過無監(jiān)督聚類 方法得到不同發(fā)型的分類。
[0007] (2)全自動(dòng)高精度的頭發(fā)分割方法:基于步驟（1)的標(biāo)記數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)， 利用訓(xùn)練得到的分層深度卷積神經(jīng)網(wǎng)絡(luò)完成頭發(fā)的類型識(shí)別，頭發(fā)的分割和頭發(fā)生長(zhǎng)方向 的估計(jì)；
[0008] (3)三維頭發(fā)樣本的生成和組織:通過對(duì)原始頭發(fā)模型的發(fā)束分解和再組合生成 大量新發(fā)型樣本，并投影生成二維掩碼圖和方向圖，方便后續(xù)匹配；
[0009] (4)數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)建模:將步驟(3)中的三維頭發(fā)樣本和步驟(2)分割出的頭發(fā) 掩碼圖和方向圖進(jìn)行匹配、變形，并生成最終模型；
[0010] 本發(fā)明的有益效果是，本發(fā)明首次提出了基于單幅圖像的全自動(dòng)三維頭發(fā)建模的 方法，借助深度神經(jīng)網(wǎng)絡(luò)完成高精度魯棒的頭發(fā)分割和生長(zhǎng)方向估計(jì)，并借助數(shù)據(jù)驅(qū)動(dòng)的 方法完成高效的頭發(fā)匹配和建模。本發(fā)明取得的效果可媲美當(dāng)今借助用戶交互的方法取得 的效果，自動(dòng)高效，可用于大范圍的互聯(lián)網(wǎng)人像圖片的建模。
【附圖說明】
[0011] 圖1是訓(xùn)練數(shù)據(jù)的標(biāo)記圖；左列：原始圖片沖列:頭發(fā)分割掩碼圖；右列:基于方向 的子區(qū)域分割和方向圖；
[0012] 圖2是發(fā)型識(shí)別、頭發(fā)分割和方向估計(jì)的流程圖；給定頭發(fā)區(qū)域的估計(jì)，首先識(shí)別 發(fā)型的類別，再根據(jù)類別選擇對(duì)應(yīng)的分割網(wǎng)絡(luò)和方向估計(jì)網(wǎng)絡(luò)得到分割掩碼圖和方向圖；
[0013] 圖3是三維頭發(fā)樣本的分割和再組合生成新樣本的過程圖；每行左列:兩個(gè)原始頭 發(fā)樣本;每行右邊三列:分解原始發(fā)束再組合生成的三個(gè)新頭發(fā)樣本；
[0014] 圖4是本發(fā)明自動(dòng)從單幅圖像建模出的三維頭發(fā)結(jié)果圖；每行從左到右：輸入圖 像，自動(dòng)分割的頭發(fā)掩碼圖和方向估計(jì)圖，變形后的匹配頭發(fā)樣本，最終3個(gè)不同視角下的 最終發(fā)束級(jí)別的頭發(fā)模型。
【具體實(shí)施方式】
[0015] 本發(fā)明的核心技術(shù)利用深度神經(jīng)網(wǎng)絡(luò)完成全自動(dòng)的頭發(fā)高精度分割和方向估計(jì)， 并利用數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)匹配方法，完成高質(zhì)量頭發(fā)三維建模。該方法主要分為如下四個(gè)主 要步驟:頭發(fā)訓(xùn)練數(shù)據(jù)的預(yù)處理、基于深度神經(jīng)網(wǎng)絡(luò)的頭發(fā)分割和方向估計(jì)、三維頭發(fā)樣本 的生成和組織、數(shù)據(jù)驅(qū)動(dòng)的三維頭發(fā)建模。
[0016] 1.頭發(fā)訓(xùn)練數(shù)據(jù)的預(yù)處理:標(biāo)記頭發(fā)的二維掩碼和生長(zhǎng)方向，并通過無監(jiān)督聚類 方法得到不同發(fā)型的分類；
[0017] 1.1訓(xùn)練數(shù)據(jù)標(biāo)記：
[0018] 使用兩萬張人像照片作為訓(xùn)練數(shù)據(jù)，這些照片具有清晰可見的人臉和頭發(fā)，并且 具有常見的發(fā)型和足夠的光照亮度。使用?&1的5 616(^1〇11〇^11]，1.，51^，^冊(cè)3!1·，!!.-Y.2009.Paint selection.In ACM Transactions on Graphics(ToG)，vol.28，ACM，69.)樞 圖得到頭發(fā)的二值區(qū)域掩碼Mh。對(duì)于每張照片，將頭發(fā)區(qū)域M h分成數(shù)個(gè)具有一致的平滑變化 的頭發(fā)生長(zhǎng)方向子區(qū)域。對(duì)于每個(gè)子區(qū)域用一個(gè)筆畫標(biāo)記發(fā)束的生長(zhǎng)方向，然后將該方向 傳播到子區(qū)域所有像素，并和在每個(gè)像素上計(jì)算的不定向朝向圖O合在一起產(chǎn)生方向圖D。 最后，將連續(xù)的方向范圍[0,2π)離散化為四個(gè)區(qū)間（[0,0.5π)，[0.531，π)，[π，1.5π)，[1.531， 24)，然后將這四個(gè)標(biāo)記分配給每個(gè)像素得到方向標(biāo)記圖Md。不在頭發(fā)區(qū)域的像素也會(huì)有 一個(gè)標(biāo)記。圖1給出了標(biāo)記頭發(fā)掩碼圖和方向圖的例子。
[0019] 1.2發(fā)型分類計(jì)算
[0020]對(duì)于每個(gè)標(biāo)記的圖片I，首先使用魯棒的人臉對(duì)齊方法(CA0，X.，WEI，Y.，WEN，F(xiàn).， AND SUN,J.2014.Face alignment by explicit shape regression.International Journal of Computer Vision 107,2,177-190.)來檢測(cè)和定位人臉標(biāo)志，再將I匹配到參 考人臉坐標(biāo)系中的Γ，完成大小和正方向的矯正。接著圍繞人臉中心的極坐標(biāo)系統(tǒng)構(gòu)建了 環(huán)形分布直方圖（劃分為M個(gè)區(qū)間，n H=16)。每個(gè)區(qū)間記錄了極角度落在該區(qū)間的頭發(fā)像素 的數(shù)目。歸一化后，該直方圖可被看成圖片的特征向量。最后，基于這些分布特征向量，使用 K-means聚類方法，將訓(xùn)練圖片的發(fā)型分為四類。兩個(gè)直方圖H a、Hb的距離使用Ll范式的 Earth Mover距離（EMD)(LING，H. ,AND 0KADA，K.2007.An efficient earth mover's distance algorithm for robust histogram comparison. Pattern Analysis and Machine Intelligence，IEEE Transactions on 29,5,820 840-853.)計(jì)算。各聚類中心g 是和類內(nèi)其它成員距離之和最小的成員。
[0021] 2.基于深度神經(jīng)網(wǎng)絡(luò)的頭發(fā)分割和方向估計(jì):基于步驟1的標(biāo)記數(shù)據(jù)訓(xùn)練深度神 經(jīng)網(wǎng)絡(luò)，利用訓(xùn)練得到的分層深度卷積神經(jīng)網(wǎng)絡(luò)完成頭發(fā)的類型識(shí)別，頭發(fā)的分割和頭發(fā) 生長(zhǎng)方向的估計(jì);算法流程如圖2所示。
[0022] 2.1頭發(fā)區(qū)域的估計(jì)
[0023]給定一張人像照片，首先使用步驟1.2中的人臉對(duì)齊方法檢測(cè)一系列人臉特征點(diǎn)， 將該照片對(duì)齊到參考人臉坐標(biāo)系。接著，對(duì)于每一類發(fā)型分布，挑選20個(gè)典型的頭發(fā)包圍 盒，通過旋轉(zhuǎn)和縮放對(duì)齊到照片的人臉區(qū)域，產(chǎn)生一組候選頭發(fā)區(qū)域。典型的頭發(fā)包圍盒是 通過將每一類頭發(fā)的包圍盒預(yù)聚類產(chǎn)生。這些候選區(qū)域?qū)⒈徊眉?，并?dú)立傳給后續(xù)識(shí)別器 進(jìn)行發(fā)型識(shí)別。
[0024] 2.2發(fā)型識(shí)別，頭發(fā)分割和方向估計(jì)
[0025]基于步驟2.1得到的頭發(fā)區(qū)域，進(jìn)行發(fā)型識(shí)別。發(fā)型識(shí)別是使用R-CNN的深度卷積 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（GIRSHICK，R.，D0NAHUE，J.，DARRELL，T. ,AND MALIK，J.2014.Rich feature hierarchies for accurate object detection and semantic segmentation. In Computer Vision and Pattern Recognition(CVPR),2014IEEE Conference on, IEEE, 580-587.)，并在步驟I. I標(biāo)記好的頭發(fā)訓(xùn)練數(shù)據(jù)上進(jìn)行進(jìn)一步學(xué)習(xí)。得到發(fā)型的類別后，進(jìn) 行頭發(fā)區(qū)域的分割和方向估計(jì)。頭發(fā)分割和頭發(fā)方向估計(jì)都是基于公共的深度神經(jīng)網(wǎng)絡(luò) VGG16設(shè)計(jì)的（SIM0NYAN，K. ,AND ZISSERMAN，A.2014.Very deep convolutional networks for large-scale image recognition · arXivpreprint859arXiv: 1409 · 1556 ·)，該網(wǎng)絡(luò)是 在公共數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的識(shí)別1000種類別的分類網(wǎng)絡(luò)，本發(fā)明在此基礎(chǔ)上做了改 動(dòng)使得網(wǎng)絡(luò)的輸出是每個(gè)像素的標(biāo)記(分割器的輸出標(biāo)記數(shù)是2,方向估計(jì)器的輸出標(biāo)記數(shù) 是5)。首先，最后兩層的2X2的max-pooling層被去除，以提高網(wǎng)絡(luò)的層分辨率，而且跟隨卷 積層之后的接受域也分別從3 X 3和7 X 7擴(kuò)展為5 X 5和25 X 25(用0填充）。其次，所有的全連 接層被換成了卷基層，這樣可以讓單一識(shí)別網(wǎng)絡(luò)和本發(fā)明的逐像素標(biāo)記的分割器兼容。第 三，在訓(xùn)練階段，損失層在整張圖像上計(jì)算了輸出標(biāo)記和人工標(biāo)注標(biāo)記間的交叉熵之和（由 于VGG16中有三個(gè)max-pooling層，圖像的分辨率降采樣了八倍）。最后，在測(cè)試階段，通過雙 線性差值將輸出的標(biāo)記圖升采樣到原圖片大小，并使用全連接的CRF進(jìn)行改善。
[0026]本發(fā)明在訓(xùn)練和測(cè)試階段的圖像大小均為512X512。在測(cè)試階段，給定人像照片 I，人臉檢測(cè)器首先將圖像對(duì)齊到人臉坐標(biāo)系中并產(chǎn)生圍繞人臉的一組頭發(fā)區(qū)域估計(jì)。然后 發(fā)型識(shí)別網(wǎng)絡(luò)測(cè)試每個(gè)候選區(qū)域，選擇得分最高的作為類型作為頭發(fā)的發(fā)型類別。對(duì)應(yīng)于 此類別的頭發(fā)分割網(wǎng)絡(luò)和方向估計(jì)網(wǎng)絡(luò)會(huì)依次施加到I上。分割網(wǎng)絡(luò)的輸出是和I相同大小 的頭發(fā)分割掩碼此（帶有一個(gè)alpha通道），而方向估計(jì)網(wǎng)絡(luò)的輸出是一個(gè)等大小的方向標(biāo) 記圖，該圖會(huì)和不定向朝向圖結(jié)合在一起生成最終的方向圖D:。
[0027] 3.三維頭發(fā)樣本的生成和組織:通過對(duì)原始頭發(fā)模型的發(fā)束分解和再組合生成大 量新發(fā)型樣本，并投影生成二維掩碼圖和方向圖，方便后續(xù)匹配；
[0028] 3.1預(yù)處理
[0029]搜集300個(gè)不同發(fā)型的三維模型{H}。所有的模型已經(jīng)被對(duì)齊到同一個(gè)參考人頭模 型，并且由大量的獨(dú)立薄多邊形發(fā)束{SH}組成。每個(gè)發(fā)束代表一縷生長(zhǎng)一致的頭發(fā)，生長(zhǎng)方 向被編碼在參數(shù)化紋理坐標(biāo)中。對(duì)于每一個(gè)模型做進(jìn)一步處理以提升模型質(zhì)量:對(duì)于沒有 連接在頭皮上的發(fā)束，尋找連接頭皮的且和這些發(fā)束最近的發(fā)束，將它們平滑連接起來形 成更長(zhǎng)的發(fā)束，連接到頭皮上;對(duì)于過粗的發(fā)束(超過人頭半徑的十分之一），均勻?qū)⑦@些發(fā) 束沿著生長(zhǎng)方向分成兩組發(fā)束，知道發(fā)束的寬度達(dá)到要求。
[0030] 3.2樣本的生成
[0031] 將步驟3.1得到的三維頭發(fā)樣本分解成不同的發(fā)束組，首先使用簡(jiǎn)化的內(nèi)部表達(dá) 來表示每個(gè)發(fā)束{SJ，即用穿過發(fā)束中心的均勻劃分的折線{ρ?,&，...，<丨和平均半徑口表 示。接著對(duì)于每個(gè)頭發(fā)模型，將它的發(fā)束聚類成不同的發(fā)束組，發(fā)束間的距離定義為：
[0032]
[0033] 其中Sa、Sb是發(fā)束，na、nb是發(fā)束的折線數(shù)目，乂、#是折線，發(fā)束的平均半 徑。每個(gè)頭發(fā)模型被分解成十個(gè)發(fā)束組左右，并將這些發(fā)束組組合起來生成更多的新樣本。 圖3給出了頭發(fā)樣本分解和再組合生成新樣本的例子。
[0034] 3.3樣本的組織
[0035] 生成新的樣本后，本發(fā)明按照樣本正視圖的頭發(fā)掩碼面積的大小，升序?qū)⑺心?型組織起來。為了進(jìn)一步提升匹配效率，進(jìn)一步地為每個(gè)頭發(fā)樣本H生成兩個(gè)投影圖：
[0036] 頭發(fā)區(qū)域掩碼圖它是頭發(fā)樣本的二維投影的掩碼圖。為了避免雜散發(fā)束的影 響，本發(fā)明使用高斯濾波來平滑處理掩碼圖。
[0037] 方向圖本發(fā)明使用顏色來表示投影的頭發(fā)方向，即用方向向量的XYZ表示RGB 三通道的值。這樣可繪制出頭發(fā)樣本的二維投影的方向圖。
[0038]為了處理非正面視角，本發(fā)明在偏航角和俯仰角的[-V4，Jt/4]范圍內(nèi)均勻采樣6 個(gè)角度。這樣每個(gè)樣本會(huì)有6X6組頭發(fā)掩碼圖和方向圖。為了后續(xù)的匹配計(jì)算效率，所有的 圖都降采樣到100 X 100。
[0039] 4.數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)建模:將步驟3中的三維頭發(fā)樣本和步驟2分割出的頭發(fā)掩碼圖 和方向圖進(jìn)行匹配、變形，并生成最終模型；
[0040] 4.1基于圖像的三維頭發(fā)樣本匹配
[0041] 使用步驟2.2得到頭發(fā)掩碼圖和方向圖來選擇一組合適的三維樣本。通過兩步比 較來完成快速的大量數(shù)據(jù)樣本的搜索：
[0042] 面積比較:首先根據(jù)臉部特征點(diǎn)，將輸入圖像對(duì)齊到樣本投影圖的坐標(biāo)系中。然后 比較輸入圖像的頭發(fā)掩碼面積IM11和樣本投影的頭發(fā)掩碼面積I Mh I。樣本的掩碼面積在 (〇.8IM11，1.25 ImiI)范圍內(nèi)得以保留。
[0043] 圖像匹配:對(duì)于每一個(gè)通過第一步比較的樣本，本發(fā)明進(jìn)一步將樣本的頭發(fā)掩碼 圖和方向圖(Μ；；,/);)與輸入圖像的頭發(fā)掩碼圖和方向圖(M;/)；：)進(jìn)行比較。如果輸入圖像 不是正面圖，本發(fā)明從預(yù)計(jì)算的6X6組樣本投影圖中挑選出視角最接近的圖進(jìn)行比較。頭 發(fā)掩碼圖的比較是基于Mi邊界的距離場(chǎng)<(BALAN，A.0.，SIGAL，L.，BLACK，M. J.，DAVIS， J.E.,AND HAUSSECKER,H.ff.2007.Detailed human shape and pose from images. In Computer Vision and Pattern Recognition，2007.CVPR'07.IEEE Conference on,IEEE, 1_8.)講彳丁計(jì)覚：
[0044]

[0045] 其中分別是樣本的頭發(fā)掩碼圖和輸入圖像的頭發(fā)掩碼圖，表示 兩個(gè)掩碼間的對(duì)稱差，W/(/)是距離場(chǎng)的值。方向圖的距離定義為像素的方向差d de[0，ji) 的和：
[0046]
[0047] 其中，戌,D;分別是樣本的方向圖和輸入圖像的方向圖，財(cái)；。M;是兩個(gè)掩碼圖 的重疊區(qū)域，是重疊區(qū)域的像素?cái)?shù)目，尤(％(〇, A、))是重疊的像素的方向差。最后 保留滿足和冬(成,貧）<0.5的樣本作為最終候選樣本{H}。
[0048] 4.2頭發(fā)變形
[0049] 首先進(jìn)行樣本頭發(fā)掩碼圖和輸入圖像的掩碼圖的邊界匹配。對(duì)于每個(gè)候選樣本H， 首先將它變換到I中臉的姿勢(shì)，然后按照步驟3.3的方法渲染得到頭發(fā)掩碼和方向圖（Mh， Dh)。這里渲染圖的分辨率和輸入圖一樣，而不是降采樣的小圖。然后分別在掩碼Mh/M〗的邊 界分別均勻采樣200/2000個(gè)點(diǎn){Ρ^ΛΡ 1}。對(duì)于每個(gè)邊界點(diǎn)P1fVP11,將它的位置標(biāo)記為 ，/太，向外法向標(biāo)記為W。計(jì)算邊界間的點(diǎn)對(duì)點(diǎn)對(duì)應(yīng)MQpHHiP 1})。對(duì)于候選模型的 頭發(fā)掩碼邊界的每個(gè)點(diǎn)P1H，它在輸入頭發(fā)掩碼邊界的最優(yōu)對(duì)應(yīng)點(diǎn)通過優(yōu)化如下匹配能 量方程求得：
[0050]
[0051] 其中Ep和Ee是衡量點(diǎn)匹配和邊匹配的能量項(xiàng)。Ep希望點(diǎn)對(duì)的位置和法向盡可能接 近，權(quán)重λη的值為10;E e希望映射M盡可能維持原邊界的長(zhǎng)度：
[0052]
[0053]
[0054] 其中是候選樣本的頭發(fā)掩碼圖的邊界點(diǎn)位置，i4(i)是它在輸入頭發(fā)掩碼邊界 的最優(yōu)對(duì)應(yīng)點(diǎn)位置，《f，分別是/f和的法向，權(quán)重，/4, /4/+?分別是和 的相鄰的采樣點(diǎn)。上述能量方程在隱式馬爾科夫模型（HMM)框架下，使用經(jīng)典的 Viterbi算法（FORNEY JR，G.D.1973.The viterbi algorithm.Proceedings of the IEEE 61,3,268-278)求解。
[0055] 邊界匹配后，進(jìn)一步通過全局平滑映射函數(shù)W(Mh^Mi)將邊界的對(duì)應(yīng)擴(kuò)散到Mh的所 有像素。該函數(shù)使用了Thin-Plate-Spline(TPS)算法：
[0056]
[0057] 其中是在輸入圖像I中的對(duì)應(yīng)位置C3Ef(W)是對(duì)應(yīng)矩陣W的二階偏導(dǎo)的 Frobenius 范式。權(quán)重 λ= 1〇〇〇。
[0058] 最后誦忖下而的優(yōu)化函數(shù)將候詵樣太樟型H的每個(gè)頂點(diǎn)V變形到目標(biāo)ν' ：
[0059]
[0060]其中Vh是樣本H的所有頂點(diǎn)。W(Vi)是Vi的對(duì)應(yīng)位置，它的XY坐標(biāo)由上述全局平滑映 射函數(shù)W得到，而保持Z坐標(biāo)不變?！魇腔谟嗲泻瘮?shù)的離散網(wǎng)格拉普拉斯操作符(DESBRUN， Μ.,MEYER,M.,SCHRODER,Ρ.,AND BARR,A.Η.1999.Implicit fairing of irregular meshes using diffusion and curvature flow.In Proceedings of ACM SIGGRAPH,317-324.) ",是原模型H上的頂點(diǎn)^的拉普拉斯坐標(biāo)的大小。權(quán)重As = l。該優(yōu)化函數(shù)可以使用非 精確高斯牛頓方法求解(HUANG ,SHI ,X. ,LIU，X. ,ZHOU,K. ,WEI ,L.-Y· ,TENG,S.-Η. ,ΒΑ0, H.,GU0,B-,AND SHUM,H.-Y.2006. Subspace gradient domain mesh deformation.ACM Trans.Graph.25,3(July)，1126-1134.)。經(jīng)過變形后，可以得到與輸入圖像匹配更好的頭 發(fā)樣本IH'}。
[0061 ] 4.3最終頭發(fā)生成
[0062]對(duì)于步驟4.2變形得到的候選樣本{H'}，在全像素圖上進(jìn)行最終方向圖的比較(比 較函數(shù)和步驟4.1 一致），并挑選方向圖匹配最好的模型H*來生成最終頭發(fā)模型。接著將H* 在整個(gè)模型的包圍盒內(nèi)轉(zhuǎn)化為三維方向體表達(dá)，再以H*的方向向量和頭皮區(qū)域的表面法向 作為約束，將方向擴(kuò)散到整個(gè)體內(nèi)。然后以體方向場(chǎng)為引導(dǎo)，在頭皮上均勻采樣種子生成 10000個(gè)發(fā)束。最后，將這些發(fā)束根據(jù)生長(zhǎng)方向估計(jì)圖進(jìn)行變形得到最終頭發(fā)模型(HU，L.， MA,C.,LUO,L.,AND LI,Η.2015.Single-view hair modeling using a hairstyle database.ACM Transactions on Graphics(T0G)34,4,125·)。圖4給出了從單幅圖像生成 最終頭發(fā)模型的例子。
[0063] 實(shí)施實(shí)例
[0064] 發(fā)明人在一臺(tái)配備Intel Core i7-3770中央處理器，NVidia GTX970圖形處理器 及32GB內(nèi)存的機(jī)器上實(shí)現(xiàn)了本發(fā)明的實(shí)施實(shí)例。發(fā)明人采用所有在【具體實(shí)施方式】中列出的 參數(shù)值，得到了附圖中所示的所有實(shí)驗(yàn)結(jié)果。本發(fā)明可以有效地從大量英特網(wǎng)圖片中生成 多種發(fā)型的三維模型，這些發(fā)束級(jí)別的三維模型很好地匹配了輸入的圖像。對(duì)于一張典型 的800X800圖像，整個(gè)處理流程可在1分鐘之內(nèi)完成:頭發(fā)分割和方向估計(jì)少于3秒，三維頭 發(fā)樣本的匹配和變形大概需要20秒，最終發(fā)束生成少于30秒。在準(zhǔn)備訓(xùn)練數(shù)據(jù)方面，處理一 張圖片需要平均1分鐘;原始三維頭發(fā)樣本的分解和再生成需要少于10小時(shí);而神經(jīng)網(wǎng)絡(luò)的 訓(xùn)練大概需要8小時(shí)。
【主權(quán)項(xiàng)】
1. 一種基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法，其特征在于，包括以下步驟： (1) 頭發(fā)訓(xùn)練數(shù)據(jù)的預(yù)處理:標(biāo)記頭發(fā)掩碼和頭發(fā)生長(zhǎng)方向圖，并通過無監(jiān)督聚類方法 得到不同發(fā)型的分類。 (2) 全自動(dòng)高精度的頭發(fā)分割和方向估計(jì)方法:基于步驟1的標(biāo)記數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng) 絡(luò)，利用訓(xùn)練得到的分層深度卷積神經(jīng)網(wǎng)絡(luò)完成頭發(fā)的類型識(shí)別，頭發(fā)的分割和頭發(fā)生長(zhǎng) 方向的估計(jì)。 (3) 三維頭發(fā)樣本的生成和組織:通過對(duì)原始頭發(fā)模型的發(fā)束分解和再組合生成大量 新發(fā)型樣本，并投影生成頭發(fā)掩碼圖和方向圖，方便后續(xù)匹配。 (4) 數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)建模:將步驟3中的三維頭發(fā)樣本和步驟2分割出的頭發(fā)掩碼圖和 方向圖進(jìn)行匹配、變形，并生成最終模型。2. 根據(jù)權(quán)利要求1所述的基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法，其特征在于，所述 步驟1包括如下子步驟： (1.1) 從英特網(wǎng)下載大量包含頭發(fā)的人像圖片，標(biāo)記出頭發(fā)掩碼和頭發(fā)生長(zhǎng)方向圖。 (1.2) 利用步驟1.1中得到的頭發(fā)標(biāo)記數(shù)據(jù)，計(jì)算各種發(fā)型的分布特征，進(jìn)行聚類。3. 根據(jù)權(quán)利要求1所述的基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法，其特征在于，所述 步驟2包括如下子步驟： (2.1) 對(duì)輸入圖像中的頭發(fā)區(qū)域進(jìn)行自動(dòng)估計(jì)。 (2.2) 基于步驟2.1得到的頭發(fā)區(qū)域，利用深度神經(jīng)網(wǎng)絡(luò)R-CNN進(jìn)行發(fā)型類別的識(shí)別。 (2.3) 基于步驟2.2得到的頭發(fā)類型選擇對(duì)應(yīng)的分割神經(jīng)網(wǎng)絡(luò)進(jìn)行將頭發(fā)從圖片中分 割出來，得到頭發(fā)掩碼圖。 (2.4) 基于步驟2.2得到的頭發(fā)類型選擇對(duì)應(yīng)的方向估計(jì)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)對(duì)應(yīng)頭發(fā)的方 向圖。4. 根據(jù)權(quán)利要求1所述的基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法，其特征在于，所述 步驟3包括如下子步驟： (3.1) 將原始三維頭發(fā)模型的發(fā)束進(jìn)行分解，再混合分解的發(fā)束生成新頭發(fā)樣本。 (3.2) 將步驟3.1得到的頭發(fā)樣本投影生成頭發(fā)掩碼圖和方向圖，方便后續(xù)匹配。5. 根據(jù)權(quán)利要求1所述的基于單幅圖像的全自動(dòng)三維頭發(fā)建模方法，其特征在于，所述 步驟4包括如下子步驟： (4.1) 將步驟2中分割出的頭發(fā)掩碼圖和生長(zhǎng)方向圖，與步驟3中的樣本投影生成的頭 發(fā)掩碼圖和生長(zhǎng)方向圖進(jìn)行匹配，挑選一組合適的樣本。 (4.2) 將步驟4.1的頭發(fā)樣本進(jìn)行變形，更好地匹配圖像中的頭發(fā)。 (4.3) 將步驟4.2得到的變形樣本按照步驟4.1的方法進(jìn)行方向圖的匹配，挑選最佳樣 本生成最終頭發(fā)模型。
【文檔編號(hào)】G06T17/00GK105844706SQ201610244614
【公開日】2016年8月10日
【申請(qǐng)日】2016年4月19日
【發(fā)明人】周昆, 柴蒙磊
【申請(qǐng)人】浙江大學(xué)