一種面向大規(guī)模三維重建的圖像分塊方法及裝置的制造方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及一種圖像分塊方法及裝置，特別涉及一種面向大規(guī)模三維重建的圖像 分塊方法及裝置，屬于圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】：
[0002] 物體或者環(huán)境的三維重建多年以來(lái)一直是計(jì)算機(jī)視覺(jué)的研宄重點(diǎn)和熱點(diǎn)之一，三 維重建的目標(biāo)是將二維圖像轉(zhuǎn)化為三維的立體圖像，目前用攝像機(jī)等儀器記錄下來(lái)的一般 是二維的信息，而我們?nèi)粘Ｋ幍沫h(huán)境是三維的，僅保留二維信息已經(jīng)不能滿足現(xiàn)代化生 產(chǎn)的快速發(fā)展和需求，物體或者場(chǎng)景的三維重建技術(shù)變得越來(lái)越重要，高度仿真的三維建 模技術(shù)正逐漸適用于各種可視化和模擬場(chǎng)景之中，它能夠應(yīng)用在減少設(shè)計(jì)費(fèi)用和縮短設(shè)計(jì) 周期等各個(gè)方面，并且能夠?yàn)樯鐣?huì)生活創(chuàng)造出巨大的經(jīng)濟(jì)效益。因此，三維建模前景十分有 趣又誘人，可以應(yīng)用到很多領(lǐng)域，有著很高的研宄和利用價(jià)值。目前比較流行的一種三維重 建技術(shù)是基于二維圖像的，當(dāng)某一場(chǎng)景的大量圖像數(shù)據(jù)用于三維重建時(shí)，我們主要面臨兩 個(gè)問(wèn)題：首先是圖像的質(zhì)量問(wèn)題，不同設(shè)備和條件下拍攝的圖像質(zhì)量各異，存在不少噪聲過(guò) 大或者與其他圖像相關(guān)性不高，對(duì)整個(gè)重建并無(wú)意義的圖像，強(qiáng)行加入重建序列只會(huì)增加 整個(gè)重建過(guò)程的計(jì)算量，而且可能會(huì)重建出大量噪聲點(diǎn)，從而影響重建精度；另一個(gè)問(wèn)題是 三維重建算法本身固有的難題，就是隨著圖像數(shù)目的增加，重建算法的計(jì)算量呈現(xiàn)指數(shù)級(jí) 別增長(zhǎng)，過(guò)多的圖像加入重建可能會(huì)導(dǎo)致重建時(shí)間相當(dāng)長(zhǎng)，難以在實(shí)際系統(tǒng)中進(jìn)行應(yīng)用。

【發(fā)明內(nèi)容】
：
[0003] 本發(fā)明的目的是針對(duì)以上問(wèn)題，提出一種面向大規(guī)模三維重建的圖像分塊方法， 在進(jìn)行三維重建前將圖像進(jìn)行分塊預(yù)處理，形成一系列質(zhì)量和重建效率都能有顯著改善 的圖像子集合。
[0004] 根據(jù)測(cè)試，圖像數(shù)目在大約50張的時(shí)候重建效率和效果能夠達(dá)到較好的狀態(tài)，即 可用較少的時(shí)間代價(jià)重建出效果不錯(cuò)的三維模型。而圖像在太少的時(shí)候根本不能重建出模 型，可以直接視為噪聲圖像。當(dāng)圖像太多時(shí)重建效果雖然好，但是重建效率低下。因此，本 發(fā)明的思想就是將整個(gè)圖像集合進(jìn)行自適應(yīng)聚類，生成一系列數(shù)量較小的子集，當(dāng)集合中 圖像數(shù)目過(guò)少時(shí)視為噪聲圖像，可以直接丟棄；當(dāng)圖像數(shù)目過(guò)大時(shí)，迭代分割，直至滿足能 夠快速重建的條件。這樣得出的每個(gè)圖像聚類可以理解為某一場(chǎng)景的圖像序列，能夠?qū)?dāng) 前覆蓋的場(chǎng)景重建出來(lái)。只要滿足圖像集合間有重疊區(qū)域的條件，后續(xù)便可將整個(gè)大場(chǎng)景 整合成一個(gè)整體的場(chǎng)景。
[0005] 本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0006] -種面向大規(guī)模三維重建的圖像分塊方法，包括以下步驟：
[0007] 步驟一、對(duì)于輸入的圖像集合根據(jù)圖像間的匹配程度求出相似度矩陣；
[0008] 步驟二、根據(jù)相似度矩陣通過(guò)以下步驟進(jìn)行譜聚類：
[0009] 步驟2. 1根據(jù)相似度矩陣通過(guò)下述過(guò)程進(jìn)行譜聚類：
[0010] 步驟2. 1. 1利用相似度矩陣C根據(jù)下式計(jì)算對(duì)應(yīng)的GraphLaplaction矩陣L，并 對(duì)L做特征分解：
[0011] L=I-D_1C,D=diag(d^d2, . . .dn),
【主權(quán)項(xiàng)】
1. 一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于，包括以下步驟： 步驟一、對(duì)于輸入的圖像集合根據(jù)圖像間的匹配程度求出相似度矩陣； 步驟二、根據(jù)相似度矩陣通過(guò)以下步驟進(jìn)行譜聚類： 步驟2. 1根據(jù)相似度矩陣通過(guò)下述過(guò)程進(jìn)行譜聚類： 步驟2. 1. 1利用相似度矩陣C通過(guò)下式計(jì)算對(duì)應(yīng)的GraphLaplaction矩陣L，并對(duì)L做特征分解： L=I-D_1C,D=diag(d1,d2,. . .dn),di =^,=iC^； 其中，I表示單位矩陣，表示D的逆矩陣，diag表示對(duì)角矩陣； 步驟2. 1. 2根據(jù)輸入圖像數(shù)目以及以下原則確定分類數(shù)m:如果是首次譜聚類，分類數(shù) 通過(guò)譜間隙確定，如果是遞歸進(jìn)行的譜聚類，分類數(shù)由公式m= (n+20)/50確定，其中m為 分類數(shù)，n為當(dāng)前圖像集中圖像數(shù)目； 步驟2. 1.3嵌入映射：將矩陣L的特征值按照升序排列，取前k個(gè)最大的特征 屯，d2, . . .，dk，得到對(duì)應(yīng)的k個(gè)特征向量構(gòu)成的特征矩陣X=(Xpx2, . . .，xk)，該特征矩陣的 每一行可以視為每張圖像映射到RnXk空間的一個(gè)像；其中，k為預(yù)設(shè)的值； 步驟2. 1. 4將特征矩陣X的行向量歸一化為單位向量，得到歸一化后的矩陣Y; 步驟2. 1. 5對(duì)映射的像根據(jù)分類數(shù)m使用聚類方法將n個(gè)圖像劃分到m個(gè)類中； 步驟2. 2迭代譜聚類：對(duì)經(jīng)過(guò)步驟2. 1得到的聚類結(jié)果進(jìn)行如下判定： 假設(shè)當(dāng)前子類中的圖像數(shù)目為a，THRdPTHR2分別為預(yù)設(shè)的圖像數(shù)目閾值，則：
1. 如果a<THRi，則將當(dāng)前子類中的所有圖像歸入不確定集合中； ii. 如果THRiSa<THR2，則當(dāng)前子類為一個(gè)分好類的集合； iii. 如果a>THR2，則當(dāng)前子類過(guò)大，對(duì)當(dāng)前子類所有圖像根據(jù)步驟一結(jié)果抽取對(duì)應(yīng) 圖像間相似度值構(gòu)成新的相似度矩陣C，然后對(duì)當(dāng)前子類繼續(xù)執(zhí)行步驟2. 1進(jìn)行遞歸譜聚 類； 步驟三、對(duì)不確定集合中的每一個(gè)圖像Ii搜索其與已經(jīng)分好類集合中圖像I」的最大相 似度C。，如果Cu大于預(yù)設(shè)的閾值THR3，則將1激入圖像I/斤在的集合中，反之直接丟棄。
2. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟一進(jìn)一步通過(guò)以下過(guò)程得到相似度矩陣： 首先，對(duì)所有圖像進(jìn)行SIFT特征提取、匹配，求出所有不同圖像對(duì)之間的仿射矩陣； 然后，根據(jù)仿射矩陣求出NXN維圖像間的相似度矩陣C，N為圖像數(shù)目；矩陣元素h表 示圖像對(duì)idPL之間的相似性，其值通過(guò)下述公式計(jì)算：
其中示圖像I亦大小，Su表示圖像對(duì)I和I」之間的相似區(qū)域面積，通過(guò)圖像Ii關(guān)于圖像L的仿射矩陣Hu將Ii映射到圖像1上，然后求出相似面積S#
3. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟2. 1.4對(duì)特征矩陣X進(jìn)行歸一化得到矩陣Y，矩陣Y中元素的值通過(guò)下述公式進(jìn)行計(jì) 算：
其中，iG[l，n]，jG[LkhXijPYij分別表示特征矩陣X和矩陣Y的第i行第j列 元素的值。
4. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟2. 1. 5采用模糊C均值聚類法進(jìn)行聚類，具體過(guò)程如下： 步驟2. 1.5. 1在區(qū)間（0，1)隨機(jī)初始化向量集Y= (71，72，...，71/的隸屬度矩陣仏 使其滿足
步驟2. 1. 5. 2通過(guò)下面的公式算出整個(gè)向量集的m個(gè)聚類中心：
其中，UijG[〇, 1]，Ci=[cn,c2i，…，cki]為第i個(gè)聚類簇 中心，iG[1，m]，yj= [yji，y」2,…，y」k]為向量集Y的第個(gè)行向量，dij= 11cj-yi11為第j個(gè)聚類中心到第i個(gè) 歸一化特征向量的距離，〇e[1，〇〇)是一個(gè)加權(quán)系數(shù)； 步驟2. 1. 5. 3對(duì)下面公式中的能量函數(shù)進(jìn)行計(jì)算，如果能量函數(shù)值小于預(yù)設(shè)閾值THRd， 或者相對(duì)于上一次計(jì)算得到的能量值的變化小于預(yù)設(shè)閾值THR。，則結(jié)束；否則，轉(zhuǎn)到步驟 2. 1. 5. 2根據(jù)更新的隸屬度矩陣U更新聚類中心；
5. 根據(jù)權(quán)利要求4所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：〇 =1. 5〇
6. 根據(jù)權(quán)利要求4所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于： THRd= 0. 02,THRe= 0. 0001。
7. 根據(jù)權(quán)利要求1-6任一所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在 于：THRi: 30,THR2= 80。
8. -種面向大規(guī)模三維重建的圖像分塊裝置，其特征在于：包括直接相連的相似度矩 陣計(jì)算模塊和圖像聚類模塊；所述相似度矩陣計(jì)算模塊用于計(jì)算圖像集中任意兩張圖像的 相似度，然后得到相似度矩陣，所述圖像聚類模塊用于根據(jù)相似度矩陣自適應(yīng)地將圖像分 類。
9. 根據(jù)權(quán)利要求8所述的一種面向大規(guī)模三維重建的圖像分塊裝置，其特征在于：所 述圖像聚類模塊由譜聚類單元和不確定圖像歸類單元，譜聚類單元通過(guò)譜聚類算法對(duì)圖像 集合進(jìn)行歸類，同時(shí)將不確定圖像歸入不確定集合中，然后由不確定圖像歸類單元對(duì)這些 圖像按照權(quán)利要求1所述步驟三的規(guī)則進(jìn)行進(jìn)一步的分類。
【專利摘要】本發(fā)明涉及一種面向大規(guī)模三維重建的圖像分塊方法，屬于圖像處理技術(shù)領(lǐng)域；包括以下步驟：首先利用圖像間的特征匹配關(guān)系進(jìn)行圖像整體相似性度量，生成圖像間相似度矩陣；然后引入譜聚類思想：首先利用譜分析將圖像集中的每一個(gè)元素映射到利于聚類分析的高維空間，然后利用模糊聚類算法將整個(gè)圖像集合分成若干個(gè)簇，同時(shí)對(duì)每張圖像計(jì)算屬于各簇的隸屬度；最后通過(guò)對(duì)分類結(jié)果的分析處理，在自動(dòng)生成一系列三維重建效率較高的圖像子集合的同時(shí)，將與其它圖像相似性較低的圖像以噪聲的形式予以剔除。對(duì)比現(xiàn)有技術(shù)，應(yīng)用本發(fā)明方法能夠有效降低三維重建的計(jì)算量，提高三維重建效率；同時(shí)，還能夠有效剔除噪聲圖像，降低噪聲圖像對(duì)三維重建時(shí)的干擾。
【IPC分類】G06T17-00, G06K9-62
【公開(kāi)號(hào)】CN104809478
【申請(qǐng)?zhí)枴緾N201510249022
【發(fā)明人】黃華, 劉洪 , 張磊
【申請(qǐng)人】北京理工大學(xué)深圳研究院, 北京理工大學(xué)
【公開(kāi)日】2015年7月29日
【申請(qǐng)日】2015年5月15日