一種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法
【專利摘要】本發(fā)明提供了一種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法，屬于計算機視覺、統(tǒng)計學習、模式識別技術領域。首先采用在特定任務數(shù)據(jù)集下做過遷移學習的深層卷積神經(jīng)網(wǎng)絡提取圖像的局部特征，然后進一步利用空間均值池化和協(xié)方差描述子對提取的圖像局部特征進行建模。為了能夠魯棒的估計高維協(xié)方差描述子，本發(fā)明提出了改進的最大似然估計法。通過對空間均值池化模型和協(xié)方差描述子進行加權融合得到最終的圖像表達。為了比較兩幅圖像的圖像表達，提出了基于最大間隔子空間的低秩測度學習方法。一方面降低了圖像表達的維度以提高圖像匹配效率，另一方面可以依據(jù)特定任務數(shù)據(jù)集的先驗信息提高圖像匹配準確率。
【專利說明】
一種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法
技術領域
[0001] 本發(fā)明涉及到計算機視覺、統(tǒng)計學習、模式識別技術領域，提出了一種針對大規(guī)模 數(shù)據(jù)背景下可以適用于真實復雜場景的快速有效的圖像檢索方法。
【背景技術】
[0002] 早期的圖像檢索技術主要是基于關鍵字的搜索，用戶通過輸入對查詢圖像的描 述，在檢索數(shù)據(jù)庫中找到相應的檢索結果。隨著互聯(lián)網(wǎng)和大數(shù)據(jù)時代的到來，基于關鍵字的 圖像檢索技術已不能適用于海量內容、實時擴展的檢索數(shù)據(jù)庫。因此，基于內容的圖像檢索 技術在當前大型的搜索引擎中有著日益廣泛的應用?；趦热莸膱D像檢索是指用戶提供查 詢圖像，檢索算法計算圖像特征表達，在檢索庫中搜索相似的圖像內容并返回結果的檢索 技術。
[0003] 基于內容的圖像檢索技術的難點在于如何設計算法提取圖像特征表達與如何度 量圖像表達之間的相似性。由于圖像采集過程中的光照、拍攝角度與尺度等方面的變化，圖 像變化顯著且不可控。尤其是在大數(shù)據(jù)背景下真實圖像數(shù)據(jù)分布往往十分復雜，這對圖像 檢索任務帶來極大的困難與挑，直接導致了當前存在的一些檢索方法的檢索準確率低，效 率不佳。此外，大規(guī)模檢索問題對算法的效率的要求很高。因此，設計一種具有魯棒性和辨 別能力的圖像表達與快速有效的距離度量算法用于大規(guī)模圖像檢索是本發(fā)明的目標所在。
[0004] 近年來，隨著對深度學習技術的研究愈發(fā)成熟，深層卷積神經(jīng)網(wǎng)絡（CNN， Convolutional Neural Networks)在計算機視覺中的應用也越來越廣泛。當前圖像檢索領 域中領先的方法基本都采用了深度學習技術。例如Babenko等人在文獻[Babenko A， Slesarev A,Chigorin A,et al.Neural codes for image retrieval[C],ECCV 2014: 584-599]中提出針對特定的圖像檢索任務(如場景或地標建筑檢索），構建相似的圖像數(shù)據(jù) 集，在該數(shù)據(jù)集上訓練CNN模型。該研究表明了針對特定任務對CNN模型進行迀移學習的重 要性。2015年，他們在文獻[Babenko A，Lempitsky V.Aggregating Deep Convolutional Features for Image Retrieval[C]，ICCV 2015]中提出使用經(jīng)過預訓練的CNN模型中全連 接層的輸出作為圖像的局部特征，使用平均聚合(Average Poo 1 ing)方法得到圖像的表達 向量。該方法雖然效率很高，但是忽略了圖像局部特征對應圖像塊的空間位置分布，在復雜 背景的圖像檢索問題上不夠魯棒。此外，簡單的平均聚合只使用了特征的一階信息，并沒有 考慮具有更豐富信息的高階表達，如二階的協(xié)方差描述子建模。
[0005] 基于上述的圖像檢索的挑戰(zhàn)與困難以及現(xiàn)有工作的不足之處，本發(fā)明從提取圖像 表達與度量圖像相似性兩方面入手，提出了一種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索 方法。

【發(fā)明內容】

[0006] 本發(fā)明提出了一種針對大規(guī)模數(shù)據(jù)背景下可以適用于真實復雜場景的快速有效 的圖像檢索方法。
[0007] 本發(fā)明的技術方案：
[0008] -種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法，步驟如下：
[0009] 步驟一，基于迀移學習和深層卷積神經(jīng)網(wǎng)絡的圖像局部特征提取
[0010] 首先使用檢索數(shù)據(jù)庫的訓練集圖像對經(jīng)過預訓練的深層卷積神經(jīng)網(wǎng)絡做迀移學 習，即微調卷積神經(jīng)網(wǎng)絡各層參數(shù);然后將待處理的圖像作為迀移學習得到的深層卷積神 經(jīng)網(wǎng)絡的輸入，提取最后一層卷積層的輸出作為圖像局部特征；
[0011] 步驟二，基于空間均值池化和魯棒協(xié)方差估計的圖像局部特征建模
[0012] 該步驟由兩個相互獨立的建模方式組成，分別為使用一階的空間均值池化和二階 的魯棒估計的協(xié)方差對步驟一提取的圖像局部特征進行建模，得到的特征建模向量用于表 示圖像局部特征的信息；
[0013] 步驟三，對獲得的特征建模向量進行基于大間隔子空間的判別學習
[0014] 利用給定訓練數(shù)據(jù)中已知的標簽信息，分別對步驟二中提出的兩種特征建模向量 使用大間隔最近子空間學習算法，得到相應的具有判別能力的低秩線性映射矩陣;再利用 得到的映射矩陣對兩種特征建模向量分別進行有監(jiān)督的降維；
[0015] 步驟四，融合降維后的兩種特征建模向量得到最終的圖像表達向量
[0016] 將降維后的兩種特征建模向量通過加權系數(shù)進行加權級聯(lián)，得到最終的圖像表達 向量，其中融合系數(shù)控制兩種建模向量在圖像表達中起到作用的大小。
[0017] 步驟五，圖像匹配并返回檢索結果
[0018] 首先根據(jù)前面四個步驟計算查詢圖像的表達向量，然后計算該表達向量與圖像數(shù) 據(jù)庫中的所有待檢索圖像的表達向量的歐氏距離，對所有距離排序找到距離最小的n個圖 像并返回檢索結果。
[0019] 本發(fā)明的有益效果:首先，相比傳統(tǒng)的基于手工設計特征的方法，本發(fā)明使用經(jīng)過 迀移學習的深層卷積神經(jīng)網(wǎng)絡提取圖像局部特征，在很大程度上提升了檢索結果的準確 性。其次，本發(fā)明提出的空間均值池化方法充分利用了圖像的局部空間信息;提出的基于改 進的最大似然估計的魯棒協(xié)方差進一步豐富了圖像信息的表達，提升了檢索的準確率。最 后，為了適應大規(guī)模問題，提高圖像匹配的效率，本發(fā)明提出了基于最大間隔子空間的低秩 測度學習方法。該發(fā)明提出的準確、快速的圖像檢索算法，在網(wǎng)絡多媒體等諸多領域具有廣 泛的應用前景。
【附圖說明】
[0020] 圖1為本發(fā)明提出的大規(guī)模數(shù)據(jù)背景下可以適應復雜場景的圖像檢索方法的整體 流程示意圖。
[0021 ]圖2為計算每幅圖像的表達向量的步驟示意圖。
[0022]圖中：（a)等比例縮放后的圖像及增廣得到的子圖像；（b)經(jīng)過迀移學習的深層卷 積神經(jīng)網(wǎng)絡；（c)圖像局部特征及其空間區(qū)域劃分；（d)特征的局部空間表達；（e)圖像局部 特征的空間均值池化建模；（f)基于大間隔子空間的判別學習與對特征建模向量的降維； (g)重新排列的圖像局部特征，每一列為一個特征向量；（h)對協(xié)方差矩陣的上三角向量化； (i)圖像局部特征的魯棒估計的協(xié)方差建模向量；（j)融合兩種特征建模向量的圖像最終的 表達向量。
【具體實施方式】
[0023] 以下結合附圖和技術方案，進一步說明本發(fā)明的【具體實施方式】。
[0024] -種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法，步驟如下：
[0025] 步驟一，基于迀移學習和深層卷積神經(jīng)網(wǎng)絡的局部圖像局部特征提取 [0026] (1)深層卷積神經(jīng)網(wǎng)絡的訓練與迀移學習
[0027]首先在大規(guī)模圖像數(shù)據(jù)集ImageNet上訓練一個卷積神經(jīng)網(wǎng)絡CNlLySXNNJ^yS是 一個8層的卷積神經(jīng)網(wǎng)絡，其前5層為卷積層，后3層為全連接層，其結構同AlexNet [Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C],NIPS 2012:1097-1105]。使用給定檢索數(shù)據(jù)集的訓 練圖像樣本對CNN_Ly8進行參數(shù)微調，得到迀移學習后的網(wǎng)絡，記為CNN_Ly8_FT。CNN_Ly8_ FT的優(yōu)點是既具有較強的泛化能力，又可以適應不同的復雜場景的檢索任務。
[0028] (2)使用網(wǎng)絡CNN_Ly8_FT提取圖像局部特征
[0029] 首先對待處理的圖像進行等比例縮放，約束其最小邊的長度為256個像素點;然后 對縮放后的圖像進行增廣，獲取多個固定大小（227X227)的圖像區(qū)域(例如，中間區(qū)域，左 上角區(qū)域，左下角區(qū)域，右上角區(qū)域，右下角區(qū)域）以及它們的鏡像圖像。圖像經(jīng)過增廣后可 以得到B個相同大小的子圖像，每一個子圖像代表原圖像的一個特定的區(qū)域。對圖像的增廣 可以進一步豐富圖像信息，并且有效地緩解空間與尺度的變化帶來的噪聲干擾。
[0030] 將增廣得到的每一個子圖像輸入網(wǎng)絡CNN_Ly8_FT，取最后一個卷積層的輸出作為 圖像局部特征。每一個子圖像可以得到一個hXwXd的圖像局部特征張量（如附圖2(c)所 示），其中hXw是局部特征的個數(shù)，d是局部特征的維度。當輸入的子圖像為正方形時，得到 的特征中h = w。因此一幅圖像的B個子圖像一共可以得到MXd的局部特征（如附圖2(g)所 示），其中M=BXhXh代表一幅圖像可以提取的局部特征的總數(shù)。
[0031] 步驟二，基于一階空間均值池化和魯棒協(xié)方差估計的圖像局部特征建模
[0032] 該步驟對于步驟一獲得的圖像局部特征進行兩種方式的建模，分別為一階的空間 均值池化(Spatial Mean Poo 1 ing，SMP)建模與二階的魯棒估計的協(xié)方差(R-C0V)建模。如 附圖2所示，兩種建模方式的實施方案分別為：
[0033] (1)計算SMP特征建模向量ys
[0034] SMP建模的目的是充分利用深層卷積神經(jīng)網(wǎng)絡的卷積層輸出的圖像局部特征的空 間位置特性，豐富局部空間信息，使得到的建模向量對于目標在圖像中的空間位置變化更 具有魯棒性。參照附圖2，具體實施步驟為：
[0035] 1)對圖像局部特征劃分空間位置區(qū)域(如附圖2(c)所示）
[0036] 對任意子圖像提取的hXwXd的圖像局部特征，依照特征的空間位置劃分子區(qū)域： 以步長為s，邊長為b將特征張量按照(h，w)面劃分為L個重疊的正方形子區(qū)域。將每個區(qū)域 中包含的bXb個圖像局部特征記為區(qū)域特征張量。
[0037] 2)對區(qū)域特征張量進行局部空間表達(如附圖2(d)所示）
[0038] 對于每個區(qū)域特征張量，依次級聯(lián)其包含的bXb個圖像局部特征，可以得到一個 維度為D = bXbXd的向量，即為該區(qū)域特征張量的局部空間表達。
[0039] 3)對得到的L個局部空間表達進行平均聚合(如附圖2(e)所示）
[0040] 利用平均聚合方法求L個局部空間表達向量的均值向量，得到圖像局部特征的SMP 建模向量ys。
[0041] 4)歸一化
[0042]使用公式73-8丨811(73)|73| {!對73進行歸一化，其中0 = 〇.75。
[0043] (2)計算R-C0V特征建模向量yc
[0044]使用R-C0V建模的目的是魯棒的估計圖像局部特征的協(xié)方差，得到具有二階信息 的圖像表達。本發(fā)明的圖像局部特征使用深層卷積神經(jīng)網(wǎng)絡提取，具有高維與稀疏的特性。 然而傳統(tǒng)的基于最大似然估計的協(xié)方差雖然具有很強的表達能力，但是對于高維稀疏的特 征并不具有魯棒性。本發(fā)明提出的R-C0V建模方法在傳統(tǒng)的最大似然估計的基礎上引入一 個正則項，約束將要估計的協(xié)方差與單位矩陣的馮紐曼矩陣散度最小，代價函數(shù)為
[0046]其中C是通過協(xié)方差公式直接計算的圖像局部特征的采樣協(xié)方差矩陣，C是魯棒 估計的協(xié)方差矩陣，I是與C維度相同的單位陣，0是正則項系數(shù)，log( ?)表示求矩陣的對數(shù) 運算，tr( ?)為矩陣的跡。相比傳統(tǒng)的最大似然估計方法，R-C0V約束被估計的協(xié)方差靠近 單位矩陣，更符合深層卷積神經(jīng)網(wǎng)絡特征的高維和稀疏的特性，從而能夠得到更加魯棒的 協(xié)方差。該問題的求解簡單，具有解析的表達式：
[0048] 其中A=diag (又)為一個由特征值組成的對角矩陣，Ai=1,2,..., <!與1]分別為采樣協(xié) 方差矩陣c的特征值和特征向量矩陣，（?）T表示矩陣的轉置。
[0049] 計算魯棒的協(xié)方差R-C0V的步驟如下：
[0050] 1)計算圖像局部特征的采樣協(xié)方差矩陣C
[0051] 利用步驟一中提取的圖像局部特征，使用以下公式計算采樣協(xié)方差：
[0053]其中{^}4 = 1，...，為一幅圖像所提取的全部局部特征1為特征個數(shù)^為圖像 局部特征的均值向量。
[0054] 2)對采樣協(xié)方差C進行特征值分解
[0055] C的特征值分解得到C = UAUT，其中A為對角矩陣，對角元素為C的特征值{心，...， ，U為特征值對應的特征向量矩陣。
[0056] 3)計算魯棒估計的協(xié)方差矩陣
[0057]利用以下公式對A的對角元進行處理，得到新的特征值矩陣i=di:ag(叉):
[0059] 其中0為代價函數(shù)定義的正則項系數(shù)，A1=1,2,...,d為采樣協(xié)方差矩陣C的特征值。由 此可以得到魯棒估計的協(xié)方差矩陣石=。
[0060] 4)向量化協(xié)方差矩陣(如附圖2(h)所示）
[0061] 由于石具有對稱性，可以通過取其上三角元素的方法將其向量化，得到R-C0V的建 模向量>^ vec^cj。
[0062] 5)歸一化
[0063] 使用公式7。-81811(7。）|7。|{!對7。進行歸一化，其中0 = 〇.75。
[0064]步驟三，對特征建模向量ys和yc進行基于大間隔子空間的判別學習
[0065] 該步驟目的在于使用有標簽的訓練集圖像的標簽信息及得到的特征建模向量，分 別對于ys和yc有監(jiān)督的學習具有辨別能力的低秩線性映射矩陣Ls和L。。使用學習得到的線 性映射矩陣對圖像的特征建模向量進行降維，可以使降維后的向量具有更強的辨別能力。
[0066] 對于N個帶標簽的訓練樣本{(yi，li)，i = l, . . .，N}，其中yi為步驟二計算得到的第 i幅圖像的特征建模向量(ys或者y。），^為第i幅圖像的標簽。假設訓練集圖像可以劃分為K 類，每一類圖像的特征建模向量可以組成一個子空間S k(k=l，...，K)，則訓練樣本空間即 為K個子空間的集合。此時，li代表了yi所屬子空間的標簽，li G {1，2，. . .，K}。當li = K時，定 義4為7:的目標子空間，反之為非目標子空間。同時定義yj」子空間Sk的距離為：
[0067] d(M;yi，Sk)= | |L(yi_AkCii) | |2 = (yi-Akai)TM(yi_Akai) (4) 其中M表示距離測度矩陣，L為想要優(yōu)化得到的低秩線性映射矩陣，由矩陣M的Cholesky 分解M = LLT得到;Ak為Sk的基向量集合，由所有屬于該子空間的建模向量 yi組成，每一列為 一個樣本。a^y^Ak上的線性表達?；诖箝g隔測度學習思想，本發(fā)明提出的大間隔最近 子空間（Large margin nearest subspace，LMNS)的代價函數(shù)為：
[0069] 其中d(M;yi，$)與d(M;yi，S。)分別代表71到其目標子空間與非目標子空間的距 離，Y是一個常量系數(shù)，[? ] + = max( ?，0)。如附圖2(f)所示，公式(5)所定義的LMNS代價函 數(shù)的優(yōu)化目標是:約束經(jīng)過映射后的特征建模向量yglj目標子空間的距離在一定程度上小 于到非目標子空間的距離，使同類樣本和非同類樣本更容易區(qū)分。由于該目標函數(shù)是一個 非凸的形式，本發(fā)明采用了兩步交替迭代算法進行優(yōu)化。
[0070] 具體求解步驟為：
[0071 ] 1)對距離測度矩陣M進行初始化，定義為單位矩陣。
[0072] 2)固定測度矩陣M，使用公式(4)所定義的距離函數(shù)計算所有特征建模向量yi到各 子空間的距離d(M;yi，Sk)。
[0073] 3)使用上一步計算得到的距離與公式(5)，優(yōu)化LMNS代價函數(shù)更新M。
[0074] 4)判斷收斂條件，若未收斂則重復步驟2)和3);若收斂則停止迭代，得
[0075] 到距離測度矩陣M。
[0076] 5)對M進行Cholesky分解，得到低秩線性映射矩陣L。
[0077] 對于步驟二得到的兩種特征建模向量yjPy。，需要根據(jù)上述的5個步驟分別獨立的 優(yōu)化各自的映射矩陣L4PL。。優(yōu)化求解映射矩陣的過程可在訓練模型的過程中離線進行，在 實際檢索過程中不需要重復訓練求解，即L可以作為離線映射矩陣使用，并不影響檢索效 率。經(jīng)過映射后的y s和y。分別記為fs = Lsys與fc； = Lcyc。
[0078] 步驟四，融合兩種降維的特征建模向量fjPf。進而得到圖像表達向量
[0079] 對于一幅圖像，先后使用步驟一至步驟三可以得到fjPf。，加權級聯(lián)兩種向量即得 到最終的圖像表達向量f=[ wfs; (1-? )：^] = [ ?Lsys; (1_?凡…]，其中《 G (〇，1)控制兩 種建模方式得到的fs和f。在圖像表達中起到作用的大小。
[0080] 步驟五，圖像匹配并返回檢索結果
[0081] 該步驟中檢索的距離測度為圖像表達向量之間的歐氏距離。根據(jù)前面四個步驟可 以計算查詢圖像的表達向量f，然后計算f與圖像數(shù)據(jù)庫中的所有待檢索圖像的表達向量之 間的歐氏距離。與檢索圖像表達向量的歐式距離越小的圖像被認為與檢索圖像越相似，因 此可以通過對所有的距離進行排序來找到距離最小的n個圖像作為檢索結果返回。
【主權項】
1. 一種大規(guī)模數(shù)據(jù)背景下的快速有效的圖像檢索方法，其特征在于，步驟如下： 步驟一，基于迀移學習和深層卷積神經(jīng)網(wǎng)絡的局部圖像局部特征提取 (1) 深層卷積神經(jīng)網(wǎng)絡的訓練與迀移學習 首先在大規(guī)模圖像數(shù)據(jù)集ImageNet上訓練一個卷積神經(jīng)網(wǎng)絡CNN_Ly8，CNN_Ly8是一個 8層的卷積神經(jīng)網(wǎng)絡，其前5層為卷積層，后3層為全連接層;使用給定檢索數(shù)據(jù)集的訓練圖 像樣本對CNN_Ly8進行參數(shù)微調，得到迀移學習后的網(wǎng)絡，記為CNN_Ly8_FT; (2) 使用網(wǎng)絡CNN_Ly8_FT提取圖像局部特征 對待處理的圖像進行等比例縮放，約束其最小邊的長度為256個像素點；對縮放后的圖 像進行增廣，獲取多個固定大小的圖像區(qū)域以及對應的鏡像圖像;圖像經(jīng)過增廣后得到B個 相同大小的子圖像，每一個子圖像代表原圖像的一個特定的區(qū)域;將增廣得到的每一個子 圖像輸入網(wǎng)絡CNN_Ly8_FT，取最后一個卷積層的輸出作為圖像局部特征;每一個子圖像得 到一個h Xw X d的圖像局部特征張量，其中h Xw是局部特征的個數(shù)，d是局部特征的維度;當 輸入的子圖像為正方形時，得到的特征中h = w;-幅圖像的B個子圖像一共得到MXd的局部 特征，其中M=B X h X h代表一幅圖像提取的局部特征的總數(shù)； 步驟二，基于一階空間均值池化和魯棒協(xié)方差估計的圖像局部特征建模 對步驟一獲得的圖像局部特征進行兩種相互獨立的方式建模，分別為一階的空間均值 池化建模與二階的魯棒估計的協(xié)方差建模;兩種建模方式如下： 1) 計算SMP特征建模向量ys a) 對圖像局部特征劃分空間位置區(qū)域 對任意子圖像提取的hXwXd的圖像局部特征，依照特征的空間位置劃分子區(qū)域：以步 長為s，邊長為b將特征張量按照(h，w)面劃分為L個重疊的正方形子區(qū)域;將每個區(qū)域中包 含的bXb個圖像局部特征記為區(qū)域特征張量； b) 對區(qū)域特征張量進行局部空間表達 對于每個區(qū)域特征張量，依次級聯(lián)其包含的b X b個圖像局部特征，得到一個維度為D = bXbXd的向量，即為該區(qū)域特征張量的局部空間表達； c) 對得到的L個局部空間表達進行平均聚合 利用平均聚合方法求L個局部空間表達向量的均值向量，得到圖像局部特征的SMP建模 向量ys; d) 歸一化 使用公式73-81811(73)|73|{!對73進行歸一化，其中0=〇.75 ; 2) 計算R-COV特征建模向量y。 R-COV建模方式在傳統(tǒng)的最大似然估計的基礎上引入一個正則項，約束將要估計的協(xié) 方差與單位矩陣的馮紐曼矩陣散度最小，代價函數(shù)為其中：C是通過協(xié)方差公式直接計算的圖像局部特征的采樣協(xié)方差矩陣，€是魯棒估計 的協(xié)方差矩陣，I是與C維度相同的單位陣，0是正則項系數(shù)，log( ?)表示求矩陣的對數(shù)運 算，tr( ?)為矩陣的跡； 魯棒估計的協(xié)方差矩陣石的表達式：其中：A=diag( A,_ j為一個由特征值組成的對角矩陣，Ai=1,2,...,d與U分別為米樣協(xié)方差 矩陣C的特征值和特征向量矩陣，（?）T表示矩陣的轉置； 計算魯棒的協(xié)方差R-COV的步驟如下： (a) 計算圖像局部特征的采樣協(xié)方差矩陣C 利用步驟一中提取的圖像局部特征，使用以下公式計算采樣協(xié)方差：其中：{Xl}，i = 1，. ..，M為一幅圖像所提取的全部局部特征，M為特征個數(shù)，y為圖像局部 特征的均值向量； (b) 對采樣協(xié)方差C進行特征值分解 C的特征值分解得到C = U A UT，其中A為對角矩陣，對角元素為C的特征值{&，…，Ad}，U 為特征值對應的特征向量矩陣； (c) 計算魯棒估計的協(xié)方差矩陣 利用以下公式對A的對角元進行處理，得到新的特征值矩陣X=diagf\I,_):其中：e為代價函數(shù)定義的正則項系數(shù)為采樣協(xié)方差矩陣c的特征值；由此得 到魯棒估計的協(xié)方差矩陣C= uXu% (d) 向量化協(xié)方差矩陣 由于石具有對稱性，通過取其上三角元素的方法將其向量化，得到R-⑶V的建模向量 yc 二 vec(C); (e) 歸一化 使用公式Sign(yc) Iyc10對丫。進行歸一化，其中0=0.75; 步驟三，對特征建模向量ys和yc進行基于大間隔子空間的判別學習 使用有標簽的訓練集圖像的標簽信息及得到的特征建模向量，分別對于ys和y。有監(jiān)督 的學習具有辨別能力的低秩線性映射矩陣LdPU;使用學習得到的線性映射矩陣對圖像的 特征建模向量進行降維，使降維后的向量具有更強的辨別能力； 對于N個帶標簽的訓練樣本{(yi, li)，i = l，. . .，N}，其中yi為步驟二計算得到的第i幅 圖像的特征建模向量ys或y。，^為第i幅圖像的標簽;假設訓練集圖像劃分為K類，每一類圖 像的特征建模向量組成一個子空間各，k=l，...，K，則訓練樣本空間即為K個子空間的集 合;此時，li代表yi所屬子空間的標簽，liG {1，2, . . .，K};當li = K時，定義爲i.為yi的目標子 空間，反之氏#/,為非目標子空間；同時定義7:到子空間各的距離為：其中：M表示距離測度矩陣，L為想要優(yōu)化得到的低秩線性映射矩陣，由矩陣M的 Choi esky分解M=LLT得到;Ak為的基向量集合，由所有屬于該子空間的建模向量yi組成， 每一列為一個樣本;上的線性表達;基于大間隔測度學習思想，本發(fā)明提出大間 隔最近子空間（Large margin nearest subspace，LMNS)的代價函數(shù)為：其中d(M;y;?，今）與#M;y,.,$)分別代表71到其目標子空間與非目標子空間的距離， Y是一個常量系數(shù)，[? ] +=max( ?，0); 具體求解步驟為： 1) 對距離測度矩陣M進行初始化，定義為單位矩陣； 2) 固定測度矩陣M，使用公式(4)所定義的距離函數(shù)計算所有特征建模向量71到各子空 間的距離; 3) 使用上一步計算得到的距離與公式(5)，優(yōu)化LMNS代價函數(shù)更新M; 4) 判斷收斂條件，若未收斂則重復步驟2)和3);若收斂則停止迭代，得到距離測度矩陣 M； 5) 對M進行Cholesky分解，得到低秩線性映射矩陣L; 對于步驟二得到的兩種特征建模向量ys和y。，根據(jù)上述的5個步驟分別獨立的優(yōu)化各自 的映射矩陣L4PL。;優(yōu)化求解映射矩陣的過程在訓練模型的過程中離線進行，在實際檢索過 程中不需要重復訓練求解，即L作為離線映射矩陣使用，并不影響檢索效率;經(jīng)過映射后的 ys和y。分別記為fs = Lsys與fc^Uyc; 步驟四，融合兩種降維的特征建模向量fs和f。進而得到圖像表達向量 對于一幅圖像，先后使用步驟一至步驟三得到fs和f。，加權級聯(lián)兩種向量即得到最終的 圖像表達向量f=[ wfs; (1-? )：^] = [ ?Lsys; (1_?凡…]，其中《 G (〇, 1)控制兩種建模方 式得到的fs和f。在圖像表達中起到作用的大??； 步驟五，圖像匹配并返回檢索結果 該步驟中檢索的距離測度為圖像表達向量之間的歐氏距離;根據(jù)前四個步驟計算查詢 圖像的表達向量f，然后計算f與圖像數(shù)據(jù)庫中的所有待檢索圖像的表達向量之間的歐氏距 離;與檢索圖像表達向量的歐式距離越小的圖像被認為與檢索圖像越相似，通過對所有的 距離進行排序來找到距離最小的n個圖像作為檢索結果返回。
【文檔編號】G06N3/08GK106055576SQ201610340978
【公開日】2016年10月26日
【申請日】2016年5月20日
【發(fā)明人】李培華, 王旗龍, 曾輝, 孫偉健, 魯瀟瀟
【申請人】大連理工大學