基于Manifold Ranking和結合前景背景特征的顯著性檢測方法
【專利摘要】本發(fā)明提出了一種基于Manifold Ranking和結合前景背景特征的顯著性檢測方法，包括：S1，獲取圖像數據，對圖像數據的前景特征和背景特征進行流形排序，獲得每個圖像數據中的超像素部分的顯著值，得到該圖像數據的顯著圖；S2，對圖像數據的前景特征和背景特征的顯著圖進行二值化，獲得圖像數據的前景特征的前景種子和背景特征的背景種子；S3，對前景種子和背景種子作為最終查詢節(jié)點進行流形排序，對候選查詢節(jié)點進行計算，將計算結果進行排序獲得最終的排序值，根據排序值得到圖像數據中的顯著圖。本發(fā)明融合全局對比度和以邊界信息為參考的背景特征，并結合多次流形排序算法為計算顯著值提供了更準確的查詢節(jié)點。
【專利說明】
基于Man i fold Ranki ng和結合前景背景特征的顯著性檢測 方法
技術領域
[0001 ] 本發(fā)明涉及計算機圖像特征提取領域，尤其涉及一種基于Manifold Ranking和結 合前景背景特征的顯著性檢測方法。
【背景技術】
[0002] 圖像的顯著性檢測（Saliency Detection)，簡單來說是指將圖片中的顯著性區(qū)域 (前景)從非顯著性區(qū)域(背景）中分離出來。作為一種圖像預處理技術，可以用于后期的圖 像分割、物體檢測、自適應圖像壓縮、基于內容的圖像檢索、視頻目標檢測等等領域。顯著性 檢測算法可以分為兩類:眼動點預測模型和顯著目標檢測模型。眼動點檢測模型主要為了 檢測出圖像中引起人眼注意的顯著位置，以此分析和指導人的注意力；而顯著目標檢測模 型則是為了準確地從圖像中提取出顯著目標區(qū)域，以此為基礎進行更為復雜的圖像處理。 顯著性檢測模型根據實現思路的不同可以分為兩種：自上而下和自下而上。自上而下的方 法是由任務驅動的，從高層語義入手，如目標檢測等；自下而上的方法是由數據驅動的，從 底層特征入手，如顏色、邊緣、紋理信息等。
[0003] 近幾年來，越來越多新穎的算法被應用到顯著值計算這個環(huán)節(jié)中來，為顯著性檢 測的算法研究提供了一些新的角度。最直觀的顯著性檢測方法是基于對比度的算法，提出 了一種基于全局對比度的顯著區(qū)域檢測算法Region-based Contract(以下簡稱RC算法）。 該算法采用圖像各分割區(qū)域之間的顏色距離作為全局對比度的衡量方法。
[0004] 然而，RC算法沒有體現區(qū)域特征的空間分布對顯著性的重要影響，即特征分布越 集中顯著性越大，并且在處理復雜紋理背景的圖像時效果一般。基于此，本領域技術人員又 提出了一種Saliency Filter算法（以下簡稱SF算法）。該算法使用改進的超像素分割方法 來進行圖像預處理，并提出了結合顏色獨立性和空間顏色分布的顯著性計算方法。此外，其 他技術人員提出了一種基于閉環(huán)圖和背景先驗的顯著檢測方法（以下簡稱MR算法），將 Manifold Ranking算法引入到顯著性檢測的應用中來。將圖像抽象為一個基于超像素的閉 環(huán)圖模型，然后基于Manifold Ranking算法分兩個階段來計算每個節(jié)點的顯著值。
[0005] 然而MR算法中的兩階段計算方法都依賴于第一步背景種子的選取。使用圖像的邊 界節(jié)點作為初始查詢節(jié)點以求得第一階段的圖像顯著值，又使用第一階段的計算結果作為 第二階段的輸入，這樣過多依賴了圖像的背景特征而忽略了前景特征。對此，這就亟需本領 域技術人員解決相應的技術問題。

【發(fā)明內容】

[0006] 本發(fā)明旨在至少解決現有技術中存在的技術問題，特別創(chuàng)新地提出了一種基于 Manifold Ranking和結合前景背景特征的顯著性檢測方法。
[0007] 本發(fā)明主要關注自下而上的顯著目標檢測模型。
[0008] 為了實現本發(fā)明的上述目的，本發(fā)明提供了一種基于Manifold Ranking和結合前 景背景特征的顯著性檢測方法，包括：
[0009] si，獲取圖像數據，對圖像數據的前景特征和背景特征進行流形排序，獲得每個圖 像數據中的超像素部分的顯著值，得到該圖像數據的顯著圖；
[0010] S2,對圖像數據的前景特征和背景特征的顯著圖進行二值化，獲得圖像數據的前 景特征的前景種子和背景特征的背景種子；
[0011] S3,對前景種子和背景種子作為最終查詢節(jié)點進行流形排序，對候選查詢節(jié)點進 行計算，將計算結果進行排序獲得最終的排序值，根據排序值得到圖像數據中的顯著圖。 [0012]所述的基于ManifOId Ranking和結合前景背景特征的顯著性檢測方法，優(yōu)選的， 所述Sl包括：
[0013] Sl-I，將圖像數據分割為η個超像素區(qū)域，以每個超像素為節(jié)點建立閉環(huán)圖G，計算 度矩陣D和權重矩陣W;
[0014] S1-2,計算矩陣A=(D-CtW)-1并將其對角元素設置為0;
[0015] S1-3,基于背景特征的流形排序：以四個方向的邊界節(jié)點作為查詢節(jié)點進行流形 排序計算，由公式
，Sbg = St X Sb X Si X Sr得到背景特征顯著圖，以自適應閾值 二值化后得到背景種子Queryl;
[0016] S1-4,基于前景特征的流形排序，根據公式Sfg = AX [1，1，. . .，1]τ，將所有節(jié)點作 為查詢節(jié)點進行流形排序計算，得到前景特征顯著圖，以自適應閾值二值化后得到前景種 子Query2〇
[0017]所述的基于Manif〇Id Ranking和結合前景背景特征的顯著性檢測方法，優(yōu)選的， 所述S2包括：
[0018] S2-1，根據公￥
計算初始前 景fgQuery、初始背景bgQuery，候選查詢節(jié)點candidate;
[0019] S2-2,根據公式
[0020]
[0021]判斷是否符合場景1或場景3,若符合場景1或場景3,令y = Queryl，直接跳到S3;否 貝1J，執(zhí)行S2-3;
[0022] S2_3，y初始化為初始前景y = fgQuery，對于每個候選節(jié)點candidate，根據公式 ;|J斷其是否為查詢節(jié)點。 L〇〇23」所述的基十Manifold Ranking和結合前景背景特祉的顯著性檢測方法，優(yōu)選的， 所述S3包括：
[0024] S3-1，利用公式產=Ay計算各個節(jié)點的排序值，得到的排序值即為各個超像素的 顯著值，并以此求得圖像數據的顯著圖。
[0025]所述的基于Manifold Ranking和結合前景背景特征的顯著性檢測方法，優(yōu)選的， 所述候選節(jié)點滿足以下兩個要求之一的節(jié)點，也設為查詢節(jié)點：
[0026] (1)亮度參數(L分量)更接近初始前景；
[0027] (2)顏色參數(a、b分量)更接近初始前景。
[0028] 綜上所述，由于采用了上述技術方案，本發(fā)明的有益效果是：
[0029] 圖像顯著性檢測越來越得到廣泛的研究和關注，然而仍然存在許多問題尚待改 進。本發(fā)明基于Manifold Ranking(MR)算法提出了一種結合前景背景特征的顯著性檢測方 法，融合全局對比度和以邊界信息為參考的背景特征，并結合多次流形排序算法為計算顯 著值提供了更準確的查詢節(jié)點。實驗證明，本發(fā)明方法與近期算法比較來看取得了不錯的 效果，解決了 MR算法存在的部分缺陷。
[0030] (1)除了將背景(邊界節(jié)點）作為查詢節(jié)點，還加入基于全局對比度的前景特征。將 兩者結合形成最終的查詢節(jié)點；
[0031] (2)根據前景種子和背景種子，結合亮度、顏色等多種特征，篩選更準確的查詢節(jié) 占.
[0032]通過實驗，本發(fā)明的改進方法在效果上取得了一定的提升。下文將依次介紹 Manifold Ranking與顯著性檢測、基于Manifold Ranking和結合前景背景特征的顯著性檢 測算法、實驗結果與分析等內容。
[0033]本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0034]本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得 明顯和容易理解，其中：
[0035]圖1是本發(fā)明閉環(huán)圖模型示意圖；
[0036]圖2是本發(fā)明前景種子與特征種子提取場景圖；
[0037]圖3是本發(fā)明總體工作流程圖；
[0038] 圖4是本發(fā)明Lab分量綜合判定和分開判定示意圖；
[0039] 圖5是本發(fā)明自適應閾值下各個算法的精確率、召回率、F值柱狀圖；
[0040] 圖6是本發(fā)明固定閾值下各個算法的P-R曲線線形圖；
[0041] 圖7是本發(fā)明固定閾值下各個算法的F值曲線線形圖。
[0042]
【具體實施方式】
[0043] 下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0044] 在本發(fā)明的描述中，需要理解的是，術語"縱向"、"橫向"、"上"、"下"、"前"、"后"、 "左"、"右"、"豎直"、"水平"、"頂"、"底" "內"、"外"等指示的方位或位置關系為基于附圖所 示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝 置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限 制。
[0045] 在本發(fā)明的描述中，除非另有規(guī)定和限定，需要說明的是，術語"安裝"、"相連"、 "連接"應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可 以是直接相連，也可以通過中間媒介間接相連，對于本領域的普通技術人員而言，可以根據 具體情況理解上述術語的具體含義。
[0046] 如圖1所示，Manif〇Id Ranking(流形排序)算法以圖模型來模擬數據集內在的流 形結構，所有的數據點通過這個圖模型來將它們的排序值傳播給鄰接點，直到排序值收斂 到穩(wěn)定狀態(tài)。它的具體算法描述如下：
[0047] 給定一個數據集 X={xi, . . .，xi，xi+i, . . .，xn}eRmXn，i 是數據的下標，Ki彡 η。包 括已標記的查詢數據以及需要進行排序的未標記數據。令f:X-Rn表示一個排序方程，其中 每個值fi表示數據點Xi的排序值。f可以看作一個向量f=[fi,...，f n]T。令y=[yi,...，yn]T 表示一個標簽向量，其中當Xi為查詢節(jié)點時yi = I，否則yi=〇。流形排序算法步驟如下：
[0048] (1)構建一個圖G(V，E)，其中節(jié)點V為數據集X，邊E的權重表示為相似度矩陣W = [Wij]nxn。]!為節(jié)點數，i、j是節(jié)點的下標，1彡i、j彡η)計算圖的度矩陣D = diag{di, . . .，dn}， 其中dii= EjWij Jdii指D的對角線元素，j為節(jié)點下標，Kj彡n)S是W的歸一化矩陣S =『v 2WD^1720
[0049] (2)利用公式f(t+l)=aSf(t) + (l-a)y進行迭代，直到收斂。其中ae[0，l)。
[0050] (3)令f/代表數列出⑴}的極值。最后根據f/對數據點進行排序。
[0051] 序列最終將收斂到如下閉合解:和f*含義相同，t表示當前迭代，t+Ι表示下一次 迭代。
[0052] f*=(I-aS)-V (1)
[0053] 其中I為單位矩陣，參數a決定了平滑約束（smoothness constraint)和適應性約 束(fitting constraint)的權重比例。其中平滑約束代表相鄰節(jié)點之間的排序值不應變化 太大，適應性約束是指最終得到的排序值結果與初始查詢要大致接近。
[0054] 公式(1)的非歸一化的解為：
[0055] f*= (D-Qff)^1y (2)
[0056]實驗證明，應用在顯著性檢測這一問題中，非歸一化的公式（2)比歸一化的公式 (1)有更好的實驗效果，因此本發(fā)明也采用公式(2)進行流形排序計算。
[0057] 令 A= (D-QW)-1^lJ:
[0058] f* = Ay (3)
[0059] 矩陣A可以看作通過排序算法學習到的最優(yōu)相似度矩陣，它相比W更好地描述了節(jié) 點之間的關聯程度。第i個節(jié)點的排序值可以看成是矩陣A的第i行與向量y的內積。
[0060] 流形排序算法提出后，被相繼應用在文檔搜索、圖像搜索等領域。在MR算法中，作 者將流形排序的思想結合到顯著性檢測中來。文中將圖像抽象為一個閉環(huán)圖模型，如圖1為 閉環(huán)圖模型
[0061] 其中，（1)對一個圖像，使用SLIC超像素方法將圖像分割成若干超像素，每個超像 素作為圖G中的一個"節(jié)點"；（2)邊界節(jié)點之間兩兩有邊，每個節(jié)點都與其鄰節(jié)點、間接鄰節(jié) 點之間有邊；（3)邊的權重定義為兩節(jié)點的平均Lab顏色的歐幾里得距離，具體計算公式如 下：
[0062]
(4)
[0063]其中C1是節(jié)點i中包含所有像素點的Lab平均顏色，Cj是節(jié)點j中包含所有像素點的 Lab平均顏色。
[0064] 基于以上閉環(huán)圖模型，選取初始顯著節(jié)點作為查詢節(jié)點，可以通過Manifold Ranking算法中的公式(2)得到每個節(jié)點的排序值。這個排序值即作為該節(jié)點所包含像素 的顯著值，以此得到圖像的顯著圖。
[0065]前景和背景特征的流形排序
[0066] MR算法提出的兩階段顯著性檢測方法是以背景特征為查詢節(jié)點的流形排序，其背 景特征從四個方向的邊界節(jié)點獲取。在公式(2)中令 yi=l，i是上邊界的節(jié)點，得到以上邊 界節(jié)點為查詢種子的排序結果ft。那么以上邊界節(jié)點為背景特征的圖像顯著值S t可通過公 式(5)計算得到。
[0067]
(5)
[0068] 其中7f是ft的歸一化到[0，1]之間的結果。同理可以得到以其他三個邊界節(jié)點作 為背景特征得到的顯著值Sb 這四個顯著圖可以通過公式(6)進行整合，得到的結果 即為以背景特征為先驗的顯著值Sbg。將顯著圖Sbg二值化，得到背景特征種子節(jié)點（后文簡 稱"背景種子"）。&8既可稱為顯著值，也可稱為顯著圖。嚴格來說，Sbir^產等同，是一個長度 為η的矩陣，矩陣中的值代表了各個節(jié)點的顯著值。顯著值的圖形化表示就是顯著圖。公式 (6)既可以認為是幾個矩陣的乘法，也可以認為是顯著圖的結合。
[0069] Sbg = St X Sb X Si X Sr (6)
[0070] 然而由于MR算法只考慮了背景特征而沒有考慮全局前景特征，本發(fā)明方法基于MR 算法中的閉環(huán)圖模型，將所有節(jié)點設為查詢節(jié)點，即在公式(2)中令7=[1，1，...，1]\以此 進行流形排序得到一個顯著圖S fg，該顯著圖即為考慮全局特征得到各個節(jié)點的顯著值，計 算公式如公式（7)。將前景顯著圖Sfg二值化，得到前景特征種子節(jié)點（后文簡稱"前景種 子"）。
[0071]
(7)
[0072]實驗發(fā)現，部分圖片的前景種子與背景種子有著很大的相似性(場景1)，如圖2中 的(a)(b)組圖片:此類圖片的顯著區(qū)域既與背景特征區(qū)別顯著，也在全局范圍內有著排序 靠前的特征顯著性。因此使用前景或者背景種子作為查詢節(jié)點，都可以得到良好的實驗結 果。
[0073] 然而，大部分的前景種子與特征種子存在部分差異(場景2)，如圖2中的（C)(d)組 圖片:有時前景種子作為查詢節(jié)點更準確，有時背景種子表現更佳。因此不能單純使用前景 或背景種子進行計算，需根據一定規(guī)則將兩者進行有機結合。3.2節(jié)將詳細闡述如何進行結 合。
[0074] 圖2圖像的原圖（左）、背景種子(中）、前景種子(右）
[0075]特別地，還存在個別圖片的前景種子與背景種子存在顯著差異(場景3)，如圖2中 的（e)(f)組圖片:此類圖片的前景種子與背景種子的交集非常有限，即以邊界節(jié)點特征作 為先驗與計算全局對比度得到的顯著區(qū)域幾乎完全相反。通過實驗發(fā)現，背景特征種子往 往更貼近理想的查詢節(jié)點，因此對于這類圖片，我們直接采取背景特征種子作為最終查詢 節(jié)點。
[0076]結合前景和背景特征的顯著性檢測
[0077]針對上文描述的前景特征與背景特征的不同表現，本發(fā)明提出了一種結合背景和 前景特征的顯著性檢測方法。通過MR算法得到背景特征顯著圖，再以公式(2)設全1的查詢 節(jié)點y得到前景特征顯著圖。對前景特征顯著圖和背景特征顯著圖分別進行二值化，得到前 景種子和背景種子。結合這兩類種子節(jié)點作為最終查詢節(jié)點進行流形排序，即可得到更準 確的顯著值。過程如圖3所示。
[0078]得到前景種子和背景種子的前提下，關于如何計算選取最終查詢節(jié)點，本發(fā)明提 出了一種結合亮度和顏色特征的種子選取規(guī)則。
[0079]定義初始前景fgQuery=[qi，q2, · · ·，qn]T，其中qi = 0或UfgQuery為兩次被標記為 顯著區(qū)域的節(jié)點，用于計算圖像前景特征，也作為初始查詢節(jié)點。同理初始背景bgQuery為 兩次被標記為非顯著區(qū)域的節(jié)點，用于計算圖像背景特征。候選查詢節(jié)點candidate為待判 定為前景或背景的節(jié)點。計算公式如下：
[0080]
[0081]其中Queryl是前景種子，Query2是背景種子。
[0082]首先判斷圖像的前景種子是否符合3.1中描述的場景1或場景3。若符合，則最終查 詢節(jié)點y即為背景種子Query 1;否則將y初始化為初始前景fgQuery，然后判斷候選查詢節(jié)點 是否被選為最終查詢節(jié)點。公式如下：
[0083]
[0084]其中num(Query)表示節(jié)種子節(jié)點的個數，μ表示初始前景至少占背景種子的比例， 實驗中取50%。即當初始前景的節(jié)點個數小于背景種子個數的一半時，則認為前景種子與 背景種子的差異過大，初始前景的特征不足以用來作為判斷是否顯著的參考。因此，當前景 種子與背景種子個數相同，或者初始前景節(jié)點數明顯不足的情況下，直接采用背景種子作 為最終查詢節(jié)點。
[0085]對于候選查詢節(jié)點，根據亮度和顏色兩種特征來判定其屬于前景還是背景，即是 否被選為查詢節(jié)點。之所以將亮度參數和顏色參數分開考慮，是針對MR算法中兩種表現不 佳的情況：
[0086] (1)顯著區(qū)域因亮度存在差異，部分亮度較低的區(qū)域被判斷為非顯著區(qū)域；
[0087] (2)顯著區(qū)域因顏色存在差異，部分與背景顏色更潔接近的區(qū)域被判定為非顯著 區(qū)域。針對以上兩種情況，候選節(jié)點滿足以下兩個要求之一的節(jié)點，也設為查詢節(jié)點：
[0088] a)亮度參數α分量)更接近初始前景；
[0089] (2)顏色參數(a、b分量)更接近初始前景。
[0090] 圖3算法過程示意圖
[0091] 具體判斷公式如下：
[0092]
[0093] 其中L代表Lab顏色空間中的L分量，AB表示Lab顏色空間中的a、b兩個分量。#表 示當前節(jié)點與初始前景或初始背景之間L分量的歐氏距離，表示當前節(jié)點與初始前景 或初始背景之間a、b分量的歐氏距離。
[0094]圖4 Lab分量綜合判定和分開判定
[0095] (a)原圖（b)背景種子(c)前景種子(d)Lab三個分量綜合判定的最終查詢節(jié)點（e)L 分量和ab分量分別判定的最終查詢節(jié)點
[0096] 圖4展示了兩種判定方式得到的查詢種子，可以看出，將亮度和顏色分量分開判定 比Lab三個分量綜合判定，得到的查詢節(jié)點更準確。
[0097]算法過程形式化描述
[0098] 綜上分析，本發(fā)明提出算法的形式化描述如下：
[0099] Input:圖像Image
[0100] Output:圖像的各個超像素部分的顯著值，即得到一個圖像的顯著圖saliencymap
[0101] (1)將圖像分割為η個超像素區(qū)域，以每個超像素為節(jié)點建立閉環(huán)圖G，計算度矩陣 D和權重矩陣W;
[0102] (2)計算A=(D-CtW)-1并將其對角元素設置為0;
[0103] (3)基于背景特征的流形排序：以四個方向的邊界節(jié)點作為查詢節(jié)點進行流形排 序計算，由公式(5) (6)得到背景特征顯著圖，以自適應閾值二值化后得到背景種子Queryl;
[0104] (4)基于前景特征的流形排序:根據公式(7)，將所有節(jié)點作為查詢節(jié)點進行流形 排序計算，得到前景特征顯著圖，以自適應閾值二值化后得到前景種子Query2;
[0105] (5)計算查詢節(jié)點y:
[0106] (a)根據公式（8)計算初始前景fgQuery、初始背景bgQuery，候選查詢節(jié)點 candidate；
[0107] (b)根據公式（9)判斷是否符合場景I (easel)或場景3(case3)，若符合，令y = Query 1，直接跳到第6步;否則，繼續(xù)下列步驟。
[0108] (c)y初始化為初始前景y = fgQuery，對于每個候選節(jié)點candidate，根據公式（10) 判斷其是否為查詢節(jié)點。
[0109] (6)利用公式（3)計算各個節(jié)點的排序值，得到的排序值即為各個超像素的顯著 值，并以此求得圖像的顯著圖。
[0110] 本發(fā)明實驗數據集采用的是MSRA數據集的子集，由人工標記了顯著區(qū)域 GroundTruth (GT )。以下實驗中，本發(fā)明方法（簡寫為Our s)三種s tate-〇f-art類算法:MR算 法、SF算法、RC算法進行了對比分析。
[0111] 實驗中涉及到幾個參數，它們分別是:超像素個數(閉環(huán)圖節(jié)點個數)n，公式(2)中 的調節(jié)參數α。本發(fā)明實驗中，參考MR算法中的設定，取η = 200，α = 〇. 99。
[0112] 實驗中，使用了三種常用的評價指標:精確率(Precision)、召回率(Recall)、F值 (F-measure)將本發(fā)明算法與其他三種算法進行分析對比。其中，精確率表示算法得出的顯 著區(qū)域中真實顯著區(qū)域的比例，召回率表示GT中的顯著區(qū)域被正確標記的比例。F值則是對 精確率和召回率進行整合的一個綜合指標。設β 2 = 〇.3以強調精確率的重要性。
[0113]
[0114] 圖5是自適應閾值下各個算法的精確率、召回率、F值；
[0115] 圖6是固定閾值下各個算法的P-R曲線；
[0116] 圖7是固定閾值下各個算法的F值曲線；
[0117] 圖5-7是MSRA-1000數據集上四種算法對比
[0118] 顯著圖的二值化使用下面兩種方式：自適應閾值方式和固定閾值方式。自適應閾 值是指針對每個圖片自適應地選擇對應該圖片的閾值進行分割，實驗結果直接使用平均精 確率、召回率和F值的方式來表示。固定閾值是指對所有數據集中的圖片，固定閾值為0~ 255,以此獲得在不同閾值下的精確率和召回率，一般使用P-R曲線和F值曲線來表示?？梢?認為，自適應閾值方式是該算法的最佳表現結果，固定閾值方式體現了算法的平均表現結 果。圖5分別是本發(fā)明算法、MR算法、SF算法、RC算法在自適應閾值和固定閾值下的實驗對 比結果。
[0119] 為了更直觀地分析本發(fā)明算法在實驗效果上的改進，下圖展示了 12組本發(fā)明算法 得到的顯著圖與其他三種算法:MR算法、SF算法、RC算法的對比結果，其中GT是人工標記的 顯著區(qū)域。可以看出，以GT為參照，本發(fā)明算法的效果普遍好于其他三種算法。
[0120]各個算法顯著圖對比結果，
[0121]通過試驗看出本發(fā)明算法更能夠均勻地突出前景，即顯著區(qū)域的顯著值更大而非 顯著區(qū)域的顯著值減小。這是由于本發(fā)明結合了前景和背景特征得到的查詢節(jié)點，采取了 比MR算法(僅由背景特征得到的）更準確的查詢節(jié)點，使得噪聲數據減少，顯著與非顯著區(qū) 域的排序值區(qū)分更大。
[0122] 通過試驗可以看出本發(fā)明算法可以檢測到MR算法"丟失"的顯著區(qū)域，這是由于本 發(fā)明方法結合了全局對比度的前景特征。MR算法由于依賴于邊界背景特征，容易在以下兩 種情況下表現不佳，一是顯著區(qū)域與邊界區(qū)域特征近似時，難以區(qū)分是否顯著;二是當顯著 區(qū)域由幾個特征差異較大的部分組成時，難以區(qū)分是否顯著。而這兩個問題在使用前景特 征進行流形排序時可以得到很好地解決。SF算法和RC算法是基于全局對比度的算法，這兩 種算法在后6幅圖片中表現比MR好，也可以間接證明這一點。
[0123] 綜合來說，使用背景特征先驗可以更均勻地突出顯著區(qū)域，使用前景特征先驗可 以檢測到更完整的顯著區(qū)域。本發(fā)明方法采取結合前景和背景特征的方式，有效結合了以 上兩個優(yōu)點。
[0124] 當前，許多自下而上的顯著性檢測方法都主要是計算前景顯著物體在局部或整體 區(qū)域的顯著性，最常使用的方法就是考慮顯著物體與其他鄰接區(qū)域的對比度。該文采用結 合前景特征(全局對比度)和背景特征（圖像邊界)的方法來進行顯著性檢測，提出了一種改 進的基于流形排序(Manifold Ranking，MR)的顯著性檢測方法。與現有方法不同的是，該文 中的方法借鑒閉環(huán)圖的建模思想，根據圖像前景特征和背景特征分別得出不同種子節(jié)點， 再通過亮度和顏色特征對兩者進行有機結合，篩選出更為準確的查詢節(jié)點。最后再通過流 形排序算法進行顯著值計算，得到圖像對應的顯著圖。實驗表明，該文方法相比現有方法具 有一定改進效果，精確率和召回率均有提升。
[0125] 在本說明書的描述中，參考術語"一個實施例"、"一些實施例"、"示例"、"具體示 例"、或"一些示例"等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特 點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不 一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何 的一個或多個實施例或示例中以合適的方式結合。
[0126] 盡管已經示出和描述了本發(fā)明的實施例，本領域的普通技術人員可以理解:在不 脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本 發(fā)明的范圍由權利要求及其等同物限定。
【主權項】
1. 一種基于Manifold Ranking和結合前景背景特征的顯著性檢測方法，其特征在于， 包括： S1，獲取圖像數據，對圖像數據的前景特征和背景特征進行流形排序，獲得每個圖像數 據中的超像素部分的顯著值，得到該圖像數據的顯著圖； 52, 對圖像數據的前景特征和背景特征的顯著圖進行二值化，獲得圖像數據的前景特 征的前景種子和背景特征的背景種子； 53, 對前景種子和背景種子作為最終查詢節(jié)點進行流形排序，對候選查詢節(jié)點進行計 算，將計算結果進行排序獲得最終的排序值，根據排序值得到圖像數據中的顯著圖。2. 根據權利要求1所述的基于Manifold Ranking和結合前景背景特征的顯著性檢測方 法，其特征在于，所述S1包括： S1-1，將圖像數據分割為η個超像素區(qū)域，以每個超像素為節(jié)點建立閉環(huán)圖G，計算度矩 陣D和權重矩陣W; S1-2,計算矩陣Ai^-aWr1并將其對角元素設置為0; S1-3,基于背景特征的流形排序：以四個方向的邊界節(jié)點作為查詢節(jié)點進行流形排序 計算，由公式$=1- ，Sbg = StXSbXSlXSr得到背景特征顯著圖，以自適應閾值二值 化后得到背景種子Queryl; 51- 4,基于前景特征的流形排序，根據公式Sfg = AX [1，1，. . .，1]τ，將所有節(jié)點作為查 詢節(jié)點進行流形排序計算，得到前景特征顯著圖，以自適應閾值二值化后得到前景種子 Query2〇3. 根據權利要求1所述的基于Manifold Ranking和結合前景背景特征的顯著性檢測方 法，其特征在于，所述S2包括： 52- 1，根據公式計算初始前景 fgQuery、初始背景bgQuery，候選查詢節(jié)點candidate; S2-2,根據公式判斷是否符合場景1或場景3,若符合場景1或場景3,令y = Query 1，直接跳到S3;否則， 執(zhí)行S2-3; S2-3，y初始化為初始前景y = fgQuery，對于每個候選節(jié)點candidate，4. 根據權利要求1所述的基于Manifold Ranking和結合前景背景特征的顯著性檢測方 法，其特征在于，所述S3包括：S3-1，利用公式f" = Ay計算各個節(jié)點的排序值，得到的排序值即為各個超像素的顯著 值，并以此求得圖像數據的顯著圖。5. 根據權利要求3所述的基于Manifold Ranking和結合前景背景特征的顯著性檢測方 法，其特征在于，所述候選節(jié)點滿足以下兩個要求之一的節(jié)點，也設為查詢節(jié)點： (1) 亮度參數(L分量)更接近初始前景； (2) 顏色參數(a、b分量)更接近初始前景。
【文檔編號】G06T7/00GK106056590SQ201610355027
【公開日】2016年10月26日
【申請日】2016年5月26日
【發(fā)明人】朱征宇, 汪梅, 徐強, 鄭加琴, 袁闖
【申請人】重慶大學