基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像融合技術(shù)領(lǐng)域，具體地講是一種基于相位譜視覺(jué)顯著性檢測(cè)的圖 像融合方法。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)已經(jīng)被廣泛應(yīng)用于低層特征檢測(cè)和描述、模式 識(shí)別、人工智能推理和機(jī)器學(xué)習(xí)算法等領(lǐng)域。然而，傳統(tǒng)的計(jì)算機(jī)視覺(jué)方法通常是任務(wù)驅(qū)動(dòng) 型，需要限定許多條件，并根據(jù)實(shí)際任務(wù)來(lái)設(shè)計(jì)相應(yīng)的算法，缺乏通用性；需要解決高維非 線性特征空間、超大數(shù)據(jù)量對(duì)問(wèn)題求解和實(shí)時(shí)處理等問(wèn)題，使得其研宄和應(yīng)用面臨巨大的 挑戰(zhàn)。
[0003] 人類視覺(jué)系統(tǒng)能夠在不同環(huán)境下高效、可靠地工作，其具有以下優(yōu)點(diǎn)：具有關(guān)注 機(jī)制、顯著性檢測(cè)和與此相關(guān)的視覺(jué)處理中的選擇性和目的性；能夠從低層視覺(jué)處理中利 用先驗(yàn)知識(shí)，使數(shù)據(jù)驅(qū)動(dòng)的自底向上處理與自頂向下的知識(shí)指導(dǎo)在視覺(jué)處理中相互協(xié)調(diào)配 合；上下境信息在視覺(jué)處理的各個(gè)層次都發(fā)揮著重要作用，并且能夠綜合利用環(huán)境中各種 模態(tài)的信息。
[0004] 實(shí)際情況下，由于成像手段、聚焦參數(shù)等的不同，對(duì)相同場(chǎng)景/目標(biāo)成像的結(jié)果會(huì) 有所不同，圖像表達(dá)的信息也有差異。將相同場(chǎng)景的不同類型圖像進(jìn)行融合，有助于人們充 分利用圖像資源，綜合分析各種成像手段呈現(xiàn)的相關(guān)信息。由于圖像融合結(jié)果最終為人眼 所檢驗(yàn)，如何獲得更符合人類視覺(jué)感知的圖像融合結(jié)果，是當(dāng)前算法面臨的挑戰(zhàn)。人眼對(duì)場(chǎng) 景中的顯著目標(biāo)天然地具有自動(dòng)檢測(cè)和識(shí)別能力，若能夠構(gòu)建一種模擬人類視覺(jué)的機(jī)器視 覺(jué)系統(tǒng)，就能用于提取不同圖像中最清晰的部分，依其重要程度進(jìn)行圖像融合。但現(xiàn)有技術(shù) 還未實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0005] 有鑒于此，本發(fā)明要解決的技術(shù)問(wèn)題是，提供一種能夠模擬人類視覺(jué)的基于相位 譜視覺(jué)顯著性檢測(cè)的圖像融合方法，能自適應(yīng)地關(guān)注待融合圖像中的重要區(qū)域，依據(jù)像素 的視覺(jué)顯著性信息挑選最清晰像素，實(shí)現(xiàn)圖像融合。
[0006] 本發(fā)明的技術(shù)解決方案是，提供以下步驟的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融 合方法，包括以下各步驟：
[0007] 1)通過(guò)相位譜法對(duì)若干幅待融合源圖像作顯著性檢測(cè)，分別得到與源圖像對(duì)應(yīng)的 像素顯著度圖，所述像素顯著度圖與所述源圖像的像素位置信息一致；
[0008] 2)通過(guò)比較源圖像的各像素顯著度圖中相同位置的顯著度，選取顯著度最大的源 圖像像素作為融合圖像的候選像素；
[0009] 3)由候選像素組合、生成融合圖像。
[0010] 作為改進(jìn)，所述的相位譜法檢測(cè)得到的像素顯著度與圖像聚焦清晰程度正相關(guān)， 通過(guò)相互比較像素顯著度值，可定位源圖像中的聚焦清晰區(qū)域，選擇最清晰像素。
[0011] 作為改進(jìn)，所述的相位譜法是指通過(guò)超復(fù)數(shù)傅立葉變換，將彩色圖像中的紅、綠、 藍(lán)三個(gè)分量作為超復(fù)數(shù)的三個(gè)虛部參與傅立葉變換，只保留相位譜信息，經(jīng)傅立葉反變換 獲得像素顯著度圖。該設(shè)計(jì)用于解決現(xiàn)有技術(shù)僅適合處理黑白圖像的局限性，有效地針對(duì) 彩色圖像相應(yīng)地改進(jìn)了相位譜法的具體步驟。
[0012] 作為改進(jìn)，所述的相位譜法作顯著性檢測(cè)為局部化的視覺(jué)顯著性檢測(cè)，步驟如 下：
[0013] 4)將若干幅待融合圖像疊加，生成一幅均值圖像，經(jīng)相位譜法獲得該均值圖像的 像素顯著度圖，依據(jù)顯著度排序像素點(diǎn)；
[0014] 5)選取前N個(gè)顯著的像素點(diǎn)作為注視點(diǎn)，以每個(gè)注視點(diǎn)為中心，形成信息熵最大 的局部區(qū)域，這些局部區(qū)域組成注視區(qū)域；
[0015] 6)對(duì)所述的注視區(qū)域內(nèi)部像素進(jìn)行隨機(jī)采樣，并對(duì)注視區(qū)域外部進(jìn)行等量的像素 隨機(jī)采樣；采樣得到的注視區(qū)域內(nèi)部像素作為正樣本，注視區(qū)域外部像素作為負(fù)樣本；
[0016] 7)利用極限學(xué)習(xí)機(jī)訓(xùn)練策略，學(xué)習(xí)得到一個(gè)二分類的前饋神經(jīng)網(wǎng)絡(luò)模型，通過(guò)該 模型分類所述均值圖像的全部像素，將被分為正樣本的像素區(qū)域作為第一注視目標(biāo)區(qū)。
[0017] 將原相位譜法的全局性顯著性檢測(cè)改進(jìn)為全局顯著性引導(dǎo)下的局部顯著性檢測(cè)， 目的是克服原相位譜法對(duì)圖像尺度參數(shù)設(shè)置敏感導(dǎo)致的應(yīng)用局限性。
[0018] 作為改進(jìn)，在步驟7)后還包括以下步驟：
[0019] 8)以第一注視目標(biāo)區(qū)中的最大連通區(qū)域的外接凸包構(gòu)建更新的注視區(qū)域，經(jīng)步驟 6)和7)得到相應(yīng)的第二注視目標(biāo)區(qū)；
[0020] 9)比較第一注視目標(biāo)區(qū)和第二注視目標(biāo)區(qū)的重疊程度，重疊程度大表明該重疊區(qū) 域?qū)π纬梢曈X(jué)感知的刺激強(qiáng)度大；重疊程度小則表明還未形成足夠的視覺(jué)刺激強(qiáng)度，繼續(xù) 重復(fù)6)~9)過(guò)程，直至達(dá)到足夠的刺激強(qiáng)度；輸出的注視目標(biāo)區(qū)是上述過(guò)程中達(dá)到了刺激 強(qiáng)度的若干個(gè)注視目標(biāo)區(qū)的重疊部分。這樣，結(jié)果更為穩(wěn)定、可靠。
[0021] 作為改進(jìn)，還包括以下步驟：
[0022] 10)獲得注視目標(biāo)區(qū)后，在均值圖像和其像素顯著度圖中該區(qū)域被清零更新，對(duì)更 新后的像素顯著度圖中的顯著點(diǎn)，依據(jù)顯著度再次排序，重復(fù)步驟5)~10)，得到新的注視 目標(biāo)區(qū)；依此迭代，可獲得待融合圖像中的各注視目標(biāo)區(qū)范圍和注視順序。
[0023] 11)依照注視順序，逐個(gè)截取各待融合圖像中某個(gè)注視目標(biāo)區(qū)的外接矩構(gòu)成的局 部子圖像；將其作為待融合源圖像，執(zhí)行1)~3)步驟；按注視順序、逐個(gè)進(jìn)行子圖像融合， 進(jìn)而完成圖像融合任務(wù)。
[0024] 采用本發(fā)明的方法，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：先疊加待融合圖像獲 得均值圖像，再利用基于極限學(xué)習(xí)機(jī)的"學(xué)習(xí)-建模-目標(biāo)感知"過(guò)程，自適應(yīng)獲得該圖像 中各局部目標(biāo)區(qū)域的注視順序和范圍，隨后由各目標(biāo)外接矩截取目標(biāo)子圖像；再逐個(gè)對(duì)子 圖像區(qū)域分別進(jìn)行顯著性檢測(cè)，基于顯著度最大原則挑選像素進(jìn)行融合，從而分塊、分步完 成圖像融合任務(wù)。該策略先對(duì)待融合圖像做自動(dòng)目標(biāo)感知，獲得圖像中注視目標(biāo)區(qū)域的范 圍和重要程度信息，再針對(duì)各局部區(qū)域進(jìn)行顯著性檢測(cè)與融合操作，可降低圖像尺度固定 帶來(lái)的不利影響，有利于獲得更符合人類感知的融合結(jié)果。
【附圖說(shuō)明】
[0025]圖1為本發(fā)明基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法的流程圖。
[0026] 圖2為其中基于極限學(xué)習(xí)機(jī)的圖像目標(biāo)自動(dòng)感知方法流程圖。
【具體實(shí)施方式】
[0027] 下面就具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，但本發(fā)明并不僅僅限于這些實(shí)施例。
[0028] 本發(fā)明涵蓋任何在本發(fā)明的精髓和范圍上做的替代、修改、等效方法以及方案。為 了使公眾對(duì)本發(fā)明有徹底的了解，在以下本發(fā)明優(yōu)選實(shí)施例中詳細(xì)說(shuō)明了具體的細(xì)節(jié)，而 對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)沒(méi)有這些細(xì)節(jié)的描述也可以完全理解本發(fā)明。此外，本發(fā)明之附圖 中為了示意的需要，并沒(méi)有完全精確地按照實(shí)際比例繪制，在此予以說(shuō)明。
[0029] 如圖1所示，本發(fā)明的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，包括以下各 步驟：
[0030] 1)通過(guò)相位譜法對(duì)若干幅待融合源圖像作顯著性檢測(cè)，分別得到與源圖像對(duì)應(yīng)的 像素顯著度圖，所述像素顯著度圖與所述源圖像的像素位置信息一致；
[0031] 2)通過(guò)比較各像素顯著度圖中相同位置的顯著度，選取顯著度最大的源圖像像素 作為融合圖像的候選像素；
[0032] 3)由候選像素組合、生成融合圖像。
[0033] 通過(guò)相位譜法對(duì)目標(biāo)圖像作顯著性檢測(cè)，可采用以下步驟實(shí)施：對(duì)待目標(biāo)圖像 I(i，j)進(jìn)行二維離散傅里葉變換F[I(i，j)]，將圖像由空間域轉(zhuǎn)換到頻域，得到相位P(u， v)信息：
[0034]
[0035] 式中F表示二維離散傅里葉變換，供()表示相位運(yùn)算。將相位信息經(jīng)傅里葉逆變換 后，可以在空間域得到顯著度圖像Sa_Map。
[0036]Sa_Map(i,j) = |F_1[exp{jP(u,v)} ] |2 (2)
[0037] 然而，相位譜法是一種頻域方法，其結(jié)果對(duì)圖像尺度敏感。若無(wú)特別說(shuō)明，此處圖 像尺度指的是圖像的大小。若用不同圖像尺度求取相應(yīng)的像素顯著度圖，則這些顯著度圖 差別較大。若在某個(gè)固定尺度下獲得像素顯著度圖，則總會(huì)或多或少在圖像的某些局部存 在與人類感知不相符的地方。
[0038] 可先對(duì)待融合圖像做自動(dòng)目標(biāo)感知，獲得圖像中局部目標(biāo)區(qū)域范圍和其重要程度 指標(biāo)后，再逐個(gè)局部區(qū)域進(jìn)行顯著性檢測(cè)和圖像融合。步驟如下：
[0039] 1)將若干幅待融合圖像疊加，生成一幅均值圖像，經(jīng)相位譜法獲得該均值圖像的 像素顯著度圖，依據(jù)顯著度排序像素點(diǎn)；
[0040] 2)選取前N個(gè)顯著的像素點(diǎn)作為注視點(diǎn)，以每個(gè)注視點(diǎn)為中心，形成信息熵最大 的局部區(qū)域，這些局部區(qū)域組成注視區(qū)域；
[0041] 3)對(duì)所述的注視區(qū)域內(nèi)部像素進(jìn)行隨機(jī)采樣，并對(duì)注視區(qū)域外部進(jìn)行等量的像素 隨機(jī)采樣；采樣得到的注視區(qū)域內(nèi)部像素作為正樣本，注視區(qū)域外部像素作為負(fù)樣本；
[0042] 4)利用極限學(xué)習(xí)機(jī)訓(xùn)練策略，學(xué)習(xí)得到一個(gè)二分類的前饋神經(jīng)網(wǎng)絡(luò)模型，通過(guò)該 模型分類所述均值圖像的全部像素，將被分為正樣本的像素區(qū)域作為第一注視目標(biāo)區(qū)。
[0043] 5)以第一注視目標(biāo)區(qū)中的最大連通區(qū)域的外接凸包構(gòu)建更新的注視區(qū)域，經(jīng)步驟 3)和4)得到相應(yīng)的第二注視目標(biāo)區(qū)；
[0044] 6)比較第一注視目標(biāo)區(qū)和第二注視目標(biāo)區(qū)的重疊程度，重疊程度大表明該重疊區(qū) 域（對(duì)形成視覺(jué)感知的）刺激強(qiáng)度大；重疊程度小則表明還未形成足夠的視覺(jué)刺激強(qiáng)度，繼 續(xù)重復(fù)上述過(guò)程，直至達(dá)到足夠的刺激強(qiáng)度。輸出的注視目標(biāo)區(qū)為上述過(guò)程中達(dá)到了刺激 強(qiáng)度的若干個(gè)注視目標(biāo)區(qū)的重疊部分。
[0045] 7)輸出注視目標(biāo)區(qū)后，在均值圖像和其像素顯著度圖中該區(qū)域被清零（更新）。對(duì) 更新后的像素顯著度圖中的顯著點(diǎn)，依據(jù)顯著度再次排序，重復(fù)步驟2)~7)，可得到新的 注視目標(biāo)區(qū)輸出。依此迭代，可獲得待融合圖像中的各目標(biāo)