基于異構(gòu)多核構(gòu)架的紅外光與可見光圖像實時融合系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機應(yīng)用技術(shù)范疇，涉及計算機視覺和信息融合領(lǐng)域，特別是多傳 感器圖像融合領(lǐng)域，具體是一種基于異構(gòu)多核構(gòu)架的紅外光與可見光圖像實時融合方法。 二、
【背景技術(shù)】
[0002] 多傳感器圖像融合技術(shù)是在信息融合技術(shù)的理論基礎(chǔ)上發(fā)展起來的一種圖像處 理新技術(shù)。由于可以有效綜合多源圖像信息的互補性和冗余性，因此融合圖像包含比任一 輸入通道圖像更豐富的信息，具有更高的可靠性，有利于提高對圖像信息的分析和識別能 力，所以近年來成為國際學(xué)術(shù)界圖像處理研究領(lǐng)域的一個熱點。融合技術(shù)將多源圖像信息 資源的利用率得以最大限度地發(fā)揮，圖像配準(zhǔn)是圖像融合必須進行的預(yù)處理，多源圖像配 準(zhǔn)和融合技術(shù)的理論研究已經(jīng)取得了很多成果，但是可實用的圖像融合系統(tǒng)目前處理能力 依然有限，且有些還處于實驗研究階段。圖像融合技術(shù)應(yīng)用的突出障礙是實時性要求與系 統(tǒng)處理速度。對于像素級融合，多源圖像相關(guān)像素的配準(zhǔn)結(jié)果直接影響融合圖像精度，而現(xiàn) 階段所提出的圖像多尺度塔形分解與重構(gòu)的多分辨圖像融合算法的巨量數(shù)據(jù)處理又使得 圖像融合處理系統(tǒng)的研制開發(fā)具有不小的阻礙。國內(nèi)外也有部分文獻提到使用不同的體系 構(gòu)架進行紅外光與可見光融合，但是性能及效率還不能完全適應(yīng)現(xiàn)有圖像處理的需要，性 能及效率還有待提尚。 三、

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是針對目前紅外光與可見光融合算法效率與質(zhì)量相互制約的缺點， 設(shè)計一種基于異構(gòu)多核構(gòu)架的紅外光與可見光實圖像時融合系統(tǒng)。該系統(tǒng)充分利用ARM處 理器和DSP處理器各自的優(yōu)點，構(gòu)建兩者協(xié)同工作的運行模型。對不同的處理器核心分配各 自擅長的任務(wù)，有效提升系統(tǒng)的運行處理能力。ARM端負(fù)責(zé)數(shù)據(jù)的采集、顯示和圖像的實時 傳輸，DSP端完成紅外光圖像增強、圖像配準(zhǔn)、兩路圖像的金字塔融合及融合圖像的實時壓 縮。不僅實現(xiàn)紅外光與可見光的實時配準(zhǔn)融合功能，還在此基礎(chǔ)上對融合后圖像進行H. 264 的圖像數(shù)據(jù)實時壓縮傳輸及存儲。從系統(tǒng)結(jié)構(gòu)上保障實時圖像融合處理的穩(wěn)定性、可靠性 及傳輸高效性，滿足實時、高速、通用、標(biāo)準(zhǔn)化等目的。
[0004] 本發(fā)明的目的是這樣達(dá)到的：
[0005] -種基于異構(gòu)多核構(gòu)架的紅外光與可見光圖像實時融合系統(tǒng)，其特征在于：系統(tǒng) 構(gòu)建一個以ARM核和D SP核為核心的異構(gòu)多核處理器，在ARM核與D SP核之間采用CMEM和 DSP1 ink接口模塊;ARM核與DSP核之間數(shù)據(jù)調(diào)用接口采用Codec Engine調(diào)用接口模板;異構(gòu) 多核處理器負(fù)責(zé)整個系統(tǒng)的控制流程及數(shù)據(jù)收發(fā)及處理邏輯，完成紅外光與可見光圖像的 視頻數(shù)據(jù)采集、視頻數(shù)據(jù)的實時增強與融合，以及融合后的視頻數(shù)據(jù)的顯示輸出。
[0006] 在異構(gòu)多核處理器內(nèi)部，ARM核運行l(wèi)inux操作系統(tǒng)，使用gcc編譯器編譯內(nèi)核驅(qū)動 及應(yīng)用程序，開發(fā)環(huán)境使用Redhat linux;負(fù)責(zé)紅外光與可見光兩路視頻數(shù)據(jù)的實時數(shù)據(jù) 采集及圖像融合過后的壓縮數(shù)據(jù)的實時傳輸；在DSP核使用CCS集成開發(fā)環(huán)境，運行DSP/ BIOSS實時操作系統(tǒng)，負(fù)責(zé)對紅外光輸入圖像進行配準(zhǔn)預(yù)處理和圖像增強預(yù)處理、可見光與 紅外光兩路視頻圖像數(shù)據(jù)的實時融合以及對融合后的圖像數(shù)據(jù)進行H.264實時編碼壓縮。
[0007] 在異構(gòu)多核處理器前端設(shè)置多路視頻A/D轉(zhuǎn)換芯片，在異構(gòu)多核處理器后端設(shè)置 多路視頻D/A轉(zhuǎn)換芯片和用于視頻數(shù)據(jù)壓縮輸出到網(wǎng)絡(luò)物理層控制器;可見光數(shù)據(jù)和紅外 光數(shù)據(jù)分別經(jīng)過各自的視頻輸入口通道進入系統(tǒng)后，經(jīng)各自的多路視頻放大器放大、增強 數(shù)據(jù)驅(qū)動能力，放大后的可見光數(shù)據(jù)和紅外光數(shù)據(jù)均分為2路，一路數(shù)據(jù)完全保留并經(jīng)視頻 旁路視頻輸出口分別顯示輸出，另外一路送入A/D視頻轉(zhuǎn)換芯片，經(jīng)數(shù)字化后送入異構(gòu)多核 處理器進行數(shù)據(jù)采集融合處理，融合后的數(shù)據(jù)經(jīng)視頻D/A轉(zhuǎn)換芯片處理后，實時融合視頻從 視頻輸出口輸出，同時，融合后的視頻數(shù)據(jù)經(jīng)過H264實時編碼壓縮，壓縮后的視頻數(shù)據(jù)經(jīng)網(wǎng) 絡(luò)物理層控制器從網(wǎng)絡(luò)接口輸出。
[0008] 系統(tǒng)的運行流程:首先，ARM端采集紅外光視頻數(shù)據(jù)和可見光視頻數(shù)據(jù)，DSP端獲取 視頻緩存后，對紅外光輸入圖像，進行圖像增強預(yù)處理和圖像配準(zhǔn)預(yù)處理，在DSP端進行圖 像融合，融合后的圖像數(shù)據(jù)發(fā)送到ARM端顯示融合結(jié)果，輸出融合后的視頻，同時，DSP端對 融合的圖像進行H264視頻編碼壓縮，壓縮后再經(jīng)ARM端網(wǎng)絡(luò)數(shù)據(jù)傳輸網(wǎng)絡(luò)視頻數(shù)據(jù)。
[0009] 對紅外光輸入圖像配準(zhǔn)預(yù)處理，是將紅外光圖像通過上采樣插值到可見光系統(tǒng)分 辨率，即將紅外光圖像拉伸至可見光圖像的對應(yīng)點。
[0010]對紅外光輸入圖像進行圖像增強預(yù)處理，采用基于"灰度世界"grey world圖像增 強算法，在YUV色彩空間進行，且僅用于紅外光的亮度信息Y分量的增益調(diào)整，即把紅外光的 灰度信息只看作是其中一個通道的亮度信息，并選定目標(biāo)灰度作為整個所能表示灰度范圍 的一半，將紅外光的灰度信息范圍有效擴充到整個灰度位寬范圍內(nèi)，對每個像素乘上整體 的放大系數(shù)。
[0011] 在對紅外光與可見光源圖像快速融合時，采用建立三層的拉普拉斯金字塔結(jié)構(gòu)進 行融合:紅外光圖像在進行圖像增強預(yù)處理和配準(zhǔn)預(yù)處理后，與可見光圖像同時進行高斯 塔形分解，分解后的紅外光圖像和可見光圖像被分別被分解為一層金字塔圖像、二層金字 塔圖像和三層圖像，再對紅外光圖像和可見光圖像進行一層融合、二層融合和三層融合，在 圖像融合中生成三層圖像、二層金字塔圖像和一層金字塔圖像，對金字塔融合后得到紅外 光與可見光圖像融合后的圖像。
[0012] 在對紅外光與可見光源圖像快速融合時，采用建立三層的拉普拉斯金字塔結(jié)構(gòu)進 行融合:首先對圖像進行高斯金字塔分解，高斯金字塔用于下采樣圖像，而拉普拉斯金字塔 則用于從金字塔低層圖像中向上采樣重建圖像，從金字塔第i層生成第i+Ι層圖像G 1+1，用高 斯核對圖像Gi進行卷積運算，然后剔除所有偶數(shù)行和偶數(shù)列，得到原有圖像的1/4,由上述 過程對輸入圖像Go循環(huán)執(zhí)行操作產(chǎn)生整個高斯金字塔。
[00?3]使用imgPyrDowO，imgPyrUp()下采樣分解與上采樣金字塔重構(gòu)的函數(shù)調(diào)用。在金 字塔構(gòu)建完成后，在金字塔最底層使用加權(quán)平均的融合算法。
[0014]恢復(fù)原來圖像的大小過程如下:將圖像在每個方向擴大為原來的兩倍，新增的行 和列以〇填充，將得到的原有圖像的1/4的內(nèi)核恢復(fù)到原有圖像同樣的內(nèi)核，即將高斯金字 塔圖像乘以4,與放大后的圖像卷積，獲得新增像素的近似值;這兩個向下和向上采樣步驟 分別通過函數(shù)imgPyrDow()和imgPyrUp()實現(xiàn)。
[0015]對紅外光輸入圖像配準(zhǔn)預(yù)處理，將紅外光圖像拉伸至可見光圖像的對應(yīng)點過程 是:首先使用自主開發(fā)的識別配準(zhǔn)工具，分別在紅外光和可見光圖像中找到相同物體的對 應(yīng)的坐標(biāo)位置，對應(yīng)點通過人工干預(yù)方式獲得，并計算生成紅外光到可見光圖像的仿射變 換系數(shù)矩陣。尋找不在同一直線上的三對對應(yīng)，進行運算，通過調(diào)用openCV函數(shù)庫的對應(yīng)接 口函數(shù)，得到仿射變換系數(shù)矩陣，并將該系數(shù)矩陣通過網(wǎng)絡(luò)直接寫入到實時融合系統(tǒng)的 flash 中。
[0016] 所述仿射變換系數(shù)矩陣根據(jù)以下公式計算：
[0017]
[0018]其中，&，7)、（^，7'）分別對應(yīng)仿射變換前各像素點的坐標(biāo)值，311、&12、 &21、&22為2* 2非奇異矩陣的系數(shù)，tx、ty分別為在x、y方向上的平移參數(shù)。
[0019]當(dāng)系統(tǒng)加電啟動時，程序自動讀入該仿射變換系數(shù)矩陣，計算生成紅外光圖像到 可見光圖像的像素映射表，即得到紅外圖像上每個像素映射到可見光圖像上所得的對應(yīng)坐 標(biāo)值，像素映射表生成計算公式如下：
[0020: V1/ u
[0021] 然后，再用高斯核對i層圖像Gi進行卷積運算的表達(dá)式為：
[0022] Z;. = Gi-UP(GM)? g5x5 (3)
[0023] 其中符號?代表卷積操作，g5x5是5 X 5的高斯核，
[0024] 5X5的高斯核卷積核為：
[0025]
[0026] 在金字塔構(gòu)建完成后，在金字塔最底層使用加權(quán)平均的融合算法，對于可見光圖 像和紅外圖像的像素灰度值加權(quán)平均融合的過程可以表示為:Ρ^,ιΟιωΑΟιι,ιΟ+ω^Οιι， η)
[0027] 式中，Α代表可見光圖像，Β代表紅外光圖像，m代表像素的行數(shù)，πι=1，2，···Μ;η代表 像素的列數(shù)，η=1，2, ...，Ν; ω:為可見光圖像的加權(quán)系數(shù)；ω2為紅外光圖像的加權(quán)系數(shù);通 常(01+(〇2=1;當(dāng)〇 1= C〇2 = 0.5時為加權(quán)平均的特例。
[0028] ARM核與DSP核之間數(shù)據(jù)調(diào)用接口采用Codec Eng