對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)。
【背景技術(shù)】
[0002]隨著紅外熱成像技術(shù)的不斷發(fā)展，以及其非接觸性測溫的優(yōu)點，紅外熱成像技術(shù)已經(jīng)逐步被應(yīng)用到醫(yī)療、軍事、安防、安全生產(chǎn)等領(lǐng)域，然而，由于紅外熱成像的特點，其呈現(xiàn)的畫面的細節(jié)沒有可見光清晰，因此人們?yōu)榱双@得更多的數(shù)據(jù)信息，開始嘗試將紅外熱成像與可見光圖像進行融合，將兩者所包含的信息融合在一起，以實現(xiàn)對監(jiān)控環(huán)境全方位的監(jiān)控。然而，目前的融合算法都需要提前知道攝像機和成像目標之間的距離參數(shù)，將距離參數(shù)加入到融合算法中，計算融合結(jié)果，如果距離測量不準確，會導(dǎo)致融合后的兩幅圖像錯位，影響融合效果，因此，融合算法的使用具有很大的局限性。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于提供一種對距離的具有自適應(yīng)性、提高融合算法精度、增加融合后圖像的溫度警示效果的對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)。
[0004]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法，在執(zhí)行紅外與可見光視頻融合之前，對紅外熱成像攝像機和可見光攝像機做標定，獲取兩個攝像機的內(nèi)部參數(shù)和外部參數(shù)；在完成標定后，進行紅外與可見光視頻融合包括以下步驟:
[0005]S1，視頻處理模塊初始化虛擬標定棋盤格的參數(shù)，包括虛擬標定棋盤格的格數(shù)和大??；
[0006]S2，所述視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，所述視頻處理模塊利用所述距離參數(shù)映射虛擬標定棋盤格，將虛擬標定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣；
[0007]S3，所述視頻處理模塊剔除所述紅外熱成像圖像上溫度低于預(yù)先設(shè)置的溫度閾值的部分，得到圖像一；利用所述單應(yīng)矩陣將所述可見光圖像變換為紅外熱成像攝像機視角的圖像，得到圖像二，最后將圖像一和圖像二疊加作為融合后的圖像。
[0008]優(yōu)選地，對紅外熱成像攝像機和可見光攝像機做標定時采用張正友攝像機標定法。
[0009]優(yōu)選地，還包括步驟S4，所述視頻處理模塊將融合后的圖像通過jpeg壓縮算法壓縮成jpeg格式的圖像，最后將壓縮后的融合圖像通過網(wǎng)絡(luò)接口模塊發(fā)送出去。
[0010]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)包括:
[0011]激光測距模塊，所述激光測距模塊通過串口自動實時發(fā)送距離參數(shù)給視頻處理模塊；
[0012]可見光攝像機，所述可見光攝像機輸出可見光圖像給所述視頻處理模塊；
[0013]紅外熱成像攝像機，所述外紅熱成像攝像機輸出紅外熱成像圖像給所述視頻處理模塊；
[0014]所述視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，所述視頻處理模塊利用所述距離參數(shù)映射虛擬標定棋盤格，將虛擬標定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣；所述視頻處理模塊剔除所述紅外熱成像圖像上溫度低于預(yù)先設(shè)置的溫度閾值的部分，得到圖像一；利用所述單應(yīng)矩陣將所述可見光圖像變換為紅外熱成像攝像機視角的圖像，得到圖像二，最后將圖像一和圖像二疊加作為融合后的圖像。
[0015]優(yōu)選地，所述視頻處理模塊將融合后的圖像通過jpeg壓縮算法壓縮成jpeg格式的圖像，最后將壓縮后的融合圖像通過網(wǎng)絡(luò)接口模塊發(fā)送出去。
[0016]優(yōu)選地，所述融合系統(tǒng)采用Ρ0Ε方式供電。
[0017]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)有益效果如下:
[0018]1)激光測距模塊對成像目標做距離測量，將測量后的結(jié)果實時返回給視頻處理模塊，視頻處理模塊根據(jù)激光測距模塊反饋回的距離參數(shù)，自動調(diào)整圖像融合時所必須的成像距離參數(shù)，使整個系統(tǒng)具有了對距離的自適應(yīng)性，打破了目前圖像融合算法對距離的限制，擴展了系統(tǒng)的應(yīng)用范圍。目前融合系統(tǒng)只能應(yīng)用在攝像機與監(jiān)控目標都固定不變的場景，而本發(fā)明具有了對距離的自適應(yīng)性，因此紅外熱成像攝像機和可見光攝像機可以自由調(diào)節(jié)角度，監(jiān)控目標也可以自由移動，不影響融合效果。
[0019]2)由于采用了激光測距模塊，其測距誤差為2mm，模塊通信速率高達115K，滿足了系統(tǒng)的實時性要求，進一步提高了融合算法的精度，改善了融合效果。
[0020]3)本發(fā)明在融合過程中，通過預(yù)先設(shè)定的溫度閾值，對紅外熱成像圖像進行了預(yù)處理，濾除了圖像的低溫部分，突出了圖像的高溫部分，增加了融合后圖像的溫度警示效果。該溫度閾值可以修改，在不同的溫度場景，可以實現(xiàn)不同的融合效果。
[0021]下面結(jié)合附圖對本發(fā)明的對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)作進一步詳細說明。
【附圖說明】
[0022]圖1為視頻處理模塊初始化虛擬標定棋盤格參數(shù)的流程圖；
[0023]圖2為視頻處理模塊獲取單應(yīng)矩陣流程圖；
[0024]圖3為視頻處理模塊疊加可見光圖像和紅外熱成像圖像流程圖；
[0025]圖4為本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)框圖。
【具體實施方式】
[0026]參見圖1，本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法，在執(zhí)行紅外與可見光視頻融合之前，對紅外熱成像攝像機和可見光攝像機做標定，可以采用張正友攝像機標定法來獲取兩個攝像機的內(nèi)部參數(shù)和外部參數(shù)；在完成標定后，進行紅外與可見光視頻融合包括以下步驟(以下涉及的函數(shù)均為OpenCV中的庫函數(shù)):
[0027](1)參見圖1，視頻處理模塊初始化虛擬標定棋盤格的參數(shù)，調(diào)用函數(shù):
[0028]boolhomography::Init(cv::Size boardSize，double tanTheta，stringintrinsicFN， string extrinsicFN， string rmapFN， intthres = 0)；
[0029]完成初始化。該函數(shù)的前兩個參數(shù)都用來控制虛擬標定棋盤格的格數(shù)和大小，其中，第二個參數(shù)越大，則棋盤越大，后面三個文件名都是標定過程存儲的結(jié)果，最后一個參數(shù)為溫度的限制，若為0，則禁用，速度會有大幅提升。
[0030](2)視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，視頻處理模塊利用距離參數(shù)映射虛擬標定棋盤格，將虛擬標定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣。
[0031]調(diào)用函數(shù):
[0032]cv::Mat homography::getHomography(double distance)；
[0