圖像融合方法和圖像融合設(shè)備的制造方法
【專利摘要】公開了一種圖像融合方法和圖像融合設(shè)備。提供了一種用于對對象的熱圖像和可見圖像進(jìn)行融合的圖像融合設(shè)備。所述圖像融合設(shè)備包括：確定處理器，被配置為基于熱圖像和可見圖像的每個(gè)像素的亮度值，確定每個(gè)像素的重要度；像素系數(shù)設(shè)置處理器，被配置為基于熱圖像和可見圖像的每個(gè)像素的重要度來設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)；熱圖像處理器，被配置為通過將像素系數(shù)施加到熱圖像的每個(gè)像素的亮度值來生成另一個(gè)熱圖像；圖像融合處理器，被配置為對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合來生成融合圖像。
【專利說明】
圖像融合方法和圖像融合設(shè)備
[0001] 本申請要求于2014年5月8日提交到韓國知識(shí)產(chǎn)權(quán)局的第10-2014-0054928號(hào) 韓國專利申請的優(yōu)先權(quán)，其公開通過引用完整地包含于此。
技術(shù)領(lǐng)域
[0002] 與示例性實(shí)施例一致的設(shè)備和方法涉及圖像融合，更具體地講，涉及融合對象的 熱圖像和對象的可見圖像。
【背景技術(shù)】
[0003] 在包括可見圖像相機(jī)、控制設(shè)備和顯示器設(shè)備的監(jiān)視系統(tǒng)中，觀察顯示器設(shè)備中 的移動(dòng)圖像的監(jiān)視器在夜間照明范圍內(nèi)具有相對較低的信息識(shí)別能力和情況管理能力。
[0004] 因此，最近添加了捕獲對象的熱圖像的熱圖像相機(jī)以顯示通過對熱圖像和可見圖 像進(jìn)行融合而產(chǎn)生的融合圖像。
[0005] 然而，在這種融合圖像中，圖像的清晰度在相對較亮的重要區(qū)域中基本上降低。
[0006] 因此，現(xiàn)有技術(shù)中使用了以下的圖像融合方法。
[0007] 首先，在熱圖像中，具有大于可見圖像的亮度值的平均值的亮度值的像素被選擇， 使這些被選擇的像素的亮度值增大并且使其他像素的亮度值減小，從而獲得另一個(gè)熱圖 像。
[0008] 其次，將如上獲得的可見圖像和另一個(gè)熱圖像融合在一起。
[0009] 根據(jù)以上圖像融合方法，可部分地改善在相對較亮的區(qū)域中的圖像的清晰度。然 而，由于熱圖像的高亮度而導(dǎo)致在相對較亮的區(qū)域的某些部分中圖像的清晰度降低。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明構(gòu)思的示例性實(shí)施例包括可提高在相對較亮的區(qū)域中的圖像的整體清晰 度的對熱圖像和可見圖像進(jìn)行融合的方法。
[0011] 本發(fā)明構(gòu)思的各個(gè)方面將在下面的描述中部分地闡明，并且通過描述部分將是顯 然的，或者可通過呈現(xiàn)的示例性實(shí)施例的實(shí)施而得知。
[0012] 根據(jù)示例性實(shí)施例，提供了一種用于對對象的熱圖像和可見圖像進(jìn)行融合的圖像 融合方法，所述圖像融合方法可包括：基于熱圖像和可見圖像的每個(gè)像素的亮度值，確定每 個(gè)像素的重要度；基于熱圖像和可見圖像的每個(gè)像素的重要度來設(shè)置針對熱圖像的每個(gè)像 素的像素系數(shù)；通過將像素系數(shù)施加到熱圖像的每個(gè)像素的亮度值來生成另一個(gè)熱圖像； 對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合來生成融合圖像。
[0013] 確定每個(gè)像素的重要度的步驟可包括：確定亮度值等于或者大于基于熱圖像的亮 度值的平均值計(jì)算的第一參考值的熱圖像的像素，作為熱圖像的重要像素；確定亮度值等 于或者大于基于可見圖像的亮度值的平均值計(jì)算的第二參考值的可見圖像的像素，作為可 見圖像的第一重要像素；確定亮度值等于或者大于預(yù)設(shè)的第三參考值的可見圖像的像素， 作為可見圖像的第二重要像素。
[0014] 第一參考值可通過將熱圖像的亮度值的平均值和標(biāo)準(zhǔn)偏差相加來獲得。
[0015] 第二參考值可通過從可見圖像的殼度值的平均值減去標(biāo)準(zhǔn)偏差來獲得。
[0016] 第三參考值可在執(zhí)行融合的圖像融合處理器中被預(yù)設(shè)。
[0017] 設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)的步驟可包括：作為確定的結(jié)果，如果熱 圖像的某個(gè)像素被確定為熱圖像的重要像素，并且可見圖像的對應(yīng)像素被確定為不是可見 圖像的第一重要像素而是可見圖像的第二重要像素，則將針對熱圖像的該像素的像素系數(shù) 設(shè)置為值1。
[0018] 設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)的步驟還可包括：作為確定的結(jié)果，如果 可見圖像的某個(gè)像素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要像 素，則將針對熱圖像的對應(yīng)像素的像素系數(shù)設(shè)置為在0和1之間選擇的值。
[0019] 在設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)的步驟中，作為確定的結(jié)果，在熱圖像 的某個(gè)像素被確定為不是熱圖像的重要像素時(shí)設(shè)置的針對熱圖像的該像素的像素系數(shù)小 于在熱圖像的該像素被確定為熱圖像的重要像素且可見圖像的對應(yīng)像素被確定為不是可 見圖像的第二重要像素而是可見圖像的第一重要像素時(shí)設(shè)置的針對熱圖像的該像素的像 素系數(shù)。
[0020] 對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合的步驟可通過將施加權(quán)重的可見圖像 與施加像素系數(shù)和另一個(gè)權(quán)重的所述另一個(gè)熱圖像相加來執(zhí)行。
[0021] 圖像融合方法還可包括：在確定熱圖像的每個(gè)像素的重要度之前調(diào)整對象的原始 熱圖像的每個(gè)像素的亮度值來生成所述熱圖像。調(diào)整的步驟可通過如下步驟來執(zhí)行：如 果原始熱圖像的某個(gè)像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素的亮度 值，如果該像素的亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。
[0022] 根據(jù)另一個(gè)示例性實(shí)施例，提供了一種用于對對象的熱圖像和可見圖像進(jìn)行融合 的圖像融合設(shè)備，所述圖像融合設(shè)備可包括：確定處理器，被配置為基于熱圖像和可見圖像 的每個(gè)像素的亮度值，確定每個(gè)像素的重要度；像素系數(shù)設(shè)置處理器，被配置為基于熱圖像 和可見圖像的每個(gè)像素的重要度來設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)；熱圖像處理 器，被配置為通過將像素系數(shù)施加到熱圖像的每個(gè)像素的亮度值來生成另一個(gè)熱圖像；圖 像融合處理器，被配置為對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合來生成融合圖像。
[0023] 確定處理器可包括：第一確定處理器，被配置為確定亮度值等于或者大于基于熱 圖像的亮度值的平均值計(jì)算的第一參考值的熱圖像的像素，作為熱圖像的重要像素；第二 確定處理器，被配置為確定亮度值等于或者大于基于可見圖像的亮度值的平均值計(jì)算的第 二參考值的可見圖像的像素，作為可見圖像的第一重要像素，并且確定亮度值等于或者大 于預(yù)設(shè)的第三參考值的可見圖像的像素，作為可見圖像的第二重要像素。
[0024] 第一參考值可通過將熱圖像的亮度值的平均值和標(biāo)準(zhǔn)偏差相加來獲得。
[0025] 第二參考值可通過從可見圖像的殼度值的平均值減去標(biāo)準(zhǔn)偏差來獲得。
[0026] 第三參考值可在圖像融合處理器中被預(yù)設(shè)。
[0027] 作為通過第一確定處理器和第二確定處理器確定的結(jié)果，如果熱圖像的某個(gè)像素 被確定為熱圖像的重要像素，并且可見圖像的對應(yīng)像素被確定為不是可見圖像的第一重要 像素而是可見圖像的第二重要像素，則像素系數(shù)設(shè)置處理器可將針對熱圖像的該像素的像 素系數(shù)設(shè)置為值1。
[0028] 作為通過第一確定處理器和第二確定處理器確定的結(jié)果，如果可見圖像的某個(gè)像 素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要像素，則像素系數(shù)設(shè)置 處理器可將針對熱圖像的對應(yīng)像素的像素系數(shù)設(shè)置為在0和1之間選擇的值。
[0029] 作為通過第一確定處理器和第二確定處理器確定的結(jié)果，像素系數(shù)設(shè)置處理器可 設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)，以使在熱圖像的某個(gè)像素被確定為不是熱圖像的 重要像素時(shí)設(shè)置的針對熱圖像的該像素的像素系數(shù)小于在熱圖像的該像素被確定為熱圖 像的重要像素且可見圖像的對應(yīng)像素被確定為不是可見圖像的第二重要像素而是可見圖 像的第一重要像素時(shí)設(shè)置的針對熱圖像的該像素的像素系數(shù)。
[0030] 圖像融合處理器可被配置為通過將施加權(quán)重的可見圖像與施加像素系數(shù)和另一 個(gè)權(quán)重的所述另一個(gè)熱圖像相加來對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合。
[0031] 圖像融合處理器還可被配置為在確定處理器確定熱圖像的每個(gè)像素的重要度之 前調(diào)整對象的原始熱圖像的每個(gè)像素的亮度值來生成所述熱圖像。熱圖像處理器可調(diào)整原 始熱圖像的每個(gè)像素的亮度值，從而如果原始熱圖像的某個(gè)像素的亮度值大于可見圖像的 亮度值的平均值，則增大該像素的亮度值，如果該像素的亮度值不大于可見圖像的亮度值 的平均值，則減小該像素的亮度值。
【附圖說明】
[0032] 通過下面結(jié)合附圖對示例性實(shí)施例進(jìn)行的描述，這些和/或其他方面將會(huì)變得清 楚和更易于理解，其中：
[0033] 圖1是示出根據(jù)示例性實(shí)施例的用于執(zhí)行圖像融合方法的控制器的示圖；
[0034] 圖2是通過圖1的控制器執(zhí)行的第一示例性實(shí)施例的圖像融合方法的流程圖；
[0035] 圖3是通過圖1的控制器執(zhí)行的第二示例性實(shí)施例的圖像融合方法的流程圖；
[0036] 圖4是示出根據(jù)示例性實(shí)施例的通過圖3的圖像融合方法生成的數(shù)據(jù)流的示圖；
[0037] 圖5是根據(jù)示例性實(shí)施例的圖3的操作S307的詳細(xì)流程圖；
[0038] 圖6是根據(jù)示例性實(shí)施例的圖3的操作S303的詳細(xì)流程圖；
[0039] 圖7是根據(jù)示例性實(shí)施例的圖3的操作S305的詳細(xì)流程圖；
[0040] 圖8是根據(jù)示例性實(shí)施例的圖5的操作dl的詳細(xì)流程圖；
[0041] 圖9是示出用來描述示例性實(shí)施例的效果的圖片的示圖；
[0042] 圖10是根據(jù)示例性實(shí)施例的圖像融合方法的流程圖；
[0043] 圖11是根據(jù)示例性實(shí)施例的圖像融合設(shè)備的框圖。
【具體實(shí)施方式】
[0044] 現(xiàn)在將詳細(xì)參照示例性實(shí)施例，在附圖中示出示例性實(shí)施例，其中，相同的參考標(biāo) 號(hào)始終表示相同的元件。就這點(diǎn)而言，示例性實(shí)施例可具有不同的形式，并且不應(yīng)被解釋為 局限于這里闡明的描述。因此，下面通過參照附圖僅對示例性實(shí)施例進(jìn)行描述以解釋本發(fā) 明構(gòu)思的多個(gè)方面。
[0045] 以下描述和附圖用于理解根據(jù)示例性實(shí)施例的操作，為了簡明，可省略對本領(lǐng)域 的普通技術(shù)人員可容易實(shí)現(xiàn)的公知的特征的描述。
[0046] 此外，說明書和附圖不是為了限制本發(fā)明構(gòu)思的范圍，本發(fā)明構(gòu)思的范圍由權(quán)利 要求來限定。為了更好地理解本發(fā)明構(gòu)思，這里所使用的術(shù)語被解釋為具有與現(xiàn)有技術(shù)一 致的含義和概念。
[0047] 以下，將參照附圖對示例性實(shí)施例進(jìn)行詳細(xì)描述。
[0048] 圖1是示出根據(jù)示例性實(shí)施例的用于執(zhí)行圖像融合方法的控制器103的示圖。
[0049] 參照圖1，熱圖像相機(jī)102輸出對象的熱圖像Ithe。可見圖像相機(jī)101輸出對象 的可見圖像Ivis。
[0050] 控制器103對來自可見圖像相機(jī)101的可見圖像和來自熱圖像相機(jī)102的熱圖像 進(jìn)行融合。
[0051] 控制器103將通過對可見圖像Ivis和熱圖像Ithe進(jìn)行融合而產(chǎn)生的融合圖像 Imix提供給顯示設(shè)備104?？刂破?03可在記錄器中存儲(chǔ)可見圖像Ivis、熱圖像Ithe和/ 或融合圖像Imix。
[0052] 在下文中，將對通過根據(jù)示例性實(shí)施例的控制器103執(zhí)行的圖像融合方法進(jìn)行描 述。
[0053] 圖2是通過圖1的控制器103執(zhí)行的第一示例性實(shí)施例的圖像融合方法的流程 圖。以下將參照圖1和圖2對第一示例性實(shí)施例的圖像融合方法進(jìn)行描述。
[0054] 控制器103基于每個(gè)像素的亮度值來確定熱圖像Ithe的每個(gè)像素是否為重要像 素以獲得第一確定結(jié)果（操作S201)。這里，重要像素是亮度值等于或者大于第一參考值的 像素，第一參考值是熱圖像Ithe的亮度值的平均值或者基于該平均值計(jì)算。
[0055] 此后，控制器103基于每個(gè)像素的亮度值來確定可見圖像Ivis的每個(gè)像素是否為 重要像素以獲得第二確定結(jié)果（操作S203)。這里，重要像素是亮度值等于或者大于第二參 考值的像素，第二參考值是可見圖像Ivis的亮度值的平均值或者基于該平均值計(jì)算。
[0056] 此后，控制器103基于第一確定結(jié)果和第二確定結(jié)果，通過調(diào)整熱圖像Ithe的每 個(gè)像素的亮度來獲得經(jīng)調(diào)整的熱圖像（操作S205)。
[0057] 然后，控制器103對可見圖像Ivis和經(jīng)調(diào)整的熱圖像進(jìn)行融合（操作S207)。
[0058] 根據(jù)第一示例性實(shí)施例的圖像融合方法，考慮到根據(jù)亮度的熱圖像Ithe的每個(gè) 像素的重要度和可見圖像Ivis的每個(gè)像素的重要度來調(diào)整熱圖像Ithe的每個(gè)像素的亮 度。然后，可對可見圖像Ivis和經(jīng)調(diào)整的熱圖像進(jìn)行融合來生成最終的圖像。
[0059] 因此，由于熱圖像Ithe的高亮度而導(dǎo)致的在一部分相對較亮的區(qū)域中圖像的清 晰度降低的問題（即，根據(jù)現(xiàn)有技術(shù)的圖像融合方法的問題）可被解決。即，通過考慮根據(jù) 亮度的熱圖像Ithe的每個(gè)像素的重要度和可見圖像Ivis的每個(gè)像素的重要度來確定針對 特定區(qū)域的像素的系數(shù)而增大者減小針對包括在相對較亮的區(qū)域中的像素的熱圖像Ithe 的系數(shù)，可提高融合圖像的整體清晰度。
[0060] 圖2的第一示例性實(shí)施例可通過將參照圖3至圖9描述的第二示例性實(shí)施例來充 分理解。這是因?yàn)閳D2的操作S201對應(yīng)于圖3的操作S303,圖2的操作S203對應(yīng)于圖3 的操作S305,圖2的操作S205對應(yīng)于圖3的操作S307,圖2的操作S207對應(yīng)于圖3的操 作 S309。
[0061] 圖3是通過圖1的控制器103執(zhí)行的第二示例性實(shí)施例的圖像融合方法的流程 圖。圖4是示出通過圖3的圖像融合方法生成的數(shù)據(jù)流的示圖。在圖4中，參考標(biāo)號(hào)403 表示統(tǒng)計(jì)數(shù)據(jù)。
[0062] 以下將參照圖1、圖3和圖4對第二示例性實(shí)施例的圖像融合方法進(jìn)行描述。
[0063] 控制器103在第一熱圖像（與圖1的Ithe對應(yīng)）中選擇亮度值高于可見圖像（與 圖1的Ivis對應(yīng)）的亮度值的平均值仏^的像素，增大選擇的像素的亮度且減小第一熱圖 像的其他像素的亮度，從而獲得第二熱圖像（操作S301)。這里，亮度增大的量和亮度減小 的量可被預(yù)定或者由控制器103控制。
[0064] 即，可見圖像的數(shù)據(jù)401被用于獲得可見圖像的亮度值的平均值仏^，并且根據(jù)可 見圖像的亮度值的平均值Mra，第一熱圖像的數(shù)據(jù)402被轉(zhuǎn)換為第二熱圖像的數(shù)據(jù)404,如 以下等式1中所示。
[0065] Y - |[(x識(shí)-wCCi)) / wCCI) +1].如果~S "?ca> 通 1 [(xm -mCCD)-mCCD +lf 如果~> WCC0 "i )
[0066] 在以上等式中，xIR表示第一熱圖像中的像素的亮度值，Mra表示可見圖像的亮度值 的平均值，x IRt表示第二熱圖像中的像素的亮度值。
[0067] 此后，控制器103基于第二熱圖像的每個(gè)像素的亮度值來確定第二熱圖像的每個(gè) 像素是否為重要像素，從而獲得第一確定結(jié)果（操作S303)。詳細(xì)地講，第一熱圖像的數(shù) 據(jù)402被用于獲得第一熱圖像的亮度值的平均值M IR和標(biāo)準(zhǔn)偏差S IR，并且根據(jù)第一熱圖像 Ithe的亮度值的平均值MIR和標(biāo)準(zhǔn)偏差S IR來獲得針對第二熱圖像的數(shù)據(jù)404的每個(gè)像素 的第一確定結(jié)果的變量Rir407。稍后將參照圖6對操作S303進(jìn)行更詳細(xì)的描述。
[0068] 此后，控制器103基于可見圖像的每個(gè)像素的亮度值來確定可見圖像的每個(gè)像素 是否為重要像素，從而獲得第二確定結(jié)果（操作S305)。詳細(xì)地講，根據(jù)可見圖像的亮度值 的平均值M ra和標(biāo)準(zhǔn)偏差S 來獲得針對可見圖像的數(shù)據(jù)401的每個(gè)像素的第二確定結(jié)果 的變量Rra406和Tra405。稍后將參照圖7對操作S305進(jìn)行更詳細(xì)的描述。
[0069] 此后，控制器103基于第一確定結(jié)果和第二確定結(jié)果，通過調(diào)整第二熱圖像的每 個(gè)像素的亮度值獲得第三熱圖像（操作S307)。即，根據(jù)第一確定結(jié)果的變量R ir和第二確 定結(jié)果的變量Rra406和Tra405來獲得針對第二熱圖像的數(shù)據(jù)404的每個(gè)像素的像素系數(shù) gIR408,并且根據(jù)像素系數(shù)gIR將第二熱圖像的數(shù)據(jù)404轉(zhuǎn)換為第三圖像的數(shù)據(jù)409。稍后 將參照圖5和圖8對操作S307進(jìn)行更詳細(xì)的描述。
[0070] 此后，控制器103對可見圖像和第三熱圖像進(jìn)行融合（操作S309)。即，對可見圖 像的數(shù)據(jù)401和第三熱圖像的數(shù)據(jù)409進(jìn)行融合來生成最終的融合圖像的數(shù)據(jù)410。
[0071] 根據(jù)第二示例性實(shí)施例的圖像融合方法，考慮到根據(jù)亮度的熱圖像的每個(gè)像素的 重要度和可見圖像的每個(gè)像素的重要度來調(diào)整第二熱圖像的數(shù)據(jù)404。然后，將可見圖像的 數(shù)據(jù)401和第三熱圖像的數(shù)據(jù)409融合在一起。
[0072] 因此，由于第二熱圖像的高亮度而導(dǎo)致的在一部分相對較亮的區(qū)域中圖像的清晰 度降低的問題（即，根據(jù)現(xiàn)有技術(shù)的圖像融合方法的問題）可被解決。即，通過考慮根據(jù)亮 度的熱圖像的每個(gè)像素的重要度和可見圖像的每個(gè)像素的重要度來確定針對特定區(qū)域的 像素的系數(shù)而增大者減小針對包括在相對較亮的區(qū)域中的像素的熱圖像的系數(shù)，可提高融 合圖像的整體清晰度。在下文中，將對第二示例性實(shí)施例的配置和效果進(jìn)行更詳細(xì)的描述。
[0073] 圖5是圖3的操作S307的詳細(xì)流程圖。以下將參照圖1、圖4和圖5對圖3的操 作S307進(jìn)行更詳細(xì)的描述。
[0074] 控制器103根據(jù)第一確定結(jié)果和第二確定結(jié)果（RIR、Rea^P T 的值）獲得與第二 熱圖像的每個(gè)像素對應(yīng)的像素系數(shù)gIR(操作dl)。稍后將參照圖8對操作dl進(jìn)行更詳細(xì) 的描述。
[0075] 此后，控制器103將第二熱圖像的每個(gè)像素的亮度值和與每個(gè)像素對應(yīng)的像素系 數(shù)gIR相乘，并將相乘的結(jié)果設(shè)置為第三熱圖像的每個(gè)像素的亮度值（操作d2)。即，當(dāng)?shù)?二熱圖像中的像素的亮度值為x IRt且與該像素對應(yīng)的像素系數(shù)為gIR時(shí)，第三熱圖像中的對 應(yīng)像素的亮度值為gIRXx IRt。
[0076] 在這個(gè)情況下，在圖3的操作S309中，當(dāng)在可見圖像中的像素的亮度值為xra時(shí)， 通過以下等式2來獲得對應(yīng)像素的融合結(jié)果的亮度值x F。
[0077] xF - x CCD X wCCD+xIRt X gIR X wIR. . . (2)
[0078] 在以上等式中，《_表示可見圖像的像素的權(quán)重，w IR表示熱圖像的對應(yīng)像素的權(quán) 重，xF表示最終融合圖像的對應(yīng)像素的亮度值，x ^表示可見圖像的對應(yīng)像素的亮度值，x IRt 表示熱圖像的對應(yīng)像素的亮度值。這里，可通過等式3來確定和w IR。
[0080] 在以上等式中，表示可見圖像數(shù)據(jù)，w IR表示熱圖像數(shù)據(jù)。
[0081] 圖6是圖3的操作S303的詳細(xì)流程圖。以下將參照圖1、圖4和圖6對圖3的操 作S303進(jìn)行詳細(xì)的描述。
[0082] 控制器103通過將第一熱圖像的亮度值的平均值MIR和標(biāo)準(zhǔn)偏差S IR相加來設(shè)置第 一參考值MIR+SIR (操作bl)。
[0083] 此后，控制器103將二進(jìn)制數(shù)" 1"賦予第二熱圖像中亮度值大于第一參考值Mir+Sir 的像素作為第一確定結(jié)果的變量Rir，并且將二進(jìn)制數(shù)"〇"賦予第二熱圖像中的其他像素作 為第一確定結(jié)果的變量R ir (操作b2)。
[0084] 圖7是圖3的操作S305的詳細(xì)流程圖。以下將參照圖1、圖4和圖7對圖3的操 作S305進(jìn)行詳細(xì)的描述。
[0085] 控制器103通過從可見圖像的亮度值的平均值Mra減去標(biāo)準(zhǔn)偏差S 來設(shè)置第二 參考值^_(操作cl)。
[0086] 此后，控制器103將第三參考值PTHR(未示出）設(shè)置為可見圖像的閾值亮度值（操 作 C2)。這里，閾值亮度值為用于確定光飽和的參考值。具有等于或者大于閾值亮度值的 亮度值的像素可被認(rèn)為是飽和區(qū)域，并且在可見圖像中包括具有等于或者大于閾值亮度值 的亮度值的像素的區(qū)域的清晰度降低。此后，控制器103將二進(jìn)制數(shù)"1"賦予可見圖像中 亮度值大于第二參考的像素作為第二確定結(jié)果的第一變量!?^，并且將二進(jìn)制數(shù) "0"賦予可見圖像中的其他像素作為第二確定結(jié)果的第一變量R ra(操作c3)。
[0087] 此后，控制器103將二進(jìn)制數(shù)"1"賦予可見圖像中亮度值大于第三參考值PTHR的 像素作為第二確定結(jié)果的第二變量T ra，并且將二進(jìn)制數(shù)"0"賦予可見圖像中的其他像素作 為第二確定結(jié)果的第二變量Tra (操作c4)。
[0088] 圖8是圖5的操作dl的詳細(xì)流程圖。以下將參照圖1、圖4和圖8對圖5的操作 dl進(jìn)行詳細(xì)的描述。
[0089] 控制器103將值"1"賦予如下像素作為像素系數(shù)gIR:被賦予二進(jìn)制數(shù)"1"作為第 一確定結(jié)果的變量R ir、被賦予二進(jìn)制數(shù)"〇"作為第二確定結(jié)果的第一變量Rra且被賦予二 進(jìn)制數(shù)" 1"作為第二確定結(jié)果的第二變量Tra的像素（操作S801和操作S803)。
[0090] 在操作803中被賦予值"1"的像素為可見圖像中由于光飽和所導(dǎo)致的高亮度而具 有低分辨率的區(qū)域以及熱圖像中的具有高分辨率的區(qū)域，并且為了維持熱圖像的亮度而將 該像素的像素系數(shù)g IR設(shè)置為" 1 "。
[0091] 此后，控制器103將"0. 31"到"0. 99"范圍內(nèi)選擇的值賦予如下像素作為像素系數(shù) gIR:被賦予二進(jìn)制數(shù)" 1"作為第一確定結(jié)果的變量R IR、被賦予二進(jìn)制數(shù)" 1"作為第二確定 結(jié)果的第一變量Rra且被賦予二進(jìn)制數(shù)"〇"作為第二確定結(jié)果的第二變量T eeD的像素（操 作S801和操作S805)。這里，由于這些像素被包括在光未飽和的區(qū)域，因此這些像素與可 見圖像中具有高分辨率的區(qū)域?qū)?yīng)。例如，值"〇. 7"被賦予這些像素作為像素系數(shù)gIR。因 此，熱圖像的亮度會(huì)減小，并且由此可見圖像數(shù)據(jù)的亮度會(huì)增大。即，對于熱圖像和可見圖 像兩者中可被清楚地識(shí)別的區(qū)域而言，由于可見圖像數(shù)據(jù)與熱圖像數(shù)據(jù)相比可被更清楚地 識(shí)別，因此可通過將像素系數(shù)g IR設(shè)置為小于1來減小熱圖像數(shù)據(jù)的亮度。
[0092] 由于被賦予"0.31"到"0.99"范圍內(nèi)的值（例如，"0.7"）的像素會(huì)是熱圖像和可 見圖像兩者中可被清楚地識(shí)別的區(qū)域的可能性大，因此第二熱圖像的像素的亮度可略有下 降。
[0093] 此后，由于被賦予二進(jìn)制數(shù)"0"作為第一確定結(jié)果的變量Rir的像素包括在熱圖像 中被識(shí)別為暗的區(qū)域中，因此控制器103將"0"到"0. 30"范圍內(nèi)的值賦予這些像素作為像 素系數(shù)gIR以進(jìn)一步減小熱圖像數(shù)據(jù)的亮度（操作S801和操作S807)。值"0. 30"被賦予 這些像素作為像素系數(shù)gIR。
[0094] 由于被賦予"0"到"0.30"范圍內(nèi)的值（例如，"0.30"）的像素在熱圖像中不重 要，因此為了進(jìn)一步減小第二熱圖像的這些像素的亮度值而賦予更小的像素系數(shù)。
[0095] 這里，亮度減小的量和亮度進(jìn)一步減小的量可預(yù)先確定或由控制器103控制。
[0096] 圖9是示出用來描述示例性實(shí)施例的效果的圖片的示圖。
[0097] 在圖9中，參考標(biāo)號(hào)"901"表不第一熱圖像（圖1中的Ithe)，參考標(biāo)號(hào)"902"表 示可見圖像（圖1中的Ivis)，參考標(biāo)號(hào)"903"表示第二熱圖像。
[0098] 此外，參考標(biāo)號(hào)"904"表示通過可見圖像902和第二熱圖像903的融合而產(chǎn)生的 融合圖像，參考標(biāo)號(hào)"904a"表示其中的重要區(qū)域。參考標(biāo)號(hào)"905"表示第三熱圖像。
[0099] 此外，參考標(biāo)號(hào)"906"表示通過可見圖像902和第三熱圖像905的融合而產(chǎn)生的 融合圖像，參考標(biāo)號(hào)"906a"表示其中的重要區(qū)域。
[0100] 參照圖9,可以看出，包含通過可見圖像902和第三熱圖像905的融合而產(chǎn)生的重 要像素的區(qū)域906a的清晰度高于通過可見圖像902和第二熱圖像903的融合而產(chǎn)生的重 要像素的區(qū)域904a的清晰度。
[0101] 圖10是根據(jù)示例性實(shí)施例的圖像融合方法的流程圖。
[0102] 參照圖10,示例性實(shí)施例的圖像融合方法是用于融合對象的熱圖像和對象的可見 圖像的方法，該方法包括檢測熱圖像的重要像素的操作S1002、檢測可見圖像的第一重要像 素和第二重要像素的操作S1003和計(jì)算像素系數(shù)的操作S1004。
[0103] 在操作S1002中，圖像融合設(shè)備可檢測具有等于或者大于基于熱圖像的亮度值的 平均值計(jì)算的第一參考值的亮度值的熱圖像的重要像素。操作S1002可與圖3的操作S303 對應(yīng)，并且具有值"1"作為變量的像素可以是熱圖像的重要像素。這里，第一參考值可與熱 圖像的亮度值的平均值對應(yīng)并且可等于熱圖像的亮度值的平均值和標(biāo)準(zhǔn)偏差的總和。通過 操作S1002,檢測出包括在熱圖像中且具有相當(dāng)高的亮度的重要像素。
[0104] 在操作S1003中，圖像融合設(shè)備可檢測亮度值等于或者大于基于可見圖像的亮度 值的平均值計(jì)算的第二參考值的可見圖像的第一重要像素，并檢測亮度值等于或者大于第 三參考值的可見圖像的第二重要像素。操作S1003可與圖3的操作S305對應(yīng)，第一重要像 素可以是具有值1作為第一變量的像素，第二重要像素可以是具有值1作為第二變量的像 素。這里，第二參考值可通過從可見圖像的亮度值的平均值減去標(biāo)準(zhǔn)偏差來獲得，第三參考 值可以是可見圖像的閾值亮度值。通過操作S1003,檢測出包括在可見圖像中且具有非暗 (non-dark)亮度的第一重要像素，可檢測出包括在可見圖像中且具有飽和亮度的第二重要 像素。
[0105] 在操作S1004中，用于調(diào)整用于對熱圖像和可見圖像進(jìn)行融合的熱圖像的權(quán)重的 針對熱圖像的每個(gè)像素的像素系數(shù)基于每個(gè)像素的重要度被設(shè)置。由于已參照圖5描述過 調(diào)整權(quán)重的操作，因此為了簡明而將省略其中的多余的描述。
[0106] 根據(jù)示例性實(shí)施例的圖像融合方法還可包括調(diào)整熱圖像的亮度值以處理熱圖像 的操作S1001。由于操作S1001與操作S301相同，因此將省略其中的多余的描述。
[0107] 圖11是根據(jù)示例性實(shí)施例的圖像融合設(shè)備的框圖。
[0108] 參照圖11，根據(jù)示例性實(shí)施例的圖像融合設(shè)備可與圖1示出的控制器對應(yīng)，并且 包括第一確定處理器1101、第二確定處理器1102、系數(shù)設(shè)置處理器1103、熱圖像處理器 1104和圖像融合處理器1105。
[0109] 第一確定處理器1101確定具有等于或者大于基于熱圖像的亮度值的平均值計(jì)算 的第一參考值的亮度值的熱圖像的像素作為熱圖像的重要像素。由于第一確定處理器1101 的操作與操作S303相同，因此將省略其中的多余的描述。
[0110] 第二確定處理器1102確定亮度值等于或者大于基于可見圖像的亮度值的平均值 計(jì)算的第二參考值的可見圖像的像素作為可見圖像的第一重要像素，并且檢測具有等于或 者大于預(yù)設(shè)的第三參考值的亮度值的可見圖像的像素作為可見圖像的第二重要像素。由于 第二確定處理器1102的操作與操作S305相同，因此將省略其中的多余的描述。根據(jù)示例 性實(shí)施例，第一確定處理器和第二確定處理器可作為單個(gè)確定處理器來實(shí)施。
[0111] 系數(shù)設(shè)置處理器1103基于每個(gè)像素的重要度，通過設(shè)置針對熱圖像的每個(gè)像素 的像素系數(shù)來調(diào)整用于對熱圖像和可見圖像進(jìn)行融合的熱圖像的權(quán)重。由于系數(shù)設(shè)置處理 器1103的操作與操作S307相同，因此將省略其中的多余的描述。
[0112] 由于用于預(yù)處理熱圖像的熱圖像處理器1104的操作與操作S301和操作S307相 同，因此將省略其中的多余的描述。
[0113] 圖像融合處理器105通過施加像素系數(shù)的熱圖像和可見圖像的加權(quán)的總和來對 熱圖像和可見圖像進(jìn)行融合。由于圖像融合處理器1105的操作與操作S309相同，因此將 省略其中的多余的描述。
[0114] 如上所述，根據(jù)以上的示例性實(shí)施例，在圖像融合方法中，考慮到根據(jù)亮度的熱圖 像的每個(gè)像素的重要度和可見圖像的每個(gè)像素的重要度來調(diào)整熱圖像的每個(gè)像素的亮度。 然后，將可見圖像和第二熱圖像融合在一起。
[0115] 因此，根據(jù)現(xiàn)有技術(shù)的圖像融合方法的問題可被解決。即，由于熱圖像的高亮度而 導(dǎo)致的在一部分相對較亮的重要區(qū)域中清晰度降低的問題可被解決。
[0116] 因此，通過根據(jù)以上示例性實(shí)施例的圖像融合方法，可提高在相對較亮的重要區(qū) 域中的圖像的整體清晰度。即，通過考慮熱圖像的每個(gè)像素的重要度和可見圖像的每個(gè)像 素重要度來確定針對特定區(qū)域的像素的像素系數(shù)而增大者減小針對包括在相對較亮的重 要區(qū)域中的像素的熱圖像的系數(shù)，可提高融合圖像的整體清晰度。
[0117] 可提供一種存儲(chǔ)用于執(zhí)行如上所述的圖像融合方法的操作的程序的非暫時(shí)性計(jì) 算機(jī)可讀介質(zhì)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)是指半永久地存儲(chǔ)數(shù)據(jù)并可由裝置讀取的介質(zhì)， 而不是諸如寄存器、高速緩沖存儲(chǔ)器、內(nèi)存等的短期存儲(chǔ)數(shù)據(jù)的介質(zhì)。詳細(xì)地講，可將如上 所述的應(yīng)用或程序存儲(chǔ)和設(shè)置在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)（諸如，致密盤（CD)、數(shù)字通用 盤（DVD)、硬盤、藍(lán)光盤、通用串行總線（USB)、存儲(chǔ)卡和只讀存儲(chǔ)器（ROM)等）中。
[0118] 根據(jù)示例性實(shí)施例，由如圖11所示的塊表示的組件、元件或者單元中的至少一個(gè) 可被實(shí)現(xiàn)為執(zhí)行如上所述的各自的功能的各種數(shù)量的硬件、軟件和/或固件結(jié)構(gòu)。例如， 這些組件、元件或者單元中的至少一個(gè)可使用可通過一個(gè)或者更多個(gè)微處理器或其他控制 設(shè)備的控制來執(zhí)行各自的功能的直接的電路結(jié)構(gòu)（諸如，存儲(chǔ)器、處理裝置、邏輯、查找表 等）。此外，這些組件、元件或者單元中的至少一個(gè)可通過模塊、程序或者代碼的一部分來專 門體現(xiàn)，所述模塊、程序或者代碼的一部分包含用于執(zhí)行指定的邏輯功能的一個(gè)或更多個(gè) 可執(zhí)行的指令。此外，這些組件、元件或者單元中的至少一個(gè)還可包括處理器，諸如執(zhí)行各 自的功能的中央處理器（CPU)、微處理器等。此外，雖然在以上框圖中沒有示出總線，但可通 過總線來執(zhí)行組件、元件或者單元之間的通信?？梢砸栽谝粋€(gè)或者更多個(gè)處理器上執(zhí)行的 算法來實(shí)現(xiàn)以上示例性實(shí)施例的功能方面。此外，由塊或者處理步驟表示的組件、元件或者 單元可采用用于電子配置、信號(hào)處理和/或控制、數(shù)據(jù)處理等的任意數(shù)量的現(xiàn)有技術(shù)。
[0119] 本發(fā)明構(gòu)思不僅可用于對熱圖像和可見圖像進(jìn)行融合，而且還可用于對其他的圖 像進(jìn)行融合。
[0120] 應(yīng)理解的是，這里所描述的示例性實(shí)施例應(yīng)該被認(rèn)為僅是描述性的意義而不是為 了限制的目的。每個(gè)實(shí)施例的特征或方面的描述通常應(yīng)被認(rèn)為可用于其他示例性實(shí)施例中 的其他類似的特征或者方面。
[0121] 雖然已經(jīng)參照附圖描述了示例性實(shí)施例，但是本領(lǐng)域普通技術(shù)人員將理解的是， 在不脫離由權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可對其做出形式和細(xì)節(jié)上 的各種改變。
【主權(quán)項(xiàng)】
1. 一種用于對對象的熱圖像和可見圖像進(jìn)行融合的圖像融合方法，所述圖像融合方法 包括： 基于熱圖像和可見圖像的每個(gè)像素的亮度值，確定每個(gè)像素的重要度； 基于熱圖像和可見圖像的每個(gè)像素的重要度來設(shè)置針對熱圖像的每個(gè)像素的像素系 數(shù)； 通過將像素系數(shù)施加到熱圖像的每個(gè)像素的亮度值來生成另一個(gè)熱圖像； 對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合來生成融合圖像。2. 如權(quán)利要求1所述的圖像融合方法，其中，確定每個(gè)像素的重要度的步驟包括： 確定亮度值等于或者大于基于熱圖像的亮度值的平均值計(jì)算的第一參考值的熱圖像 的像素，作為熱圖像的重要像素； 確定亮度值等于或者大于基于可見圖像的亮度值的平均值計(jì)算的第二參考值的可見 圖像的像素，作為可見圖像的第一重要像素； 確定亮度值等于或者大于預(yù)設(shè)的第三參考值的可見圖像的像素，作為可見圖像的第二 重要像素。3. 如權(quán)利要求2所述的圖像融合方法，其中，第一參考值通過將熱圖像的亮度值的平 均值和標(biāo)準(zhǔn)偏差相加來獲得。4. 如權(quán)利要求2所述的圖像融合方法，其中，第二參考值通過從可見圖像的亮度值的 平均值減去標(biāo)準(zhǔn)偏差來獲得。5. 如權(quán)利要求2所述的圖像融合方法，其中，第三參考值在執(zhí)行融合的圖像融合處理 器中被預(yù)設(shè)。6. 如權(quán)利要求2所述的圖像融合方法，其中，設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù) 的步驟包括：作為確定的結(jié)果，如果熱圖像的某個(gè)像素被確定為熱圖像的重要像素，并且可 見圖像的對應(yīng)像素被確定為不是可見圖像的第一重要像素而是可見圖像的第二重要像素， 則將針對熱圖像的該像素的像素系數(shù)設(shè)置為值1。7. 如權(quán)利要求2所述的圖像融合方法，其中，設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù) 的步驟包括：作為確定的結(jié)果，如果可見圖像的某個(gè)像素被確定為不是可見圖像的第二重 要像素而是可見圖像的第一重要像素，則將針對熱圖像的對應(yīng)像素的像素系數(shù)設(shè)置為在〇 和1之間選擇的值。8. 如權(quán)利要求7所述的圖像融合方法，其中，在設(shè)置針對熱圖像的每個(gè)像素的像素系 數(shù)的步驟中，作為確定的結(jié)果，在熱圖像的某個(gè)像素被確定為不是熱圖像的重要像素時(shí)設(shè) 置的針對熱圖像的該像素的像素系數(shù)小于在熱圖像的該像素被確定為熱圖像的重要像素 且可見圖像的對應(yīng)像素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要 像素時(shí)設(shè)置的針對熱圖像的該像素的像素系數(shù)。9. 如權(quán)利要求1所述的圖像融合方法，其中，對所述另一個(gè)熱圖像和可見圖像進(jìn)行融 合的步驟通過將施加權(quán)重的可見圖像與施加像素系數(shù)和另一個(gè)權(quán)重的所述另一個(gè)熱圖像 相加來執(zhí)行。10. 如權(quán)利要求2所述的圖像融合方法，還包括：在確定熱圖像的每個(gè)像素的重要度之 前調(diào)整對象的原始熱圖像的每個(gè)像素的亮度值來生成所述熱圖像， 其中，調(diào)整的步驟包括： 如果原始熱圖像的某個(gè)像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素 的亮度值； 如果該像素的亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。11. 一種用于對對象的熱圖像和可見圖像進(jìn)行融合的圖像融合設(shè)備，所述圖像融合設(shè) 備包括： 確定處理器，被配置為基于熱圖像和可見圖像的每個(gè)像素的亮度值，確定每個(gè)像素的 重要度； 像素系數(shù)設(shè)置處理器，被配置為基于熱圖像和可見圖像的每個(gè)像素的重要度來設(shè)置針 對熱圖像的每個(gè)像素的像素系數(shù)； 熱圖像處理器，被配置為通過將像素系數(shù)施加到熱圖像的每個(gè)像素的亮度值來生成另 一個(gè)熱圖像； 圖像融合處理器，被配置為對所述另一個(gè)熱圖像和可見圖像進(jìn)行融合來生成融合圖 像。12. 如權(quán)利要求11所述的圖像融合設(shè)備，其中，確定處理器包括： 第一確定處理器，被配置為確定亮度值等于或者大于基于熱圖像的亮度值的平均值計(jì) 算的第一參考值的熱圖像的像素，作為熱圖像的重要像素； 第二確定處理器，被配置為確定亮度值等于或者大于基于可見圖像的亮度值的平均值 計(jì)算的第二參考值的可見圖像的像素，作為可見圖像的第一重要像素，并且確定亮度值等 于或者大于預(yù)設(shè)的第三參考值的可見圖像的像素，作為可見圖像的第二重要像素。13. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，第一參考值通過將熱圖像的亮度值的 平均值和標(biāo)準(zhǔn)偏差相加來獲得。14. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，第二參考值通過從可見圖像的亮度值 的平均值減去標(biāo)準(zhǔn)偏差來獲得。15. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，第三參考值在圖像融合處理器中被預(yù) 設(shè)。16. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，作為通過第一確定處理器和第二確定 處理器確定的結(jié)果，如果熱圖像的某個(gè)像素被確定為熱圖像的重要像素，并且可見圖像的 對應(yīng)像素被確定為不是可見圖像的第一重要像素而是可見圖像的第二重要像素，則像素系 數(shù)設(shè)置處理器將針對熱圖像的該像素的像素系數(shù)設(shè)置為值1。17. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，作為通過第一確定處理器和第二確定 處理器確定的結(jié)果，如果可見圖像的某個(gè)像素被確定為不是可見圖像的第二重要像素而是 可見圖像的第一重要像素，則像素系數(shù)設(shè)置處理器將針對熱圖像的對應(yīng)像素的像素系數(shù)設(shè) 置為在〇和1之間選擇的值。18. 如權(quán)利要求17所述的圖像融合設(shè)備，其中，作為通過第一確定處理器和第二確定 處理器確定的結(jié)果，像素系數(shù)設(shè)置處理器設(shè)置針對熱圖像的每個(gè)像素的像素系數(shù)，以使在 熱圖像的某個(gè)像素被確定為不是熱圖像的重要像素時(shí)設(shè)置的針對熱圖像的該像素的像素 系數(shù)小于在熱圖像的該像素被確定為熱圖像的重要像素且可見圖像的對應(yīng)像素被確定為 不是可見圖像的第二重要像素而是可見圖像的第一重要像素時(shí)設(shè)置的針對熱圖像的該像 素的像素系數(shù)。19. 如權(quán)利要求11所述的圖像融合設(shè)備，其中，圖像融合處理器被配置為通過將施加 權(quán)重的可見圖像與施加像素系數(shù)和另一個(gè)權(quán)重的所述另一個(gè)熱圖像相加來對所述另一個(gè) 熱圖像和可見圖像進(jìn)行融合。20. 如權(quán)利要求12所述的圖像融合設(shè)備，其中，熱圖像處理器還被配置為在確定處理 器確定熱圖像的每個(gè)像素的重要度之前調(diào)整對象的原始熱圖像的每個(gè)像素的亮度值來生 成所述熱圖像， 其中，熱圖像處理器調(diào)整原始熱圖像的每個(gè)像素的亮度值，從而如果原始熱圖像的某 個(gè)像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素的亮度值，如果該像素的 亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。
【文檔編號(hào)】G06K9/62GK105894009SQ201510232880
【公開日】2016年8月24日
【申請日】2015年5月8日
【發(fā)明人】李準(zhǔn)性, 裴正民
【申請人】韓華泰科株式會(huì)社