本發(fā)明屬于圖像處理，尤其涉及一種熒光圖像與視頻圖像的融合方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、內(nèi)窺鏡是集中了傳統(tǒng)光學(xué)、人體工程學(xué)、精密機(jī)械、現(xiàn)代電子、數(shù)學(xué)、軟件等于一體的檢測儀器，具有圖像傳感器、光學(xué)鏡頭、光源照明、機(jī)械裝置等。內(nèi)窺鏡經(jīng)口腔進(jìn)入胃內(nèi)或經(jīng)其他天然孔道進(jìn)入體內(nèi)，可以直視體外x射線不能顯示的病變，在現(xiàn)代醫(yī)學(xué)中，作為疾病診斷治療的重要方法。內(nèi)鏡因其無創(chuàng)、靈敏和快速等優(yōu)勢，在臨床上的應(yīng)用，尤其是胃腸道癌癥診斷，越來越廣泛。

3、然而，目前白光內(nèi)鏡對于早期病變的檢出率和診斷能力有限，主要依賴于臨床醫(yī)生的經(jīng)驗(yàn)。熒光內(nèi)鏡可以輔助醫(yī)生進(jìn)行診斷，但，目前熒光內(nèi)鏡的輔助診斷僅停留在拍攝單張熒光圖像上，使得診斷區(qū)域受限，診斷時長增加，使得檢查效率降低，難以實(shí)時提供診療策略，且患者的就醫(yī)體驗(yàn)變差。

4、目前，已存在將熒光圖像與可見光圖像進(jìn)行融合的方法，可以在可見光圖像中顯示熒光圖像，但是存在一定局限性，例如，申請?zhí)枮?02210027467.x發(fā)明名稱為一種可見光圖像與熒光圖像融合方法及系統(tǒng)的專利，需要對可見光相機(jī)和近紅外相機(jī)進(jìn)行配準(zhǔn)，實(shí)現(xiàn)可見光圖像和熒光圖像的同步采集，才能實(shí)現(xiàn)熒光圖像與可見光圖像的融合。但是，這種方法需要可見光圖像和熒光圖像的同步采集，然而目前的白光內(nèi)鏡大多采集的是視頻，而熒光內(nèi)鏡采集的是圖像，即，視頻圖像采集使用攝像頭，幀數(shù)為60幀，故每秒鐘采集到的視頻圖像數(shù)為60張，而熒光圖像采集使用高速照相機(jī)，每秒鐘可采集圖像數(shù)為30張。這種情況就導(dǎo)致了一張熒光圖像對應(yīng)多張視頻圖像，而現(xiàn)有技術(shù)僅考慮了一張熒光圖像對應(yīng)一張視頻圖像的情況。而且，在采集視頻圖像時，白光內(nèi)鏡是實(shí)時運(yùn)動的，并不能保證每張圖像的清晰度，會影響視頻圖像與熒光圖像融合效果。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述背景技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種熒光圖像與視頻圖像的融合方法及系統(tǒng)，通過調(diào)焦值快速選取出兩張相鄰的熒光圖像之間的最優(yōu)幀視頻圖像，與熒光圖像相融合，完成了視頻圖像與熒光圖像的精確融合，而且有效避免了不清晰的視頻圖像對融合效果的影響。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、本發(fā)明的第一個方面提供一種熒光圖像與視頻圖像的融合方法。

4、一種熒光圖像與視頻圖像的融合方法，包括：

5、在一時間段內(nèi)，獲取若干幀連續(xù)的視頻圖像和若干張連續(xù)的熒光圖像；

6、對于兩張相鄰的熒光圖像之間的所有視頻圖像，分別計(jì)算每幀視頻圖像的基準(zhǔn)列的調(diào)焦值，選擇調(diào)焦值最大的視頻圖像作為最優(yōu)圖像；所述調(diào)焦值的計(jì)算步驟包括：對于視頻圖像的基準(zhǔn)列，計(jì)算相鄰兩像素點(diǎn)之間的灰度值的差值；將所有差值的和，作為調(diào)焦值；

7、將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系后，進(jìn)行最優(yōu)圖像和熒光圖像的融合，得到融合圖像；所述融合的方法為：計(jì)算最優(yōu)圖像和熒光圖像中的像素點(diǎn)的像素值的平均值，將平均值作為所述融合圖像中的像素點(diǎn)的像素值。

8、進(jìn)一步地，對于轉(zhuǎn)換至同一坐標(biāo)系后的最優(yōu)圖像和熒光圖像，分別將所述坐標(biāo)系中只有單個像素點(diǎn)的位置進(jìn)行像素值清零后，進(jìn)行最優(yōu)圖像和熒光圖像的融合。

9、進(jìn)一步地，還包括：將所有融合圖像按時間順序排列。

10、進(jìn)一步地，所述將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系的步驟包括：基于多個標(biāo)定點(diǎn)，分別將最優(yōu)圖像和熒光圖像轉(zhuǎn)換到二維坐標(biāo)系中；通過相對位置偏差，將最優(yōu)圖像和熒光圖像中的像素轉(zhuǎn)換到同一二維坐標(biāo)系中。

11、進(jìn)一步地，所述基準(zhǔn)列為人為指定的固定列。

12、進(jìn)一步地，所述基準(zhǔn)列為方差和最小的列，所述方差和為：，其中，表示第i列的方差和，，表示兩張熒光圖像間的每j幀視頻圖像的第i列中像素的個數(shù)，表示兩張熒光圖像間的每j幀視頻圖像的第i列中所有像素的灰度值的均值，xijk表示兩張熒光圖像間的每j幀視頻圖像的第i列中的第k個像素點(diǎn)的灰度值。

13、本發(fā)明的第二個方面提供一種熒光圖像與視頻圖像的融合系統(tǒng)。

14、一種熒光圖像與視頻圖像的融合系統(tǒng)，包括：

15、數(shù)據(jù)獲取模塊，其被配置為：在一時間段內(nèi)，獲取若干幀連續(xù)的視頻圖像和若干張連續(xù)的熒光圖像；

16、圖像選擇模塊，其被配置為：對于兩張相鄰的熒光圖像之間的所有視頻圖像，分別計(jì)算每幀視頻圖像的基準(zhǔn)列的調(diào)焦值，選擇調(diào)焦值最大的視頻圖像作為最優(yōu)圖像；所述調(diào)焦值的計(jì)算步驟包括：對于視頻圖像的基準(zhǔn)列，計(jì)算相鄰兩像素點(diǎn)之間的灰度值的差值；將所有差值的和，作為調(diào)焦值；

17、圖像融合模塊，其被配置為：將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系后，進(jìn)行最優(yōu)圖像和熒光圖像的融合，得到融合圖像；所述融合的方法為：計(jì)算最優(yōu)圖像和熒光圖像中的像素點(diǎn)的像素值的平均值，將平均值作為所述融合圖像中的像素點(diǎn)的像素值。

18、進(jìn)一步地，對于轉(zhuǎn)換至同一坐標(biāo)系后的最優(yōu)圖像和熒光圖像，分別將所述坐標(biāo)系中只有單個像素點(diǎn)的位置進(jìn)行像素值清零后，進(jìn)行最優(yōu)圖像和熒光圖像的融合。

19、進(jìn)一步地，還包括：將所有融合圖像按時間順序排列。

20、進(jìn)一步地，所述將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系的步驟包括：基于多個標(biāo)定點(diǎn)，分別將最優(yōu)圖像和熒光圖像轉(zhuǎn)換到二維坐標(biāo)系中；通過相對位置偏差，將最優(yōu)圖像和熒光圖像中的像素轉(zhuǎn)換到同一二維坐標(biāo)系中。

21、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

22、本發(fā)明通過調(diào)焦值快速選取出兩張相鄰的熒光圖像之間的最優(yōu)幀視頻圖像，與熒光圖像相融合，完成了視頻圖像與熒光圖像的精確融合，使得內(nèi)窺鏡使用中可以實(shí)時采集患者熒光，而且有效避免了不清晰的視頻圖像對融合效果的影響。

23、本發(fā)明將視頻圖像與熒光圖像相融合，可以在視頻中實(shí)時顯示熒光圖像，突破熒光成像單張成像的限制，使得醫(yī)生可以連續(xù)觀察患者體內(nèi)熒光成像情況，輔助醫(yī)生的診斷。

技術(shù)特征：

1.一種熒光圖像與視頻圖像的融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種熒光圖像與視頻圖像的融合方法，其特征在于，對于轉(zhuǎn)換至同一坐標(biāo)系后的最優(yōu)圖像和熒光圖像，分別將所述坐標(biāo)系中只有單個像素點(diǎn)的位置進(jìn)行像素值清零后，進(jìn)行最優(yōu)圖像和熒光圖像的融合。

3.根據(jù)權(quán)利要求1所述的一種熒光圖像與視頻圖像的融合方法，其特征在于，還包括：將所有融合圖像按時間順序排列。

4.根據(jù)權(quán)利要求1所述的一種熒光圖像與視頻圖像的融合方法，其特征在于，所述將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系的步驟包括：基于多個標(biāo)定點(diǎn)，分別將最優(yōu)圖像和熒光圖像轉(zhuǎn)換到二維坐標(biāo)系中；通過相對位置偏差，將最優(yōu)圖像和熒光圖像中的像素轉(zhuǎn)換到同一二維坐標(biāo)系中。

5.根據(jù)權(quán)利要求1所述的一種熒光圖像與視頻圖像的融合方法，其特征在于，所述基準(zhǔn)列為人為指定的固定列。

6.根據(jù)權(quán)利要求1所述的一種熒光圖像與視頻圖像的融合方法，其特征在于，所述基準(zhǔn)列為方差和最小的列，所述方差和為：，其中，表示第i列的方差和，，表示兩張熒光圖像間的每j幀視頻圖像的第i列中像素的個數(shù)，表示兩張熒光圖像間的每j幀視頻圖像的第i列中所有像素的灰度值的均值，xijk表示兩張熒光圖像間的每j幀視頻圖像的第i列中的第k個像素點(diǎn)的灰度值。

7.一種熒光圖像與視頻圖像的融合系統(tǒng)，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的一種熒光圖像與視頻圖像的融合系統(tǒng)，其特征在于，對于轉(zhuǎn)換至同一坐標(biāo)系后的最優(yōu)圖像和熒光圖像，分別將所述坐標(biāo)系中只有單個像素點(diǎn)的位置進(jìn)行像素值清零后，進(jìn)行最優(yōu)圖像和熒光圖像的融合。

技術(shù)總結(jié)
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，提供了一種熒光圖像與視頻圖像的融合方法及系統(tǒng)，包括：在一時間段內(nèi)，獲取若干幀連續(xù)的視頻圖像和若干張連續(xù)的熒光圖像；對于兩張相鄰的熒光圖像之間的所有視頻圖像，分別計(jì)算每幀視頻圖像的基準(zhǔn)列的調(diào)焦值，選擇調(diào)焦值最大的視頻圖像作為最優(yōu)圖像；將最優(yōu)圖像和熒光圖像中的所有像素均轉(zhuǎn)換至同一坐標(biāo)系后，進(jìn)行最優(yōu)圖像和熒光圖像的融合，得到融合圖像；所述調(diào)焦值的計(jì)算步驟包括：對于視頻圖像的基準(zhǔn)列，計(jì)算相鄰兩像素點(diǎn)之間的灰度值的差值；將所有差值的和，作為調(diào)焦值?？梢栽谝曨l中實(shí)時顯示熒光圖像，突破熒光成像單張成像的限制，而且有效避免了不清晰的視頻圖像對融合效果的影響。

技術(shù)研發(fā)人員：左秀麗,彭程,李瑋,李真,田崇軒,孟祥偉,馬田,萬萌,馬銘駿
受保護(hù)的技術(shù)使用者：山東大學(xué)齊魯醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21