本發(fā)明涉及一般的圖像處理，具體涉及一種信號調(diào)制方法、oct圖像軸向超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

2、基于光學相干層析成像（optical?coherence?tomography，oct）的設(shè)備在各個領(lǐng)域發(fā)揮重要作用，諸如透明光滑材料缺陷檢測、藥品質(zhì)量檢查和引導(dǎo)激光焊接等場景均有大量oct設(shè)備應(yīng)用。oct的技術(shù)優(yōu)勢之一是能夠在深度方向上進行高分辨率成像，因此oct設(shè)備往往對軸向分辨率有極高需求，圖像軸向超分辨率是低軸向分辨率圖像提升至高軸向分辨率圖像的重要方式之一。

3、盡管許多研究發(fā)現(xiàn)oct設(shè)備軸向分辨率降低會導(dǎo)致圖像在軸向上相鄰像素的信號差被削弱的現(xiàn)象，但目前的深度學習模型僅能學習圖像結(jié)構(gòu)信息和統(tǒng)計學信息，無法建立相鄰像素間的信息聯(lián)系，無法學習圖像像素間時序性聯(lián)系的能力薄弱。例如，基于空間或頻域信息的方式能夠獲取很高的客觀指標，但模型不能學習像素之間的時序信息。利用統(tǒng)計學信息能在一定程度上改善像素分布問題，但是仍無法改善學習像素間前后的時序信息效率低下問題；而且，現(xiàn)有的記憶網(wǎng)絡(luò)并沒有為oct圖像做出針對性改進，導(dǎo)致現(xiàn)有方法對oct圖像的軸向超分辨率結(jié)果與真實圖像產(chǎn)生了較大的像素信號偏差。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種信號調(diào)制方法、oct圖像軸向超分辨率重建方法及系統(tǒng)，將oct圖像多條軸向像素線重塑成一維信號特征，獲得的一維信號輸入長短期記憶網(wǎng)絡(luò)進行特征重建，能夠十分準確的增強模型捕捉軸向上像素前后關(guān)聯(lián)的能力，提高模型對連續(xù)像素之間像素信號差重建的準確性。

2、為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種信號調(diào)制方法。

4、一種信號調(diào)制方法，包括以下過程：

5、將oct圖像對應(yīng)的相位圖像和幅值圖像轉(zhuǎn)化為實值，相位圖像實值和幅值圖像實值經(jīng)過復(fù)數(shù)卷積處理后重塑為復(fù)數(shù)，然后經(jīng)過逆變換得到調(diào)制后的二維特征圖；

6、將oct圖像依次經(jīng)過第一尺寸重塑處理、第一線性映射處理和第二線性映射處理，將第二線性映射處理后的結(jié)果復(fù)制，分別作為第一信號和第二信號，第二信號的轉(zhuǎn)置與第一信號相乘，然后經(jīng)第二尺寸重塑和第三線性映射處理，得到第三信號，第三信號與第一尺寸重塑處理后的結(jié)果進行殘差連接后，得到調(diào)制后的一維信號特征。

7、作為本發(fā)明第一方面進一步的限定，將oct圖像通過快速傅里葉變換得到對應(yīng)的相位圖像和幅值圖像。

8、作為本發(fā)明第一方面進一步的限定，相位圖像實值和幅值圖像實值經(jīng)過兩層復(fù)數(shù)卷積層處理后重塑為復(fù)數(shù)，包括：

9、；

10、其中，表示輸入圖像，表示復(fù)數(shù)卷積，表示幅值圖像，表示為相位圖像，表示為實部卷積，表示為虛部卷積，表示為虛部單位，滿足；

11、重塑為復(fù)數(shù)后，進行傅里葉逆變換得到調(diào)制后的二維特征圖。

12、作為本發(fā)明第一方面進一步的限定，所述oct圖像的尺寸為（b，1，h，w），所述二維特征圖的尺寸為（b，32，h，w），其中，b代表批次，h代表圖像高度，w代表圖像寬度。

13、作為本發(fā)明第一方面進一步的限定，所述一維信號特征，包括：

14、；

15、其中，l=lp2(lp1(r1(input)))，input代表輸入的所述oct圖像，r1和r2分別代表第一尺寸重塑處理的結(jié)果和第二尺寸重塑處理的結(jié)果，lp1、lp2和lp3分別為第一線性映射處理的結(jié)果、第二線性映射處理和第三線性映射處理的結(jié)果，out代表一維信號特征的輸出結(jié)果。

16、作為本發(fā)明第一方面更進一步的限定，輸入的所述oct圖像的尺寸為（b，1，h，w），所述一維信號特征的尺寸為（b，1×w，h/3）。

17、第二方面，本發(fā)明提供了一種信號調(diào)制系統(tǒng)。

18、一種信號調(diào)制系統(tǒng)，包括：

19、二維調(diào)制單元，被配置為：將oct圖像對應(yīng)的相位圖像和幅值圖像轉(zhuǎn)化為實值，相位圖像實值和幅值圖像實值經(jīng)過復(fù)數(shù)卷積處理后重塑為復(fù)數(shù)，得到調(diào)制后的二維特征圖；

20、一維調(diào)制單元，被配置為：將oct圖像依次經(jīng)過第一尺寸重塑處理、第一線性映射處理和第二線性映射處理，將第二線性映射處理后的結(jié)果復(fù)制，分別作為第一信號和第二信號，第二信號的轉(zhuǎn)置與第一信號相乘，然后經(jīng)第二尺寸重塑和第三線性映射處理，得到第三信號，第三信號與第一尺寸重塑處理后的結(jié)果進行殘差連接后，得到調(diào)制后的一維信號特征。

21、第三方面，本發(fā)明提供了一種oct圖像軸向超分辨率重建方法。

22、一種oct圖像軸向超分辨率重建方法，包括以下過程：

23、以oct圖像為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第一二維特征圖以及第一一維信號特征；

24、以第一二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第二二維特征圖以及第二一維信號特征；

25、以第二二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第三二維特征圖以及第三一維信號特征；

26、第一一維信號特征、第二一維信號特征和第三一維信號特征均輸入至長短期記憶網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)的輸出經(jīng)尺寸重塑和第一卷積處理后得到恢復(fù)后的二維特征，第三二維特征圖經(jīng)第二卷積處理后，與恢復(fù)后的二維特征進行殘差連接，得到重建結(jié)果。

27、作為本發(fā)明第三方面進一步的限定，第一卷積處理為3×3卷積。

28、作為本發(fā)明第三方面進一步的限定，第二卷積處理為：先進行1×1卷積處理，再執(zhí)行3×3卷積處理。

29、作為本發(fā)明第三方面進一步的限定，第一一維信號特征、第二一維信號特征和第三一維信號特征經(jīng)激活函數(shù)后輸入長短期記憶網(wǎng)絡(luò)。

30、第四方面，本發(fā)明提供了一種oct圖像軸向超分辨率重建系統(tǒng)。

31、一種oct圖像軸向超分辨率重建系統(tǒng)，包括：

32、第一調(diào)制單元，被配置為：以oct圖像為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第一二維特征圖以及第一一維信號特征；

33、第二調(diào)制單元，被配置為：以第一二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第二二維特征圖以及第二一維信號特征；

34、第三調(diào)制單元，被配置為：以第二二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第三二維特征圖以及第三一維信號特征；

35、重建結(jié)果生成單元，被配置為：第一一維信號特征、第二一維信號特征和第三一維信號特征均輸入至長短期記憶網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)的輸出經(jīng)尺寸重塑和第一卷積處理后得到恢復(fù)后的二維特征，第三二維特征圖經(jīng)第二卷積處理后，與恢復(fù)后的二維特征進行殘差連接，得到重建結(jié)果。

36、第五方面，本發(fā)明提供了一種oct圖像軸向超分辨率重建模型的訓練方法。

37、一種oct圖像軸向超分辨率重建模型的訓練方法，包括以下過程：

38、獲取oct設(shè)備采集的原始raw數(shù)據(jù)，對原始raw數(shù)據(jù)不做任何限制得高軸向分辨率圖像，使用高斯窗對原始raw數(shù)據(jù)的a線進行光譜裁剪獲取低軸向分辨率圖像，構(gòu)建高軸向分辨率圖像與低軸向分辨率圖像組成的訓練集；

39、以訓練集中的低軸向分辨率圖像為重建模型的輸入，以訓練集中的高軸向分辨率圖像為重建模型的輸出，進行重建模型的訓練，包括：

40、采用本發(fā)明第一方面所述的信號調(diào)制方法對低軸向分辨率圖像進行處理，得到第一二維特征圖以及第一一維信號特征；

41、以第一二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第二二維特征圖以及第二一維信號特征；

42、以第二二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第三二維特征圖以及第三一維信號特征；

43、第一一維信號特征、第二一維信號特征和第三一維信號特征均輸入至長短期記憶網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)的輸出經(jīng)尺寸重塑和第一卷積處理后得到恢復(fù)后的二維特征，第三二維特征圖經(jīng)第二卷積處理后，與恢復(fù)后的二維特征進行殘差連接，得到重建結(jié)果。

44、作為本發(fā)明第五方面進一步的限定，第一卷積處理為3×3卷積，第二卷積處理為：先進行1×1卷積處理，再執(zhí)行3×3卷積處理。

45、作為本發(fā)明第五方面進一步的限定，第一一維信號特征、第二一維信號特征和第三一維信號特征經(jīng)激活函數(shù)后輸入長短期記憶網(wǎng)絡(luò)。

46、第六方面，本發(fā)明提供了一種oct圖像軸向超分辨率重建模型的訓練系統(tǒng)。

47、一種oct圖像軸向超分辨率重建模型的訓練系統(tǒng)，包括：

48、訓練集生成單元，被配置為：獲取oct設(shè)備采集的原始raw數(shù)據(jù)，對原始raw數(shù)據(jù)不做任何限制得高軸向分辨率圖像，使用高斯窗對原始raw數(shù)據(jù)的a線進行光譜裁剪獲取低軸向分辨率圖像，構(gòu)建高軸向分辨率圖像與低軸向分辨率圖像組成的訓練集；

49、重建模型訓練單元，被配置為：

50、以訓練集中的低軸向分辨率圖像為重建模型的輸入，以訓練集中的高軸向分辨率圖像為重建模型的輸出，進行重建模型的訓練，包括：

51、采用本發(fā)明第一方面所述的信號調(diào)制方法對低軸向分辨率圖像進行處理，得到第一二維特征圖以及第一一維信號特征；

52、以第一二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第二二維特征圖以及第二一維信號特征；

53、以第二二維特征圖為輸入，采用本發(fā)明第一方面所述的信號調(diào)制方法，得到第三二維特征圖以及第三一維信號特征；

54、第一一維信號特征、第二一維信號特征和第三一維信號特征均輸入至長短期記憶網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)的輸出經(jīng)尺寸重塑和第一卷積處理后得到恢復(fù)后的二維特征，第三二維特征圖經(jīng)第二卷積處理后，與恢復(fù)后的二維特征進行殘差連接，得到重建結(jié)果。

55、第七方面，本發(fā)明提供了一種計算機設(shè)備，包括：處理器和計算機可讀存儲介質(zhì)；

56、處理器，適于執(zhí)行計算機程序；

57、計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)如本發(fā)明第一方面所述的信號調(diào)制方法；或者，實現(xiàn)如本發(fā)明第三方面所述的oct圖像軸向超分辨率重建方法；或者，實現(xiàn)如本發(fā)明第五方面所述的oct圖像軸向超分辨率重建模型的訓練方法。

58、第八方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序適于被處理器加載并執(zhí)行如本發(fā)明第一方面所述的信號調(diào)制方法；或者，所述計算機程序適于被處理器加載并執(zhí)行本發(fā)明第三方面所述的oct圖像軸向超分辨率重建方法；或者，所述計算機程序適于被處理器加載并執(zhí)行本發(fā)明第五方面所述的oct圖像軸向超分辨率重建模型的訓練方法。

59、第九方面，本發(fā)明提供了一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時，實現(xiàn)如本發(fā)明第一方面所述的信號調(diào)制方法；或者，實現(xiàn)如本發(fā)明第三方面所述的oct圖像軸向超分辨率重建方法；或者，實現(xiàn)如本發(fā)明第五方面所述的oct圖像軸向超分辨率重建模型的訓練方法。

60、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

61、1、本發(fā)明針對oct圖像軸向分辨率降低的特性，設(shè)計了將oct圖像多條軸向像素線重塑成一維信號特征的信號調(diào)制策略，同時該信號調(diào)制方法還具備二維特征提取能力，信號調(diào)制后獲得的一維信號輸入長短期記憶網(wǎng)絡(luò)進行特征重建，這種方式能夠十分準確的增強模型捕捉軸向上像素前后關(guān)聯(lián)的能力，提高模型對連續(xù)像素之間像素信號差重建的準確性。

62、2、本發(fā)明根據(jù)圖像的像素時序特性，提出了一種oct圖像軸向超分辨率重建方法，通過三個信號調(diào)制過程提高了圖像客觀指標，改善了相鄰信號差削弱引起的圖像質(zhì)量下降問題，更好還原像素強度曲線，提高了圖像重建效果。

63、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。