本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，具體的說(shuō)是一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法。

背景技術(shù)：

1、隨著遙感技術(shù)的不斷發(fā)展，遙感圖像已成為獲取地表信息的重要手段之一。由于成像條件和成本的限制，獲取的遙感圖像往往存在分辨率低的問(wèn)題，低分辨率的遙感圖像可能會(huì)導(dǎo)致細(xì)節(jié)信息的丟失或模糊，無(wú)法滿足具體應(yīng)用領(lǐng)域的需求。超分辨率重建可以通過(guò)重建圖像的細(xì)節(jié)信息，使其更加豐富和清晰，提高遙感圖像在目標(biāo)檢測(cè)、變化檢測(cè)等任務(wù)中的準(zhǔn)確性和可靠性。

2、常見(jiàn)的超分辨率重建方法主要分為三類：基于插值的方法、基于重構(gòu)的方法和基于學(xué)習(xí)的方法?；诓逯档姆椒ê?jiǎn)單、高效、易于理解，但由于插值過(guò)程中沒(méi)有產(chǎn)生新的信息，導(dǎo)致重建結(jié)果邊緣模糊，無(wú)法恢復(fù)細(xì)節(jié)信息。基于重構(gòu)的方法將同一場(chǎng)景中的不同信息進(jìn)行融合，獲得高質(zhì)量的重建結(jié)果，但是這些方法以時(shí)間差異換取空間分辨率的提高，計(jì)算成本較大。基于學(xué)習(xí)的方法通過(guò)其強(qiáng)大的擬合能力構(gòu)建低分辨率圖像和高分辨率結(jié)果之間的映射，來(lái)實(shí)現(xiàn)分辨率的提高。

3、近年來(lái)，使用卷積神經(jīng)網(wǎng)絡(luò)的方法在遙感圖像超分辨率重建領(lǐng)域取得了一定的進(jìn)展，但目前針對(duì)遙感圖像的超分辨率重建的研究只集中在×2，×4等較低的放大倍數(shù)上，對(duì)較大因子分辨率問(wèn)題的研究很少。在大因子退化的場(chǎng)景下，遙感圖像的空間分辨率明顯降低，高頻信息的大量丟失將導(dǎo)致嚴(yán)重的形狀失真和模糊效果。除此之外，現(xiàn)有的算法大多為單模態(tài)的超分辨率重建。而在遙感圖像中，一些小尺度的地物存在完全整合到單像素網(wǎng)格中的情況，由于不同地物的rgb波段輻射可能相同，僅依靠紅、綠、藍(lán)(rgb)波段的信息可能無(wú)法理清地物在像素中的語(yǔ)義。

4、因此，即要保證了重建結(jié)果語(yǔ)義的正確性，又要解決在大因子退化的場(chǎng)景下重建結(jié)果嚴(yán)重的形狀失真和模糊效果的問(wèn)題，成為遙感圖像超分辨率重建領(lǐng)域亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處，提出一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法，以期能在大因子退化的場(chǎng)景下，解決重建結(jié)果語(yǔ)義錯(cuò)誤和模糊效果的問(wèn)題，從而能提高重建圖像質(zhì)量。

2、本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法的特點(diǎn)在于，包括如下步驟：

4、步驟1：獲取低分辨率的多模態(tài)遙感圖像集ilr＝{p,m}與高分辨率圖像其中，表示rgb圖像，表示高光譜圖像，h表示圖像的高度，w表示圖像的寬度，3表示rgb圖像的通道數(shù)，c′表示高光譜圖像的通道數(shù)，r表示重建因子；

5、步驟2：構(gòu)建超分辨率重建網(wǎng)絡(luò)，包括：上采樣模塊、淺層特征提取模塊、n個(gè)級(jí)聯(lián)的編碼器模塊、多模態(tài)融合模塊、中間模塊和n個(gè)級(jí)聯(lián)的解碼器模塊以及通道映射模塊；

6、步驟2.1、所述上采樣模塊對(duì)ilr＝{p,m}進(jìn)行雙線性插值，從而將多模態(tài)遙感圖像上采樣r倍，得到初始圖像集i＝{p′,m′}，其中，表示上采樣后的rgb圖像，表示上采樣后的高光譜圖像；

7、步驟2.2、所述淺層特征提取模塊利用卷積層對(duì)初始圖像集i進(jìn)行處理，得到淺層特征集i0＝{p0,m0}，其中，表示淺層rgb特征，表示淺層高光譜特征，c表示特征的通道數(shù)；

8、步驟2.3、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊對(duì)i0＝{p0,m0}進(jìn)行處理后，輸出第i個(gè)編碼特征集其中，表示第i個(gè)級(jí)聯(lián)的編碼器模塊輸出的rgb特征，表示第i個(gè)級(jí)聯(lián)的編碼器模塊輸出的高光譜特征；

9、當(dāng)i＝2,3,v,n時(shí)，將第i-1個(gè)編碼特征集作為第i個(gè)級(jí)聯(lián)的編碼器模塊的輸入，并由第i個(gè)級(jí)聯(lián)的編碼器模塊輸出第i個(gè)編碼特征集從而第n個(gè)級(jí)聯(lián)的編碼器模塊輸出第n個(gè)編碼特征集其中，表示第i-1個(gè)級(jí)聯(lián)的編碼器模塊輸出的rgb特征，表示第i-1個(gè)級(jí)聯(lián)的編碼器模塊輸出的高光譜特征，表示第i個(gè)級(jí)聯(lián)的編碼器模塊輸出的rgb特征，表示第i個(gè)級(jí)聯(lián)的編碼器模塊輸出的高光譜特征，表示第n個(gè)級(jí)聯(lián)的編碼器模塊輸出的rgb特征，表示第n個(gè)級(jí)聯(lián)的編碼器模塊輸出的高光譜特征；

10、步驟2.4、所述多模態(tài)融合模塊對(duì)進(jìn)行處理，得到融合特征

11、步驟2.5、所述中間模塊對(duì)ifuse進(jìn)行處理，并得到融合后的中間特征

12、步驟2.6、當(dāng)i＝1時(shí)，將第i個(gè)級(jí)聯(lián)的解碼器模塊對(duì)ibottleneck進(jìn)行處理后，輸出第i個(gè)解碼特征

13、當(dāng)i＝2,3,…,n時(shí)，將第i-1個(gè)解碼特征作為第i個(gè)級(jí)聯(lián)的解碼器模塊的輸入，并由第i個(gè)級(jí)聯(lián)的解碼器模塊輸出第i個(gè)解碼特征從而由第n個(gè)級(jí)聯(lián)的解碼器模塊輸出第n個(gè)解碼特征

14、步驟2.7、所述通道映射模塊利用卷積層fconv對(duì)進(jìn)行處理，得到重建的超分辨率結(jié)果圖其中，+表示殘差連接；

15、步驟3：通過(guò)反向傳播算法對(duì)所述超分辨率重建網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用l1損失函數(shù)l1＝||ihr-isr||1計(jì)算網(wǎng)絡(luò)損失以更新網(wǎng)絡(luò)參數(shù)，直至損失函數(shù)收斂為止，從而得到訓(xùn)練好的超分辨率重建模型，用于低分辨率圖像重建出相應(yīng)的高分辨率圖像。

16、本發(fā)明所述的空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建網(wǎng)絡(luò)的特點(diǎn)也在于，每個(gè)級(jí)聯(lián)的編碼器模塊由下采樣模塊和雙分支的空間、頻域特征提取模塊以及多模態(tài)配準(zhǔn)模塊組成；

17、步驟2.3.1、當(dāng)i＝1時(shí)，所述第i個(gè)級(jí)聯(lián)的編碼器模塊中的下采樣模塊利用卷積層對(duì)i0進(jìn)行處理，得到第i個(gè)下采樣后的特征集其中，為第i個(gè)下采樣后的rgb特征圖，為第i個(gè)下采樣后的高光譜特征圖；

18、步驟2.3.2、當(dāng)i＝1時(shí)，所述第i個(gè)級(jí)聯(lián)的編碼器模塊中的雙分支的空間、頻域特征提取模塊對(duì)進(jìn)行處理，得到提取的第i個(gè)深層特征集其中，為提取的第i個(gè)rgb深層特征圖，為提取的第i個(gè)高光譜深層特征圖；

19、步驟2.3.3、當(dāng)i＝1時(shí)，所述第i個(gè)級(jí)聯(lián)的編碼器模塊中的多模態(tài)配準(zhǔn)模塊對(duì)進(jìn)行處理，得到第i個(gè)配準(zhǔn)后的高光譜特征圖再對(duì)和進(jìn)行處理，得到第i個(gè)配準(zhǔn)后的rgb特征圖

20、每個(gè)編碼器模塊的雙分支的空間、頻域特征提取模塊包括：空間分支和頻域分支以及空間、頻域融合模塊；其中，空間分支包括：e個(gè)空間單元以及一個(gè)1*1卷積層，每個(gè)空間單元是由一個(gè)普通卷積層、一個(gè)激活函數(shù)層和一個(gè)msc模塊組成；頻域分支包括：小波變換層、小波逆變換層和若干個(gè)卷積層；

21、步驟2.3.2.1、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊的空間分支中的第1個(gè)空間單元對(duì)pidown進(jìn)行普通卷積層和激活函數(shù)層處理，輸出的第1個(gè)中間結(jié)果作為第2個(gè)空間單元的輸入以及第1個(gè)空間單元中的msc模塊的輸入，將最后一個(gè)空間單元的輸出和每個(gè)空間單元的msc模塊的輸出進(jìn)行通道維度的疊加后，再輸入1*1卷積層中進(jìn)行處理，得到第i個(gè)空間分支的rgb特征圖pispace；

22、步驟2.3.2.2、按照步驟2.3.2.1的過(guò)程對(duì)進(jìn)行處理后，得到第i個(gè)空間分支的高光譜特征圖

23、步驟2.3.2.3、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊的頻域分支中小波變換層對(duì)進(jìn)行映射處理，得到低頻分量和高頻分量，再對(duì)兩個(gè)分量分別進(jìn)行振幅和相位分離，得到低頻分量的振幅特征和相位特征以及高頻分量的振幅特征和相位特征，再分別經(jīng)過(guò)兩個(gè)卷積層和殘差的處理，得到低頻分量恢復(fù)后的振幅信息和相位信息以及高頻分量的恢復(fù)后的振幅信息和相位信息，再一起通過(guò)小波逆變換層的轉(zhuǎn)換后，得到第i個(gè)頻域分支的rgb特征pifrequency；

24、步驟2.3.2.4、按照步驟2.3.2.3的過(guò)程對(duì)進(jìn)行處理，得到第i個(gè)頻域分支的高光譜特征

25、步驟2.3.2.5、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊中的空間、頻域融合模塊對(duì)pispace和pifrequency在通道維度上進(jìn)行疊加后，再經(jīng)過(guò)自注意力層的處理后，得到第i個(gè)空間、頻域融合的rgb特征pimscwt；

26、步驟2.3.2.6、按照步驟2.3.2.5的過(guò)程對(duì)和進(jìn)行處理后，得到第i個(gè)空間、頻域融合的高光譜特征

27、所述第i個(gè)級(jí)聯(lián)的編碼器模塊中的多模態(tài)配準(zhǔn)模塊，包括：rgb特征配準(zhǔn)模塊和高光譜特征配準(zhǔn)模塊；

28、步驟2.3.3.1、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊的多模態(tài)配準(zhǔn)模塊中的高光譜特征配準(zhǔn)模塊將pimscwt和在通道維度上拼接，得到拼接后的第一特征，再經(jīng)過(guò)卷積層的處理后，與進(jìn)行逐像素相乘，得到的第一乘積矩陣再與拼接后的第一特征相加，從而得到第i個(gè)配準(zhǔn)后的高光譜特征

29、步驟2.3.3.2、當(dāng)i＝1時(shí)，第i個(gè)級(jí)聯(lián)的編碼器模塊的多模態(tài)配準(zhǔn)模塊中的rgb特征配準(zhǔn)模塊，將pimscwt和在通道維度上拼接，得到拼接后的第二特征，再經(jīng)過(guò)卷積層的處理后，與pimscwt進(jìn)行逐像素相乘，得到的第二乘積矩陣再與拼接后的第二特征相加，從而得到第i個(gè)配準(zhǔn)后的rgb特征pimr,encoder。

30、所述多模態(tài)融合模塊，包括：若干個(gè)卷積層、最大池化層、平均池化層、大卷積核卷積層、sigmoid層、層歸一化層和自注意力層以及1*1卷積層；

31、對(duì)pn和mn分別經(jīng)過(guò)卷積層的處理后，相應(yīng)得到初級(jí)融合rgb特征pfuse_conv和初級(jí)融合高光譜特征mfuse_conv后再進(jìn)行通道維度上的拼接，得到的拼接特征，再分別經(jīng)過(guò)平均池化層和最大池化層的處理，相應(yīng)得到兩個(gè)維度為的特征圖，將兩個(gè)維度為的特征圖拼接后，得到維度為的特征圖，再通過(guò)大卷積核卷積層和sigmoid層的處理后，得到的概率圖，分別與特征pfuse_conv和mfuse_conv相乘，將相乘后的兩個(gè)特征圖相加后，再依次經(jīng)過(guò)卷積層、層歸一化層、自注意力層和1*1卷積層的處理后，得到融合特征ifuse。

32、每個(gè)解碼器模塊也由上采樣模塊和雙分支的空間、頻域特征提取模塊組成，并利用式(1)得到第i個(gè)解碼特征

33、

34、式(1)中，fiup表示第i個(gè)解碼器模塊中的上采樣模塊，fimscwt,decoder表示第i個(gè)解碼器模塊中的雙分支的空間、頻域特征提取模塊，+表示殘差連接。

35、本發(fā)明一種電子設(shè)備，包括存儲(chǔ)器以及處理器的特點(diǎn)在于，所述存儲(chǔ)器用于存儲(chǔ)支持處理器執(zhí)行所述超分辨率重建方法的程序，所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。

36、本發(fā)明一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行所述超分辨率重建方法的步驟。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

38、1、本發(fā)明利用兩個(gè)模態(tài)圖像并行的雙分支架構(gòu)，使得高光譜圖像輔助rgb圖像進(jìn)行超分辨率重建，增強(qiáng)了對(duì)生成圖像的語(yǔ)義約束，避免了語(yǔ)義誤判。

39、2、本發(fā)明引入了雙分支的空間、頻域特征提取模塊的空間分支，通過(guò)引入不同大小的卷積核捕獲具有全局和局部分布信息以及將卷積核分解為1×n和n×1卷積，在不改變性能的情況下有效地提高了模型的效率，進(jìn)一步提高了超分辨率重建的精度。

40、3、本發(fā)明引入了雙分支的空間、頻域特征提取模塊的頻域分支，通過(guò)對(duì)頻域特征進(jìn)行振幅和相位分離能夠在一定程度上解決常見(jiàn)的圖像退化問(wèn)題。且利用小波變換得到低頻分量和高頻分量，對(duì)高頻分量和低頻分量分別進(jìn)行振幅和相位分離可以分別獲取高頻分量和低頻分量的振幅和相位信息，更加直觀地理解信號(hào)的頻率特性。

41、4、本發(fā)明引入了多模態(tài)配準(zhǔn)模塊，解決了多源數(shù)據(jù)在像素上的不完全對(duì)應(yīng)的問(wèn)題。

42、5、本發(fā)明引入了多模態(tài)融合模塊，對(duì)多模態(tài)的數(shù)據(jù)進(jìn)行充分融合，從而幫助網(wǎng)絡(luò)更有效地利用多模態(tài)數(shù)據(jù)的特征信息，實(shí)現(xiàn)更準(zhǔn)確、魯棒的模型訓(xùn)練和預(yù)測(cè)。