本發(fā)明屬于跨場景分類，具體是一種基于三維頻域變換的域泛化高光譜圖像分類方法。

背景技術(shù)：

1、高光譜圖像具有豐富的空間和光譜信息，使其具有重要的應(yīng)用價值，但是在實際應(yīng)用中受到難以預(yù)測的現(xiàn)實因素影響，訓(xùn)練圖像與目標(biāo)圖像往往存在一定的域偏移，導(dǎo)致在源域上訓(xùn)練得到的鑒別器無法很好地應(yīng)用到目標(biāo)域，使模型的性能下降。

2、領(lǐng)域泛化（dg）在只使用源域數(shù)據(jù)訓(xùn)練的情況下使模型學(xué)習(xí)域不變特征，通過縮減單個或多個源域之間的域間距離，訓(xùn)練出更加適應(yīng)領(lǐng)域變化的模型，從而實現(xiàn)從一個或多個源域到目標(biāo)域的泛化，因此領(lǐng)域泛化能夠解決高光譜圖像跨場景分類任務(wù)中由于域間差異性而產(chǎn)生的模型性能下降問題。然而，現(xiàn)有的針對高光譜圖像跨場景分類任務(wù)的研究主要基于單源域泛化，僅使用一個源域的數(shù)據(jù)訓(xùn)練模型往往是不夠的，無法實現(xiàn)有效的域泛化，故需要進行域擴展。目前，常見的單源域擴展通過構(gòu)建模擬樣本、擴充域間關(guān)系實現(xiàn)，采用對比對抗學(xué)習(xí)等方式獲取域不變表示。對高光譜圖像的空間和光譜信息進行分解，在視覺層面重構(gòu)樣本實現(xiàn)域擴展。從數(shù)據(jù)增強和因果對齊兩個方面提出了空間-光譜增強和因果約束網(wǎng)絡(luò)，通過模擬目標(biāo)域數(shù)據(jù)的光譜偏差和空間偏差，彌補源域數(shù)據(jù)多樣性的不足，并且構(gòu)建了一個因果貢獻判別器，該判別器從因果角度構(gòu)建因果貢獻向量，并使用對比學(xué)習(xí)來約束類別標(biāo)簽，從光譜域和空間域提取“潛在”因果不變性。

3、綜上，現(xiàn)有技術(shù)充分挖掘了高光譜圖像的空間信息和光譜信息，但是大多數(shù)高光譜圖像的領(lǐng)域泛化研究僅考慮“看得見”的視覺表征信息，學(xué)習(xí)空間-光譜信息層面的域不變表示，忽略“看不見”的頻域信息。然而，在跨場景分類任務(wù)中，頻域信息相較于空譜信息更不易受到域偏移的影響，因此本發(fā)明充分利用頻域信息“受域偏移影響較小”這一特性，提出一種基于三維頻域變換的域泛化高光譜圖像分類方法，旨在更好地學(xué)習(xí)域不變表示，提升模型的分類性能。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明擬解決的技術(shù)問題是，提供一種基于三維頻域變換的域泛化高光譜圖像分類方法。

2、本發(fā)明解決所述技術(shù)問題采用如下的技術(shù)方案：

3、一種基于三維頻域變換的域泛化高光譜圖像分類方法，包括如下步驟：

4、第一步：獲取原始圖像，對原始圖像進行歸一化處理，得到源域圖像；

5、第二步：構(gòu)建生成器，用于生成擴展域圖像和中間域圖像；

6、首先，通過三維傅里葉變換將源域圖像從空譜域變換至頻域；以各個像素點為中心，將源域圖像劃分為多個圖像塊；對圖像塊的振幅進行混合，振幅混合公式為：

7、（3）

8、式中， ?( x i,sd)( u,? v,? m)是第 i個圖像塊的混合振幅， a( x i,sd)( u,? v,? m)是第 i個圖像塊混合前的振幅，? ā( x i,sd)( u,? v,? m)是第 i個圖像塊的振幅均值，( u,? v,? m)為像素點在頻域上的表征， λ是增強因子；

9、然后，將圖像塊的混合振幅與相位進行重結(jié)合，將圖像塊映射到新頻域空間，則圖像塊的新頻域表示為：

10、（4）

11、式中， f f’( x i,sd)( u,? v,? m)是第 i個圖像塊的新頻域表示， p( x i,sd)( u,? v,? m)是第 i個圖像塊的相位；

12、最后，對圖像塊的新頻域表示進行逆三維傅里葉變換，得到擴展域圖像；

13、（5）

14、式中， x ed表示擴展域圖像， f f-1表示逆三維傅里葉變換；

15、對多源信息進行融合，生成中間域圖像，公式為：

16、（6）

17、式中， x id是中間域圖像， w1、 w2、 w3分別是源域、擴展域和噪聲域權(quán)重， g是高斯噪聲；

18、第三步：構(gòu)建鑒別器；鑒別器包含三個子鑒別器，每個子鑒別器均包含自適應(yīng)頻域變換模塊、特征提取器、分類頭和投影頭，三個子鑒別器的輸入分別是源域圖像、擴展域圖像以及中間域圖像；

19、對于以源域圖像為輸入的子鑒別器，在自適應(yīng)頻域變換模塊中，源域圖像經(jīng)過三維傅里葉變換后與自身相加，得到混合源域圖像；

20、（7）

21、式中， x sd, ?fft表示混合源域圖像， f f?(.)表示三維傅里葉變換， add表示相加操作；

22、混合源域圖像經(jīng)過特征提取器得到特征向量，特征向量按行累加，得到一維矩陣；

23、（8）

24、式中， v表示一維矩陣， sum row表示按行累加操作， f e(.)表示特征提取器；

25、根據(jù)一維矩陣計算自適應(yīng)閾值 ε，計算公式為：

26、（9）

27、式中， vmax、 vmin分別為一維矩陣的最大元素值和最小元素值， δ為浮動因子；

28、根據(jù)自適應(yīng)閾值對一維矩陣進行篩選，獲取圖像塊的索引；索引滿足下式：

29、（10）

30、式中， ind{ i}表示索引表， v[ i]表示一維矩陣中的第 i個元素；

31、根據(jù)索引表，從源域圖像中篩選部分圖像塊經(jīng)過三維傅里葉變換后對源域圖像中相應(yīng)位置的圖像塊進行覆蓋，得到包含空譜信息和頻域信息的源域聯(lián)合特征；

32、（11）

33、式中， x sel_ fft表示源域聯(lián)合特征， cover表示覆蓋操作， x sd?( ind{ i})表示源域圖像經(jīng)過篩選后的圖像塊，→ x sd表示作用在源域圖像上；

34、同理，擴展域圖像和中間域圖像分別經(jīng)過對應(yīng)的自適應(yīng)頻域變換模塊，得到擴展域聯(lián)合特征和中間域聯(lián)合特征；源域聯(lián)合特征、擴展域聯(lián)合特征和中間域聯(lián)合特征分別通過對應(yīng)的特征提取器進行特征提取；

35、第四步：利用源域圖像、擴展域圖像以及中間域圖像對生成器和鑒別器進行訓(xùn)練，訓(xùn)練后的自適應(yīng)頻域變換模塊、特征提取器和分類頭組成分類模型，用于目標(biāo)域圖像的分類。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

37、1、相較于空間和光譜信息，頻域信息在跨場景分類任務(wù)中受到域偏移的影響小，因此本發(fā)明充分利用頻域信息的穩(wěn)定性進行域擴展，確保模型在面對域偏移時能夠?qū)W習(xí)到更具魯棒性的域間知識，從而提高模型對未知域數(shù)據(jù)的識別能力，解決了單源域泛化存在的不足。

38、2、在高光譜圖像跨場景分類任務(wù)中，擴展域與源域之間的領(lǐng)域偏移是影響模型泛化能力的重要因素。在生成擴展樣本時，不可避免地存在擴展樣本與源樣本之間的域間差距過大，從而影響模型的泛化能力。針對這種生成隨機性，現(xiàn)有研究通過隨機權(quán)重再次生成擴展樣本，以縮小源域和擴展域之間的域偏移，這種生成隨機性并不能保證擴展樣本的穩(wěn)定性。因此，本發(fā)明從域間約束出發(fā)，通過自學(xué)習(xí)方式生成中間域數(shù)據(jù)，一方面消除了隨機權(quán)重導(dǎo)致的未知性，同時又保證了中間域?qū)τ诶从颉U展域之間距離時的可靠性?？紤]到中間域的有效性，即是否具有域內(nèi)特有特征以提升模型的泛化性能，在中間域生成過程中添加了高斯噪聲。

39、3、在高光譜圖像跨場景分類任務(wù)中，除生成可靠且有效的擴展數(shù)據(jù)外，對于多域間的信息差異性學(xué)習(xí)也至關(guān)重要。針對域間差異性的學(xué)習(xí)，現(xiàn)有研究多數(shù)考慮高光譜圖像中“看得見”的視覺表征信息，學(xué)習(xí)空間-光譜信息層面的域不變表示，而忽略“看不見”的頻域信息，故本發(fā)明充分利用頻域信息在跨場景任務(wù)中“受域偏移影響較小”這一優(yōu)勢，從源域圖像中分解出頻域信息，并對頻域信息進行增強后，再與空譜信息進行重結(jié)合，在保留圖像本身良好空譜信息的同時使模型可以自適應(yīng)學(xué)習(xí)到多方面知識，從而訓(xùn)練更具魯棒性的模型。