本發(fā)明屬于高光譜遙感圖像分類，尤其涉及基于正則化掩膜自動編碼器的半監(jiān)督高光譜圖像分類方法。

背景技術(shù)：

1、高光譜圖像具有豐富的光譜空間信息。作為一項基本任務(wù)，高光譜圖像分類在農(nóng)業(yè)監(jiān)測、礦產(chǎn)勘查、環(huán)境監(jiān)測等領(lǐng)域發(fā)揮著不可替代的作用。深度學習技術(shù)的快速發(fā)展為高光譜圖像分類提供源源不斷的新的技術(shù)支持。然而，眾所周知，深度模型是數(shù)據(jù)饑餓的，而樣本的標注工作又是非常耗時耗力的，因此，在有標簽樣本數(shù)量有限的情況下，開發(fā)有效且高效的半監(jiān)督分類模型以充分利用大量的無標簽樣本來獲得令人滿意的分類結(jié)果是十分必要的。

2、現(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)的半監(jiān)督分類方法主要包括：基于自動編碼器的、基于偽標簽的、基于圖的以及基于生成式對抗網(wǎng)絡(luò)的方法等。然而，這些方法或多或少都存在著不足之處：基于自動編碼器的半監(jiān)督分類方法無法自主學習可判別的表示；基于偽標簽的半監(jiān)督分類方法無法保證偽標簽的準確性且無法評估被賦予偽標簽的樣本對于模型性能的改善所做出的貢獻度；基于圖的半監(jiān)督分類方法無法避免不確定性對圖的構(gòu)建的影響；基于生成式對抗網(wǎng)絡(luò)的半監(jiān)督分類方法往往受到模式崩潰所帶來的困擾。

3、近來，國內(nèi)外學者將掩膜自動編碼器(maskedauto-encoder,mae)應(yīng)用到半監(jiān)督高光譜圖像分類任務(wù)中，且獲得了高精度的分類結(jié)果。mae是一種自監(jiān)督表示學習模型，不僅花費的預訓練時間少，也具有十分優(yōu)秀的可調(diào)優(yōu)性。目前，大多數(shù)對于mae的改進的工作還只停留在應(yīng)用層面，有必要從工作原理上，基于mae設(shè)計一個更魯棒，表示學習能力更強的半監(jiān)督分類模型，以對高光譜圖像進行有效的分類。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提出了一種基于正則化掩膜自動編碼器的半監(jiān)督高光譜圖像分類方法，以解決上述現(xiàn)有技術(shù)存在的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供了基于正則化掩膜自動編碼器的半監(jiān)督高光譜圖像分類方法，包括：

3、獲取原始高光譜圖像，基于原始高光譜圖像，得到原始預訓練樣本；

4、對所述原始預訓練樣本進行不同尺度網(wǎng)格的劃分，得到第一圖像塊及第二圖像塊，其中所述第一圖像塊的尺寸小于第二圖像塊；

5、對所述第一圖像塊進行處理并隨機掩膜，得到預編碼圖像塊嵌入和被掩膜圖像塊嵌入；

6、構(gòu)建正則化掩膜自動編碼器，其中正則化掩膜自動編碼器包括編碼器、解碼器及induced?transformer結(jié)構(gòu)；

7、通過編碼器對預編碼圖像塊嵌入進行編碼，得到編碼特征，基于編碼特征，通過induced?transformer對第二圖像塊進行重構(gòu)，得到誘導重建結(jié)果；

8、基于編碼特征，通過解碼器對所述被掩膜圖像塊嵌入進行重構(gòu)，得到掩膜重建結(jié)果；

9、根據(jù)誘導重建結(jié)果及掩膜重建結(jié)果對正則化掩膜自動編碼器進行損失函數(shù)計算，得到損失值，根據(jù)所述損失值對所述正則化掩膜自動編碼器進行優(yōu)化，得到預訓練好的正則化掩膜自動編碼器；

10、對預訓練好的正則化掩膜自動編碼器的編碼器后添加用于全連接層，通過有標簽樣本對添加全連接層的解碼器進行訓練調(diào)優(yōu)，得到分類模型；

11、獲取待分類高光譜圖像，通過分類模型對待分類高光譜圖像進行分類，得到高光譜圖像分類結(jié)果。

12、可選的，原始預訓練樣本的獲取過程包括：

13、通過主成分分析法對原始高光譜圖像進行降維，得到原始預訓練樣本。

14、可選的，對所述第一圖像塊進行處理的過程包括：

15、通過卷積層對所述第一圖像塊進行處理，生成第一圖像塊的塊嵌入，其中所述塊嵌入中添加有固定的位置嵌入以提供空間位置信息。

16、可選的，通過75％的掩膜率對第一圖像塊進行隨機掩膜。

17、可選的，通過編碼器對預編碼圖像塊本進行編碼的過程為：

18、x′＝layernorm(encoder(x))，

19、其中，表示被保留下來的6個較小圖像塊的嵌入，表示vit編碼器的輸出嵌入，其中encoder()表示進行解碼器處理，layernorm表示歸一化處理。

20、可選的，所述inducedtransformer結(jié)構(gòu)包括依次連接的多頭注意力模塊、歸一化層及多層感知機，所述多層感知機輸出為第二圖像塊嵌入，所述多頭注意力層的輸入為編碼特征和歸一化處理的誘導嵌入，所述誘導嵌入為：

21、h＝i.repeat(n,9,1)+p1

22、其中，令i表示可訓練的誘導令牌，p1表示inducedtransformer結(jié)構(gòu)中的固定的位置嵌入，repeat()表示對張量的重復操作，h表示第二圖像塊的嵌入特征。

23、可選的，在正則化掩膜自動編碼器中，編碼器為vit編碼器使用12個vit塊，編碼器中每個vit塊使用8頭注意力，解碼器為vit解碼器使用8個vit塊，解碼器中每個8個vit塊使用8頭注意力。

24、可選的，所述損失函數(shù)為：

25、l＝lmr+lir

26、其中，lmr表示掩膜重建損失，lir表示誘導重建損失也稱作正則化損失，lmr計算的是掩膜重建結(jié)果與被掩膜圖像塊之間的均方誤差，lir計算的是誘導重建結(jié)構(gòu)與第二圖像塊之間的均方誤差。

27、可選的，通過adam優(yōu)化器對所述正則化掩膜自動編碼器進行優(yōu)化。

28、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點和技術(shù)效果：

29、本發(fā)明設(shè)計一個基于正則化掩膜自動編碼器(regularized?masked?auto-encoder,rmae)的半監(jiān)督高光譜圖像分類方法，該方法使用大量的無標簽樣本(也稱作預訓練樣本)對整個rmae模型預訓練400個輪次，預訓練完成后在vit編碼器后添加兩個用于完成分類任務(wù)的全連接層，并使用少量的有標簽樣本對vit編碼器的最后一個block和兩個全連接層進行調(diào)優(yōu)，調(diào)優(yōu)完成后獲得最終的分類結(jié)果。

30、本發(fā)明所設(shè)計的用于高光譜圖像半監(jiān)督分類的正則化掩膜自動編碼器能夠自主學習高度可判別的表示并獲得令人滿意的分類結(jié)果。

技術(shù)特征：

1.基于正則化掩膜自動編碼器的半監(jiān)督高光譜圖像分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，

技術(shù)總結(jié)
本發(fā)明公開了基于正則化掩膜自動編碼器的半監(jiān)督高光譜圖像分類方法，包括：獲取原始高光譜圖像，基于原始高光譜圖像，得到原始預訓練樣本；對所述原始預訓練樣本進行不同尺度網(wǎng)格的劃分，得到第一圖像塊及第二圖像塊，通過正則化掩膜自動編碼器對第一圖像塊及第二圖像塊對進行重構(gòu)，并根據(jù)重構(gòu)結(jié)果對正則化掩膜自動編碼器，得到預訓練好的正則化掩膜自動編碼器；對預訓練好的正則化掩膜自動編碼器的編碼器后添加用于全連接層，通過有標簽樣本對添加全連接層的解碼器進行訓練調(diào)優(yōu)，得到分類模型，通過分類模型對待分類高光譜圖像進行分類，得到高光譜圖像分類結(jié)果，本發(fā)明能夠從大量無標簽樣本中學習到可判別的模式并獲得高性能的分類結(jié)果。

技術(shù)研發(fā)人員：王立國,王恒,劉丹鳳,劉海濤
受保護的技術(shù)使用者：大連民族大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21