本發(fā)明屬于圖像處理，進一步涉及圖像特征融合方法，具體為一種基于物理和深度特征融合的極化sar圖像分類方法，可用于地質勘探領域。

背景技術：

1、極化合成孔徑雷達(synthetic?aperture?radar，sar)是一種主動微波成像系統(tǒng)，主動發(fā)射電磁波并接收目標的散射回波來探測目標，具有全天時、全天候、高分辨率成像的遙感對地觀測能力。極化sar圖像分類是sar圖像解譯中的一個重要研究領域，已廣泛應用于地質勘探、地形制圖、植被生長評價、城市規(guī)劃和海洋監(jiān)測等領域。與sar圖像相比，極化sar系統(tǒng)可以獲得多個極化通道數據，可以提供更完整的地物散射特征?；跇O化sar數據的分類已成為sar圖像處理領域研究的主要方向。

2、傳統(tǒng)的基于機器學習的極化sar圖像分類方法主要包括特征提取和分類器設計兩個部分。特征提取是指通過圖像分析或物理分析，從原始極化sar圖像中提取與分類相關的特征。如freeman分解、cloude分解、yamaguchi分解等。分類器設計主要依靠提取的特征信息來設計分類策略，如wishart最大似然、判別式字典學習等。在傳統(tǒng)的分類方法中，特征提取和分類器設計通常被視為截然不同的獨立過程。

3、深度學習方法可以將特征提取與分類器設計相結合，為這一問題提供了完美的解決方案，使特征提取過程能夠提取與任務密切相關的特征。因此，大量基于深度學習的極化sar圖像分類方法被引入。在這些方法中，基于卷積神經網絡(convolutional?neuralnetworks,cnn)的方法由于其獨特的卷積結構在圖像解釋領域獲得了大量的普及和成就。然而，目前的數據驅動方法往往忽略了極化sar的固有物理特征，導致預測結果高度依賴于訓練數據，極化sar圖像的物理特征對不同的地形目標表現出不同的行為，這對目標識別起著至關重要的作用；因此，如何更好地表征地形目標的特征亟待進一步研究探索。

技術實現思路

1、本發(fā)明目的在于針對上述現有技術的不足，提出一種基于物理和深度特征融合的極化sar圖像分類方法?？紤]到數據驅動方法擅長從大規(guī)模數據中自動挖掘新模式，并能有效地補充物理過程，本發(fā)明將可解釋的物理模型集成到數據驅動方法中，從而增強深度學習算法的透明度，減少對標記樣本的依賴。本發(fā)明通過利用極化sar圖像的物理機制、將物理特征與深度特征相結合，使物理知識集成到深度神經網絡中，從而幫助在有限數量的標記樣本下訓練深度學習模型。

2、本發(fā)明為實現上述目的，提出的方案實現步驟如下：

3、(1)輸入待分類極化sar圖像的極化相干矩陣t數據及所對應的真實地物標簽信息；

4、(2)構建特征提取模塊，用于提取極化sar圖像的幅度特征、物理特征和頻譜特征；

5、(3)以待分類極化sar圖像的每個像素為中心選取像素塊，構建訓練樣本集dl和測試樣本集dt；

6、(4)構建改進后的特征金字塔網絡，并獲取融合特征：

7、(4.1)在現有特征金字塔網絡結構基礎上增加一個通道，構建具有兩支相同卷積結構的雙通道特征金字塔網絡，其輸入為幅度特征和物理特征兩種數據類型，且兩種數據分別作為一個通道的輸入；

8、(4.2)在兩個通道中均采用自底向上的卷積神經網絡cnn獲取不同尺度特征，得到從兩種不同數據類型中提取的多層特征，即深度幅度特征和深度物理特征；

9、(4.3)在雙通道特征金字塔網絡的兩個通道之間引入可學習的特征融合模塊，得到構建改進后的特征金字塔網絡；具體是在兩個通道的每層卷積之間增設一個可學習的特征融合模塊，該模塊包括卷積層、激活函數層和池化層，用于對通道中每層卷積操作提取出的深度幅度特征和深度物理特征進行特征融合和篩選，得到融合特征；

10、(4.4)對所有一次融合特征，采用特征金字塔網絡中自頂向下的網絡進行再次融合，得到深度融合特征；

11、(5)采用卷積神經網絡對頻譜特征進行卷積操作，獲取深度頻譜特征；

12、(6)將深度融合特征和深度頻譜特征采用堆疊方式進行特征融合，得到最終的融合后特征；

13、(7)采用softmax分類器對最終的融合后特征進行分類，實現分類模型的構建；

14、(8)利用訓練樣本集dl訓練分類模型，獲得訓練好的分類模型，并利用該模型對測試樣本集dt的像素點進行類別預測，得到每個像素點的地物類別。

15、本發(fā)明與現有技術相比具有如下優(yōu)點：

16、第一、由于本發(fā)明采用深度學習方法和極化sar的物理特征，將極化sar圖像的物理知識融入到數據驅動的方法中，引導網絡學習具有特定語義的特征，從而減少模型對標記樣本的依賴；

17、第二、由于本發(fā)明采用可學習的特征融合方法，在特征融合過程中自動選擇必要的特征信息，從而提高有限標記樣本下極化sar圖像的分類精度；

18、第三、由于本發(fā)明采用改進的特征金字塔網絡，在特征融合階段將高階特征映射與低階特征映射相結合，從而能夠有效獲取多尺度的特征表示。

技術特征：

1.一種基于物理和深度特征融合的極化sar圖像分類方法，其特征在于，包括如下步驟：

2.根據權利要求1所述的方法，其特征在于：步驟(1)中所述極化相干矩陣t，具體表示如下：

3.根據權利要求2所述的方法，其特征在于：步驟(2)中所述特征提取模塊，依次通過相干矩陣變換、極化目標分解和快速傅里葉變換提取極化sar圖像的幅度特征、物理特征和頻譜特征；具體實現如下：

4.根據權利要求1所述的方法，其特征在：步驟(3)中構建訓練樣本集dl和測試樣本集dt；具體實現如下：

5.根據權利要求1所述的方法，其特征在于：步驟(4.2)中所述卷積神經網絡為三層卷積結構，最大池化層采用2×2的濾波器，且設定步幅為2；三層卷積的卷積核均為3×3，卷積通道大小依次為64、128和256。

6.根據權利要求1所述的方法，其特征在于：步驟(4.3)中所述卷積層為兩層，卷積核均為3×3，其中第一層卷積的卷積通道大小為96，第二層卷積的卷積通道與當前層的輸入通道相同；激活函數采用的是relu；最大池化層采用2×2濾波器，且設定步幅為1。

7.根據權利要求1所述的方法，其特征在于：步驟(4.3)中所述可學習的特征融合模塊，根據下式得到融合特征opuput：

8.根據權利要求1所述的方法，其特征在于：步驟(4.4)中采用特征金字塔網絡中自頂向下的網絡進行再次融合，是將上層的特征圖進行上采樣然后向下傳遞；采樣方法采用的是最近鄰上采樣，用于將采樣后的特征圖與下一層的特征圖進行相加融合操作。

9.根據權利要求1所述的方法，其特征在于：步驟(5)中所述卷積神經網絡為一層卷積結構，最大池化層采用2×2的濾波器，且設定步幅為2；卷積核為3×3，卷積通道為9。

技術總結
本發(fā)明公開了一種基于物理和深度特征融合的極化SAR圖像分類方法，主要解決現有方法過度依賴訓練數據，忽略圖像物理特征導致分類效果不理想的問題。包括：1)輸入極化SAR圖像，提取其幅度、物理和頻譜特征；2)在特征金字塔網絡基礎上增加一個卷積通道，同時在兩通道之間引入可學習的特征融合模塊，實現對現有特征金字塔網絡的改進；3)利用改進后的特征金字塔網絡獲取物理與幅度特征的深度融合特征；4)提取深度頻譜特征，采用堆疊方式將其與深度特征進行融合；5)通過Softmax分類器對最終的融合后特征進行分類，獲取分類結果。本發(fā)明使物理知識集成到深度神經網絡中，能夠在標記樣本有限的情況下，有效提高分類性能。

技術研發(fā)人員：滑文強,侯前進,丁晨,董怡卓,王怡,路龍賓
受保護的技術使用者：西安郵電大學
技術研發(fā)日：
技術公布日：2024/10/21