本發(fā)明屬于模式識別與計算機視覺，具體涉及一種基于特征感知增強網(wǎng)絡的域適應分割方法。

背景技術：

1、人工智能的發(fā)展極大地改變了現(xiàn)代人的生活節(jié)奏和生活方式，其中，神經(jīng)網(wǎng)絡也越來越受到重視。目前神經(jīng)網(wǎng)絡大多依賴于在大型數(shù)據(jù)集上進行訓練從而得到一個模型用于進行各種任務，但是在一些任務中，所需識別的對象不變，但是表現(xiàn)形式改變，如現(xiàn)實的汽車和畫中的汽車，雖然都是汽車但形式不同，此時若已有一類的數(shù)據(jù)集而想對另一種形式進行識別，就需要再準備一個數(shù)據(jù)集，過程繁瑣。因此域適應方法就應運而生，域適應可以在只有源域數(shù)據(jù)集和少量目標域數(shù)據(jù)的的情況下對目標域數(shù)據(jù)集進行預測，從而減少其中間的數(shù)據(jù)集準備過程，增加應用的靈活性。

技術實現(xiàn)思路

1、因此，針對現(xiàn)實需求和現(xiàn)有技術當中的空白，本發(fā)明提供一種基于特征感知增強網(wǎng)絡的域適應分割方法，該方法能夠有效地解決域適應分割問題。

2、本發(fā)明解決其技術問題具體采用的技術方案是：

3、一種基于特征感知增強網(wǎng)絡的域適應分割方法，包括以下步驟：

4、步驟s1：獲取數(shù)據(jù)集，并通過動態(tài)偽標簽生成機制以提高偽標簽質(zhì)量；

5、步驟s2：通過稀有類采樣方法，使模型對樣本較少的類別充分學習；

6、步驟s3：通過特征距離度量方法提高特征的表征能力；

7、步驟s4：進行模型訓練，并通過對模型訓練過程進行預熱，以提高模型的收斂穩(wěn)定性。

8、進一步地，步驟s1具體包括以下步驟：

9、步驟s11：獲取公開的領域自適應圖片數(shù)據(jù)集，并獲得訓練數(shù)據(jù)的相關標注；

10、步驟s12：將源數(shù)據(jù)集中每個l類的頻率fl根據(jù)l類像素的數(shù)量計算出來，計算方法如下所示：

11、

12、其中i,j,c分別表示像素所在的行、列和通道位置，h、w分別代表圖像的高和寬，ns表示源域的數(shù)據(jù)總數(shù)，ys表示源域數(shù)據(jù)的標簽；類l的采樣概率p(l)，計算方法如下式所示：

13、

14、其中e表示指數(shù)，tem為人為設定的超參數(shù),l,為具體為哪一個類別。

15、進一步地，步驟s2具體包括以下步驟：

16、步驟s21：將數(shù)據(jù)集中的源域數(shù)據(jù)集和目標域數(shù)據(jù)集分別輸入由acmix50骨干網(wǎng)絡組成的學生網(wǎng)絡和教師網(wǎng)絡中；使用教師網(wǎng)絡為目標域數(shù)據(jù)生成偽標簽

17、

18、其中[·]表示艾弗森括號，t代表目標域數(shù)據(jù)，arg?max代表取最大值，表示教師網(wǎng)絡；步驟s22：計算偽標簽生成質(zhì)量估計

19、

20、其中r為閾值；偽標簽及其質(zhì)量估計用于在目標域上額外訓練網(wǎng)絡gθ，計算損失函數(shù)進行優(yōu)化：

21、

22、其中c代表圖像的通道數(shù)，θ表示學生網(wǎng)絡；

23、步驟s23：在生成偽標簽過程中，在訓練期間根據(jù)gθ進行更新；權重設置為每個訓練步驟t之后gθ權重的指數(shù)移動平均值，以增加預測的穩(wěn)定性，教師網(wǎng)絡的偽標簽生成方法為：

24、

25、其中t代表迭代次數(shù)，α為混合比例。

26、進一步地，步驟s3具體包括以下步驟：

27、步驟s31：根據(jù)語義分割模型gθ的瓶頸特征fθ和imagenet模型的瓶頸特征fin的特征距離對模型進行正則化，計算特征距離d(i,j)：

28、

29、其中xs表示源域數(shù)據(jù)樣本；

30、步驟s32：計算包含由二進制掩碼描述的事物類cthings的圖像區(qū)域的特征距離損失計算方法如下式所示：

31、

32、掩碼為事物類cthings的掩碼，從經(jīng)過下采樣的源域數(shù)據(jù)標簽標簽yss獲得：

33、

34、其中c表示通道數(shù)，c’指代具體的通道；

35、步驟s33：將標簽下采樣到瓶頸特征大小，將補丁大小為hf×wf的平均池化應用于每個類通道，并且當超過比率r時保留一個類，源域樣本標簽計算方法如下式所示：

36、

37、其中avgpool表示平均池化操作。

38、進一步地，步驟s4當中：

39、通過步驟s22和s32得到lt和lfd，再通過lt和lfd計算損失并進行最小化，總損失loss的計算公式為：

40、loss＝lt+lfd

41、通過最小化總損失loss進行訓練。

42、進一步地，在訓練過程中，在前20個迭代中采用學習率預熱的訓練方法，通過設置學習率為0.00001，動量為0.95的訓練參數(shù)對訓練過程進行預熱；20個迭代后至訓練完成時則使用學習率為0.0001，動量為0.99的的訓練參數(shù)對訓練過程進行訓練。

43、以及，一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法的步驟。

44、一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法的步驟。

45、相比于現(xiàn)有技術，本發(fā)明及其優(yōu)選方案至少具備以下突出效果：

46、1、能夠提高目標域數(shù)據(jù)偽標簽質(zhì)量，通過在訓練中動態(tài)調(diào)整偽標簽的生成方式以及為偽標簽生成置信度估計提高標簽可信度。

47、2、能夠使模型更穩(wěn)定地學習出現(xiàn)次數(shù)較少的樣本類別，通過頻繁地對稀有類別的圖像進行采樣，網(wǎng)絡可以更穩(wěn)定地學習；

48、3、能夠提高特征的表征能力，從多樣化且富有表現(xiàn)力的imagenet特征中提取知識，使得模型能夠提取更加豐富的特征表示。

49、4、能夠穩(wěn)定地進行訓練過程，通過在訓練初期進行訓練預熱提高模型訓練的穩(wěn)定性。

技術特征：

1.一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于，包括以下步驟：

2.根據(jù)權利要求1所述的基于一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于：步驟s1具體包括以下步驟：

3.根據(jù)權利要求2所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于：

4.根據(jù)權利要求3所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于：

5.根據(jù)權利要求4所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于：

6.根據(jù)權利要求5所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法，其特征在于：在訓練過程中，在前20個迭代中采用學習率預熱的訓練方法，通過設置學習率為0.00001，動量為0.95的訓練參數(shù)對訓練過程進行預熱；20個迭代后至訓練完成時則使用學習率為0.0001，動量為0.99的的訓練參數(shù)對訓練過程進行訓練。

7.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1-6任一項所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法的步驟。

8.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-6任一項所述的一種基于特征感知增強網(wǎng)絡的域適應分割方法的步驟。

技術總結
本發(fā)明提供一種基于特征感知增強網(wǎng)絡的域適應分割方法，包括以下步驟：步驟S1：獲取數(shù)據(jù)集，并通過動態(tài)偽標簽生成機制提高偽標簽質(zhì)量；步驟S2：通過稀有類采樣方法，讓模型能夠?qū)颖据^少的類別充分學習；步驟S3：通過特征距離度量方法提高特征的表征能力；步驟S4：進行模型訓練，并通過對模型訓練過程進行預熱提高模型的收斂穩(wěn)定性。

技術研發(fā)人員：柯逍,卞永亨
受保護的技術使用者：福州大學
技術研發(fā)日：
技術公布日：2024/10/21