本申請涉及計(jì)算機(jī)視覺，特別是涉及一種目標(biāo)識別方法、目標(biāo)識別裝置以及計(jì)算機(jī)存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，僅使用關(guān)鍵點(diǎn)或者部位特征進(jìn)行目標(biāo)識別，通過解析部位提取更精細(xì)的特征，但對于序列的整體動態(tài)特征會有一定的缺失，過于關(guān)注局部或者過少關(guān)注局部都會更容易受到難例樣本的影響，模型的魯棒性較差。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題，本申請?zhí)岢隽艘环N目標(biāo)識別方法、目標(biāo)識別裝置以及計(jì)算機(jī)存儲介質(zhì)。

2、為解決上述技術(shù)問題，本申請?zhí)岢隽艘环N目標(biāo)識別方法，所述目標(biāo)識別方法包括：基于待識別目標(biāo)數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點(diǎn)圖序列；將所述部位輪廓圖序列輸入雙流目標(biāo)檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將所述關(guān)鍵點(diǎn)圖序列輸入所述雙流目標(biāo)檢測模型的關(guān)鍵點(diǎn)圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)局部權(quán)重；利用所述部位局部權(quán)重對所述部位輪廓圖序列進(jìn)行處理后，通過所述雙流目標(biāo)檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用所述關(guān)鍵點(diǎn)局部權(quán)重對所述關(guān)鍵點(diǎn)圖序列進(jìn)行處理后，通過所述雙流目標(biāo)檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)特征；通過所述雙流目標(biāo)檢測模型的分類網(wǎng)絡(luò)，對所述部位特征和所述關(guān)鍵點(diǎn)特征融合的分類特征進(jìn)行識別，獲取所述待識別目標(biāo)數(shù)據(jù)的目標(biāo)識別結(jié)果。

3、其中，所述關(guān)鍵點(diǎn)圖序列為關(guān)鍵點(diǎn)熱圖序列；所述目標(biāo)識別方法，還包括：基于所述待識別目標(biāo)數(shù)據(jù)，獲取每一張目標(biāo)圖的關(guān)鍵點(diǎn)集合；基于所述關(guān)鍵點(diǎn)集合中的每一關(guān)鍵點(diǎn)及其鄰近像素點(diǎn)，生成關(guān)鍵熱點(diǎn)；按照所述每一張目標(biāo)圖的關(guān)鍵熱點(diǎn)，生成關(guān)鍵點(diǎn)熱圖。

4、其中，所述將所述部位輪廓圖序列輸入雙流目標(biāo)檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重，包括：通過所述部位局部權(quán)重預(yù)測網(wǎng)絡(luò)將所述部位輪廓圖序列進(jìn)行加權(quán)平均，得到預(yù)測部位輪廓圖；通過所述部位局部權(quán)重預(yù)測網(wǎng)絡(luò)將所述預(yù)測部位輪廓圖進(jìn)行特征提取以及局部權(quán)重動態(tài)生成，得到所述預(yù)測部位輪廓圖中每一部位區(qū)域的動態(tài)權(quán)重，組成所述部位局部權(quán)重。

5、其中，所述第一特征提取網(wǎng)絡(luò)包括短時(shí)時(shí)空注意力網(wǎng)絡(luò)，所述部位特征為所述短時(shí)時(shí)空注意力網(wǎng)絡(luò)輸出的短時(shí)部位特征；所述第二特征提取網(wǎng)絡(luò)包括長時(shí)時(shí)空注意力網(wǎng)絡(luò)，所述關(guān)鍵點(diǎn)特征為所述長時(shí)時(shí)空注意力網(wǎng)絡(luò)輸出的長時(shí)關(guān)鍵點(diǎn)特征。

6、其中，所述目標(biāo)識別方法，還包括：將所述短時(shí)部位特征和所述長時(shí)關(guān)鍵點(diǎn)特征分別輸入多尺度時(shí)空注意力融合網(wǎng)絡(luò)，提取所述短時(shí)部位特征的部位時(shí)空特征，所述長時(shí)關(guān)鍵點(diǎn)特征的關(guān)鍵點(diǎn)時(shí)空特征，以及所述短時(shí)部位特征和長時(shí)關(guān)鍵點(diǎn)特征融合的融合時(shí)空特征；將所述部位時(shí)空特征、所述關(guān)鍵點(diǎn)時(shí)空特征以及所述融合時(shí)空特征合并得到的合并特征輸入所述多尺度時(shí)空注意力融合網(wǎng)絡(luò)的注意力模塊，獲取加權(quán)時(shí)空特征；將所述合并特征和所述加權(quán)時(shí)空特征融合，得到所述分類特征。

7、其中，所述目標(biāo)識別方法，還包括；獲取待訓(xùn)練的有標(biāo)注目標(biāo)數(shù)據(jù)和無標(biāo)注目標(biāo)數(shù)據(jù)；利用所述有標(biāo)注目標(biāo)數(shù)據(jù)訓(xùn)練目標(biāo)識別模型，得到初始權(quán)重參數(shù)；按照初始權(quán)重參數(shù)，獲取教師模型和學(xué)生模型；利用所述有標(biāo)注目標(biāo)數(shù)據(jù)訓(xùn)練所述教師模型，獲取有監(jiān)督損失；利用所述無標(biāo)注目標(biāo)數(shù)據(jù)訓(xùn)練所述教師模型和所述學(xué)生模型，獲取無監(jiān)督損失；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進(jìn)行訓(xùn)練，得到所述雙流目標(biāo)檢測模型。

8、其中，所述利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進(jìn)行訓(xùn)練，得到所述雙流目標(biāo)檢測模型，包括；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進(jìn)行訓(xùn)練，得到第一模型參數(shù)；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述學(xué)生模型進(jìn)行訓(xùn)練，得到第二模型參數(shù)；利用所述第一模型參數(shù)和所述第二模型參數(shù)，生成所述雙流目標(biāo)檢測模型的模型參數(shù)。

9、其中，所述利用所述無標(biāo)注目標(biāo)數(shù)據(jù)訓(xùn)練所述教師模型和所述學(xué)生模型，獲取無監(jiān)督損失，包括：獲取所述無標(biāo)注目標(biāo)數(shù)據(jù)的第一段目標(biāo)序列和第二段目標(biāo)序列；對所述第一段目標(biāo)序列進(jìn)行弱數(shù)據(jù)增強(qiáng)，生成第三段目標(biāo)序列；對所述第二段目標(biāo)序列進(jìn)行強(qiáng)數(shù)據(jù)增強(qiáng)，生成第四段目標(biāo)序列；將所述第三段目標(biāo)序列輸入所述教師模型，提取第一目標(biāo)特征；將所述第四段目標(biāo)序列輸入所述學(xué)生模型，提取第二目標(biāo)特征；基于所述第一目標(biāo)特征和所述第二目標(biāo)特征，獲取所述無監(jiān)督損失。

10、為解決上述技術(shù)問題，本申請?zhí)岢鲆环N目標(biāo)識別裝置，所述目標(biāo)識別裝置包括存儲器以及與所述存儲器耦接的處理器；其中，所述存儲器用于存儲程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實(shí)現(xiàn)上述的目標(biāo)識別方法。

11、為解決上述技術(shù)問題，本申請?zhí)岢鲆环N計(jì)算機(jī)存儲介質(zhì)，所述計(jì)算機(jī)存儲介質(zhì)用于存儲程序數(shù)據(jù)，所述程序數(shù)據(jù)在被計(jì)算機(jī)執(zhí)行時(shí)，用以實(shí)現(xiàn)上述的目標(biāo)識別方法。

12、與現(xiàn)有技術(shù)相比，本申請的有益效果是：本申請?zhí)岢鲆环N目標(biāo)識別方法、目標(biāo)識別裝置以及計(jì)算機(jī)存儲介質(zhì)，目標(biāo)識別裝置基于待識別目標(biāo)數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點(diǎn)圖序列；將部位輪廓圖序列輸入雙流目標(biāo)檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將關(guān)鍵點(diǎn)圖序列輸入雙流目標(biāo)檢測模型的關(guān)鍵點(diǎn)圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)局部權(quán)重；利用部位局部權(quán)重對部位輪廓圖序列進(jìn)行處理后，通過雙流目標(biāo)檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用關(guān)鍵點(diǎn)局部權(quán)重對所述關(guān)鍵點(diǎn)圖序列進(jìn)行處理后，通過雙流目標(biāo)檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)特征；通過雙流目標(biāo)檢測模型的分類網(wǎng)絡(luò)，對部位特征和所述關(guān)鍵點(diǎn)特征融合的分類特征進(jìn)行識別，獲取待識別目標(biāo)數(shù)據(jù)的目標(biāo)識別結(jié)果。通過上述方式，通過局部權(quán)重的處理，可以自適應(yīng)的捕捉目標(biāo)輸入中的顯著局部區(qū)域，幫助提取更好的目標(biāo)特征，進(jìn)而提高目標(biāo)識別的準(zhǔn)確度，同時(shí)，在使用部位圖之外，還是用了關(guān)鍵點(diǎn)熱圖，不僅使用局部權(quán)重關(guān)注各部位的精細(xì)特征，也提取整個(gè)序列的空間信息和時(shí)間信息，在更好的完成目標(biāo)識別的任務(wù)的同時(shí)也增加了魯棒性。

技術(shù)特征：

1.一種目標(biāo)識別方法，其特征在于，所述目標(biāo)識別方法包括：

2.根據(jù)權(quán)利要求1所述的目標(biāo)識別方法，其特征在于，

3.根據(jù)權(quán)利要求1所述的目標(biāo)識別方法，其特征在于，

4.根據(jù)權(quán)利要求1所述的目標(biāo)識別方法，其特征在于，

5.根據(jù)權(quán)利要求4所述的目標(biāo)識別方法，其特征在于，

6.根據(jù)權(quán)利要求1所述的目標(biāo)識別方法，其特征在于，

7.根據(jù)權(quán)利要求6所述的目標(biāo)識別方法，其特征在于，

8.根據(jù)權(quán)利要求6所述的目標(biāo)識別方法，其特征在于，

9.一種目標(biāo)識別裝置，其特征在于，所述目標(biāo)識別裝置包括存儲器以及與所述存儲器耦接的處理器；

10.一種計(jì)算機(jī)存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲介質(zhì)用于存儲程序數(shù)據(jù)，所述程序數(shù)據(jù)在被計(jì)算機(jī)執(zhí)行時(shí)，用以實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的目標(biāo)識別方法。

技術(shù)總結(jié)
本申請?zhí)岢鲆环N目標(biāo)識別方法、目標(biāo)識別裝置以及計(jì)算機(jī)存儲介質(zhì)，包括：基于待識別目標(biāo)數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點(diǎn)圖序列；將部位輪廓圖序列輸入雙流目標(biāo)檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將關(guān)鍵點(diǎn)圖序列輸入雙流目標(biāo)檢測模型的關(guān)鍵點(diǎn)圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)局部權(quán)重；利用部位局部權(quán)重對部位輪廓圖序列進(jìn)行處理后，通過雙流目標(biāo)檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用關(guān)鍵點(diǎn)局部權(quán)重對所述關(guān)鍵點(diǎn)圖序列進(jìn)行處理后，通過雙流目標(biāo)檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點(diǎn)特征；通過雙流目標(biāo)檢測模型的分類網(wǎng)絡(luò)，對部位特征和所述關(guān)鍵點(diǎn)特征融合的分類特征進(jìn)行識別，獲取待識別目標(biāo)數(shù)據(jù)的目標(biāo)識別結(jié)果。

技術(shù)研發(fā)人員：張攀鋒,潘華東,殷俊,趙雷
受保護(hù)的技術(shù)使用者：浙江大華技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/26