本發(fā)明涉及人工智能，尤其涉及一種姿態(tài)圖像樣本集的確定方法及姿態(tài)估計(jì)模型的訓(xùn)練方法。

背景技術(shù)：

1、對于特殊教學(xué)內(nèi)容，比如運(yùn)動(dòng)相關(guān)的動(dòng)作類教學(xué)內(nèi)容，僅通過攝像頭老師無法準(zhǔn)確判斷學(xué)生的動(dòng)作是否標(biāo)準(zhǔn)，極大的影響了特殊教學(xué)內(nèi)容在線學(xué)習(xí)的效果。目前，可以基于深度學(xué)習(xí)算法進(jìn)行姿態(tài)估計(jì)來判斷學(xué)生動(dòng)作是否標(biāo)準(zhǔn)，但是由于視頻較短以及視頻背景雜亂，使得模型的泛化性較差、精度較差。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本公開的一方面，提供了一種姿態(tài)圖像樣本集的確定方法，所述方法包括：

2、基于所述目標(biāo)姿態(tài)視頻包括的多個(gè)目標(biāo)姿態(tài)圖像樣本，生成目標(biāo)姿態(tài)圖像樣本集；

3、從所述目標(biāo)姿態(tài)圖像樣本集中獲取至少一幀初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的參考圖像樣本；

4、基于每幀所述初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的所述參考圖像樣本確定每幀所述初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本；

5、基于每幀所述初始圖像樣本對應(yīng)的所述圖像增強(qiáng)樣本更新所述目標(biāo)姿態(tài)圖像樣本集。

6、根據(jù)本公開的另一方面，提供了一種姿態(tài)估計(jì)模型的訓(xùn)練方法，所述方法包括：

7、基于上述姿態(tài)圖像樣本集的確定方法確定目標(biāo)姿態(tài)圖像樣本集；

8、基于所述姿態(tài)圖像樣本集訓(xùn)練姿態(tài)估計(jì)模型。

9、根據(jù)本公開的另一方面，提供了一種姿態(tài)圖像樣本集的確定裝置，所述裝置包括：

10、獲取模塊，用于基于所述目標(biāo)姿態(tài)視頻包括的多個(gè)目標(biāo)姿態(tài)圖像樣本，生成目標(biāo)姿態(tài)圖像樣本集；

11、所述模塊還用于從所述目標(biāo)姿態(tài)圖像樣本集中獲取至少一幀初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的參考圖像樣本；

12、確定模塊，用于基于每幀所述初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的所述參考圖像樣本確定每幀所述初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本；

13、更新模塊，用于基于每幀所述初始圖像樣本對應(yīng)的所述圖像增強(qiáng)樣本更新所述目標(biāo)姿態(tài)圖像樣本集。

14、根據(jù)本公開的另一方面，提供了一種姿態(tài)估計(jì)模型的訓(xùn)練裝置，所述裝置包括：

15、確定模塊，用于基于上述姿態(tài)圖像樣本集的確定方法確定目標(biāo)姿態(tài)圖像樣本集；

16、訓(xùn)練模塊，用于基于所述姿態(tài)圖像樣本集訓(xùn)練姿態(tài)估計(jì)模型。

17、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：

18、處理器；以及，

19、存儲(chǔ)程序的存儲(chǔ)器；

20、其中，所述程序包括指令，所述指令在由所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行上述的方法。

21、根據(jù)本公開的另一方面，提供了一種非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述的方法。

22、本申請實(shí)施例中提供的一個(gè)或多個(gè)技術(shù)方案中，通過初始圖像樣本和參考圖像樣本確定每幀初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本，然后再基于每幀初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本更新目標(biāo)姿態(tài)圖像樣本集，使得目標(biāo)姿態(tài)圖像樣本集中的樣本數(shù)量得以擴(kuò)充。當(dāng)將該目標(biāo)姿態(tài)圖像樣本集輸入目標(biāo)姿態(tài)估計(jì)模型中時(shí)，由于該目標(biāo)姿態(tài)樣本集的樣本數(shù)量足夠多，使得訓(xùn)練得到的目標(biāo)姿態(tài)估計(jì)模型的泛華能力較高，提高了目標(biāo)姿態(tài)估計(jì)模型預(yù)測的準(zhǔn)確度。同時(shí)，由于初始圖像樣本和參考圖像樣本是通過在多個(gè)目標(biāo)姿態(tài)圖像樣本集中獲取，且多個(gè)目標(biāo)姿態(tài)圖像樣本集是從目標(biāo)姿態(tài)視頻中獲取，可見，初始圖像樣本和初始圖像樣本對應(yīng)的參考圖像的圖像樣本內(nèi)容差異較小，通過將圖像內(nèi)容差異較小的初始圖像樣本和初始圖像樣本對應(yīng)的參考圖像的圖像樣本進(jìn)行融合，得到的圖像增強(qiáng)樣本中目標(biāo)姿態(tài)會(huì)發(fā)生變化，但是圖像主體變化不大，當(dāng)使用該圖像增強(qiáng)樣本輸入姿態(tài)估計(jì)模型中進(jìn)行訓(xùn)練時(shí)，模型學(xué)習(xí)的內(nèi)容會(huì)更加專一，在增加姿態(tài)估計(jì)模型的訓(xùn)練樣本集、提高模型泛化能力和精度的同時(shí)，還提高了模型的魯棒性。

技術(shù)特征：

1.一種姿態(tài)圖像樣本集的確定方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述目標(biāo)姿態(tài)圖像樣本集中獲取至少一幀初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的參考圖像樣本，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：從更新后的所述目標(biāo)姿態(tài)樣本集中刪除多個(gè)所述目標(biāo)姿態(tài)圖像樣本；和/或，

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始圖像樣本的幀號(hào)與所述參考圖像樣本的幀號(hào)差異大于0且小于差異閾值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，每幀所述初始圖像樣本對應(yīng)的參考圖像樣本的數(shù)量大于或等于1，且小于或等于樣本閾值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，當(dāng)每幀所述初始圖像樣本對應(yīng)的參考圖像樣本的數(shù)量為多個(gè)時(shí)，多個(gè)所述參考圖像樣本的幀號(hào)均大于或均小于對應(yīng)所述初始圖像樣本的幀號(hào)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，當(dāng)每幀所述初始圖像樣本對應(yīng)的參考圖像樣本的數(shù)量為多個(gè)時(shí)，多個(gè)所述參考圖像樣本中的一部分參考圖像樣本的幀號(hào)大于對應(yīng)所述初始圖像樣本的幀號(hào)，另一部分參考圖像樣本的幀號(hào)小于對應(yīng)所述初始圖像樣本的幀號(hào)。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：對每幀所述初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本進(jìn)行降噪處理。

9.一種姿態(tài)估計(jì)模型的訓(xùn)練方法，其特征在于，所述方法包括：

10.根據(jù)權(quán)利要求9所述的姿態(tài)估計(jì)模型的訓(xùn)練方法，其特征在于，所述基于所述姿態(tài)圖像樣本集訓(xùn)練姿態(tài)估計(jì)模型，包括：

11.根據(jù)權(quán)利要求10所述的姿態(tài)估計(jì)模型的訓(xùn)練方法，其特征在于，所述姿態(tài)估計(jì)模型包括骨干網(wǎng)絡(luò)和輕量網(wǎng)絡(luò)，所述基于所述姿態(tài)估計(jì)模型獲得所述目標(biāo)姿態(tài)圖像樣本集中每個(gè)目標(biāo)姿態(tài)圖像樣本對應(yīng)的初始深度特征和所述初始深度特征對應(yīng)的熱力深度特征，包括：

12.根據(jù)權(quán)利要求10所述的姿態(tài)估計(jì)模型的訓(xùn)練方法，其特征在于，所述相似度篩選條件包括：

13.一種姿態(tài)圖像樣本集的確定裝置，其特征在于，所述裝置包括：

14.一種姿態(tài)估計(jì)模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

15.一種電子設(shè)備，其特征在于，包括：

16.一種非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-12中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供了一種姿態(tài)圖像樣本集的確定方法及姿態(tài)估計(jì)模型的訓(xùn)練方法，涉及人工智能技術(shù)領(lǐng)域。所述方法包括：基于所述目標(biāo)姿態(tài)視頻包括的多個(gè)目標(biāo)姿態(tài)圖像樣本，生成目標(biāo)姿態(tài)圖像樣本集；從所述目標(biāo)姿態(tài)圖像樣本集中獲取至少一幀初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的參考圖像樣本；基于每幀所述初始圖像樣本和每幀所述初始圖像樣本對應(yīng)的所述參考圖像樣本確定每幀所述初始圖像樣本對應(yīng)的圖像增強(qiáng)樣本；基于每幀所述初始圖像樣本對應(yīng)的所述圖像增強(qiáng)樣本更新所述目標(biāo)姿態(tài)圖像樣本集。該樣本集的確定方法用于訓(xùn)練姿態(tài)估計(jì)模型。

技術(shù)研發(fā)人員：鄧?yán)蚍?br/>受保護(hù)的技術(shù)使用者：中移物聯(lián)網(wǎng)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21