本申請(qǐng)涉及圖像處理，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。

背景技術(shù)：

1、舞蹈是一種以人的身體動(dòng)作為主要表現(xiàn)形式的藝術(shù)，舞蹈動(dòng)優(yōu)化作研究是在專(zhuān)業(yè)領(lǐng)域?qū)?dòng)作的流暢性、規(guī)范性、藝術(shù)性的分析評(píng)價(jià)，衡量層次更深、更具專(zhuān)業(yè)性質(zhì)。隨著科技的發(fā)展，舞蹈?jìng)鞒姓呤褂靡曨l來(lái)記錄原舞蹈動(dòng)作，訓(xùn)練者根據(jù)舞蹈視頻進(jìn)行學(xué)習(xí)和訓(xùn)練。但在根據(jù)視頻進(jìn)行練習(xí)的過(guò)程中，不能對(duì)舞蹈動(dòng)作進(jìn)行全面觀察，且訓(xùn)練者依據(jù)視頻練習(xí)過(guò)程中，缺少反饋信息，訓(xùn)練者無(wú)法對(duì)自己動(dòng)作水平擁有明確的定位。而且，長(zhǎng)期錯(cuò)誤動(dòng)作的練習(xí)也會(huì)對(duì)訓(xùn)練者的肌肉造成損傷。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供一種舞蹈編排中圖像處理方法及裝置，能夠通過(guò)對(duì)訓(xùn)練者的姿態(tài)進(jìn)行識(shí)別，并對(duì)姿態(tài)進(jìn)行評(píng)價(jià)得到評(píng)價(jià)結(jié)果。

2、為了達(dá)到上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

3、第一方面，提供一種舞蹈編排中圖像處理方法，所述方法包括：獲取待編排舞蹈的標(biāo)簽信息，基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽；基于目標(biāo)采集時(shí)間間隔獲取舞者的多個(gè)實(shí)時(shí)圖像，并基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對(duì)所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，并對(duì)標(biāo)注結(jié)果進(jìn)行抽取，得到多個(gè)基于時(shí)序進(jìn)行排列的目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖，將所述目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖中的關(guān)鍵點(diǎn)進(jìn)行連接得到目標(biāo)骨骼框架圖；將多個(gè)所述目標(biāo)骨骼框架圖基于時(shí)序進(jìn)行排列得到骨骼框架圖組，將所述骨骼框架圖組與標(biāo)準(zhǔn)骨骼框架圖組基于余弦距離進(jìn)行相似度計(jì)算，得到每一個(gè)所述目標(biāo)骨骼框架圖所對(duì)應(yīng)的相似度，并基于相似度對(duì)對(duì)應(yīng)的動(dòng)作進(jìn)行評(píng)價(jià)得分。

4、進(jìn)一步的，所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽為目標(biāo)骨骼點(diǎn)；所述基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽，包括：基于所述標(biāo)簽信息在目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫(kù)中進(jìn)行篩選，得到與標(biāo)簽信息符合的骨骼點(diǎn)組；所述目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫(kù)中配置有多個(gè)骨骼點(diǎn)組，每個(gè)所述骨骼點(diǎn)組配置有多個(gè)目標(biāo)骨骼點(diǎn)，多個(gè)目標(biāo)骨骼點(diǎn)組成所述標(biāo)準(zhǔn)骨骼框架圖組。

5、進(jìn)一步的，所述目標(biāo)骨骼點(diǎn)基于對(duì)多個(gè)初始骨骼點(diǎn)進(jìn)行權(quán)重篩選得到，具體包括：基于標(biāo)簽信息獲取多個(gè)目標(biāo)靜態(tài)動(dòng)作，并采集多個(gè)目標(biāo)靜態(tài)動(dòng)作所對(duì)應(yīng)的多個(gè)靜態(tài)圖像，識(shí)別每個(gè)所述靜態(tài)圖像中的每個(gè)骨骼點(diǎn)以及對(duì)應(yīng)的骨骼點(diǎn)坐標(biāo)，并計(jì)算每個(gè)所述骨骼點(diǎn)坐標(biāo)在多個(gè)所述靜態(tài)圖像中的變化率，并基于所述變化率的排序?qū)Χ鄠€(gè)所述骨骼點(diǎn)進(jìn)行篩選，得到所述目標(biāo)骨骼點(diǎn)。

6、進(jìn)一步的，基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對(duì)所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，包括：識(shí)別所述實(shí)時(shí)圖像中的每個(gè)骨骼點(diǎn)，并對(duì)每個(gè)所述骨骼點(diǎn)基于目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽進(jìn)行標(biāo)注，得到標(biāo)注結(jié)果。

7、進(jìn)一步的，所述靜態(tài)圖像和所述實(shí)時(shí)圖像中的骨骼點(diǎn)的識(shí)別基于關(guān)鍵點(diǎn)識(shí)別模型實(shí)現(xiàn)，所述關(guān)鍵點(diǎn)識(shí)別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設(shè)置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設(shè)置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設(shè)置有第三連接層。

8、進(jìn)一步的，所述第一特征提取模塊通過(guò)兩個(gè)卷積層將所述靜態(tài)圖像、所述實(shí)時(shí)圖像分辨率進(jìn)行下采樣，并通過(guò)四個(gè)瓶頸模塊提取目標(biāo)的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個(gè)所述深度卷積變換子模塊進(jìn)行特征提取，后通過(guò)多尺度特征融合子模塊對(duì)提取到的特征進(jìn)行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個(gè)特征提取單元，每一個(gè)所述特征提取單元內(nèi)設(shè)置有兩個(gè)深度卷積變換子模塊和一個(gè)多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個(gè)特征提取單元，每一個(gè)所述特征提取單元內(nèi)設(shè)置有兩個(gè)深度卷積變換子模塊和一個(gè)多尺度特征融合子模塊。

9、進(jìn)一步的，所述第一連接層包括兩個(gè)輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個(gè)恒等映射層和一個(gè)卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個(gè)恒等映射層和一個(gè)卷積層，分別與所述第四特征提取模塊中的四條分支連接。

10、進(jìn)一步的，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級(jí)聯(lián)通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應(yīng)平均池化模塊、恒等映射模塊和線(xiàn)性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級(jí)聯(lián)通道注意力模塊，所述級(jí)聯(lián)通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

11、進(jìn)一步的，所述得到每一個(gè)所述目標(biāo)骨骼框架圖所對(duì)應(yīng)的相似度，包括：計(jì)算每一個(gè)所述目標(biāo)骨骼框架圖中每一個(gè)骨骼點(diǎn)的子相似度，并基于所述子相似度得到所述目標(biāo)骨骼框架圖的相似度。

12、第二方面，提供一種舞蹈編排中圖像處理裝置，所述裝置包括：配置模塊，用于獲取待編排舞蹈的標(biāo)簽信息，基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽；框架圖獲取模塊，用于基于目標(biāo)采集時(shí)間間隔獲取舞者的多個(gè)實(shí)時(shí)圖像，并基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對(duì)所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，并對(duì)標(biāo)注結(jié)果進(jìn)行抽取，得到多個(gè)基于時(shí)序進(jìn)行排列的目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖，將所述目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖中的關(guān)鍵點(diǎn)進(jìn)行連接得到目標(biāo)骨骼框架圖；評(píng)價(jià)模塊，用于將多個(gè)所述目標(biāo)骨骼框架圖基于時(shí)序進(jìn)行排列得到骨骼框架圖組，將所述骨骼框架圖組與標(biāo)準(zhǔn)骨骼框架圖組基于余弦距離進(jìn)行相似度計(jì)算，得到每一個(gè)所述目標(biāo)骨骼框架圖所對(duì)應(yīng)的相似度，并基于相似度對(duì)對(duì)應(yīng)的動(dòng)作進(jìn)行評(píng)價(jià)得分。

13、本申請(qǐng)實(shí)施例提供的技術(shù)方案中，通過(guò)對(duì)舞蹈者的舞蹈動(dòng)作通過(guò)圖像采集的方式得到關(guān)于舞蹈動(dòng)作的實(shí)時(shí)圖像，并通過(guò)關(guān)鍵點(diǎn)識(shí)別模型對(duì)實(shí)時(shí)圖像進(jìn)行骨骼點(diǎn)識(shí)別，并將識(shí)別到的骨骼點(diǎn)通過(guò)與對(duì)應(yīng)的標(biāo)準(zhǔn)骨骼點(diǎn)進(jìn)行篩選得到多個(gè)目標(biāo)骨骼點(diǎn)，并將多個(gè)目標(biāo)骨骼點(diǎn)組成目標(biāo)骨骼框架圖，通過(guò)目標(biāo)骨骼框架圖與標(biāo)準(zhǔn)骨骼框架圖進(jìn)行相似性計(jì)算確定舞蹈動(dòng)作是否具有異常，實(shí)現(xiàn)對(duì)于舞蹈編排的指導(dǎo)。

技術(shù)特征：

1.一種舞蹈編排中圖像處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽為目標(biāo)骨骼點(diǎn)；所述基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽，包括：基于所述標(biāo)簽信息在目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫(kù)中進(jìn)行篩選，得到與標(biāo)簽信息符合的骨骼點(diǎn)組；所述目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫(kù)中配置有多個(gè)骨骼點(diǎn)組，每個(gè)所述骨骼點(diǎn)組配置有多個(gè)目標(biāo)骨骼點(diǎn)，多個(gè)目標(biāo)骨骼點(diǎn)組成所述標(biāo)準(zhǔn)骨骼框架圖組。

3.根據(jù)權(quán)利要求2所述的舞蹈編排中圖像處理方法，其特征在于，所述目標(biāo)骨骼點(diǎn)基于對(duì)多個(gè)初始骨骼點(diǎn)進(jìn)行權(quán)重篩選得到，具體包括：基于標(biāo)簽信息獲取多個(gè)目標(biāo)靜態(tài)動(dòng)作，并采集多個(gè)目標(biāo)靜態(tài)動(dòng)作所對(duì)應(yīng)的多個(gè)靜態(tài)圖像，識(shí)別每個(gè)所述靜態(tài)圖像中的每個(gè)骨骼點(diǎn)以及對(duì)應(yīng)的骨骼點(diǎn)坐標(biāo)，并計(jì)算每個(gè)所述骨骼點(diǎn)坐標(biāo)在多個(gè)所述靜態(tài)圖像中的變化率，并基于所述變化率的排序?qū)Χ鄠€(gè)所述骨骼點(diǎn)進(jìn)行篩選，得到所述目標(biāo)骨骼點(diǎn)。

4.根據(jù)權(quán)利要求3所述的舞蹈編排中圖像處理方法，其特征在于，基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對(duì)所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，包括：識(shí)別所述實(shí)時(shí)圖像中的每個(gè)骨骼點(diǎn)，并對(duì)每個(gè)所述骨骼點(diǎn)基于目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽進(jìn)行標(biāo)注，得到標(biāo)注結(jié)果。

5.根據(jù)權(quán)利要求3或4所述的舞蹈編排中圖像處理方法，其特征在于，所述靜態(tài)圖像和所述實(shí)時(shí)圖像中的骨骼點(diǎn)的識(shí)別基于關(guān)鍵點(diǎn)識(shí)別模型實(shí)現(xiàn)，所述關(guān)鍵點(diǎn)識(shí)別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設(shè)置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設(shè)置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設(shè)置有第三連接層。

6.根據(jù)權(quán)利要求5所述的舞蹈編排中圖像處理方法，其特征在于，所述第一特征提取模塊通過(guò)兩個(gè)卷積層將所述靜態(tài)圖像、所述實(shí)時(shí)圖像分辨率進(jìn)行下采樣，并通過(guò)四個(gè)瓶頸模塊提取目標(biāo)的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個(gè)所述深度卷積變換子模塊進(jìn)行特征提取，后通過(guò)多尺度特征融合子模塊對(duì)提取到的特征進(jìn)行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個(gè)特征提取單元，每一個(gè)所述特征提取單元內(nèi)設(shè)置有兩個(gè)深度卷積變換子模塊和一個(gè)多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個(gè)特征提取單元，每一個(gè)所述特征提取單元內(nèi)設(shè)置有兩個(gè)深度卷積變換子模塊和一個(gè)多尺度特征融合子模塊。

7.根據(jù)權(quán)利要求6所述的舞蹈編排中圖像處理方法，其特征在于，所述第一連接層包括兩個(gè)輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個(gè)恒等映射層和一個(gè)卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個(gè)恒等映射層和一個(gè)卷積層，分別與所述第四特征提取模塊中的四條分支連接。

8.根據(jù)權(quán)利要求7所述的舞蹈編排中圖像處理方法，其特征在于，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級(jí)聯(lián)通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應(yīng)平均池化模塊、恒等映射模塊和線(xiàn)性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級(jí)聯(lián)通道注意力模塊，所述級(jí)聯(lián)通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

9.根據(jù)權(quán)利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述得到每一個(gè)所述目標(biāo)骨骼框架圖所對(duì)應(yīng)的相似度，包括：計(jì)算每一個(gè)所述目標(biāo)骨骼框架圖中每一個(gè)骨骼點(diǎn)的子相似度，并基于所述子相似度得到所述目標(biāo)骨骼框架圖的相似度。

10.一種舞蹈編排中圖像處理裝置，其特征在于，所述裝置包括：

技術(shù)總結(jié)
本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。通過(guò)對(duì)舞蹈者的舞蹈動(dòng)作通過(guò)圖像采集的方式得到關(guān)于舞蹈動(dòng)作的實(shí)時(shí)圖像，并通過(guò)關(guān)鍵點(diǎn)識(shí)別模型對(duì)實(shí)時(shí)圖像進(jìn)行骨骼點(diǎn)識(shí)別，并將識(shí)別到的骨骼點(diǎn)通過(guò)與對(duì)應(yīng)的標(biāo)準(zhǔn)骨骼點(diǎn)進(jìn)行篩選得到多個(gè)目標(biāo)骨骼點(diǎn)，并將多個(gè)目標(biāo)骨骼點(diǎn)組成目標(biāo)骨骼框架圖，通過(guò)目標(biāo)骨骼框架圖與標(biāo)準(zhǔn)骨骼框架圖進(jìn)行相似性計(jì)算確定舞蹈動(dòng)作是否具有異常，實(shí)現(xiàn)對(duì)于舞蹈編排的指導(dǎo)。

技術(shù)研發(fā)人員：王帥,王照云,曾紫琳,陳良玉
受保護(hù)的技術(shù)使用者：廣東鴻威國(guó)際會(huì)展集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21