本發(fā)明屬于2d數(shù)字人實時對話分析，尤其涉及一種基于2d數(shù)字人的實時對話分析方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能技術(shù)的發(fā)展，2d數(shù)字人在實時對話分析中的應(yīng)用日益廣泛，尤其在虛擬助手、教育和娛樂等領(lǐng)域中，2d數(shù)字人通過對用戶行為的實時分析，為用戶提供個性化的交互體驗。在這些應(yīng)用場景中，系統(tǒng)通常依賴用戶場景視頻來捕捉用戶的動態(tài)行為，并根據(jù)用戶與環(huán)境中的物體交互情況進行分析和響應(yīng)?，F(xiàn)有的2d數(shù)字人系統(tǒng)往往基于對用戶與物體的空間位置關(guān)系和運動軌跡的監(jiān)控來判斷物體是否屬于用戶的主動交互對象。當(dāng)場景中出現(xiàn)突發(fā)動態(tài)交互物體時，系統(tǒng)會評估該物體是否為用戶主動操縱的結(jié)果，以此決定是否需要將其納入與用戶的交互內(nèi)容中。通常，這種評估主要基于物體進入用戶視野的路徑、速度、距離等物理屬性。

2、然而，現(xiàn)有技術(shù)在判斷突發(fā)動態(tài)交互物體是否為用戶主動操控方面存在較大的局限性。當(dāng)前的系統(tǒng)通常僅依靠物體與用戶之間的簡單空間位置關(guān)系（如物體距離用戶的遠(yuǎn)近、物體進入視野的角度和路徑）或基本的運動模式（如物體的速度和方向）來做出初步判斷。這種基于位置和軌跡的分析方法缺乏對用戶具體行為和意圖的細(xì)化考量，因而容易受到多種外部因素的干擾。例如，當(dāng)一個物體被風(fēng)吹入或因碰撞意外滾入用戶場景時，現(xiàn)有系統(tǒng)可能僅根據(jù)物體靠近用戶的路徑，誤判其為用戶主動操控的結(jié)果。對于用戶復(fù)雜的多重動作（如手部的自然擺動和無意觸碰）以及環(huán)境中其他動態(tài)因素的影響，現(xiàn)有方法難以有效分辨用戶的真實意圖（如意圖抓取或揮手拒絕）和無意行為，從而導(dǎo)致系統(tǒng)判斷失誤，影響2d數(shù)字人與用戶的對話互動的連貫性和準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于2d數(shù)字人的實時對話分析方法及系統(tǒng)，旨在解決背景技術(shù)中提出的問題。

2、本發(fā)明是這樣實現(xiàn)的，一種基于2d數(shù)字人的實時對話分析方法，所述方法包括：

3、當(dāng)檢測到用戶場景視頻中出現(xiàn)了突發(fā)動態(tài)交互物體后，獲取該突發(fā)動態(tài)交互物體的初步關(guān)聯(lián)評分，以及用于判斷該突發(fā)動態(tài)交互物體是否屬于用戶主動交互的基準(zhǔn)值；

4、獲取用戶場景視頻，并從中提取突發(fā)動態(tài)交互物體的運動軌跡和用戶的三維模型數(shù)據(jù)，將提取的運動軌跡和用戶模型渲染到三維模型空間中，以生成動態(tài)交互映射模型；

5、基于用戶場景視頻，確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并在動態(tài)交互映射模型中找到這些目標(biāo)用戶運動部位對應(yīng)的局部操作模型，計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型；

6、獲取目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位在回溯時間段內(nèi)的用戶操作視頻，并根據(jù)用戶操作視頻分析該目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度；

7、根據(jù)目標(biāo)局部操作模型的匹配度和主動交互意圖強度確定修正比例，并通過該修正比例調(diào)整初步關(guān)聯(lián)評分。

8、作為本發(fā)明實施例技術(shù)方案進一步的限定，基于用戶場景視頻，確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并在動態(tài)交互映射模型中找到這些目標(biāo)用戶運動部位對應(yīng)的局部操作模型，計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型的步驟包括：

9、基于用戶場景視頻，識別并確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并提取其在三維模型空間中的坐標(biāo)信息；

10、根據(jù)各個目標(biāo)用戶運動部位在三維模型空間中的坐標(biāo)信息，確定各個目標(biāo)用戶運動部位在動態(tài)交互映射模型中對應(yīng)的局部操作模型；

11、計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型。

12、作為本發(fā)明實施例技術(shù)方案進一步的限定，計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型的步驟包括：

13、預(yù)測每個局部操作模型的可執(zhí)行運行軌跡，并識別可執(zhí)行運行軌跡與突發(fā)動態(tài)交互物體的運動軌跡的相似度；

14、將局部操作模型的可執(zhí)行運動軌跡與突發(fā)動態(tài)交互物體的運動軌跡的相似度定義為局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度；

15、對所有局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度進行篩選，并將匹配度最高的局部操作模型設(shè)定為目標(biāo)局部操作模型。

16、作為本發(fā)明實施例技術(shù)方案進一步的限定，能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位具體指代用戶身體中可直接操控或影響突發(fā)動態(tài)交互物體的部分，包括手部、嘴部、手臂、腿部或腳部。

17、作為本發(fā)明實施例技術(shù)方案進一步的限定，獲取目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位在回溯時間段內(nèi)的用戶操作視頻，并根據(jù)用戶操作視頻分析該目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度的步驟包括：

18、獲取用戶場景視頻，并截取回溯時間段內(nèi)的用戶操作視頻；

19、對用戶操作視頻進行分析，識別目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位的關(guān)鍵動作特征；

20、評估關(guān)鍵動作特征與目標(biāo)用戶運動部位的運動軌跡之間的趨勢關(guān)聯(lián)值，并將該趨勢關(guān)聯(lián)值定義為目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度。

21、作為本發(fā)明實施例技術(shù)方案進一步的限定，根據(jù)目標(biāo)局部操作模型的匹配度和主動交互意圖強度確定修正比例，并通過該修正比例調(diào)整初步關(guān)聯(lián)評分的步驟包括：

22、對目標(biāo)局部操作模型的匹配度和主動交互意圖強度進行加權(quán)處理，并通過線性組合計算得到修正比例；

23、將初步關(guān)聯(lián)評分與修正比例相乘，計算出優(yōu)化后的關(guān)聯(lián)評分；

24、將優(yōu)化后的關(guān)聯(lián)評分與基準(zhǔn)值進行比較，以判斷突發(fā)動態(tài)交互物體是否屬于用戶主動交互。

25、一種基于2d數(shù)字人的實時對話分析系統(tǒng)，所述系統(tǒng)包括：突發(fā)動態(tài)交互物體識別模塊、動態(tài)交互映射模型生成模塊、目標(biāo)局部操作模型確定模塊、主動交互意圖強度生成模塊以及初步關(guān)聯(lián)評分調(diào)整模塊，其中：

26、突發(fā)動態(tài)交互物體識別模塊，用于當(dāng)檢測到用戶場景視頻中出現(xiàn)了突發(fā)動態(tài)交互物體后，獲取該突發(fā)動態(tài)交互物體的初步關(guān)聯(lián)評分，以及用于判斷該突發(fā)動態(tài)交互物體是否屬于用戶主動交互的基準(zhǔn)值；

27、動態(tài)交互映射模型生成模塊，用于獲取用戶場景視頻，并從中提取突發(fā)動態(tài)交互物體的運動軌跡和用戶的三維模型數(shù)據(jù)，將提取的運動軌跡和用戶模型渲染到三維模型空間中，以生成動態(tài)交互映射模型；

28、目標(biāo)局部操作模型確定模塊，用于基于用戶場景視頻，確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并在動態(tài)交互映射模型中找到這些目標(biāo)用戶運動部位對應(yīng)的局部操作模型，計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型；

29、主動交互意圖強度生成模塊，用于獲取目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位在回溯時間段內(nèi)的用戶操作視頻，并根據(jù)用戶操作視頻分析該目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度；

30、初步關(guān)聯(lián)評分調(diào)整模塊，用于根據(jù)目標(biāo)局部操作模型的匹配度和主動交互意圖強度確定修正比例，并通過該修正比例調(diào)整初步關(guān)聯(lián)評分。

31、作為本發(fā)明實施例技術(shù)方案進一步的限定，所述目標(biāo)局部操作模型確定模塊具體包括：

32、目標(biāo)用戶運動部位識別單元，用于基于用戶場景視頻，識別并確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并提取其在三維模型空間中的坐標(biāo)信息；

33、局部操作模型確定單元，用于根據(jù)各個目標(biāo)用戶運動部位在三維模型空間中的坐標(biāo)信息，確定各個目標(biāo)用戶運動部位在動態(tài)交互映射模型中對應(yīng)的局部操作模型；

34、目標(biāo)局部操作模型確定單元，用于計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型。

35、作為本發(fā)明實施例技術(shù)方案進一步的限定，所述主動交互意圖強度生成模塊具體包括：

36、用戶操作視頻截取單元，用于獲取用戶場景視頻，并截取回溯時間段內(nèi)的用戶操作視頻；

37、關(guān)鍵動作特征識別單元，用于對用戶操作視頻進行分析，識別目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位的關(guān)鍵動作特征；

38、主動交互意圖強度生成單元，用于評估關(guān)鍵動作特征與目標(biāo)用戶運動部位的運動軌跡之間的趨勢關(guān)聯(lián)值，并將該趨勢關(guān)聯(lián)值定義為目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度。

39、作為本發(fā)明實施例技術(shù)方案進一步的限定，所述初步關(guān)聯(lián)評分調(diào)整模塊具體包括：

40、修正比例計算單元，用于對目標(biāo)局部操作模型的匹配度和主動交互意圖強度進行加權(quán)處理，并通過線性組合計算得到修正比例；

41、初步關(guān)聯(lián)評分調(diào)整單元，用于將初步關(guān)聯(lián)評分與修正比例相乘，計算出優(yōu)化后的關(guān)聯(lián)評分；

42、用戶主動交互判斷單元，用于將優(yōu)化后的關(guān)聯(lián)評分與基準(zhǔn)值進行比較，以判斷突發(fā)動態(tài)交互物體是否屬于用戶主動交互。

43、與現(xiàn)有技術(shù)相比，本發(fā)明通過當(dāng)檢測到用戶場景視頻中出現(xiàn)了突發(fā)動態(tài)交互物體后，獲取該突發(fā)動態(tài)交互物體的初步關(guān)聯(lián)評分，以及用于判斷該突發(fā)動態(tài)交互物體是否屬于用戶主動交互的基準(zhǔn)值；獲取用戶場景視頻，并從中提取突發(fā)動態(tài)交互物體的運動軌跡和用戶的三維模型數(shù)據(jù)，將提取的運動軌跡和用戶模型渲染到三維模型空間中，以生成動態(tài)交互映射模型；基于用戶場景視頻，確定能夠主動操控突發(fā)動態(tài)交互物體的目標(biāo)用戶運動部位，并在動態(tài)交互映射模型中找到這些目標(biāo)用戶運動部位對應(yīng)的局部操作模型，計算每個局部操作模型實現(xiàn)突發(fā)動態(tài)交互物體的運動軌跡的匹配度，選擇匹配度最高的局部操作模型，并將其設(shè)定為目標(biāo)局部操作模型；獲取目標(biāo)局部操作模型對應(yīng)的目標(biāo)用戶運動部位在回溯時間段內(nèi)的用戶操作視頻，并根據(jù)用戶操作視頻分析該目標(biāo)局部操作模型對運動軌跡的主動交互意圖強度；根據(jù)目標(biāo)局部操作模型的匹配度和主動交互意圖強度確定修正比例，并通過該修正比例調(diào)整初步關(guān)聯(lián)評分。

44、在2d數(shù)字人系統(tǒng)識別到突發(fā)動態(tài)交互物體后，能夠通過兩個關(guān)鍵維度來優(yōu)化對該物體是否屬于用戶主動交互的判斷。首先，系統(tǒng)基于用戶場景視頻，識別出可能主動操控突發(fā)物體的目標(biāo)用戶運動部位（如手部、腳部等），并在動態(tài)交互映射模型中找到與這些部位相對應(yīng)的局部操作模型。接著，系統(tǒng)計算每個局部操作模型實現(xiàn)物體運動軌跡的匹配度，選擇匹配度最高的模型作為目標(biāo)操作模型，以此評估該運動部位與物體之間的相關(guān)性。其次，系統(tǒng)獲取回溯時間段內(nèi)的用戶操作視頻，分析目標(biāo)局部操作模型的行為特征和用戶對物體的交互軌跡，量化主動交互意圖的強度。通過結(jié)合匹配度和主動交互意圖強度兩個維度，系統(tǒng)可以動態(tài)修正用于判斷物體是否屬于用戶主動交互的初始基準(zhǔn)值。

45、選擇這兩個維度的原因在于，它們能夠全面反映用戶與突發(fā)物體之間的交互情況。匹配度評估了用戶身體部位與物體之間的物理位置和運動關(guān)系，確保識別出的目標(biāo)操作模型與物體軌跡的關(guān)聯(lián)性。主動交互意圖強度則捕捉了用戶的行為動機和意圖，通過分析用戶動作與物體交互的趨勢，揭示用戶對物體的關(guān)注或操作意圖。這種方法避免了僅依賴單一因素判斷的局限性，通過整合空間位置、動作特征和行為意圖，增強了系統(tǒng)判斷的準(zhǔn)確性和可靠性，從而為2d數(shù)字人對話建立更智能、更自然的交互基礎(chǔ)。