午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

一種基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法

文檔序號(hào):39729575發(fā)布日期:2024-10-22 13:34閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,包括以下步驟:

2.如權(quán)利要求1所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s2具體包括:

3.如權(quán)利要求1所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s3具體包括:

4.如權(quán)利要求1至3任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s4具體包括:

5.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s4中,所述交叉注意力機(jī)制層的處理具體包括:

6.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s4中,所述自掩碼機(jī)制模塊的處理具體包括:

7.如權(quán)利要求4所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s4中,所述損失函數(shù)的處理具體包括:

8.如權(quán)利要求1至3任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法,其特征在于,步驟s5具體包括:

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法。

10.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)的多模態(tài)情感識(shí)別方法。


技術(shù)總結(jié)
本發(fā)明提供一種基于模態(tài)自適應(yīng)掩碼融合網(wǎng)絡(luò)(MAMF?Net)的多模態(tài)情感識(shí)別方法,包括:利用文本編碼模型將文本轉(zhuǎn)換為詞向量,并通過(guò)自注意力機(jī)制提取語(yǔ)義結(jié)構(gòu)特征。提取音頻上下文特征,并從梅爾頻譜圖中提取時(shí)間依賴特征。通過(guò)音頻引導(dǎo)式文本編碼器融合音頻和文本特征,同時(shí)采用自掩碼機(jī)制對(duì)遷移信息進(jìn)行遮擋,捕獲模態(tài)間的互補(bǔ)信息。使用多頭注意力機(jī)制綜合處理融合后的特征,并通過(guò)線性映射層轉(zhuǎn)換為情感類別的概率分布,根據(jù)概率分布確定并輸出最終的情感分類。本方法通過(guò)高效整合模態(tài)間信息,在情感識(shí)別任務(wù)中展現(xiàn)了顯著的性能提升,具有廣泛的應(yīng)用潛力。

技術(shù)研發(fā)人員:張永兵,李恒銳,劉紹輝,陳曉培,董春山
受保護(hù)的技術(shù)使用者:哈爾濱工業(yè)大學(xué)(深圳)(哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院)
技術(shù)研發(fā)日:
技術(shù)公布日:2024/10/21
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1