本技術(shù)實(shí)施例涉及人工智能領(lǐng)域，具體涉及一種提示處理的方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、近年來，為了實(shí)現(xiàn)高效的跨語言遷移，多語言預(yù)訓(xùn)練模型得到了關(guān)注。多語言預(yù)訓(xùn)練模型指在基于大規(guī)模語料的預(yù)訓(xùn)練語言模型的基礎(chǔ)上，將訓(xùn)練集擴(kuò)展為多語言語料庫，并把所有語言投射到一個(gè)語義空間中。

2、目前，多語言預(yù)訓(xùn)練模型通常包括以多語言雙向transformer編碼器(bidirectional?encoder?representation?from?transformers，bert)、xlm-r等以多語言的單語訓(xùn)練樣本作為輸入，以掩碼語言模型(masked?language?modeling,mlm)和下句預(yù)測(cè)(next?sentence?prediction,nsp)作為訓(xùn)練目標(biāo)?；蛘?，多語言預(yù)訓(xùn)練模型也可以以跨域語言模型(xlm)、mbart等以多語言的單語訓(xùn)練樣本和多語言的雙語平行句對(duì)訓(xùn)練樣本作為輸入，以掩碼語言建模、下句預(yù)測(cè)和翻譯語言模型(translation?language?modeling,tlm)作為訓(xùn)練目標(biāo)。

3、然而，現(xiàn)有的多語言預(yù)訓(xùn)練方法大多關(guān)注于通過一些特殊的模塊，以便于充分利用雙語平行句對(duì)來建模多語言的對(duì)齊信息。但是由于各個(gè)語言的訓(xùn)練數(shù)據(jù)質(zhì)量和數(shù)據(jù)規(guī)模差異較大，導(dǎo)致有限參數(shù)規(guī)模的多語言預(yù)訓(xùn)練模型在各語言上表現(xiàn)不均衡。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種提示處理的方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，能夠用來確定不同語言場(chǎng)景下的文本序列的文本類別，無需關(guān)注不同語言的訓(xùn)練數(shù)據(jù)質(zhì)量和數(shù)據(jù)規(guī)模的差異，極大地緩解了在各語言上表現(xiàn)不均衡的問題。

2、第一方面，本技術(shù)實(shí)施例提供了一種提示處理的方法。該方法包括：獲取第一詞向量表示，第一詞向量表示包括文本詞向量序列和cls詞向量表示，文本詞向量序列中的每個(gè)文本詞向量表示用于指示第一文本序列中對(duì)應(yīng)的每個(gè)文本詞的文本情況，cls詞向量表示為cls關(guān)鍵詞的詞向量表示，第一文本序列為被掩碼處理后的文本序列；對(duì)第一詞向量表示進(jìn)行池化處理，得到第一句子表示；基于第一句子表示和m個(gè)提示鍵值對(duì)確定目標(biāo)提示向量，m個(gè)提示鍵值對(duì)中的每個(gè)提示鍵值對(duì)由預(yù)設(shè)提示向量與預(yù)設(shè)提示向量對(duì)應(yīng)的提示鍵構(gòu)成，目標(biāo)提示向量用于指示第一文本序列對(duì)應(yīng)的語言語義信息，m≥2、且m為整數(shù)；基于目標(biāo)提示向量和第一詞向量表示更新預(yù)設(shè)提示模型的模型參數(shù)，得到目標(biāo)提示模型；基于目標(biāo)提示模型確定第二文本序列的文本類別，第二文本序列為未被掩碼處理的文本序列。

3、第二方面，本技術(shù)實(shí)施例提供了一種提示處理裝置。該提示處理裝置包括獲取單元和處理單元。其中，獲取單元，用于獲取第一詞向量表示，第一詞向量表示包括文本詞向量序列和cls詞向量表示，文本詞向量序列中的每個(gè)文本詞向量表示用于指示第一文本序列中對(duì)應(yīng)的每個(gè)文本詞的文本情況，cls詞向量表示為cls關(guān)鍵詞的詞向量表示，第一文本序列為被掩碼處理后的文本序列。處理單元，用于對(duì)第一詞向量表示進(jìn)行池化處理，得到第一句子表示。處理單元，用于基于第一句子表示和m個(gè)提示鍵值對(duì)確定目標(biāo)提示向量，m個(gè)提示鍵值對(duì)中的每個(gè)鍵值對(duì)由預(yù)設(shè)提示向量與預(yù)設(shè)提示向量對(duì)應(yīng)的提示鍵構(gòu)成，目標(biāo)提示向量用于指示第一文本序列對(duì)應(yīng)的語言語義信息，m≥2、且m為整數(shù)。處理單元，用于基于目標(biāo)提示向量和第一詞向量表示更新預(yù)設(shè)提示模型的模型參數(shù)，得到目標(biāo)提示模型；處理單元，用于基于目標(biāo)提示模型確定第二文本序列的文本類別，第二文本序列為未被掩碼處理的文本序列。

4、在一些可選的實(shí)施方式中，處理單元用于：計(jì)算第一句子表示與m個(gè)提示鍵值對(duì)中的每個(gè)提示鍵之間的相關(guān)分?jǐn)?shù)，相關(guān)分?jǐn)?shù)用于指示第一句子表示與對(duì)應(yīng)的預(yù)設(shè)提示向量之間的相關(guān)程度；基于每個(gè)相關(guān)分?jǐn)?shù)對(duì)對(duì)應(yīng)的預(yù)設(shè)提示向量進(jìn)行加權(quán)求和處理，得到目標(biāo)提示向量。

5、在另一些可選的實(shí)施方式中，處理單元用于：對(duì)目標(biāo)提示向量與第一詞向量表示進(jìn)行編碼處理，得到編碼序列，編碼序列中包括每個(gè)文本詞的隱狀態(tài)特征表示、cls詞向量表示的隱狀態(tài)特征表示、以及目標(biāo)提示向量中每個(gè)提示詞的隱狀態(tài)特征表示；基于預(yù)設(shè)提示模型對(duì)編碼序列進(jìn)行預(yù)測(cè)處理，得到目標(biāo)預(yù)測(cè)詞，目標(biāo)預(yù)測(cè)詞為第一文本序列中預(yù)測(cè)得到的被掩碼的文本詞；計(jì)算目標(biāo)預(yù)測(cè)詞與實(shí)際被掩碼的文本詞間的差異，以獲取目標(biāo)損失值；基于目標(biāo)損失值更新預(yù)設(shè)提示模型的模型參數(shù)，得到目標(biāo)提示模型。

6、在另一些可選的實(shí)施方式中，處理單元還用于：在對(duì)目標(biāo)提示向量與第一詞向量表示進(jìn)行編碼處理，得到編碼序列之前，對(duì)目標(biāo)提示向量與第一詞向量表示進(jìn)行拼接處理，得到第二詞向量表示。處理單元用于對(duì)第二詞向量表示進(jìn)行編碼處理，得到編碼序列。

7、在另一些可選的實(shí)施方式中，獲取單元用于：在獲取獲取第一詞向量表示之前，獲取第一文本序列以及cls關(guān)鍵詞。處理單元用于：對(duì)第一文本序列中的每個(gè)文本詞進(jìn)行特征嵌入處理，得到對(duì)應(yīng)的文本詞向量表示，以及對(duì)cls關(guān)鍵詞進(jìn)行特征嵌入處理，得到cls關(guān)鍵詞的cls詞向量表示；基于每個(gè)文本詞對(duì)應(yīng)的文本詞向量表示構(gòu)建文本詞向量序列；對(duì)文本詞向量序列和cls詞向量表示進(jìn)行拼接處理，以獲取第一詞向量表示。

8、在另一些可選的實(shí)施方式中，獲取單元用于在基于所述目標(biāo)提示模型確定第二文本序列的文本類別之前，獲取第二文本序列。處理單元用于：基于目標(biāo)提示模型對(duì)第二文本序列的文本詞向量序列和cls關(guān)鍵詞的cls詞向量表示進(jìn)行處理，得到目標(biāo)隱狀態(tài)特征表示，目標(biāo)隱狀態(tài)特征表示包括第一提示向量中的每個(gè)提示詞的隱狀態(tài)特征表示、cls詞向量表示的隱狀態(tài)特征表示、以及第二文本序列中的每個(gè)文本詞的隱狀態(tài)特征表示，第一提示向量為基于第二文本序列中對(duì)應(yīng)的每個(gè)文本詞的詞向量表示、cls詞向量表示以及m個(gè)提示鍵值對(duì)確定得到；基于預(yù)設(shè)分類模型對(duì)目標(biāo)隱狀態(tài)特征表示進(jìn)行分類處理，得到第二文本序列的文本類別。

9、在另一些可選的實(shí)施方式中，處理單元用于：對(duì)第一提示向量中的每個(gè)提示詞的隱狀態(tài)特征表示、以及cls詞向量表示的隱狀態(tài)特征表示進(jìn)行池化處理，得到第二句子表示；基于預(yù)設(shè)分類模型對(duì)第二句子表示進(jìn)行分類處理，得到第二文本序列的文本類別。

10、在另一些可選的實(shí)施方式中，處理單元用于：基于預(yù)設(shè)分類模型對(duì)第二文本序列的隱狀態(tài)特征表示中的每個(gè)文本詞的隱狀態(tài)特征表示進(jìn)行分類處理，得到第二文本序列的文本類別。

11、本技術(shù)實(shí)施例第三方面提供了一種提示處理設(shè)備，包括：存儲(chǔ)器、輸入/輸出(i/o)接口和存儲(chǔ)器。存儲(chǔ)器用于存儲(chǔ)程序指令。處理器用于執(zhí)行存儲(chǔ)器中的程序指令，以執(zhí)行上述第一方面的實(shí)施方式對(duì)應(yīng)的提示處理的方法。

12、本技術(shù)實(shí)施例第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行以執(zhí)行上述第一方面的實(shí)施方式對(duì)應(yīng)的方法。

13、本技術(shù)實(shí)施例第五方面提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)或者處理器上運(yùn)行時(shí)，使得計(jì)算機(jī)或者處理器執(zhí)行上述以執(zhí)行上述第一方面的實(shí)施方式對(duì)應(yīng)的方法。

14、從以上技術(shù)方案可以看出，本技術(shù)實(shí)施例具有以下優(yōu)點(diǎn)：

15、本技術(shù)實(shí)施例中，在獲取到第一詞向量表示后，能夠從該第一詞向量表示中獲知文本詞向量序列和cls詞向量表示，并且文本詞向量序列中的每個(gè)文本詞向量表示用于指示第一文本序列中對(duì)應(yīng)的每個(gè)文本詞的文本情況，cls詞向量表示為cls關(guān)鍵詞的詞向量表示，第一文本序列為被掩碼處理后的文本序列。并且，再對(duì)第一詞向量表示進(jìn)行池化處理，得到第一句子表示，進(jìn)而再基于第一句子表示和m個(gè)提示鍵值對(duì)確定目標(biāo)提示向量，以此通過目標(biāo)提示向量能夠指示第一文本序列對(duì)應(yīng)的語言語義信息。需說明，m個(gè)提示鍵值對(duì)中的每個(gè)鍵值對(duì)由預(yù)設(shè)提示向量與預(yù)設(shè)提示向量對(duì)應(yīng)的提示鍵構(gòu)成，m≥2、且m為整數(shù)。這樣，再基于目標(biāo)提示向量和第一詞向量表示更新預(yù)設(shè)提示模型的模型參數(shù)，得到目標(biāo)提示模型，進(jìn)而再基于目標(biāo)提示模型確定未被掩碼處理的文本序列(即第二文本序列)的文本類別。通過上述方式，通過m個(gè)提示鍵值對(duì)構(gòu)建出多個(gè)語言之間的語義共性和語義特性，進(jìn)而在預(yù)設(shè)提示模型在訓(xùn)練過程中，動(dòng)態(tài)地根據(jù)所輸入的第一文本序列中文本詞的文本詞向量表示和cls詞向量表示構(gòu)建出第一詞向量表示后，進(jìn)而對(duì)第一詞向量表示進(jìn)行池化處理得到第一句子表示，從而結(jié)合m個(gè)提示鍵值對(duì)來確定出合理地目標(biāo)提示向量，使得最終訓(xùn)練得到的目標(biāo)提示模型，能夠用來確定不同語言場(chǎng)景下的第二文本序列的文本類別，無需關(guān)注不同語言的訓(xùn)練數(shù)據(jù)質(zhì)量和數(shù)據(jù)規(guī)模的差異，極大地緩解了在各語言上表現(xiàn)不均衡的問題。