本申請涉及人工智能,尤其涉及一種基于工單的數(shù)據(jù)處理方法、裝置及計算機(jī)程序產(chǎn)品。
背景技術(shù):
1、隨著人工智能技術(shù)的蓬勃發(fā)展,基于自然語言處理的深度學(xué)習(xí)模型得到了廣泛的應(yīng)用。在通信領(lǐng)域,ip承載網(wǎng)的工單需要人工進(jìn)行審核。為此,通過深度學(xué)習(xí)模型從口語化描述的工單中提煉有用信息,以輔助技術(shù)人員進(jìn)行分析和決策,就顯得尤為重要。
2、然而,因通信業(yè)務(wù)自身特點,運(yùn)營方所掌握的ip承載網(wǎng)的工單樣本十分匱乏(特別是已標(biāo)注樣本),在低資源條件下,如何有效訓(xùn)練出提取工單信息的深度學(xué)習(xí)模型是本申請所要解決的技術(shù)問題。
技術(shù)實現(xiàn)思路
1、本申請目的是提供一種基于工單的數(shù)據(jù)處理方法、裝置及計算機(jī)程序產(chǎn)品,能夠在原始工單樣本匱乏的情況下,有效訓(xùn)練出可提取工單信息的深度學(xué)習(xí)模型。
2、為了實現(xiàn)上述目的,本申請實施例是這樣實現(xiàn)的:
3、第一方面,提供一種基于工單的數(shù)據(jù)處理方法,包括:
4、確定原始工單集中每個原始工單的軟提示詞;
5、基于大語言模型,對每個所述原始工單的軟提示詞進(jìn)行自編碼訓(xùn)練;
6、以每個所述原始工單的訓(xùn)練后的軟提示詞為參數(shù),對每個所述原始工單進(jìn)行數(shù)據(jù)集增強(qiáng),得到增強(qiáng)工單集;
7、基于所述增強(qiáng)工單集,訓(xùn)練用于從工單中提取工單信息的目標(biāo)深度學(xué)習(xí)模型。
8、第二方面,提供一種基于工單的數(shù)據(jù)處理裝置,還包括:
9、軟提示詞確定模塊,用于確定原始工單集中每個原始工單的軟提示詞;
10、第一訓(xùn)練模塊,用于基于大語言模型,對每個所述原始工單的軟提示詞進(jìn)行自編碼訓(xùn)練;
11、數(shù)據(jù)增強(qiáng)模塊,用于以每個所述原始工單的訓(xùn)練后的軟提示詞為參數(shù),對每個所述原始工單進(jìn)行數(shù)據(jù)集增強(qiáng),得到增強(qiáng)工單集;
12、第二訓(xùn)練模塊,用于基于所述增強(qiáng)工單集,訓(xùn)練用于從工單中提取工單信息的目標(biāo)深度學(xué)習(xí)模型。
13、第三方面,提供一種電子設(shè)備,包括:處理器;以及被安排成存儲計算機(jī)可執(zhí)行指令的存儲器,所述可執(zhí)行指令在被執(zhí)行時使所述處理器執(zhí)行以下操作:
14、確定原始工單集中每個原始工單的軟提示詞;
15、基于大語言模型,對每個所述原始工單的軟提示詞進(jìn)行自編碼訓(xùn)練;
16、以每個所述原始工單的訓(xùn)練后的軟提示詞為參數(shù),對每個所述原始工單進(jìn)行數(shù)據(jù)集增強(qiáng),得到增強(qiáng)工單集;
17、基于所述增強(qiáng)工單集,訓(xùn)練用于從工單中提取工單信息的目標(biāo)深度學(xué)習(xí)模型。
18、第四方面,提供一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)用于存儲計算機(jī)可執(zhí)行指令,所述計算機(jī)可執(zhí)行指令在被處理器執(zhí)行時實現(xiàn)第一方面所述的方法。
19、本申請借助大語言模型對原始工單集中每個原始工單的軟提示詞進(jìn)行自編碼訓(xùn)練,以找出各原始工單相對適合的軟提示詞;之后,以原始工單訓(xùn)練后的軟提示詞為參數(shù),對每個原始工單進(jìn)行數(shù)據(jù)集增強(qiáng),從而得到擴(kuò)展的增強(qiáng)工單集,并最終基于增強(qiáng)工單集訓(xùn)練用于從工單中提取工單信息的目標(biāo)深度學(xué)習(xí)模型。整個方案能夠在原始工單樣本匱乏的情況下,有效擴(kuò)展額外的增強(qiáng)工單以支撐模型訓(xùn)練。
1.一種基于工單的數(shù)據(jù)處理方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,
7.根據(jù)權(quán)利要求1至6中任一項所述的方法,其特征在于,
8.一種基于工單的數(shù)據(jù)處理裝置,其特征在于,還包括:
9.一種電子設(shè)備,包括:處理器;以及被安排成存儲計算機(jī)可執(zhí)行指令的存儲器,其特征在于,所述可執(zhí)行指令在被執(zhí)行時使所述處理器執(zhí)行以下操作:
10.一種計算機(jī)程序產(chǎn)品,所述計算機(jī)程序產(chǎn)品包括存儲了計算機(jī)程序的計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)程序可操作來使計算機(jī)執(zhí)行如下操作: