本發(fā)明涉及計算機領(lǐng)域，尤其涉及一種用于構(gòu)建多輪對話大模型的方法和裝置。

背景技術(shù)：

1、在人工智能領(lǐng)域，對話模型的發(fā)展一直備受關(guān)注。隨著技術(shù)的不斷進步，大型對話模型(例如，生成式預(yù)訓(xùn)練(gpt)模型、廣義線性模型(glm)等)在理解自然語言、生成流暢對話等方面取得了顯著成果。這些模型的出現(xiàn)為對話系統(tǒng)的構(gòu)建提供了強大的技術(shù)支持，使得對話系統(tǒng)能夠更準(zhǔn)確地理解用戶意圖，生成更貼近用戶需求的回應(yīng)。然而，隨著應(yīng)用場景的不斷拓展，傳統(tǒng)的單輪對話模型已無法滿足復(fù)雜對話的需求。在實際應(yīng)用中，用戶往往需要進行多輪對話以充分表達自己的意圖，而單輪對話模型很難在連續(xù)多輪對話中保持語義連貫性，容易出現(xiàn)理解偏差或回應(yīng)不恰當(dāng)?shù)那闆r。

技術(shù)實現(xiàn)思路

1、根據(jù)本發(fā)明實施例的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，包括：構(gòu)建語義特征提取模型，該語義特征提取模型被配置為提取多個用戶輸入語句的上下文特征，其中，該多個用戶輸入語句是用戶在多輪對話中輸入的，并且用戶在每輪對話中輸入多個用戶輸入語句中的一個或多個；構(gòu)建不完整語句重寫模型，該不完整語句重寫模型被配置為基于多個用戶輸入語句的上下文特征將多個用戶輸入語句中的不完整語句重寫為一個完整語句；構(gòu)建單輪對話大模型，該單輪對話大模型被配置為基于不完整語句重寫模型重寫出的一個完整語句生成針對多個用戶輸入語句中的不完整語句的應(yīng)答語句；以及基于語義特征提取模型、不完整語句重寫模型、以及單輪對話大模型來構(gòu)建多輪對話大模型系統(tǒng)。

2、根據(jù)本發(fā)明實施例的用于構(gòu)建多輪對話大模型系統(tǒng)的裝置，包括：處理器；以及存儲器，其上存儲有計算機可執(zhí)行指令，其中，這些計算機可執(zhí)行指令在由處理器執(zhí)行時，促使處理器執(zhí)行上述用于構(gòu)建多輪對話大模型系統(tǒng)的方法。

3、根據(jù)本發(fā)明實施例的計算機可讀存儲介質(zhì)，其上存儲有計算機可執(zhí)行指令，其中，這些計算機可執(zhí)行指令在由處理器執(zhí)行時，促使處理器執(zhí)行上述用于構(gòu)建多輪對話大模型系統(tǒng)的方法。

4、根據(jù)本發(fā)明實施例的計算機程序產(chǎn)品，包括計算機可執(zhí)行指令，其中，這些計算機可執(zhí)行指令在由處理器執(zhí)行時，促使處理器執(zhí)行上述用于構(gòu)建多輪對話大模型系統(tǒng)的方法。

技術(shù)特征：

1.一種用于構(gòu)建多輪對話大模型系統(tǒng)的方法，包括：

2.根據(jù)權(quán)利要求1所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，構(gòu)建所述語義特征提取模型包括：對變換器網(wǎng)絡(luò)模型進行訓(xùn)練并采用經(jīng)訓(xùn)練的變換器網(wǎng)絡(luò)模型作為所述語義特征提取模型。

3.根據(jù)權(quán)利要求2所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，構(gòu)建所述語義特征提取模型還包括：通過對比學(xué)習(xí)對所述語義特征提取模型進行關(guān)鍵詞檢測和語義分割方面的優(yōu)化。

4.根據(jù)權(quán)利要求1所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，構(gòu)建所述不完整語句重寫模型包括：對孿生網(wǎng)絡(luò)模型進行訓(xùn)練并采用經(jīng)訓(xùn)練的孿生網(wǎng)絡(luò)模型作為所述不完整語句重寫模型。

5.根據(jù)權(quán)利要求4所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，對所述孿生網(wǎng)絡(luò)模型進行訓(xùn)練包括：

6.根據(jù)權(quán)利要求4所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，構(gòu)建所述不完整語句重寫模型還包括：通過對比學(xué)習(xí)對所述不完整語句重寫模型進行意圖識別方面的優(yōu)化。

7.根據(jù)權(quán)利要求6所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，通過對比學(xué)習(xí)對所述不完整語句重寫模型進行意圖識別方面的優(yōu)化包括：

8.根據(jù)權(quán)利要求1所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法，其中，構(gòu)建所述單輪對話大模型包括：對生成式預(yù)訓(xùn)練模型或廣義線性模型進行訓(xùn)練并采用經(jīng)訓(xùn)練的生成式預(yù)訓(xùn)練模型或廣義線性模型作為所述單輪對話大模型。

9.一種用于構(gòu)建多輪對話大模型系統(tǒng)的裝置，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機可執(zhí)行指令，其中，所述計算機可執(zhí)行指令在由處理器執(zhí)行時，促使所述處理器執(zhí)行權(quán)利要求1至8中任一項所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法。

11.一種計算機程序產(chǎn)品，包括計算機可執(zhí)行指令，其中，所述計算機可執(zhí)行指令在由處理器執(zhí)行時，促使所述處理器執(zhí)行權(quán)利要求1至8中任一項所述的用于構(gòu)建多輪對話大模型系統(tǒng)的方法。

技術(shù)總結(jié)
公開了一種用于構(gòu)建多輪對話大模型系統(tǒng)的方法和裝置。該方法包括：構(gòu)建語義特征提取模型，該語義特征提取模型被配置為提取多個用戶輸入語句的上下文特征，多個用戶輸入語句是用戶在多輪對話中輸入的并且用戶在每輪對話中輸入多個用戶輸入語句中的一個或多個；構(gòu)建不完整語句重寫模型，該不完整語句重寫模型被配置為基于多個用戶輸入語句的上下文特征將多個用戶輸入語句中的不完整語句重寫為一個完整語句；構(gòu)建單輪對話大模型，該單輪對話大模型被配置為基于不完整語句重寫模型重寫出的完整語句生成針對多個用戶輸入語句中的不完整語句的應(yīng)答語句；以及基于語義特征提取模型、不完整語句重寫模型、以及單輪對話大模型來構(gòu)建多輪對話大模型系統(tǒng)。

技術(shù)研發(fā)人員：蘇萌韜,鄧博文
受保護的技術(shù)使用者：廣州昂寶電子有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21