本發(fā)明涉及數(shù)據(jù)處理，特別涉及一種nl2sql大語言模型的自增強(qiáng)微調(diào)方法和裝置。

背景技術(shù)：

1、大語言模型（large?language?models，llm）能夠處理多類復(fù)雜的語言理解任務(wù)，能夠處理多類自然語言（natural?language，nl）指令任務(wù)。這里提及的自然語言指令任務(wù)可進(jìn)一步細(xì)分為常規(guī)任務(wù)和定制任務(wù)兩大類，常規(guī)任務(wù)諸如基于自然語言指令的文本質(zhì)量評(píng)估任務(wù)、基于自然語言指令的文獻(xiàn)檢索任務(wù)、基于自然語言指令的問答任務(wù)、基于自然語言指令的文本比對(duì)任務(wù)等，定制任務(wù)諸如基于自然語言指令的編程指令/代碼合成任務(wù)等。nl2sql大語言模型就是一類能基于自然語言指令進(jìn)行編程指令/代碼合成的大語言模型，該類模型除了可以處理常規(guī)任務(wù)之外還能處理編程指令/代碼合成這樣的定制任務(wù)，該定制任務(wù)具體就是可根據(jù)輸入的自然語言指令生成對(duì)應(yīng)的sql指令。

2、nl2sql大語言模型在投入使用之前先要基于常規(guī)的大語言模型數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練（pre-training）；完成預(yù)訓(xùn)練的nl2sql大語言模型可有效地處理多類常規(guī)任務(wù)，也能處理定制任務(wù)（即sql指令合成任務(wù)）、只不過對(duì)定制任務(wù)的處理質(zhì)量并未達(dá)到最好；為提高定制任務(wù)處理質(zhì)量則還需在預(yù)訓(xùn)練后通過指令微調(diào)（fine-tuning）的方式對(duì)模型進(jìn)一步微調(diào)訓(xùn)練。

3、在對(duì)nl2sql大語言模型進(jìn)行微調(diào)訓(xùn)練時(shí)，需要采集大量的自然語言指令-sql指令對(duì)構(gòu)建微調(diào)數(shù)據(jù)集，并基于微調(diào)數(shù)據(jù)集對(duì)nl2sql大語言模型進(jìn)行微調(diào)。目前在構(gòu)建微調(diào)數(shù)據(jù)集時(shí)，微調(diào)數(shù)據(jù)的采集/編寫工作基本依靠人工方式完成，這種人工方式存在一些明顯的缺陷：1）采集周期長，這會(huì)導(dǎo)致訓(xùn)練周期加長、訓(xùn)練成本增大；2）人工采集/編寫的微調(diào)數(shù)據(jù)質(zhì)量很難保持在一個(gè)較高質(zhì)量水平手上，這會(huì)導(dǎo)致模型訓(xùn)練水平不夠、性能提升緩慢。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的，就是針對(duì)現(xiàn)有技術(shù)的缺陷，提供一種nl2sql大語言模型的自增強(qiáng)微調(diào)方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明先從公開數(shù)據(jù)集中采集一些自然語言指令-sql指令對(duì)對(duì)種子數(shù)據(jù)集進(jìn)行初始化，并對(duì)種子數(shù)據(jù)集進(jìn)行一次種子清洗；再基于當(dāng)次清洗后的種子數(shù)據(jù)集對(duì)nl2sql大語言模型進(jìn)行一輪微調(diào)；再基于本輪微調(diào)后的nl2sql大語言模型對(duì)種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理并對(duì)本次得到的增強(qiáng)數(shù)據(jù)集進(jìn)行低質(zhì)記錄過濾；再對(duì)完成過濾的增強(qiáng)數(shù)據(jù)集和種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)集合并得到新的種子數(shù)據(jù)集；并在迭代次數(shù)未達(dá)到指定閾值時(shí)再次對(duì)種子數(shù)據(jù)集進(jìn)行清洗、再次對(duì)nl2sql大語言模型進(jìn)行微調(diào)、再次對(duì)種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)和低質(zhì)記錄過濾、再次數(shù)據(jù)集合得到更新的種子數(shù)據(jù)集，如此循環(huán)迭代直到迭代次數(shù)達(dá)到指定閾值為止。由此可見，本發(fā)明給出了一種基于nl2sql大語言模型自身的自增強(qiáng)微調(diào)處理機(jī)制，通過這種處理機(jī)制一方面可以降低人工數(shù)據(jù)采集工作量，達(dá)到縮短訓(xùn)練周期、減少訓(xùn)練成本的目的；另一方面可以提高微調(diào)數(shù)據(jù)質(zhì)量、增加微調(diào)輪次，從而達(dá)到提高訓(xùn)練水平、加快性能提升速度的目的。

2、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例第一方面提供了一種nl2sql大語言模型的自增強(qiáng)微調(diào)方法，所述方法包括：

3、步驟1，將完成預(yù)訓(xùn)練的nl2sql大語言模型作為對(duì)應(yīng)的第一模型；并初始化迭代計(jì)數(shù)器為1；

4、步驟2，基于預(yù)設(shè)的公開數(shù)據(jù)集初始化第一種子數(shù)據(jù)集；所述第一種子數(shù)據(jù)集包括多個(gè)第一種子記錄；所述第一種子記錄包括第一nl指令、第一sql指令、第一數(shù)據(jù)庫訪問接口和第一查詢文本；所述第一nl指令為一個(gè)自然語言指令，所述第一sql指令為一個(gè)sql指令；

5、步驟3，對(duì)所述第一種子數(shù)據(jù)集進(jìn)行種子清洗處理；

6、步驟4，基于所述第一種子數(shù)據(jù)集對(duì)所述第一模型進(jìn)行一輪微調(diào)；

7、步驟5，在本輪微調(diào)結(jié)束后，利用所述第一模型對(duì)所述第一種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理得到對(duì)應(yīng)的第一增強(qiáng)數(shù)據(jù)集；并利用所述第一模型對(duì)所述第一增強(qiáng)數(shù)據(jù)集進(jìn)行低質(zhì)記錄過濾處理；并對(duì)完成過濾的所述第一增強(qiáng)數(shù)據(jù)集和所述第一種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)集合并處理并將得到的合并數(shù)據(jù)集作為新的所述第一種子數(shù)據(jù)集；所述第一增強(qiáng)數(shù)據(jù)集包括多個(gè)第一增強(qiáng)記錄；所述第一增強(qiáng)記錄包括第二nl指令、第二sql指令、第二數(shù)據(jù)庫訪問接口和第二查詢文本；

8、步驟6，對(duì)所述迭代計(jì)數(shù)器是否超過預(yù)設(shè)的迭代次數(shù)閾值進(jìn)行識(shí)別；若超過，則轉(zhuǎn)至步驟7；若未超過，則對(duì)所述迭代計(jì)數(shù)器加1并返回步驟3；

9、步驟7，對(duì)完成迭代微調(diào)的所述第一模型進(jìn)行參數(shù)固化，并確認(rèn)本次模型微調(diào)訓(xùn)練結(jié)束。

10、優(yōu)選的，所述公開數(shù)據(jù)集至少包括spider數(shù)據(jù)集、cspider數(shù)據(jù)集、sparc數(shù)據(jù)集、cosql數(shù)據(jù)集和dusql數(shù)據(jù)集中的部分或全部數(shù)據(jù)集；

11、所述公開數(shù)據(jù)集中的各個(gè)數(shù)據(jù)集都由多個(gè)自然語言指令-sql指令對(duì)和多個(gè)參考數(shù)據(jù)庫組成；所述自然語言指令-sql指令包括源自然語言指令和源sql指令；每個(gè)所述自然語言指令-sql指令對(duì)與一個(gè)所述參考數(shù)據(jù)庫對(duì)應(yīng)；每個(gè)所述源自然語言指令為一個(gè)用于提示大語言模型基于指令中的一段自然語言描述文本生成一個(gè)sql指令的指令文本，生成的sql指令與對(duì)應(yīng)的所述源sql指令匹配；每個(gè)所述源sql指令為一個(gè)sql查詢指令，可從對(duì)應(yīng)的所述參考數(shù)據(jù)庫中查詢出對(duì)應(yīng)的查詢文本。

12、優(yōu)選的，所述基于預(yù)設(shè)的公開數(shù)據(jù)集初始化第一種子數(shù)據(jù)集，具體包括：

13、為所述公開數(shù)據(jù)集的各個(gè)所述參考數(shù)據(jù)庫創(chuàng)建一個(gè)結(jié)構(gòu)與內(nèi)容一致的鏡像數(shù)據(jù)庫記為對(duì)應(yīng)的第一鏡像數(shù)據(jù)庫；

14、并基于預(yù)設(shè)的指令對(duì)采集原則，從所述公開數(shù)據(jù)集中采集多個(gè)所述自然語言指令-sql指令對(duì)；并將每個(gè)采集到的所述自然語言指令-sql指令對(duì)作為對(duì)應(yīng)的第一采集指令對(duì)；

15、對(duì)得到的所有所述第一采集指令對(duì)進(jìn)行一輪遍歷；并在遍歷時(shí)將當(dāng)前遍歷的所述第一采集指令對(duì)作為對(duì)應(yīng)的當(dāng)前指令對(duì)，并將所述當(dāng)前指令對(duì)對(duì)應(yīng)的所述參考數(shù)據(jù)庫和所述第一鏡像數(shù)據(jù)庫作為對(duì)應(yīng)的第一、第二數(shù)據(jù)庫；并將所述第一、第二數(shù)據(jù)庫的訪問接口作為對(duì)應(yīng)的第一、第二接口；并將所述當(dāng)前指令對(duì)的所述源自然語言指令和所述源sql指令作為對(duì)應(yīng)的所述第一nl指令和所述第一sql指令；并將通過所述第一接口在所述第一數(shù)據(jù)庫上執(zhí)行所述第一sql指令得到的查詢文本作為對(duì)應(yīng)的第一文本；并將通過所述第二接口在所述第二數(shù)據(jù)庫上執(zhí)行所述第一sql指令得到的查詢文本作為對(duì)應(yīng)的第二文本；并在所述第一、第二文本匹配時(shí)，將所述第二接口作為對(duì)應(yīng)的所述第一數(shù)據(jù)庫訪問接口，并將所述第二文本作為對(duì)應(yīng)的所述第一查詢文本，并由本次得到的所述第一nl指令、所述第一sql指令、所述第一數(shù)據(jù)庫訪問接口和所述第一查詢文本組成一個(gè)對(duì)應(yīng)的所述第一種子記錄；并在本輪遍歷結(jié)束時(shí)，由得到的所有所述第一種子記錄組成對(duì)應(yīng)的所述第一種子數(shù)據(jù)集。

16、優(yōu)選的，所述對(duì)所述第一種子數(shù)據(jù)集進(jìn)行種子清洗處理，具體包括：

17、對(duì)所述第一種子數(shù)據(jù)集的所有所述第一種子記錄進(jìn)行一輪遍歷；并在遍歷時(shí)，將當(dāng)前遍歷的所述第一種子記錄作為對(duì)應(yīng)的當(dāng)前種子記錄；并將所述當(dāng)前種子記錄的所述第一nl指令和所述第一sql指令作為對(duì)應(yīng)的當(dāng)前nl指令和當(dāng)前sql指令；并對(duì)所述當(dāng)前sql指令的指令語法正確性進(jìn)行識(shí)別得到對(duì)應(yīng)的第一識(shí)別結(jié)果；并對(duì)所述當(dāng)前sql指令的指令復(fù)雜度進(jìn)行識(shí)別得到對(duì)應(yīng)的第二識(shí)別結(jié)果；并對(duì)所述當(dāng)前nl指令的自然語言語義清晰度進(jìn)行識(shí)別得到對(duì)應(yīng)的第三識(shí)別結(jié)果；并對(duì)所述第一、第二和第三識(shí)別結(jié)果進(jìn)行識(shí)別，若所述第一識(shí)別結(jié)果為語法錯(cuò)誤或所述第二識(shí)別結(jié)果為簡單或所述第三識(shí)別結(jié)果為語義模糊則將所述當(dāng)前種子記錄標(biāo)記為初篩不合格記錄；并在本輪遍歷結(jié)束后，將所述第一種子數(shù)據(jù)集中的所有所述初篩不合格記錄都刪除；所述第一識(shí)別結(jié)果包括語法正確和語法錯(cuò)誤；所述第二識(shí)別結(jié)果包括簡單、適中和復(fù)雜；所述第三識(shí)別結(jié)果包括語義模糊和語義清晰；

18、基于預(yù)設(shè)的文本嵌入編碼規(guī)則，對(duì)所述第一種子數(shù)據(jù)集中剩余的各個(gè)所述第一種子記錄的所述第一sql指令進(jìn)行文本嵌入編碼處理得到對(duì)應(yīng)的第一文本編碼向量；并對(duì)任意兩個(gè)所述第一文本編碼向量的向量相似度進(jìn)行計(jì)算得到對(duì)應(yīng)的第一相似度；并基于預(yù)設(shè)的相似度閾值對(duì)所有所述第一文本編碼向量進(jìn)行聚類得到多個(gè)第一類向量集合；其中，每個(gè)所述第一類向量集合由一個(gè)或多個(gè)所述第一文本編碼向量組成；所述第一類向量集合的所述第一文本編碼向量的數(shù)量為1時(shí)，當(dāng)前集合中唯一的所述第一文本編碼向量與其他任一所述第一文本編碼向量對(duì)應(yīng)的所述第一相似度都小于或等于所述相似度閾值；所述第一類向量集合的所述第一文本編碼向量的數(shù)量大于1時(shí)，當(dāng)前集合中每兩個(gè)所述第一文本編碼向量對(duì)應(yīng)的所述第一相似度大于所述相似度閾值；?所述文本嵌入編碼規(guī)則至少包括bow編碼規(guī)則、n-gram編碼規(guī)則、word2vec編碼規(guī)則；

19、對(duì)所有所述第一文本編碼向量的數(shù)量大于1的所述第一類向量集合進(jìn)行一輪遍歷；遍歷時(shí)，將當(dāng)前遍歷的所述第一類向量集合作為對(duì)應(yīng)的當(dāng)前向量集合；并從所述當(dāng)前向量集合中任選一個(gè)所述第一文本編碼向量作為對(duì)應(yīng)的保留向量，并將除所述保留向量之外的其余各個(gè)所述第一文本編碼向量都標(biāo)記為重復(fù)向量；并在本輪遍歷結(jié)束時(shí)，將所述第一種子數(shù)據(jù)集中各個(gè)所述重復(fù)向量對(duì)應(yīng)的所述第一種子記錄刪除。

20、優(yōu)選的，所述利用所述第一模型對(duì)所述第一種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理得到對(duì)應(yīng)的第一增強(qiáng)數(shù)據(jù)集，具體包括：

21、對(duì)所述第一種子數(shù)據(jù)集中所有所述第一種子記錄進(jìn)行遍歷；并在遍歷時(shí)，將當(dāng)前遍歷的所述第一種子記錄作為對(duì)應(yīng)的當(dāng)前種子記錄；并將所述當(dāng)前種子記錄的所述第一sql指令作為對(duì)應(yīng)的當(dāng)前sql指令；并基于所述當(dāng)前sql指令和所述第一模型創(chuàng)建一個(gè)對(duì)應(yīng)的所述第一增強(qiáng)記錄；并在遍歷結(jié)束時(shí)，由得到的所有所述第一增強(qiáng)記錄組成對(duì)應(yīng)的所述第一增強(qiáng)數(shù)據(jù)集。

22、進(jìn)一步的，所述基于所述當(dāng)前sql指令和所述第一模型創(chuàng)建一個(gè)對(duì)應(yīng)的所述第一增強(qiáng)記錄，具體包括：

23、將所述當(dāng)前sql指令帶入預(yù)設(shè)的概念分析指令模板對(duì)模板中的指令文本x進(jìn)行替換得到對(duì)應(yīng)的sql概念分析指令；并將所述sql概念分析指令輸入所述第一模型進(jìn)行處理，并接收所述第一模型生成的sql概念分析文本作為對(duì)應(yīng)的當(dāng)前分析文本；所述概念分析指令模板為一個(gè)用于提示所述第一模型對(duì)所述指令文本x的sql概念進(jìn)行分析的自然語言指令模板；所述指令文本x為一個(gè)可替換文本變量；

24、并將所述當(dāng)前分析文本帶入預(yù)設(shè)的自然語言描述指令模板對(duì)模板中的sql概念分析文本y進(jìn)行替換得到對(duì)應(yīng)的自然語言描述指令；并將所述自然語言描述指令輸入所述第一模型進(jìn)行處理，并接收所述第一模型生成的sql指令自然語言描述文本作為對(duì)應(yīng)的當(dāng)前描述文本；所述自然語言描述指令模板為一個(gè)用于提示所述第一模型基于所述sql概念分析文本y生成對(duì)應(yīng)的sql指令自然語言描述文本的自然語言指令模板；所述sql概念分析文本y為一個(gè)可替換文本變量；

25、并將所述當(dāng)前描述文本帶入預(yù)設(shè)的nl2sql指令模板對(duì)模板中的自然語言描述文本z進(jìn)行替換得到對(duì)應(yīng)的nl2sql指令；所述nl2sql指令模板為一個(gè)用于提示所述第一模型基于所述自然語言描述文本z生成一個(gè)對(duì)應(yīng)的sql指令文本的自然語言指令模板；所述自然語言描述文本z為一個(gè)可替換文本變量；

26、并將所述當(dāng)前種子記錄對(duì)應(yīng)的所述nl2sql指令作為對(duì)應(yīng)的所述第二nl指令，并將所述當(dāng)前種子記錄的所述第一sql指令、所述第一數(shù)據(jù)庫訪問接口和所述第一查詢文本作為對(duì)應(yīng)的所述第二sql指令、所述第二數(shù)據(jù)庫訪問接口和所述第二查詢文本；并由所述當(dāng)前種子記錄對(duì)應(yīng)的所述第二nl指令、所述第二sql指令、所述第二數(shù)據(jù)庫訪問接口和所述第二查詢文本組成一個(gè)對(duì)應(yīng)的所述第一增強(qiáng)記錄。

27、優(yōu)選的，所述利用所述第一模型對(duì)所述第一增強(qiáng)數(shù)據(jù)集進(jìn)行低質(zhì)記錄過濾處理，具體包括：

28、對(duì)所述第一增強(qiáng)數(shù)據(jù)集中所有所述第一增強(qiáng)記錄進(jìn)行一輪遍歷；并在遍歷時(shí)，將當(dāng)前遍歷的所述第一增強(qiáng)記錄作為對(duì)應(yīng)的當(dāng)前增強(qiáng)記錄；并將所述當(dāng)前增強(qiáng)記錄的所述第二nl指令、所述第二數(shù)據(jù)庫訪問接口和所述第二查詢文本提取出來作為對(duì)應(yīng)的當(dāng)前nl指令、當(dāng)前訪問接口和當(dāng)前標(biāo)簽文本；并將所述當(dāng)前訪問接口對(duì)應(yīng)的所述第一鏡像數(shù)據(jù)庫作為對(duì)應(yīng)的當(dāng)前鏡像數(shù)據(jù)庫；并將所述當(dāng)前nl指令輸入所述第一模型進(jìn)行處理，并接收所述第一模型生成的sql指令文本作為對(duì)應(yīng)的當(dāng)前sql指令；并將通過所述當(dāng)前訪問接口在對(duì)應(yīng)的所述當(dāng)前鏡像數(shù)據(jù)庫上執(zhí)行所述當(dāng)前sql指令得到的查詢文本作為對(duì)應(yīng)的當(dāng)前查詢文本；并對(duì)所述當(dāng)前查詢文本和所述當(dāng)前標(biāo)簽文本是否匹配進(jìn)行識(shí)別，若不匹配則將所述當(dāng)前增強(qiáng)記錄標(biāo)記成低質(zhì)記錄；并在本輪遍歷結(jié)束時(shí)，將所述第一增強(qiáng)數(shù)據(jù)集中的所有所述低質(zhì)記錄刪除。

29、本發(fā)明實(shí)施例第二方面提供了一種用于實(shí)現(xiàn)上述第一方面所述的nl2sql大語言模型的自增強(qiáng)微調(diào)方法的裝置，所述裝置包括：第一初始化模塊、第二初始化模塊、數(shù)據(jù)清洗模塊、模型微調(diào)模塊、數(shù)據(jù)自增強(qiáng)模塊、迭代判斷模塊和參數(shù)固化模塊；

30、所述第一初始化模塊用于將完成預(yù)訓(xùn)練的nl2sql大語言模型作為對(duì)應(yīng)的第一模型；并初始化迭代計(jì)數(shù)器為1；

31、所述第二初始化模塊用于基于預(yù)設(shè)的公開數(shù)據(jù)集初始化第一種子數(shù)據(jù)集；所述第一種子數(shù)據(jù)集包括多個(gè)第一種子記錄；所述第一種子記錄包括第一nl指令、第一sql指令、第一數(shù)據(jù)庫訪問接口和第一查詢文本；所述第一nl指令為一個(gè)自然語言指令，所述第一sql指令為一個(gè)sql指令；

32、所述數(shù)據(jù)清洗模塊用于對(duì)所述第一種子數(shù)據(jù)集進(jìn)行種子清洗處理；

33、所述模型微調(diào)模塊用于基于所述第一種子數(shù)據(jù)集對(duì)所述第一模型進(jìn)行一輪微調(diào)；

34、所述數(shù)據(jù)自增強(qiáng)模塊用于在本輪微調(diào)結(jié)束后，利用所述第一模型對(duì)所述第一種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理得到對(duì)應(yīng)的第一增強(qiáng)數(shù)據(jù)集；并利用所述第一模型對(duì)所述第一增強(qiáng)數(shù)據(jù)集進(jìn)行低質(zhì)記錄過濾處理；并對(duì)完成過濾的所述第一增強(qiáng)數(shù)據(jù)集和所述第一種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)集合并處理并將得到的合并數(shù)據(jù)集作為新的所述第一種子數(shù)據(jù)集；所述第一增強(qiáng)數(shù)據(jù)集包括多個(gè)第一增強(qiáng)記錄；所述第一增強(qiáng)記錄包括第二nl指令、第二sql指令、第二數(shù)據(jù)庫訪問接口和第二查詢文本；

35、所述迭代判斷模塊用于對(duì)所述迭代計(jì)數(shù)器是否超過預(yù)設(shè)的迭代次數(shù)閾值進(jìn)行識(shí)別；若超過，則向所述參數(shù)固化模塊發(fā)送訓(xùn)練結(jié)束指令；若未超過，則對(duì)所述迭代計(jì)數(shù)器加1并向所述數(shù)據(jù)清洗模塊發(fā)送新的所述第一種子數(shù)據(jù)集；

36、所述參數(shù)固化模塊用于在收到所述訓(xùn)練結(jié)束指令時(shí)對(duì)完成迭代微調(diào)的所述第一模型進(jìn)行參數(shù)固化，并確認(rèn)本次模型微調(diào)訓(xùn)練結(jié)束。

37、本發(fā)明實(shí)施例第三方面提供了一種電子設(shè)備，包括：存儲(chǔ)器、處理器和收發(fā)器；

38、所述處理器用于與所述存儲(chǔ)器耦合，讀取并執(zhí)行所述存儲(chǔ)器中的指令，以實(shí)現(xiàn)上述第一方面所述的方法步驟；

39、所述收發(fā)器與所述處理器耦合，由所述處理器控制所述收發(fā)器進(jìn)行消息收發(fā)。

40、本發(fā)明實(shí)施例第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令被計(jì)算機(jī)執(zhí)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行上述第一方面所述的方法的指令。

41、本發(fā)明實(shí)施例提供了一種nl2sql大語言模型的自增強(qiáng)微調(diào)方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。由上述內(nèi)容可知，本發(fā)明實(shí)施例先從公開數(shù)據(jù)集中采集一些自然語言指令-sql指令對(duì)對(duì)種子數(shù)據(jù)集進(jìn)行初始化，并對(duì)種子數(shù)據(jù)集進(jìn)行一次種子清洗；再基于當(dāng)次清洗后的種子數(shù)據(jù)集對(duì)nl2sql大語言模型進(jìn)行一輪微調(diào)；再基于本輪微調(diào)后的nl2sql大語言模型對(duì)種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理并對(duì)本次得到的增強(qiáng)數(shù)據(jù)集進(jìn)行低質(zhì)記錄過濾；再對(duì)完成過濾的增強(qiáng)數(shù)據(jù)集和種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)集合并得到新的種子數(shù)據(jù)集；并在迭代次數(shù)未達(dá)到指定閾值時(shí)再次對(duì)種子數(shù)據(jù)集進(jìn)行清洗、再次對(duì)nl2sql大語言模型進(jìn)行微調(diào)、再次對(duì)種子數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)和低質(zhì)記錄過濾、再次數(shù)據(jù)集合得到更新的種子數(shù)據(jù)集，如此循環(huán)迭代直到迭代次數(shù)達(dá)到指定閾值為止。由此可見，本發(fā)明實(shí)施例給出了一種基于nl2sql大語言模型自身的自增強(qiáng)微調(diào)處理機(jī)制，通過這種處理機(jī)制一方面降低了人工數(shù)據(jù)采集工作量、縮短了訓(xùn)練周期、減少了訓(xùn)練成本；另一方面提高了微調(diào)數(shù)據(jù)質(zhì)量、增加了微調(diào)輪次、提高了訓(xùn)練水平、加快了性能提升速度。