本申請涉及大語言模型，特別涉及一種大語言模型的壓縮監(jiān)督方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、在模型壓縮技術(shù)的領(lǐng)域，校準數(shù)據(jù)集扮演著至關(guān)重要的角色。在注意力剪枝領(lǐng)域，通過統(tǒng)計模型在校準數(shù)據(jù)集上的注意力值和梯度信息，就能夠精確地識別出那些對模型性能影響最小的注意力，從而在保證模型性能不顯著下降的前提下，實現(xiàn)高效的注意力削減。

2、現(xiàn)有的校準數(shù)據(jù)集直接使用人工編寫的通用語言建模數(shù)據(jù)集，例如redpajama。這種缺乏長上下文依賴，無法有效處理長程檢索等需要全局注意力的任務(wù)。同時因為使用人工響應(yīng)進行監(jiān)督，注意力影響的描述可能不準確，導(dǎo)致模型性能下降。具體來說，一般的通用語言建模數(shù)據(jù)集中，為了預(yù)測下一詞，其往往只需要用到前面的幾個詞或幾個句子，而不需要用到遠距離的上下文信息。這種性質(zhì)導(dǎo)致得到的注意力矩陣重要性也僅僅捕捉了附近詞之間的影響，而沒有考慮遠距離的語言信息。

3、此外，大型語言模型的響應(yīng)可能與人工編寫的監(jiān)督不一致。因此，使用人工響應(yīng)來計算注意力值和梯度時，可能會導(dǎo)致注意力影響的描述不準確。例如，對于同一個問題，人類可能回答“藍色”，而模型可能生成“顏色藍”。使用人類答案進行監(jiān)督，注意力敏感性基于預(yù)測“藍色”的概率偏移進行量化，這與保持模型原始預(yù)測“顏色”的重要注意力目標背道而馳。這些不一致還會來自于同義詞、語調(diào)和隨機性等等。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┮环N大語言模型的壓縮監(jiān)督方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，以解決相關(guān)技術(shù)中模型壓縮的校準數(shù)據(jù)集直接使用人工編寫的通用語言建模數(shù)據(jù)，且直接使用人工響應(yīng)進行監(jiān)督，導(dǎo)致模型壓縮的性能下降，準確性較低等問題。

2、本申請第一方面實施例提供一種大語言模型的壓縮監(jiān)督方法，包括以下步驟：獲取文本數(shù)據(jù)，其中，文本數(shù)據(jù)為包括多個字符或句子的文本數(shù)據(jù)；將文本數(shù)據(jù)輸入大語言模型，大語言模型輸出回答數(shù)據(jù)；根據(jù)文本數(shù)據(jù)和回答數(shù)據(jù)生成監(jiān)督數(shù)據(jù)集，基于監(jiān)督數(shù)據(jù)集對大語言模型進行模型壓縮，并基于回答數(shù)據(jù)監(jiān)督大語言模型的模型壓縮過程，以得到與大語言模型對應(yīng)的目標壓縮模型。

3、可選地，基于回答數(shù)據(jù)監(jiān)督大語言模型的模型壓縮過程，包括：獲取大語言模型的壓縮模型的預(yù)測數(shù)據(jù)；根據(jù)回答數(shù)據(jù)和預(yù)測數(shù)據(jù)計算壓縮模型的預(yù)測損失；根據(jù)預(yù)測損失優(yōu)化大語言模型的壓縮模型，得到目標壓縮模型。

4、可選地，文本數(shù)據(jù)包括文檔類型的數(shù)據(jù)和問題類型的數(shù)據(jù)的至少一個。

5、可選地，若文本數(shù)據(jù)為文檔類型的數(shù)據(jù)，則回答數(shù)據(jù)包括每個文檔的摘要。

6、可選地，若文本數(shù)據(jù)為問題類型的數(shù)據(jù)，則回答數(shù)據(jù)包括問題的回答。

7、可選地，文本數(shù)據(jù)為人工編寫的文本數(shù)據(jù)或任意模型生成的文本數(shù)據(jù)。

8、本申請第二方面實施例提供一種大語言模型的壓縮監(jiān)督裝置，包括：獲取模塊，用于獲取文本數(shù)據(jù)，其中，文本數(shù)據(jù)為包括多個字符或句子的文本數(shù)據(jù)；輸入模塊，用于將文本數(shù)據(jù)輸入大語言模型，大語言模型輸出回答數(shù)據(jù)；壓縮模塊，用于根據(jù)文本數(shù)據(jù)和回答數(shù)據(jù)生成監(jiān)督數(shù)據(jù)集，基于監(jiān)督數(shù)據(jù)集對大語言模型進行模型壓縮，并基于回答數(shù)據(jù)監(jiān)督大語言模型的模型壓縮過程，以得到與大語言模型對應(yīng)的目標壓縮模型。

9、可選地，壓縮模塊進一步用于：獲取大語言模型的壓縮模型的預(yù)測數(shù)據(jù)；根據(jù)回答數(shù)據(jù)和預(yù)測數(shù)據(jù)計算壓縮模型的預(yù)測損失；根據(jù)預(yù)測損失優(yōu)化大語言模型的壓縮模型，得到目標壓縮模型。

10、可選地，文本數(shù)據(jù)包括文檔類型的數(shù)據(jù)和問題類型的數(shù)據(jù)的至少一個。

11、可選地，若文本數(shù)據(jù)為文檔類型的數(shù)據(jù)，則回答數(shù)據(jù)包括每個文檔的摘要。

12、可選地，若文本數(shù)據(jù)為問題類型的數(shù)據(jù)，則回答數(shù)據(jù)包括問題的回答。

13、可選地，文本數(shù)據(jù)為人工編寫的文本數(shù)據(jù)或任意模型生成的文本數(shù)據(jù)。

14、本申請第三方面實施例提供一種電子設(shè)備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行程序，以實現(xiàn)如上述實施例的大語言模型的壓縮監(jiān)督方法。

15、本申請第四方面實施例提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，計算機程序或指令被處理器執(zhí)行時，以用于實現(xiàn)如上述實施例的大語言模型的壓縮監(jiān)督方法。

16、本申請第五方面實施例提供一種計算機程序產(chǎn)品，包括計算機程序或指令，計算機程序或指令被執(zhí)行時，以用于實現(xiàn)如上述實施例的大語言模型的壓縮監(jiān)督方法。

17、由此，本申請包括如下有益效果：

18、本申請實施例可以基于文本數(shù)據(jù)和大語言模型輸出的回答數(shù)據(jù)生成監(jiān)督數(shù)據(jù)集，利用監(jiān)督數(shù)據(jù)集對大語言模型進行模型壓縮，提高了壓縮后的大語言模型和壓縮前的大語言模型回答的一致性，并只基于回答數(shù)據(jù)監(jiān)督大語言的模型壓縮過程，避免使用人工編寫的答案而造成的描述不準確，提高了模型壓縮的準確性和效率。由此，解決了相關(guān)技術(shù)中模型壓縮的校準數(shù)據(jù)集直接使用人工編寫的通用語言建模數(shù)據(jù)，且直接使用人工響應(yīng)進行監(jiān)督，導(dǎo)致模型壓縮的性能下降，準確性較低等技術(shù)問題。

19、本申請附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。

技術(shù)特征：

1.一種大語言模型的壓縮監(jiān)督方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的大語言模型的壓縮監(jiān)督方法，其特征在于，所述基于所述回答數(shù)據(jù)監(jiān)督大語言模型的模型壓縮過程，包括：

3.根據(jù)權(quán)利要求1或2所述的大語言模型的壓縮監(jiān)督方法，其特征在于，所述文本數(shù)據(jù)包括文檔類型的數(shù)據(jù)和問題類型的數(shù)據(jù)的至少一個。

4.根據(jù)權(quán)利要求3所述的大語言模型的壓縮監(jiān)督方法，其特征在于，若所述文本數(shù)據(jù)為文檔類型的數(shù)據(jù)，則所述回答數(shù)據(jù)包括每個文檔的摘要。

5.根據(jù)權(quán)利要求3所述的大語言模型的壓縮監(jiān)督方法，其特征在于，若所述文本數(shù)據(jù)為所述問題類型的數(shù)據(jù)，則所述回答數(shù)據(jù)包括問題的回答。

6.根據(jù)權(quán)利要求1所述的大語言模型的壓縮監(jiān)督方法，其特征在于，所述文本數(shù)據(jù)為人工編寫的文本數(shù)據(jù)或任意模型生成的文本數(shù)據(jù)。

7.一種大語言模型的壓縮監(jiān)督裝置，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序，以實現(xiàn)權(quán)利要求1-6任一項所述的大語言模型的壓縮監(jiān)督方法。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，其特征在于，所述計算機程序或指令被執(zhí)行時，以實現(xiàn)權(quán)利要求1-6任一項所述的大語言模型的壓縮監(jiān)督方法。

10.一種計算機程序產(chǎn)品，包括計算機程序或指令，其特征在于，所述計算機程序或指令被執(zhí)行時，以實現(xiàn)權(quán)利要求1-6任一項所述的大語言模型的壓縮監(jiān)督方法。

技術(shù)總結(jié)
本申請涉及大語言模型技術(shù)領(lǐng)域，特別涉及一種大語言模型的壓縮監(jiān)督方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，其中，方法包括：獲取文本數(shù)據(jù)，其中，文本數(shù)據(jù)為包括多個字符或句子的文本數(shù)據(jù)；將文本數(shù)據(jù)輸入大語言模型，大語言模型輸出回答數(shù)據(jù)；根據(jù)文本數(shù)據(jù)和回答數(shù)據(jù)生成監(jiān)督數(shù)據(jù)集，基于監(jiān)督數(shù)據(jù)集對大語言模型進行模型壓縮，并基于回答數(shù)據(jù)監(jiān)督大語言模型的模型壓縮過程，以得到與大語言模型對應(yīng)的目標壓縮模型。由此，解決了相關(guān)技術(shù)中模型壓縮的校準數(shù)據(jù)集直接使用人工編寫的通用語言建模數(shù)據(jù)，且直接使用人工響應(yīng)進行監(jiān)督，導(dǎo)致模型壓縮的性能下降，準確性較低等問題。

技術(shù)研發(fā)人員：汪玉,寧雪妃,傅天予,黃浩峰
受保護的技術(shù)使用者：清華大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21