技術(shù)編號(hào)：39727900
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明屬于預(yù)訓(xùn)練語(yǔ)言模型微調(diào)領(lǐng)域，具體涉及一種面向預(yù)訓(xùn)練語(yǔ)言模型微調(diào)的參數(shù)高效型適配器微調(diào)方法。背景技術(shù)、近年來(lái)，預(yù)訓(xùn)練語(yǔ)言模型已席卷人工智能的各個(gè)領(lǐng)域，并取得了巨大成功。預(yù)訓(xùn)練語(yǔ)言模型適應(yīng)下游任務(wù)的主流范式是微調(diào)。由于大多數(shù)預(yù)訓(xùn)練語(yǔ)言模型如t、gpt都有大量的參數(shù)，因此對(duì)它們進(jìn)行微調(diào)通常是昂貴且耗時(shí)的，并且存儲(chǔ)它們會(huì)占用大量空間，并且微調(diào)過(guò)程中存在大量冗余參數(shù)。因此，有必要在不影響預(yù)訓(xùn)練語(yǔ)言模型在下游任務(wù)中的性能的情況下，減少微調(diào)中的參數(shù)規(guī)模。、現(xiàn)有的預(yù)訓(xùn)練語(yǔ)言模型參數(shù)高效型微調(diào)主要包...
注意：該技術(shù)已申請(qǐng)專(zhuān)利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專(zhuān)利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專(zhuān)利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。