午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

高效協(xié)作學(xué)習(xí)的訓(xùn)練方法及裝置

文檔序號:39729664發(fā)布日期:2024-10-22 13:34閱讀:9來源:國知局
高效協(xié)作學(xué)習(xí)的訓(xùn)練方法及裝置

本公開涉及協(xié)作學(xué)習(xí),尤其涉及一種高效協(xié)作學(xué)習(xí)的訓(xùn)練方法及裝置。


背景技術(shù):

1、隨著人工智能技術(shù)逐漸成為人們?nèi)粘I畹闹匾M成部分,推動其向前發(fā)展的數(shù)據(jù)資源逐漸成為社會生產(chǎn)的基礎(chǔ)性資源。在人工智能模型的訓(xùn)練中,豐富而多樣化的數(shù)據(jù)可以為模型注入更多的信息,從而促使產(chǎn)出的模型具備更全面、更強(qiáng)大的事務(wù)處理能力。然而,當(dāng)前的數(shù)據(jù)資源分布在個人、企業(yè)以及政府單位等不同的社會主體中,其形成的數(shù)據(jù)孤島效應(yīng)限制了數(shù)據(jù)的數(shù)量以及數(shù)據(jù)的多樣性,從根本上限制了人工智能算法的能力提升。為了解決這一問題,人們開始引入多方協(xié)作的訓(xùn)練方法,作為數(shù)據(jù)要素流通的重要手段之一,協(xié)作學(xué)習(xí)試圖打破數(shù)據(jù)孤島,進(jìn)一步釋放數(shù)據(jù)要素的潛在價值。

2、但是,打破數(shù)據(jù)孤島需要將多方數(shù)據(jù)信息進(jìn)行整理、傳輸和聚合,因此會給互聯(lián)網(wǎng)傳輸資源的使用帶來巨大的壓力。特別是參與節(jié)點(diǎn)數(shù)量增加時,這種傳輸需求巨大與傳輸資源稀缺的矛盾會變得更加嚴(yán)峻,這進(jìn)一步降低了高效協(xié)作學(xué)習(xí)的訓(xùn)練效率。


技術(shù)實現(xiàn)思路

1、本公開旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

2、為此,本公開第一方面實施例提出了一種高效協(xié)作學(xué)習(xí)的訓(xùn)練方法,所述協(xié)作學(xué)習(xí)的參與方包括聚合節(jié)點(diǎn)和多個本地節(jié)點(diǎn),所述方法包括以下步驟:

3、s1,通過所述聚合節(jié)點(diǎn)將全局模型的初始模型參數(shù)下發(fā)至每個所述本地節(jié)點(diǎn),以確定每個所述本地節(jié)點(diǎn)的本地模型,所述本地模型的參數(shù)為所述初始模型參數(shù);

4、s2,利用各個所述本地節(jié)點(diǎn)上的本地樣本數(shù)據(jù)計算對應(yīng)本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣;

5、s3,根據(jù)多個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣計算全局梯度均值向量和全局協(xié)方差矩陣;

6、s4,根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,確定各個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù);

7、s5,每個所述本地節(jié)點(diǎn)根據(jù)各自的所述最優(yōu)本地更新次數(shù)進(jìn)行本地更新,并將每個所述本地節(jié)點(diǎn)更新后的模型參數(shù)上傳至所述聚合節(jié)點(diǎn);

8、s6,所述聚合節(jié)點(diǎn)根據(jù)所述多個本地節(jié)點(diǎn)更新后的模型參數(shù)確定所述全局模型的模型參數(shù)。

9、在本公開一些實施例中,根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,通過以下公式確定各個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù):

10、

11、

12、其中,為第個本地節(jié)點(diǎn)的最優(yōu)本地次數(shù)比,為全局梯度均值向量,為全局協(xié)方差矩陣,為第個本地節(jié)點(diǎn)上本地模型的梯度均值向量,為第個本地節(jié)點(diǎn)上本地模型梯度向量的協(xié)方差矩陣,為批大小,為全局更新步長,為第個本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù)。

13、在本公開一些實施例中,所述聚合節(jié)點(diǎn)根據(jù)所述多個本地節(jié)點(diǎn)更新后的模型參數(shù)確定所述全局模型的模型參數(shù),包括:

14、s61,所述聚合節(jié)點(diǎn)利用聚合算法對所述多個本地節(jié)點(diǎn)更新后的模型參數(shù)進(jìn)行聚合運(yùn)算,獲得所述全局模型的第一模型參數(shù);

15、s62,確定當(dāng)前所述聚合節(jié)點(diǎn)與多個所述本地節(jié)點(diǎn)的交互輪次;

16、s63,響應(yīng)于所述交互輪次達(dá)到最大交互輪次,將所述第一模型參數(shù)確定為所述全局模型的模型參數(shù);或者,

17、s64,響應(yīng)于所述交互輪次未達(dá)到所述最大交互輪次,將所述第一模型參數(shù)作為新的初始模型參數(shù),重復(fù)執(zhí)行步驟s1-s5和步驟s61進(jìn)行訓(xùn)練,直至所述交互輪次達(dá)到所述最大交互輪次,將所述第一模型參數(shù)確定為所述全局模型的模型參數(shù)。

18、在本公開一些實施例中,該方法還包括:將每個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù)與質(zhì)量評估閾值進(jìn)行對比;將所述最優(yōu)本地更新次數(shù)大于或等于所述質(zhì)量評估閾值的本地節(jié)點(diǎn)確認(rèn)為優(yōu)質(zhì)節(jié)點(diǎn),將所述最優(yōu)本地更新次數(shù)小于所述質(zhì)量評估閾值的本地節(jié)點(diǎn)確認(rèn)為非優(yōu)質(zhì)節(jié)點(diǎn)。

19、本公開第二方面實施例提出了一種高效協(xié)作學(xué)習(xí)的訓(xùn)練裝置,所述協(xié)作學(xué)習(xí)的參與方包括聚合節(jié)點(diǎn)和多個本地節(jié)點(diǎn),包括:

20、第一確定模塊,用于通過所述聚合節(jié)點(diǎn)將全局模型的初始模型參數(shù)下發(fā)至每個所述本地節(jié)點(diǎn),以確定每個所述本地節(jié)點(diǎn)的本地模型,所述本地模型的參數(shù)為所述初始模型參數(shù);

21、第二確定模塊,用于利用各個所述本地節(jié)點(diǎn)上的本地樣本數(shù)據(jù)計算對應(yīng)本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣;

22、第三確定模塊,用于根據(jù)多個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣計算全局梯度均值向量和全局協(xié)方差矩陣;

23、第四確定模塊,用于根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,確定各個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù);

24、更新模塊,用于每個所述本地節(jié)點(diǎn)根據(jù)各自的所述最優(yōu)本地更新次數(shù)進(jìn)行本地更新,并將每個所述本地節(jié)點(diǎn)更新后的模型參數(shù)上傳至所述聚合節(jié)點(diǎn);

25、第五確定模塊,用于所述聚合節(jié)點(diǎn)根據(jù)所述多個本地節(jié)點(diǎn)更新后的模型參數(shù)確定所述全局模型的模型參數(shù)。

26、在本公開一些實施例中,所述第四確定模塊具體用于:根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,通過以下公式確定各個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù):

27、

28、

29、其中,為第個本地節(jié)點(diǎn)的最優(yōu)本地次數(shù)比,為全局梯度均值向量,為全局協(xié)方差矩陣,為第個本地節(jié)點(diǎn)上本地模型的梯度均值向量,為第個本地節(jié)點(diǎn)上本地模型梯度向量的協(xié)方差矩陣,為批大小,為全局更新步長,為第個本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù)。

30、在本公開一些實施例中,所述第五確定模塊包括:

31、獲取單元,用于在所述聚合節(jié)點(diǎn)利用聚合算法對所述多個本地節(jié)點(diǎn)更新后的模型參數(shù)進(jìn)行聚合運(yùn)算,獲得所述全局模型的第一模型參數(shù);

32、第一確定單元,用于確定當(dāng)前所述聚合節(jié)點(diǎn)與多個所述本地節(jié)點(diǎn)的交互輪次;

33、第二確定單元,用于響應(yīng)于所述交互輪次達(dá)到最大交互輪次,將所述第一模型參數(shù)確定為所述全局模型的模型參數(shù)。

34、在本公開一些實施例中,該裝置還包括質(zhì)量評估模塊;所述質(zhì)量評估模塊用于:將每個所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù)與質(zhì)量評估閾值進(jìn)行對比;將所述最優(yōu)本地更新次數(shù)大于或等于所述質(zhì)量評估閾值的本地節(jié)點(diǎn)確認(rèn)為優(yōu)質(zhì)節(jié)點(diǎn),將所述最優(yōu)本地更新次數(shù)小于所述質(zhì)量評估閾值的本地節(jié)點(diǎn)確認(rèn)為非優(yōu)質(zhì)節(jié)點(diǎn)。

35、本公開第三方面實施例提出了一種電子設(shè)備,包括:處理器,以及與所述處理器通信連接的存儲器;

36、所述存儲器存儲計算機(jī)執(zhí)行指令;

37、所述處理器執(zhí)行所述存儲器存儲的計算機(jī)執(zhí)行指令,以實現(xiàn)前述第一方面所述的方法。

38、本公開第四方面實施例提出了一種計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)執(zhí)行指令,所述計算機(jī)執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)前述第一方面所述的方法。

39、本公開提供的高效協(xié)作學(xué)習(xí)的訓(xùn)練方法,利用全局梯度均值向量、全局協(xié)方差矩陣以及各個本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,為不同信息豐富程度的本地節(jié)點(diǎn)分配最優(yōu)本地更新次數(shù)。利用最優(yōu)本地更新次數(shù)進(jìn)行更新的本地模型能夠攜帶更多有效信息上傳給聚合節(jié)點(diǎn),由此提升信息傳輸效率,優(yōu)化梯度信噪比,提高互聯(lián)網(wǎng)傳輸資源的使用效率,加速協(xié)作學(xué)習(xí)的模型收斂速度。

40、本公開附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本公開的實踐了解到。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1