本技術(shù)屬于實(shí)時(shí)音視頻通信，尤其涉及一種數(shù)據(jù)傳輸路徑的確定方法和裝置。

背景技術(shù)：

1、實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)(real-time?network，rtn)是一個(gè)全新架構(gòu)的音視頻實(shí)時(shí)傳輸網(wǎng)絡(luò)，對(duì)音視頻的實(shí)時(shí)性有強(qiáng)烈的要求。原理上，全球端到端的時(shí)延通過(guò)rtn網(wǎng)絡(luò)可以控制在300ms以內(nèi)。rtn網(wǎng)絡(luò)中包括多個(gè)節(jié)點(diǎn)和路由決策模塊。若將推流設(shè)備接入邊緣節(jié)點(diǎn)a，將拉流設(shè)備接入邊緣節(jié)點(diǎn)d，則如何規(guī)劃一條從節(jié)點(diǎn)a到節(jié)點(diǎn)d的路徑，使節(jié)點(diǎn)a到節(jié)點(diǎn)d的時(shí)延最低，是路由決策模塊的核心功能。

2、但是，目前路由決策模塊只將時(shí)延最低作為唯一追求的目標(biāo)，忽略了用戶實(shí)際的使用體驗(yàn)，導(dǎo)致用戶對(duì)rtn網(wǎng)絡(luò)的使用體驗(yàn)較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種數(shù)據(jù)傳輸路徑的確定方法、裝置、設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，能夠提高播放體驗(yàn)質(zhì)量，進(jìn)而提高用戶對(duì)rtn網(wǎng)絡(luò)的使用體驗(yàn)。

2、第一方面，本技術(shù)實(shí)施例提供了一種數(shù)據(jù)傳輸路徑的確定方法，該方法包括：

3、在接收到目的節(jié)點(diǎn)針對(duì)源節(jié)點(diǎn)的拉流請(qǐng)求的情況下，獲取實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)對(duì)應(yīng)的第一數(shù)據(jù)集，所述第一數(shù)據(jù)集包括所述源節(jié)點(diǎn)對(duì)應(yīng)的第一網(wǎng)絡(luò)指標(biāo)值和從所述源節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的多個(gè)第二網(wǎng)絡(luò)指標(biāo)值，所述目標(biāo)節(jié)點(diǎn)為所述實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)相鄰的任一節(jié)點(diǎn)；

4、利用路由決策模型，基于所述第一數(shù)據(jù)集對(duì)所述源節(jié)點(diǎn)的下一跳節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，得到第一預(yù)測(cè)節(jié)點(diǎn)，所述路由決策模型為基于深度強(qiáng)化學(xué)習(xí)的原理構(gòu)建的用于確定數(shù)據(jù)傳輸路徑的神經(jīng)網(wǎng)絡(luò)模型，所述路由決策模型的訓(xùn)練數(shù)據(jù)為滿足播放體驗(yàn)質(zhì)量要求的數(shù)據(jù)傳輸路徑及其對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)信息；

5、在所述第一預(yù)測(cè)節(jié)點(diǎn)與所述目的節(jié)點(diǎn)不同的情況下，將所述第一預(yù)測(cè)節(jié)點(diǎn)確定為從所述源節(jié)點(diǎn)到所述目的節(jié)點(diǎn)的數(shù)據(jù)傳輸路徑中所述源節(jié)點(diǎn)的下一跳中間節(jié)點(diǎn)；

6、將所述第一預(yù)測(cè)節(jié)點(diǎn)作為所述源節(jié)點(diǎn)，并返回執(zhí)行所述獲取實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)對(duì)應(yīng)的第一數(shù)據(jù)集，直至所述第一預(yù)測(cè)節(jié)點(diǎn)與所述目的節(jié)點(diǎn)相同，得到從所述源節(jié)點(diǎn)到所述目的節(jié)點(diǎn)的數(shù)據(jù)傳輸路徑，所述數(shù)據(jù)傳輸路徑包括按照節(jié)點(diǎn)預(yù)測(cè)順序排列的所述源節(jié)點(diǎn)，多個(gè)所述第一預(yù)測(cè)節(jié)點(diǎn)和所述目的節(jié)點(diǎn)。

7、在一種可能的實(shí)現(xiàn)方式中，所述路由決策模型的訓(xùn)練數(shù)據(jù)包括多個(gè)第三網(wǎng)絡(luò)指標(biāo)和多個(gè)體驗(yàn)質(zhì)量指標(biāo)，所述多個(gè)第三網(wǎng)絡(luò)指標(biāo)包括首幀時(shí)延和/或端到端時(shí)延，所述多個(gè)體驗(yàn)質(zhì)量指標(biāo)包括視頻清晰度、視頻流暢度、音頻清晰度和音頻流暢度中的至少一個(gè)。

8、在一種可能的實(shí)現(xiàn)方式中，所述路由決策模型包括基礎(chǔ)網(wǎng)絡(luò)模型，所述利用路由決策模型，基于所述第一數(shù)據(jù)集對(duì)所述源節(jié)點(diǎn)的下一跳節(jié)點(diǎn)進(jìn)行預(yù)測(cè)之前，所述方法還包括：

9、獲取源樣本節(jié)點(diǎn)、目的樣本節(jié)點(diǎn)、與所述源樣本節(jié)點(diǎn)對(duì)應(yīng)的第一樣本數(shù)據(jù)集，所述第一樣本數(shù)據(jù)集包括所述源樣本節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)指標(biāo)值和從所述源樣本節(jié)點(diǎn)到所述目的樣本節(jié)點(diǎn)的所述多個(gè)第二網(wǎng)絡(luò)指標(biāo)值，所述源樣本節(jié)點(diǎn)和所述目的樣本節(jié)點(diǎn)為滿足時(shí)延要求的數(shù)據(jù)傳輸路徑中兩個(gè)相鄰的節(jié)點(diǎn)；

10、利用初始基礎(chǔ)網(wǎng)絡(luò)模型，基于所述第一樣本數(shù)據(jù)集對(duì)所述源樣本節(jié)點(diǎn)的下一跳節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，得到第二預(yù)測(cè)節(jié)點(diǎn)；

11、根據(jù)所述第二預(yù)測(cè)節(jié)點(diǎn)和所述目的樣本節(jié)點(diǎn)之間的相似度確定第一損失函數(shù)值；

12、根據(jù)所述第一損失函數(shù)值調(diào)整所述初始基礎(chǔ)網(wǎng)絡(luò)模型的模型參數(shù)，訓(xùn)練得到所述基礎(chǔ)網(wǎng)絡(luò)模型；

13、將所述基礎(chǔ)網(wǎng)絡(luò)模型確定為所述路由決策模型。

14、在一種可能的實(shí)現(xiàn)方式中，所述路由決策模型還包括獎(jiǎng)勵(lì)網(wǎng)絡(luò)模型，所述根據(jù)所述第一損失函數(shù)值調(diào)整所述初始基礎(chǔ)網(wǎng)絡(luò)模型的模型參數(shù)，訓(xùn)練得到所述基礎(chǔ)網(wǎng)絡(luò)模型之前，所述方法還包括：

15、獲取與所述目的樣本節(jié)點(diǎn)對(duì)應(yīng)的第二樣本數(shù)據(jù)集，所述第二樣本數(shù)據(jù)集包括多個(gè)第三網(wǎng)絡(luò)指標(biāo)值和多個(gè)體驗(yàn)質(zhì)量指標(biāo)值；

16、利用所述獎(jiǎng)勵(lì)網(wǎng)絡(luò)模型對(duì)所述第二樣本數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)分析，確定所述目的樣本節(jié)點(diǎn)的評(píng)分值；

17、根據(jù)所述評(píng)分值和所述第一損失函數(shù)值確定第二損失函數(shù)值；

18、所述根據(jù)所述第一損失函數(shù)值調(diào)整所述初始基礎(chǔ)網(wǎng)絡(luò)模型的模型參數(shù)，訓(xùn)練得到所述基礎(chǔ)網(wǎng)絡(luò)模型，包括：

19、基于策略梯度提升的方法，根據(jù)所述第二損失函數(shù)值調(diào)整所述初始基礎(chǔ)網(wǎng)絡(luò)模型的模型參數(shù)，訓(xùn)練得到所述基礎(chǔ)網(wǎng)絡(luò)模型。

20、在一種可能的實(shí)現(xiàn)方式中，所述利用所述獎(jiǎng)勵(lì)網(wǎng)絡(luò)模型對(duì)所述第二樣本數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)分析，確定所述目的樣本節(jié)點(diǎn)的評(píng)分值，包括：

21、獲取與所述多個(gè)第三網(wǎng)絡(luò)指標(biāo)值和所述多個(gè)體驗(yàn)質(zhì)量指標(biāo)值分別對(duì)應(yīng)的第一權(quán)重；

22、利用所述獎(jiǎng)勵(lì)網(wǎng)絡(luò)模型，根據(jù)多個(gè)所述第一權(quán)重對(duì)所述多個(gè)第三網(wǎng)絡(luò)指標(biāo)值和所述多個(gè)體驗(yàn)質(zhì)量指標(biāo)值進(jìn)行加權(quán)求和，得到所述評(píng)分值。

23、在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述評(píng)分值和所述第一損失函數(shù)值確定第二損失函數(shù)值，包括：

24、獲取所述評(píng)分值和所述第一損失函數(shù)值分別對(duì)應(yīng)的第二權(quán)重；

25、根據(jù)多個(gè)所述第二權(quán)重對(duì)所述評(píng)分值和所述第一損失函數(shù)值進(jìn)行加權(quán)求和，得到所述第二損失函數(shù)值。

26、在一種可能的實(shí)現(xiàn)方式中，所述第一網(wǎng)絡(luò)指標(biāo)值包括所述源節(jié)點(diǎn)的節(jié)點(diǎn)負(fù)載率；所述多個(gè)第二網(wǎng)絡(luò)指標(biāo)值包括從所述源節(jié)點(diǎn)到所述目標(biāo)節(jié)點(diǎn)的鏈路時(shí)延值、鏈路丟包率和鏈路利用率中的至少一個(gè)。

27、第二方面，本技術(shù)實(shí)施例提供了一種數(shù)據(jù)傳輸路徑的確定裝置，該裝置包括：

28、第一獲取模塊，用于在接收到目的節(jié)點(diǎn)針對(duì)源節(jié)點(diǎn)的拉流請(qǐng)求的情況下，獲取實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)對(duì)應(yīng)的第一數(shù)據(jù)集，所述第一數(shù)據(jù)集包括所述源節(jié)點(diǎn)對(duì)應(yīng)的第一網(wǎng)絡(luò)指標(biāo)值和從所述源節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的多個(gè)第二網(wǎng)絡(luò)指標(biāo)值，所述目標(biāo)節(jié)點(diǎn)為所述實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)相鄰的任一節(jié)點(diǎn)；

29、第一預(yù)測(cè)模塊，用于利用路由決策模型，基于所述第一數(shù)據(jù)集對(duì)所述源節(jié)點(diǎn)的下一跳節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，得到第一預(yù)測(cè)節(jié)點(diǎn)，所述路由決策模型為基于深度強(qiáng)化學(xué)習(xí)的原理構(gòu)建的用于確定數(shù)據(jù)傳輸路徑的神經(jīng)網(wǎng)絡(luò)模型，所述路由決策模型的訓(xùn)練數(shù)據(jù)為滿足播放體驗(yàn)質(zhì)量要求的數(shù)據(jù)傳輸路徑及其對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)信息；

30、第一確定模塊，用于在所述第一預(yù)測(cè)節(jié)點(diǎn)與所述目的節(jié)點(diǎn)不同的情況下，將所述第一預(yù)測(cè)節(jié)點(diǎn)確定為從所述源節(jié)點(diǎn)到所述目的節(jié)點(diǎn)的數(shù)據(jù)傳輸路徑中所述源節(jié)點(diǎn)的下一跳中間節(jié)點(diǎn)；

31、執(zhí)行模塊，用于將所述第一預(yù)測(cè)節(jié)點(diǎn)作為所述源節(jié)點(diǎn)，并返回執(zhí)行所述獲取實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)中與所述源節(jié)點(diǎn)對(duì)應(yīng)的第一數(shù)據(jù)集，直至所述第一預(yù)測(cè)節(jié)點(diǎn)與所述目的節(jié)點(diǎn)相同，得到從所述源節(jié)點(diǎn)到所述目的節(jié)點(diǎn)的數(shù)據(jù)傳輸路徑，所述數(shù)據(jù)傳輸路徑包括按照節(jié)點(diǎn)預(yù)測(cè)順序排列的所述源節(jié)點(diǎn)，多個(gè)所述第一預(yù)測(cè)節(jié)點(diǎn)和所述目的節(jié)點(diǎn)。

32、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，該設(shè)備包括：處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；

33、所述處理器執(zhí)行所述計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)上述第一方面中任一種可能的實(shí)現(xiàn)方法中的方法。

34、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面中任一種可能的實(shí)現(xiàn)方法中的方法。

35、第五方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備執(zhí)行如上述第一方面中任一種可能的實(shí)現(xiàn)方法中的方法。

36、在本技術(shù)實(shí)施例的數(shù)據(jù)傳輸路徑的確定方法、裝置、設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品中，路由決策模型是基于深度強(qiáng)化學(xué)習(xí)的原理構(gòu)建的用于確定數(shù)據(jù)傳輸路徑的神經(jīng)網(wǎng)絡(luò)模型，且路由決策模型的訓(xùn)練數(shù)據(jù)為滿足播放體驗(yàn)質(zhì)量要求的數(shù)據(jù)傳輸路徑及其對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)信息。因此，路由決策模型是已經(jīng)學(xué)習(xí)到滿足播放體驗(yàn)質(zhì)量要求的數(shù)據(jù)傳輸路徑和網(wǎng)絡(luò)狀態(tài)信息之間的對(duì)應(yīng)關(guān)系的神經(jīng)網(wǎng)絡(luò)模型。因此，通過(guò)利用路由決策模型，基于源節(jié)點(diǎn)對(duì)應(yīng)的第一數(shù)據(jù)集(即網(wǎng)絡(luò)狀態(tài)信息)對(duì)源節(jié)點(diǎn)的下一跳節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，得到第一預(yù)測(cè)節(jié)點(diǎn)，能夠在任意網(wǎng)絡(luò)狀態(tài)下確定滿足播放體驗(yàn)質(zhì)量要求的第一預(yù)測(cè)節(jié)點(diǎn)。通過(guò)將第一預(yù)測(cè)節(jié)點(diǎn)作為源節(jié)點(diǎn)，并重復(fù)上述步驟，直至第一預(yù)測(cè)節(jié)點(diǎn)與目的節(jié)點(diǎn)相同，能夠在任意網(wǎng)絡(luò)狀態(tài)下確定滿足播放體驗(yàn)質(zhì)量要求的數(shù)據(jù)傳輸路徑。如此，通過(guò)本技術(shù)實(shí)施例確定的數(shù)據(jù)傳輸路徑進(jìn)行數(shù)據(jù)傳輸，能夠提高播放體驗(yàn)質(zhì)量，進(jìn)而提高用戶對(duì)rtn網(wǎng)絡(luò)的使用體驗(yàn)。