本發(fā)明涉及信息工程領(lǐng)域，具體涉及一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法。

背景技術(shù)：

1、隨著信息技術(shù)的發(fā)展，接入網(wǎng)絡(luò)的終端數(shù)量倍增，網(wǎng)絡(luò)愈加異構(gòu)和復(fù)雜，網(wǎng)絡(luò)流量呈現(xiàn)瞬時(shí)涌現(xiàn)的特征。如何在復(fù)雜網(wǎng)絡(luò)環(huán)境中優(yōu)化隊(duì)列管理算法，以解決參數(shù)設(shè)置過于敏感的問題，并適應(yīng)網(wǎng)絡(luò)環(huán)境的不斷變化，減少擁塞，提高算法泛化性，同時(shí)滿足用戶對(duì)低網(wǎng)絡(luò)延遲和高吞吐量的要求，是一個(gè)亟待解決的問題。

2、現(xiàn)有的隊(duì)列管理算法主要分為基于隊(duì)列尺度、基于鏈路負(fù)載和基于混合尺度三種類型。其中，基于隊(duì)列尺度的隊(duì)列管理算法以red算法為基礎(chǔ)，對(duì)隊(duì)列長(zhǎng)度進(jìn)行測(cè)量，但存在穩(wěn)定性差、對(duì)網(wǎng)絡(luò)參數(shù)設(shè)置敏感、參數(shù)調(diào)節(jié)缺乏理論依據(jù)等缺陷，導(dǎo)致無法適應(yīng)網(wǎng)絡(luò)狀態(tài)時(shí)變的問題；基于鏈路負(fù)載尺度的隊(duì)列管理算法以blue算法和avq算法為基礎(chǔ)，減少丟包率對(duì)緩存空間的需求，但當(dāng)大量異質(zhì)業(yè)務(wù)流量匯聚時(shí)不能很好的控制隊(duì)列長(zhǎng)度，導(dǎo)致隊(duì)列頻繁溢出；基于混合尺度的隊(duì)列管理算法以模糊邏輯控制為基礎(chǔ)，雖具有一定的網(wǎng)絡(luò)狀態(tài)時(shí)變適應(yīng)性，但仍存在參數(shù)設(shè)置敏感，固定模糊控制規(guī)則過于單一，導(dǎo)致對(duì)異質(zhì)流量的差異化服務(wù)質(zhì)量需求難以保障。

3、近年來，強(qiáng)化學(xué)習(xí)（reinforcement?learning，rl）逐漸應(yīng)用于網(wǎng)絡(luò)擁塞控制中。rl是一個(gè)通過試錯(cuò)來學(xué)習(xí)的方法，非常重視主體與環(huán)境之間的互動(dòng)，并根據(jù)環(huán)境的反饋不斷調(diào)整行動(dòng)選擇策略，非常適合具有顯著時(shí)間變化和涌現(xiàn)特性的網(wǎng)絡(luò)，然而rl的局限性在于其模型感知能力較弱，在動(dòng)態(tài)網(wǎng)絡(luò)場(chǎng)景下的學(xué)習(xí)能力較差。深度強(qiáng)化學(xué)習(xí)（deepreinforcement?learning，drl）集成了深度學(xué)習(xí)（deep?learning，dl）和強(qiáng)化學(xué)習(xí)技術(shù)，在解決復(fù)雜高維問題上表現(xiàn)出顯著優(yōu)勢(shì)，為解決復(fù)雜網(wǎng)絡(luò)問題開辟了新途徑，但現(xiàn)有的深度強(qiáng)化學(xué)習(xí)方法只考慮單個(gè)或多個(gè)鏈路狀態(tài)指標(biāo)來進(jìn)行決策，忽略了不同業(yè)務(wù)類型的qos需求差異；且缺少吞吐量和延遲性能之間的權(quán)衡，也沒有考慮到突發(fā)流量對(duì)隊(duì)列管理產(chǎn)生的影響。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的：在于提供一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，解決現(xiàn)有主動(dòng)隊(duì)列管理算法泛化能力差，需要提前配置參數(shù)，難以適應(yīng)復(fù)雜網(wǎng)絡(luò)環(huán)境中不斷變化的網(wǎng)絡(luò)狀態(tài)，導(dǎo)致算法擁塞控制效果不佳的問題。

2、為實(shí)現(xiàn)以上功能，本發(fā)明設(shè)計(jì)一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，針對(duì)網(wǎng)絡(luò)環(huán)境中由數(shù)據(jù)包組成的隊(duì)列，執(zhí)行如下步驟s1-步驟s5，完成隊(duì)列的管理：

3、步驟s1：針對(duì)當(dāng)前時(shí)刻的網(wǎng)絡(luò)環(huán)境，根據(jù)當(dāng)前時(shí)刻的隊(duì)列長(zhǎng)度 l t，基于gru算法，經(jīng)過更新門和重置門兩個(gè)門控單元的計(jì)算，輸出預(yù)測(cè)的下一時(shí)刻的隊(duì)列長(zhǎng)度 l t+1，完成網(wǎng)絡(luò)流量狀態(tài)預(yù)測(cè)；

4、步驟s2：以下一時(shí)刻的隊(duì)列長(zhǎng)度 l t+1、當(dāng)前時(shí)刻的丟包率 r deq和隊(duì)列延遲 d t，組成當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài)；

5、步驟s3：基于策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)組成智能體，智能體監(jiān)測(cè)當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài) s t，當(dāng)隊(duì)列中存在隊(duì)列延遲時(shí)，智能體根據(jù)當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài) s t，基于ε-greedy策略決策并輸出針對(duì)數(shù)據(jù)包的動(dòng)作 a t；

6、步驟s4：設(shè)置獎(jiǎng)勵(lì)函數(shù)，根據(jù)智能體所輸出的動(dòng)作 a t，智能體獲得相應(yīng)的獎(jiǎng)勵(lì) r t，并更新網(wǎng)絡(luò)狀態(tài) s t+1；基于網(wǎng)絡(luò)狀態(tài) s t、動(dòng)作 a t、獎(jiǎng)勵(lì) r t、網(wǎng)絡(luò)狀態(tài) s t+1，組成經(jīng)驗(yàn)樣本存儲(chǔ)到經(jīng)驗(yàn)回放池中；

7、步驟s5：當(dāng)經(jīng)驗(yàn)回放池中的經(jīng)驗(yàn)樣本數(shù)量超過預(yù)設(shè)的最小批量值，智能體從經(jīng)驗(yàn)回放池中隨機(jī)選取經(jīng)驗(yàn)樣本，對(duì)策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并更新權(quán)重，完成隊(duì)列的管理。

8、有益效果：相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)包括：

9、本發(fā)明首先通過門控循環(huán)單元（gate?recurrent?unit，gru）對(duì)網(wǎng)絡(luò)流量狀態(tài)進(jìn)行預(yù)測(cè)，并利用dqn模型構(gòu)建了丟包策略決策模型，進(jìn)一步基于吞吐量和端到端時(shí)延構(gòu)建獎(jiǎng)勵(lì)函數(shù)，使得算法能夠快速適應(yīng)網(wǎng)絡(luò)環(huán)境的動(dòng)態(tài)變化，實(shí)現(xiàn)了滿足業(yè)務(wù)服務(wù)質(zhì)量需求的最優(yōu)丟包策略。該方法在提高了算法泛化性的同時(shí)，通過對(duì)流量狀態(tài)的預(yù)測(cè)進(jìn)一步實(shí)現(xiàn)了對(duì)突發(fā)流量的合理控制。

技術(shù)特征：

1.一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，針對(duì)網(wǎng)絡(luò)環(huán)境中由數(shù)據(jù)包組成的隊(duì)列，執(zhí)行如下步驟s1-步驟s5，完成隊(duì)列的管理：

2.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s1的具體步驟如下：

3.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s3中的ε-greedy策略如下式：

4.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s3中針對(duì)數(shù)據(jù)包的動(dòng)作at包括丟棄和保留，如果智能體所決策的動(dòng)作是丟棄，則，如果智能體所決策的動(dòng)作是保留，則。

5.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s4中設(shè)置獎(jiǎng)勵(lì)函數(shù)的具體步驟如下：

6.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s5具體步驟如下：

7.根據(jù)權(quán)利要求6所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s5.4中的損失函數(shù)具體如下式：

8.根據(jù)權(quán)利要求7所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，步驟s5.4中訓(xùn)練策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)時(shí)，采用xavier?initializer初始化策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)的權(quán)重，并使用adam優(yōu)化器進(jìn)行訓(xùn)練優(yōu)化。

9.根據(jù)權(quán)利要求1所述的一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，其特征在于，策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)為多層感知器，具有兩個(gè)隱藏層，每個(gè)隱藏層包含64個(gè)神經(jīng)元；在每個(gè)隱藏層部署relu激活函數(shù)，激活函數(shù)的定義為，y表示進(jìn)入神經(jīng)元的輸入向量，并在輸出層應(yīng)用softmax函數(shù)將輸出轉(zhuǎn)換為動(dòng)作值函數(shù)，并根據(jù)動(dòng)作值函數(shù)采用ε-greedy算法進(jìn)行動(dòng)作選擇。

技術(shù)總結(jié)
本發(fā)明公開了一種基于流量狀態(tài)預(yù)測(cè)的隊(duì)列智能管理方法，包括：基于GRU算法，進(jìn)行網(wǎng)絡(luò)流量狀態(tài)預(yù)測(cè)；構(gòu)建網(wǎng)絡(luò)狀態(tài)元組，基于策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)組成智能體，智能體根據(jù)當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài)，基于ε?greedy策略決策并輸出動(dòng)作；設(shè)置獎(jiǎng)勵(lì)函數(shù)，智能體根據(jù)所采取的動(dòng)作獲得相應(yīng)的獎(jiǎng)勵(lì)，更新網(wǎng)絡(luò)狀態(tài)，組建經(jīng)驗(yàn)樣本；智能體選取經(jīng)驗(yàn)樣本，對(duì)策略神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并更新權(quán)重，完成隊(duì)列的管理；本發(fā)明所設(shè)計(jì)的方法在提高了算法泛化性的同時(shí)，通過對(duì)網(wǎng)絡(luò)流量狀態(tài)的預(yù)測(cè)，實(shí)現(xiàn)了對(duì)突發(fā)流量的合理控制。

技術(shù)研發(fā)人員：石懷峰,潘成勝,李昕芮,王英植,雷東興,田文
受保護(hù)的技術(shù)使用者：南京信息工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/26