本發(fā)明屬于空中交通管制的航班時(shí)刻優(yōu)化，具體涉及一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法及系統(tǒng)。

背景技術(shù)：

1、長遠(yuǎn)來看，航空運(yùn)輸需求將會(huì)呈現(xiàn)持續(xù)增長趨勢，但機(jī)場容量、航路點(diǎn)容量等空域資源是有限的，隨之而來的是，航班時(shí)刻需求增加，但機(jī)場沒有充足的可用資源，二者之間的矛盾將導(dǎo)致交通擁堵和航班延誤等情況的出現(xiàn)。

2、機(jī)場群是在一定地區(qū)范圍內(nèi)各機(jī)場與城市間形成的空間集群，以一個(gè)或多個(gè)樞紐機(jī)場為關(guān)鍵核心。伴隨著城市地區(qū)的擴(kuò)張，機(jī)場形成了相互制約的機(jī)場群?？沼蛸Y源在機(jī)場群之間高度共享，所以需要協(xié)同發(fā)展、共同調(diào)控。以機(jī)場群為核心調(diào)控空域資源分配，能夠使機(jī)場資源得到更加科學(xué)合理的利用，將促進(jìn)機(jī)場群協(xié)同發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法及系統(tǒng)。

2、為了解決上述技術(shù)問題，本發(fā)明第一方面提供了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法，包括：

3、對(duì)實(shí)際的機(jī)場群航班運(yùn)行數(shù)據(jù)預(yù)處理，構(gòu)建航班運(yùn)行數(shù)據(jù)集；

4、馬爾科夫過程建模，確定智能體、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、環(huán)境模擬器；

5、構(gòu)建基于dqn的機(jī)場群航班時(shí)刻優(yōu)化模型；

6、利用航班實(shí)際運(yùn)行數(shù)據(jù)集，驗(yàn)證優(yōu)化模型的合理性。

7、本發(fā)明的第二方面提供了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化系統(tǒng)，包括：

8、航班運(yùn)行數(shù)據(jù)集構(gòu)建模塊，用于對(duì)實(shí)際的機(jī)場群航班運(yùn)行數(shù)據(jù)預(yù)處理，構(gòu)建航班運(yùn)行數(shù)據(jù)集；

9、馬爾科夫過程建模模塊，用于進(jìn)行馬爾科夫過程建模，確定智能體、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、環(huán)境模擬器；

10、優(yōu)化模型構(gòu)建模塊，用于構(gòu)建基于dqn的機(jī)場群航班時(shí)刻優(yōu)化模型；

11、合理性驗(yàn)證模塊，用于利用航班實(shí)際運(yùn)行數(shù)據(jù)集，驗(yàn)證優(yōu)化模型的合理性。

12、本發(fā)明的有益效果是：

13、本發(fā)明的基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法使用dqn優(yōu)化航班時(shí)刻表，用深度神經(jīng)網(wǎng)絡(luò)來代替?zhèn)鹘y(tǒng)強(qiáng)化學(xué)習(xí)的表格，結(jié)合了強(qiáng)化學(xué)習(xí)的決策能力與深度學(xué)習(xí)的數(shù)據(jù)分析能力，使得處理大規(guī)模數(shù)據(jù)空間的任務(wù)更加高效；dqn能夠進(jìn)行長期規(guī)劃，考慮未來的獎(jiǎng)勵(lì)，相較于傳統(tǒng)的啟發(fā)式算法能夠更好地避免陷入局部最優(yōu)解，有利于指導(dǎo)現(xiàn)實(shí)航班運(yùn)行時(shí)刻優(yōu)化。

14、本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

15、為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。

技術(shù)特征：

1.一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，包括：

2.如權(quán)利要求1所述的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，

3.如權(quán)利要求2所述的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，

4.如權(quán)利要求3所述的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，

5.如權(quán)利要求4所述的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，

6.如權(quán)利要求5所述的機(jī)場群航班時(shí)刻優(yōu)化方法，其特征在于，

7.一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場群航班時(shí)刻優(yōu)化方法及系統(tǒng)，包括以下步驟：對(duì)實(shí)際的機(jī)場群航班運(yùn)行數(shù)據(jù)預(yù)處理，構(gòu)建航班運(yùn)行數(shù)據(jù)集；馬爾科夫過程建模，確定智能體、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、環(huán)境模擬器；構(gòu)建基于DQN的機(jī)場群航班時(shí)刻優(yōu)化模型；利用航班實(shí)際運(yùn)行數(shù)據(jù)集，驗(yàn)證優(yōu)化模型的合理性。本發(fā)明的機(jī)場群航班時(shí)刻優(yōu)化方法使用DQN優(yōu)化航班時(shí)刻表，用深度神經(jīng)網(wǎng)絡(luò)來代替?zhèn)鹘y(tǒng)強(qiáng)化學(xué)習(xí)的表格，結(jié)合了強(qiáng)化學(xué)習(xí)的決策能力與深度學(xué)習(xí)的數(shù)據(jù)分析能力，使得處理大規(guī)模數(shù)據(jù)空間的任務(wù)更加高效；DQN能夠進(jìn)行長期規(guī)劃，考慮未來的獎(jiǎng)勵(lì)，相較于傳統(tǒng)的啟發(fā)式算法能夠更好地避免陷入局部最優(yōu)解，有利于指導(dǎo)現(xiàn)實(shí)航班運(yùn)行時(shí)刻優(yōu)化。

技術(shù)研發(fā)人員：陳海燕,方馨怡,袁立罡,楊磊,張穎
受保護(hù)的技術(shù)使用者：南京航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21