本發(fā)明涉及城市交通領(lǐng)域，具體地，涉及一種基于時(shí)空patch向量化的交通調(diào)度基礎(chǔ)大模型訓(xùn)練方法及系統(tǒng)。

背景技術(shù)：

1、隨著人口增長(zhǎng)和城市化的加速，城市交通問題變得日益嚴(yán)峻，這不僅影響城市居民的日常出行，也對(duì)環(huán)境和經(jīng)濟(jì)發(fā)展產(chǎn)生了重大影響。城市交通調(diào)度是現(xiàn)代城市管理中的一個(gè)重要領(lǐng)域，其核心目標(biāo)是通過高效的交通流控制，減少交通擁堵，提升道路使用效率，并增強(qiáng)整個(gè)城市發(fā)展的可持續(xù)性。

2、交通調(diào)度的基本原理是通過監(jiān)控和管理交通流來優(yōu)化道路網(wǎng)絡(luò)的使用效率。這通常涉及到使用各種交通管理系統(tǒng)和技術(shù)，如車輛監(jiān)控系統(tǒng)、交通信號(hào)燈控制以及實(shí)時(shí)交通信息服務(wù)等。這些系統(tǒng)通過實(shí)時(shí)收集交通數(shù)據(jù)，分析交通流量和模式，從而為交通管理提供決策支持。

3、當(dāng)前智能城市交通調(diào)度是提升城市交通調(diào)度能力的關(guān)鍵，它使用大數(shù)據(jù)、深度學(xué)習(xí)等技術(shù)，根據(jù)交通攝像頭、交通卡口和遙感設(shè)備等傳感器觀測(cè)到的歷史交通流來預(yù)測(cè)未來的交通狀況(如交通流)，并針對(duì)將會(huì)出現(xiàn)的問題做出交通調(diào)度動(dòng)作如交通信號(hào)燈控制，來確保交通狀況的優(yōu)化改善。

4、深度學(xué)習(xí)方法被用來處理城市交通的高維時(shí)空數(shù)據(jù)，以便更好地提取時(shí)空相關(guān)性特征，進(jìn)行交通流的預(yù)測(cè)和交通調(diào)度。第一類方法是采用長(zhǎng)短期記憶網(wǎng)絡(luò)(long?short-term?memory，lstm)模型應(yīng)用于交通流量預(yù)測(cè)，這樣就有利于捕獲交通流量的長(zhǎng)期時(shí)間相關(guān)性特征以提高交通流量的預(yù)測(cè)精度。第二類方法是卷積長(zhǎng)短期記憶網(wǎng)絡(luò)(convolutionallstm，conv-lstm)模型，將卷積與循環(huán)神經(jīng)網(wǎng)絡(luò)融合來學(xué)習(xí)交通流量預(yù)測(cè)的時(shí)空相關(guān)性。第三類方法是提出時(shí)空殘差網(wǎng)絡(luò)(spatio-temporal?res?idual?network，st-resnet)模型，利用不同殘差單元對(duì)時(shí)間鄰近性、周期性、趨勢(shì)性進(jìn)行建模，預(yù)測(cè)城市區(qū)域的人流量。第四類方法是時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(spat?io-temporal?graph?convolut?ional?network，stgcn)模型，使用一維cnn對(duì)時(shí)間動(dòng)態(tài)相關(guān)性進(jìn)行建模，通過gcn獲取路網(wǎng)的局部空間相關(guān)性。

5、上述關(guān)于當(dāng)前基于時(shí)空深度學(xué)習(xí)的調(diào)度算法存在的缺陷。首先，基于時(shí)空深度學(xué)習(xí)的調(diào)度算法缺乏對(duì)城市進(jìn)行通用建模的基礎(chǔ)模型。當(dāng)前的調(diào)度模型都是針對(duì)特定城市的數(shù)據(jù)進(jìn)行學(xué)習(xí)的場(chǎng)景，不具備通識(shí)的泛化能力。單個(gè)城市的數(shù)據(jù)學(xué)習(xí)出來的算法模型因?yàn)榫哂袕?qiáng)的地域場(chǎng)景特性，往往導(dǎo)致算法不具備可遷移性。其次，基于時(shí)空深度學(xué)習(xí)的調(diào)度算法對(duì)時(shí)空的建模非常樸素，只是把周邊的<空間信息>+<時(shí)間信息>羅列成一維信息，從信息的表達(dá)上來看是離散的，很難表達(dá)出時(shí)空片段的內(nèi)在關(guān)聯(lián)和時(shí)空片段間的相互關(guān)系。第三，現(xiàn)有的算法在時(shí)間屬性上往往采用lstm捕獲其時(shí)間動(dòng)態(tài)相關(guān)性，但是容易發(fā)生梯度爆炸，訓(xùn)練無法充分完成。第四，路網(wǎng)空間相關(guān)性強(qiáng)弱會(huì)隨時(shí)間變化而動(dòng)態(tài)變化，現(xiàn)有的深度學(xué)習(xí)算法也沒有辦法滿足。

6、以上的缺陷會(huì)導(dǎo)致當(dāng)前交通調(diào)度算法的預(yù)測(cè)準(zhǔn)確度受到很大的影響。

7、最近，基礎(chǔ)模型(foundation?model)的出現(xiàn)，包括大型語言模型(llms)如chatgpt，視覺基礎(chǔ)模型(vit)和視頻生成模型sora，已經(jīng)顯著地重塑了人類對(duì)人工智能的研究。這些模型的特點(diǎn)是它們?cè)诖笠?guī)模數(shù)據(jù)集上的廣泛預(yù)訓(xùn)練(pretraining)，使得它們具有了強(qiáng)大的涌現(xiàn)能力，包括上下文推理、復(fù)雜問題解決和zero-shot多任務(wù)適應(yīng)能力。這種能力使基礎(chǔ)模型特別適合解決具有時(shí)空屬性的城市動(dòng)態(tài)復(fù)雜交通問題，包括未來交通流預(yù)測(cè)、交通信號(hào)燈調(diào)度和交通組織規(guī)劃等。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于時(shí)空patch向量化的交通調(diào)度基礎(chǔ)大模型訓(xùn)練方法及系統(tǒng)。

2、根據(jù)本發(fā)明提供的一種基于時(shí)空patch向量化的交通調(diào)度基礎(chǔ)大模型訓(xùn)練方法，包括：

3、步驟s1：輸入城市交通流數(shù)據(jù)，形成交通流數(shù)據(jù)網(wǎng)絡(luò)，將交通流數(shù)據(jù)網(wǎng)絡(luò)patch化；

4、步驟s2：patch通過編碼器編碼，轉(zhuǎn)換為token?group，形成序列token?groups；

5、步驟s3：進(jìn)行transformer模型的訓(xùn)練與預(yù)測(cè)；

6、步驟s4：對(duì)預(yù)測(cè)到的tokens進(jìn)行解碼，面向預(yù)設(shè)任務(wù)進(jìn)行調(diào)整。

7、優(yōu)選地，在所述步驟s1中：

8、輸入城市交通流數(shù)據(jù)，形成具有時(shí)空特性的交通流數(shù)據(jù)網(wǎng)絡(luò)；

9、將城市每個(gè)時(shí)刻的交通數(shù)據(jù)流按照城市的路網(wǎng)結(jié)構(gòu)進(jìn)行組織形成為一個(gè)快照，交通流快照將按照時(shí)間的序列從t0到ti進(jìn)行排列，形成具有時(shí)空信息的交通流數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)；

10、交通流數(shù)據(jù)網(wǎng)絡(luò)patch化：

11、按照空間(h，w)和時(shí)間t對(duì)整個(gè)交通流數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行劃分，劃分統(tǒng)一遵循δh,δw,δt方式，分別從高度、寬度和時(shí)間維度中進(jìn)行劃分，城市時(shí)空交通流數(shù)據(jù)被劃分為n塊，過程被稱為patch化。

12、優(yōu)選地，在所述步驟s2中：

13、patch通過encoding，轉(zhuǎn)換為token?group，形成序列token?groups：

14、將每個(gè)patch通過編碼器encoder編碼，編碼器為堆疊的三維卷積神經(jīng)網(wǎng)絡(luò)，每次卷積縮小輸入的空間時(shí)間尺寸，增加通道尺寸，通過全連接轉(zhuǎn)換為一維的編碼token：

15、

16、其中e()為編碼器，xi為交通數(shù)據(jù)的第i個(gè)patch，為第i個(gè)patch的編碼結(jié)果，dim為編碼長(zhǎng)度，r(dim,1)是token所在的空間r；

17、在原圖中，同一空間平面上的patch為一組，將對(duì)應(yīng)的token組成token?group；

18、

19、其中，nh為交通數(shù)據(jù)高度劃分次數(shù)nh＝h/δh，nw為交通數(shù)據(jù)寬度劃分次數(shù)nw＝w/δw；

20、token?group具有時(shí)空屬性，分別從高度、寬度和時(shí)間維度中進(jìn)行token的提取，所有的patch形成序列化的tokens，提供給模型訓(xùn)練；

21、按照這種token編碼方式，將具有時(shí)空一致性的交通流數(shù)據(jù)進(jìn)行統(tǒng)一編碼，提供給生成式模型進(jìn)行訓(xùn)練。

22、優(yōu)選地，在所述步驟s3中：

23、模型的訓(xùn)練按照transformer架構(gòu)進(jìn)行訓(xùn)練：

24、transformer由歸一化層norm，多頭自注意力層msa和全連接層mlp組成，輸入編碼為輸出編碼為向后傳播的過程為：

25、

26、

27、其中，nt為交通數(shù)據(jù)時(shí)間劃分次數(shù)nt＝t/δt，為第l個(gè)網(wǎng)絡(luò)模塊在第i個(gè)token位置的輸出，l為transofrmer網(wǎng)絡(luò)模塊數(shù)量，為第l個(gè)網(wǎng)絡(luò)模塊在第i個(gè)token位置的中間變量，l為網(wǎng)絡(luò)模塊序號(hào)；

28、transformer架構(gòu)進(jìn)行模型的訓(xùn)練準(zhǔn)備訓(xùn)練數(shù)據(jù)，根據(jù)全國各個(gè)城市的地圖，為每個(gè)城市構(gòu)建交通模擬器生成交通流數(shù)據(jù)。

29、優(yōu)選地，在所述步驟s4中：

30、對(duì)預(yù)測(cè)到的tokens進(jìn)行解碼，獲得在某個(gè)時(shí)空上的交通流量預(yù)測(cè)、交通調(diào)度動(dòng)作預(yù)測(cè)以及未來的交通組織優(yōu)化；

31、解碼器由歸一化層和線性層組成，輸入編碼為輸出值為y，y的尺寸由下游任務(wù)決定，具體的解碼過程為：

32、

33、其中，d為解碼器，由歸一化層和線性層組成；

34、有了基于多個(gè)城市多樣化的數(shù)據(jù)訓(xùn)練的交通基礎(chǔ)大模型，在針對(duì)特定的城市或者特定任務(wù)時(shí)，基于交通基礎(chǔ)大模型，收集相應(yīng)城市的真實(shí)交通流數(shù)據(jù)進(jìn)行調(diào)整；

35、對(duì)于流量預(yù)測(cè)，將最后若干組token?group解碼得到的結(jié)果和未來時(shí)刻的車流量計(jì)算均方根誤差，優(yōu)化模型后實(shí)現(xiàn)流量預(yù)測(cè)，對(duì)于擁堵識(shí)別，將所有token?group解碼得到的結(jié)果和當(dāng)前的擁堵指標(biāo)計(jì)算均方根誤差，優(yōu)化模型后實(shí)現(xiàn)擁堵識(shí)別；

36、對(duì)于信號(hào)燈配時(shí)方案以及道路規(guī)劃，最后若干組token?group解碼得到的結(jié)果當(dāng)作行為，與外來時(shí)刻的觀測(cè)值結(jié)合現(xiàn)實(shí)含義計(jì)算得分優(yōu)化模型，解碼得到下一時(shí)刻的和紅綠燈方案，結(jié)合下一時(shí)刻的路口等待數(shù)量，計(jì)算出下一時(shí)刻路口同行率，通過最大化同行率訓(xùn)練模型。

37、根據(jù)本發(fā)明提供的一種基于時(shí)空patch向量化的交通調(diào)度基礎(chǔ)大模型訓(xùn)練系統(tǒng)，包括：

38、模塊m1：輸入城市交通流數(shù)據(jù)，形成交通流數(shù)據(jù)網(wǎng)絡(luò)，將交通流數(shù)據(jù)網(wǎng)絡(luò)patch化；

39、模塊m2：patch通過編碼器編碼，轉(zhuǎn)換為token?group，形成序列token?groups；

40、模塊m3：進(jìn)行transformer模型的訓(xùn)練與預(yù)測(cè)；

41、模塊m4：對(duì)預(yù)測(cè)到的tokens進(jìn)行解碼，面向預(yù)設(shè)任務(wù)進(jìn)行調(diào)整。

42、優(yōu)選地，在所述模塊m1中：

43、輸入城市交通流數(shù)據(jù)，形成具有時(shí)空特性的交通流數(shù)據(jù)網(wǎng)絡(luò)；

44、將城市每個(gè)時(shí)刻的交通數(shù)據(jù)流按照城市的路網(wǎng)結(jié)構(gòu)進(jìn)行組織形成為一個(gè)快照，交通流快照將按照時(shí)間的序列從t0到ti進(jìn)行排列，形成具有時(shí)空信息的交通流數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)；

45、交通流數(shù)據(jù)網(wǎng)絡(luò)patch化：

46、按照空間(h，w)和時(shí)間t對(duì)整個(gè)交通流數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行劃分，劃分統(tǒng)一遵循δh,δw,δt方式，分別從高度、寬度和時(shí)間維度中進(jìn)行劃分，城市時(shí)空交通流數(shù)據(jù)被劃分為n塊，過程被稱為patch化。

47、優(yōu)選地，在所述模塊m2中：

48、patch通過encoding，轉(zhuǎn)換為token?group，形成序列token?groups：

49、將每個(gè)patch通過編碼器encoder編碼，編碼器為堆疊的三維卷積神經(jīng)網(wǎng)絡(luò)，每次卷積縮小輸入的空間時(shí)間尺寸，增加通道尺寸，通過全連接轉(zhuǎn)換為一維的編碼token：

50、

51、其中e()為編碼器，xi為交通數(shù)據(jù)的第i個(gè)patch，為第i個(gè)patch的編碼結(jié)果，dim為編碼長(zhǎng)度，r(dim,1)是token所在的空間r；

52、在原圖中，同一空間平面上的patch為一組，將對(duì)應(yīng)的token組成token?group；

53、

54、其中，nh為交通數(shù)據(jù)高度劃分次數(shù)nh＝h/δh，nw為交通數(shù)據(jù)寬度劃分次數(shù)nw＝w/δw；

55、token?group具有時(shí)空屬性，分別從高度、寬度和時(shí)間維度中進(jìn)行token的提取，所有的patch形成序列化的tokens，提供給模型訓(xùn)練；

56、按照這種token編碼方式，將具有時(shí)空一致性的交通流數(shù)據(jù)進(jìn)行統(tǒng)一編碼，提供給生成式模型進(jìn)行訓(xùn)練。

57、優(yōu)選地，在所述模塊m3中：

58、模型的訓(xùn)練按照transformer架構(gòu)進(jìn)行訓(xùn)練：

59、transformer由歸一化層norm，多頭自注意力層msa和全連接層mlp組成，輸入編碼為輸出編碼為向后傳播的過程為：

60、

61、

62、其中，nt為交通數(shù)據(jù)時(shí)間劃分次數(shù)nt＝t/δt，為第l個(gè)網(wǎng)絡(luò)模塊在第i個(gè)token位置的輸出，l為transofrmer網(wǎng)絡(luò)模塊數(shù)量，為第l個(gè)網(wǎng)絡(luò)模塊在第i個(gè)token位置的中間變量，l為網(wǎng)絡(luò)模塊序號(hào)；

63、transformer架構(gòu)進(jìn)行模型的訓(xùn)練準(zhǔn)備訓(xùn)練數(shù)據(jù)，根據(jù)全國各個(gè)城市的地圖，為每個(gè)城市構(gòu)建交通模擬器生成交通流數(shù)據(jù)。

64、優(yōu)選地，在所述模塊m4中：

65、對(duì)預(yù)測(cè)到的tokens進(jìn)行解碼，獲得在某個(gè)時(shí)空上的交通流量預(yù)測(cè)、交通調(diào)度動(dòng)作預(yù)測(cè)以及未來的交通組織優(yōu)化；

66、解碼器由歸一化層和線性層組成，輸入編碼為輸出值為y，y的尺寸由下游任務(wù)決定，具體的解碼過程為：

67、

68、其中，d為解碼器，由歸一化層和線性層組成；

69、有了基于多個(gè)城市多樣化的數(shù)據(jù)訓(xùn)練的交通基礎(chǔ)大模型，在針對(duì)特定的城市或者特定任務(wù)時(shí)，基于交通基礎(chǔ)大模型，收集相應(yīng)城市的真實(shí)交通流數(shù)據(jù)進(jìn)行調(diào)整；

70、對(duì)于流量預(yù)測(cè)，將最后若干組token?group解碼得到的結(jié)果和未來時(shí)刻的車流量計(jì)算均方根誤差，優(yōu)化模型后實(shí)現(xiàn)流量預(yù)測(cè)，對(duì)于擁堵識(shí)別，將所有token?group解碼得到的結(jié)果和當(dāng)前的擁堵指標(biāo)計(jì)算均方根誤差，優(yōu)化模型后實(shí)現(xiàn)擁堵識(shí)別；

71、對(duì)于信號(hào)燈配時(shí)方案以及道路規(guī)劃，最后若干組token?group解碼得到的結(jié)果當(dāng)作行為，與外來時(shí)刻的觀測(cè)值結(jié)合現(xiàn)實(shí)含義計(jì)算得分優(yōu)化模型，解碼得到下一時(shí)刻的和紅綠燈方案，結(jié)合下一時(shí)刻的路口等待數(shù)量，計(jì)算出下一時(shí)刻路口同行率，通過最大化同行率訓(xùn)練模型。

72、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

73、本發(fā)明將當(dāng)前語言基礎(chǔ)大模型訓(xùn)練優(yōu)勢(shì)應(yīng)用到城市交通場(chǎng)景上，構(gòu)建一個(gè)交通基礎(chǔ)大模型，充分利用transformer模型的注意力機(jī)制，解決傳統(tǒng)深度學(xué)習(xí)在交通預(yù)測(cè)和調(diào)度問題上的缺陷，有效進(jìn)行交通調(diào)度。