本發(fā)明屬于但不限于氣象，尤其涉及一種基于無人機視頻的降水定量估計方法及系統(tǒng)。

背景技術(shù)：

1、近年來，無人機在城市監(jiān)管、快遞運輸、軍事作戰(zhàn)等領(lǐng)域扮演著愈發(fā)重要的角色。無人機外賣配送、快遞運輸?shù)刃屡d應(yīng)用成為城市低空經(jīng)濟發(fā)展的重要內(nèi)容。無人機飛行對天氣條件的要求極高，特別是降水、橫風(fēng)的出現(xiàn)，極易導(dǎo)致無人機抖動、偏移、甚至跌落，產(chǎn)生不可預(yù)測的意外破壞。特別地，受城市區(qū)域人類活動、微地形等因素影響，“熱島”、“雨島”現(xiàn)象頻發(fā)，精細(xì)、實時的天氣信息對無人機飛行、調(diào)度、規(guī)劃愈發(fā)重要。當(dāng)前，無人機所使用的氣象數(shù)據(jù)主要源自常規(guī)手段（包括地面氣象站、雷達/衛(wèi)星遙感觀測）所發(fā)布的結(jié)果。但這些手段難以滿足無人機城區(qū)運行對高分辨率降水?dāng)?shù)據(jù)的需求。

2、基于地表雨量站的觀測雖然可以實時、準(zhǔn)確的提供點降水信息，但現(xiàn)在城市區(qū)域的雨量站數(shù)量稀疏且維護成本高，難以提供高空間分辨率的氣象信息；與此同時，地基雷達、衛(wèi)星等遙感觀測作為氣象觀測的主要手段，受衛(wèi)星重訪/雷達掃描周期的影響，觀測數(shù)據(jù)的獲取、解譯處理具有較長的延遲，難以快速提供天氣變化情況。

3、鑒于上述分析，現(xiàn)有技術(shù)存在的急需解決的技術(shù)問題為：現(xiàn)在城市區(qū)域的雨量站數(shù)量稀疏且維護成本高，難以提供高空間分辨率的氣象信息；與此同時，地基雷達、衛(wèi)星等遙感觀測作為氣象觀測的主要手段，受衛(wèi)星重訪/雷達掃描周期的影響，觀測數(shù)據(jù)的獲取、解譯處理具有較長的延遲，難以快速、準(zhǔn)確的感知無人機所處區(qū)域變化情況。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于無人機視頻的降水定量估計方法及系統(tǒng)，以無人機自帶的視覺傳感器為突破口，采用計算機視覺、深度學(xué)習(xí)等方法，建立基于無人機視頻的降水定量估計方法，該方法充分利用無人機自載的感知和計算資源，在無人機終端實現(xiàn)周邊區(qū)域降水事件的感知。本發(fā)明實現(xiàn)了無人機對飛行區(qū)降水信息的自給自足，具有實時、靈敏、高效的優(yōu)勢，有效緩解了對高質(zhì)量降水?dāng)?shù)據(jù)的迫切需求，為提高無人機安全飛行、飛行路徑規(guī)劃、任務(wù)管理等提供技術(shù)支持。

2、本發(fā)明是這樣實現(xiàn)的，一種基于無人機視頻的降水定量估計方法，包括：

3、s1，無人機狀態(tài)初始化；獲取無人機坐標(biāo)（包括經(jīng)度、緯度、飛行高度）、無人機攝像頭的視頻流；

4、s2，無人機視頻預(yù)處理對無人機視頻進行下采樣操作，采樣后無人機視頻的圖像分辨率降低至300×300，通過下采樣減少后續(xù)圖像處理和計算的能耗；

5、s3，降水的圖像空間特征提取模型：為防止模型過大導(dǎo)致的無人機計算、能量消耗過度。本發(fā)明采用mobilenetv2深度學(xué)習(xí)模型作為圖像空間特征提取的基礎(chǔ)框架；

6、s4，降水的時序變化特征提取模型：以所得的圖像空間特征為輸入，通過bi-lstm層挖掘降水的時序變化特征；bi-lstm通過使用兩個獨立的lstm網(wǎng)絡(luò)處理前向和后向的順序數(shù)據(jù)；

7、s5，無人機視頻降水量化模型：用4個全連接層將降水空間特征與降水時序特征相融合，使用線性回歸實現(xiàn)降水強度的回歸；獲取降水強度后，通過計算的降雨強度與持續(xù)時間相乘，獲得累計降水量；

8、s6，模型的訓(xùn)練數(shù)據(jù)集制作：為了所構(gòu)建深度學(xué)習(xí)模型的訓(xùn)練與測試構(gòu)建一套降水無人機視頻數(shù)據(jù)集；

9、s7，降水信息發(fā)布與管理：通過自身的4g/5g通信模塊，將位置、降水強度、降水量信息反饋給決策中心，決策中心根據(jù)降水情況采取下一步行動。

10、進一步，s3具體包括：

11、（1）使用imagenet公開數(shù)據(jù)集對mobilenetv2進行預(yù)訓(xùn)練；

12、（2）對mobilenetv2網(wǎng)絡(luò)的后40層進行微調(diào)訓(xùn)練，使得模型學(xué)習(xí)到更多關(guān)于降水在無人機圖像中的特征；

13、（3）為了保證模型處理的實時性，使用時間序列進行一系列張量運算,即將mobilenet模型作為參數(shù)傳遞給timedistributed層。使不同層的特征圖共享權(quán)重；

14、進一步，s4中每個lstm單元包括：輸入門、輸出門和遺忘門，以此控制信息流；前向lstm從頭到尾處理序列，而后向lstm從頭到尾處理序列。然后連接兩個網(wǎng)絡(luò)的輸出以產(chǎn)生最終預(yù)測；與此同時，通過添加dropout層、batch?normalized層解決模型訓(xùn)練過程中會出現(xiàn)的過擬合問題。

15、本發(fā)明的另一目的在于提供一種實現(xiàn)所述基于無人機視頻的降水定量估計方法的基于無人機視頻的降水定量估計系統(tǒng)，包括：

16、無人機狀態(tài)初始化模塊，獲取無人機坐標(biāo)（包括經(jīng)度、緯度、飛行高度）、無人機攝像頭的視頻流；

17、無人機視頻預(yù)處理模塊，對無人機視頻進行下采樣操作，采樣后無人機視頻的圖像分辨率降低至300×300，通過下采樣減少后續(xù)圖像處理和計算的能耗；

18、圖像空間特征提取模型建立模塊：為防止模型過大導(dǎo)致的無人機計算、能量消耗過度，采用mobilenetv2深度學(xué)習(xí)模型作為圖像空間特征提取的基礎(chǔ)框架；

19、時序變化特征提取模型：以所得的圖像空間特征為輸入，通過bi-lstm層挖掘降水的時序變化特征；bi-lstm通過使用兩個獨立的lstm網(wǎng)絡(luò)處理前向和后向的順序數(shù)據(jù)；

20、無人機視頻降水量化模型建立模塊：用4個全連接層將降水空間特征與降水時序特征相融合，使用線性回歸實現(xiàn)降水強度的回歸；獲取降水強度后，通過計算的降雨強度與持續(xù)時間相乘，獲得累計降水量；

21、模型的訓(xùn)練數(shù)據(jù)集制作模塊：為了所構(gòu)建深度學(xué)習(xí)模型的訓(xùn)練與測試構(gòu)建一套降水無人機視頻數(shù)據(jù)集；

22、降水信息發(fā)布與管理模塊：通過自身的4g/5g通信模塊，將位置、降水強度、降水量信息反饋給決策中心，決策中心根據(jù)降水情況采取下一步行動。

23、本發(fā)明的另一目的在于提供一種計算機設(shè)備，計算機設(shè)備包括存儲器和處理器，存儲器存儲有計算機程序，計算機程序被處理器執(zhí)行時，使得處理器執(zhí)行所述的基于無人機視頻的降水定量估計方法的步驟。

24、本發(fā)明的另一目的在于提供一種計算機可讀存儲介質(zhì)，存儲有計算機程序，計算機程序被處理器執(zhí)行時，使得處理器執(zhí)行所述的基于無人機視頻的降水定量估計方法的步驟。

25、本發(fā)明的另一目的在于提供一種信息數(shù)據(jù)處理終端，信息數(shù)據(jù)處理終端包括所述的基于無人機視頻的降水定量估計系統(tǒng)。

26、第一、本發(fā)明的基于無人機自身攜帶的視頻傳感器實現(xiàn)對降水的感知，無需額外的硬件設(shè)備投入，成本較低；通過視頻實時解譯降水信息，實現(xiàn)了降水信息的自給自足，省略了接收常規(guī)氣象觀測手段測量結(jié)果的環(huán)節(jié)，極大提高了降水信息獲取的實時性、準(zhǔn)確性，從而改進無人機在任務(wù)調(diào)度、風(fēng)險評估、路線規(guī)劃等作業(yè)時的效率與準(zhǔn)確性；提出新的深度學(xué)習(xí)模型，該模型將cnn和bi-lstm相結(jié)合，有效挖掘無人機視頻中降水的時空信息，實現(xiàn)對降雨強度進行準(zhǔn)確計算，適用于復(fù)雜、多樣的拍攝背景，具有強穩(wěn)定性、可靠性。

27、針對無人機計算、續(xù)航等資源有限的特點，提出的輕量深度學(xué)習(xí)降水量化，內(nèi)存占用小、計算消耗低、適合移動端使用。

28、第二，本發(fā)明的技術(shù)方案轉(zhuǎn)化后的預(yù)期收益和商業(yè)價值為：

29、本發(fā)明實現(xiàn)了無人機對周邊降水信息的自給自足，發(fā)明的實現(xiàn)無需額外的硬件安裝，具有成本低、實現(xiàn)簡單、即插即用的特點，特別是當(dāng)下無人機在日常生活、經(jīng)濟發(fā)展中充當(dāng)越來越多的重要角色，本發(fā)明對提升無人機安全出行、促進低空經(jīng)濟的發(fā)展具有重要的積極作用。

30、本發(fā)明創(chuàng)新性的從無人機自身拍攝的視頻出發(fā)，研制降水的定量估計方法，為無人機的飛行、規(guī)劃、決策提供支持。因無需額外的硬件設(shè)施，因此具有低成本、實時動態(tài)等優(yōu)勢，在國內(nèi)外尚未出現(xiàn)同類工作。

31、降水對無人機飛行安全影響巨大，本發(fā)明解決了如何實時、動態(tài)、高分辨率的感知無人機飛行區(qū)域降水信息的痛點問題。

32、第三，本發(fā)明的技術(shù)方案解決了現(xiàn)有降水定量估計方法中存在的多個技術(shù)問題，并取得了顯著的技術(shù)進步。

33、首先，傳統(tǒng)降水測量方法往往依賴于地面氣象站或雷達設(shè)備，但這些方法在空間覆蓋和實時性方面存在局限。本發(fā)明通過利用無人機視頻進行降水定量估計，有效擴展了降水監(jiān)測的范圍，并提高了數(shù)據(jù)獲取的實時性。無人機能夠靈活飛行至特定區(qū)域進行觀測，從而提供更全面、更及時的降水信息。

34、其次，本發(fā)明通過采用mobilenetv2深度學(xué)習(xí)模型作為圖像空間特征提取的基礎(chǔ)框架，解決了模型過大導(dǎo)致的無人機計算和能量消耗過度的問題。mobilenetv2模型具有輕量級的特點，能夠在保持較高性能的同時，降低計算復(fù)雜度和能耗，非常適合在資源受限的無人機平臺上運行。

35、此外，本發(fā)明還通過結(jié)合bi-lstm層來挖掘降水的時序變化特征，進一步提高了降水定量估計的準(zhǔn)確性。bi-lstm能夠處理前向和后向的順序數(shù)據(jù)，有效捕捉降水過程中的時間依賴性，使得模型能夠更好地理解和預(yù)測降水的動態(tài)變化。

36、最后，本發(fā)明通過4g/5g通信模塊實時發(fā)布和管理降水信息，為決策中心提供了及時、準(zhǔn)確的降水?dāng)?shù)據(jù)支持。這有助于決策中心根據(jù)降水情況采取針對性的措施，如防洪排澇、農(nóng)業(yè)灌溉等，從而保障社會安全和農(nóng)業(yè)生產(chǎn)。

37、綜上所述，本發(fā)明的技術(shù)方案通過結(jié)合無人機視頻、深度學(xué)習(xí)模型和通信技術(shù)，實現(xiàn)了對降水的精準(zhǔn)定量估計和實時信息發(fā)布，為氣象監(jiān)測和應(yīng)急管理領(lǐng)域帶來了顯著的技術(shù)進步。