本發(fā)明屬于海洋環(huán)境測量，具體為一種多功能海洋環(huán)境集成測量技術(shù)。

背景技術(shù)：

1、海洋環(huán)境集成測量是一種綜合性的海洋環(huán)境觀測技術(shù)，通過集成多種海洋觀測設備和儀器，實現(xiàn)對海洋環(huán)境的全方位、多參數(shù)、高精度的測量。海洋環(huán)境集成測量技術(shù)在我國海洋科學研究、海洋資源開發(fā)、海洋環(huán)境保護等領域具有廣泛的應用前景。海洋環(huán)境集成測量系統(tǒng)主要包括以下幾個部分：一是海洋物理環(huán)境測量，包括海洋水溫、鹽度、流速、流向等參數(shù)的測量；二是海洋化學環(huán)境測量，包括溶解氧、ph值、營養(yǎng)鹽、有害物質(zhì)等參數(shù)的測量；三是海洋生物環(huán)境測量，包括海洋生物種類、數(shù)量、分布等參數(shù)的測量；四是海洋地質(zhì)環(huán)境測量，包括海底地形、沉積物、地磁場等參數(shù)的測量。

2、但是現(xiàn)有常見的測量方法由于采集到的數(shù)據(jù)過于龐大，從而影響了數(shù)據(jù)處理的速度，使得數(shù)據(jù)不能夠在不同的系統(tǒng)和服務之間無縫傳輸。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于：為了解決上述提出的問題，提供一種多功能海洋環(huán)境集成測量技術(shù)。

2、本發(fā)明采用的技術(shù)方案如下：一種多功能海洋環(huán)境集成測量技術(shù)，所述集成測量技術(shù)包括：電源供電模塊、海洋數(shù)據(jù)采集模塊、無線數(shù)據(jù)傳輸模塊、海洋數(shù)據(jù)處理模塊、人機交互模塊和數(shù)據(jù)分析導出模塊；

3、所述電源供電模塊的輸出端連接有所述海洋數(shù)據(jù)采集模塊的輸入端，所述海洋數(shù)據(jù)采集模塊的輸出端連接有所述無線數(shù)據(jù)傳輸模塊的輸入端，所述無線數(shù)據(jù)傳輸模塊的輸出端連接有所述海洋數(shù)據(jù)處理模塊的輸入端，所述海洋數(shù)據(jù)處理模塊的輸出端連接有所述人機交互模塊的輸入端，所述人機交互模塊的輸出端連接有所述數(shù)據(jù)分析導出模塊的輸入端；

4、所述海洋數(shù)據(jù)采集模塊的內(nèi)部設置有海洋化學傳感器模塊和海洋物理傳感器模塊；

5、所述海洋數(shù)據(jù)處理模塊的內(nèi)部設置有數(shù)據(jù)轉(zhuǎn)換模塊、數(shù)據(jù)清洗模塊和數(shù)據(jù)標準化模塊；

6、所述電源供電模塊為整個系統(tǒng)提供穩(wěn)定的能源。所述電源供電模塊利用太陽能板、風力渦輪或電池等能源。所述電源供電模塊負責為系統(tǒng)提供持續(xù)穩(wěn)定的電力，確保系統(tǒng)長期運行。

7、在一優(yōu)選的實施方式中，所述海洋化學傳感器模塊為ysi?3100鹽度傳感器；ysi3100傳感器通過內(nèi)置的電導率和溫度傳感器來測量海水的電導率和溫度；通過測量水的電導率和溫度，ysi?3100可以根據(jù)已知的溫度和電導率之間的關(guān)系來計算出海水的鹽度。

8、在一優(yōu)選的實施方式中，所述海洋物理傳感器模塊的內(nèi)部設置有風速和風向傳感器，選型三杯式風速計或超聲波風速計；三杯式風速計是一種機械式傳感器，通過測量杯子旋轉(zhuǎn)的速度來確定風速；超聲波風速計則通過測量聲波在風流中的傳播時間來確定風速和風向，通常更加精確且無需維護；

9、所述海洋物理傳感器模塊的內(nèi)部設置有mems氣壓傳感器；

10、所述海洋物理傳感器模塊的內(nèi)部設置有電容式濕度傳感器；

11、所述海洋物理傳感器模塊的內(nèi)部設置有聲學多普勒流速剖面儀流速傳感器，聲學多普勒流速剖面儀使用聲學多普勒效應來測量水中的流速和流向。

12、在一優(yōu)選的實施方式中，所述無線數(shù)據(jù)傳輸模塊將采集到的數(shù)據(jù)發(fā)送到地面站或數(shù)據(jù)中心。所述無線數(shù)據(jù)傳輸模塊通過衛(wèi)星通信、無線電通信或水下聲學通信系統(tǒng)傳輸數(shù)據(jù)。所述無線數(shù)據(jù)傳輸模塊將數(shù)據(jù)從傳感器傳輸?shù)綌?shù)據(jù)傳輸模塊，再由數(shù)據(jù)傳輸模塊發(fā)送到預定的接收設備。

13、在一優(yōu)選的實施方式中，所述數(shù)據(jù)轉(zhuǎn)換模塊包括以下幾個步驟：

14、創(chuàng)建spark?context和spark?session：首先需要創(chuàng)建spark?context對應于rdd編程接口，作為與spark集群通信的入口；

15、讀取海洋環(huán)境集成測量數(shù)據(jù)：使用spark提供的api從海洋環(huán)境集成測量數(shù)據(jù)源中讀取海洋環(huán)境集成測量數(shù)據(jù)，可以將海洋環(huán)境集成測量數(shù)據(jù)加載到rdd、data?frame或dataset中進行處理；

16、海洋環(huán)境集成測量數(shù)據(jù)轉(zhuǎn)換：通過調(diào)用各種轉(zhuǎn)換操作，對海洋環(huán)境集成測量數(shù)據(jù)進行處理和轉(zhuǎn)換；常見的轉(zhuǎn)換操作包括map、filter、reduce、join、group?by等；這些操作可以被串聯(lián)起來形成一個海洋環(huán)境集成測量數(shù)據(jù)處理流水線；

17、緩存海洋環(huán)境集成測量數(shù)據(jù)：如果某些海洋環(huán)境集成測量數(shù)據(jù)需要被多次使用，可以使用cache或persist方法將海洋環(huán)境集成測量數(shù)據(jù)緩存在內(nèi)存中，以提高后續(xù)操作的性能；

18、執(zhí)行海洋環(huán)境集成測量數(shù)據(jù)轉(zhuǎn)換：在調(diào)用轉(zhuǎn)換操作之前，spark只會構(gòu)建海洋環(huán)境集成測量數(shù)據(jù)處理的邏輯計劃，并不會立即執(zhí)行；當遇到一個行動操作時，spark才會觸發(fā)實際的作業(yè)執(zhí)行；

19、行動操作：最終的海洋環(huán)境集成測量數(shù)據(jù)轉(zhuǎn)換結(jié)果可以通過行動操作來觸發(fā)實際的計算過程，并將結(jié)果返回給驅(qū)動程序或?qū)懭胪獠看鎯ο到y(tǒng)；

20、保存結(jié)果：最后，可以將轉(zhuǎn)換后的結(jié)果保存回外部存儲系統(tǒng)，如文件系統(tǒng)、海洋環(huán)境集成測量數(shù)據(jù)庫等，以便后續(xù)的分析和應用重用；

21、關(guān)閉spark?context或spark?session：在完成所有操作后，記得關(guān)閉sparkcontext或sparksession，釋放資源。

22、在一優(yōu)選的實施方式中，所述數(shù)據(jù)清洗模塊包括：云計算服務器利用預先建立的分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗算法清洗目標分布式文件海洋環(huán)境集成測量數(shù)據(jù)，得到第一分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗結(jié)果；根據(jù)第一分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗結(jié)果和第二分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗結(jié)果訓練分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗算法，得到更新的分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗算法以用于下次分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗；其中，第二分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗結(jié)果是以人工方式清洗目標分布式文件海洋環(huán)境集成測量數(shù)據(jù)得到的分布式文件海洋環(huán)境集成測量數(shù)據(jù)清洗結(jié)果。

23、在一優(yōu)選的實施方式中，所述數(shù)據(jù)標準化模塊使用得分標準化將海洋環(huán)境集成測量數(shù)據(jù)轉(zhuǎn)換為具有零均值和單位方差的形式；具體步驟如下：

24、s1.計算均值和標準差：對于每個特征，計算其均值和標準差；

25、s2.應用變換公式：對于海洋環(huán)境集成測量數(shù)據(jù)集中的每個特征值x，使用以下公式進行變換：

26、

27、其中，xstd是變換后的值；

28、s3.變換海洋環(huán)境集成測量數(shù)據(jù)集：將上述變換應用到整個海洋環(huán)境集成測量數(shù)據(jù)集的每個特征上；經(jīng)過z得分標準化后，每個特征的均值為0，標準差為1，海洋環(huán)境集成測量數(shù)據(jù)集的分布將類似于標準正態(tài)分布。

29、在一優(yōu)選的實施方式中，所述海洋數(shù)據(jù)處理模塊對于處理之后的數(shù)據(jù)使用數(shù)據(jù)處理系統(tǒng)對數(shù)據(jù)進行分析，具體包括：

30、探索性數(shù)據(jù)分析：對數(shù)據(jù)進行初步的統(tǒng)計分析，包括計算均值、中位數(shù)、標準差等。通過繪制圖表和圖形來觀察數(shù)據(jù)分布和趨勢。

31、統(tǒng)計分析：應用統(tǒng)計模型和假設檢驗來分析數(shù)據(jù)，如t檢驗、方差分析等。評估數(shù)據(jù)之間的關(guān)系，如相關(guān)性分析。

32、模式識別：使用聚類分析機器學習算法或模式識別技術(shù)來識別數(shù)據(jù)中的特定模式或事件。

33、趨勢分析：分析數(shù)據(jù)隨時間的變化趨勢，以識別長期變化或季節(jié)性模式。應用時間序列分析或回歸分析來預測未來的趨勢。

34、在一優(yōu)選的實施方式中，所述人機交互模塊的內(nèi)部設置有以下模塊：

35、用戶界面模塊：提供一個直觀、易操作的用戶界面，用于顯示數(shù)據(jù)和系統(tǒng)狀態(tài)，以及接收用戶指令。

36、實時數(shù)據(jù)顯示模塊：包括溫度、鹽度、溶解氧、流速流向等參數(shù)的實時數(shù)據(jù)和歷史趨勢圖。

37、系統(tǒng)狀態(tài)監(jiān)控模塊：顯示能源狀態(tài)、傳感器狀態(tài)、通信狀態(tài)等。

38、控制面板模塊：允許用戶手動控制系統(tǒng)的運行，如啟動/停止數(shù)據(jù)采集，配置采集頻率等。

39、配置設置模塊：允許用戶根據(jù)需求調(diào)整系統(tǒng)參數(shù)。

40、數(shù)據(jù)管理模塊：提供數(shù)據(jù)的導入、導出、存儲、搜索和查看功能。

41、數(shù)據(jù)備份與恢復模塊：確保數(shù)據(jù)安全，防止數(shù)據(jù)丟失。

42、報警和通知系統(tǒng)模塊：在系統(tǒng)出現(xiàn)異?；蜻_到預設閾值時，向用戶發(fā)出警告。設計：聲音、視覺和電子郵件通知系統(tǒng)。

43、多用戶訪問控制：支持多個用戶同時訪問，不同用戶權(quán)限可控。

44、在一優(yōu)選的實施方式中，所述數(shù)據(jù)分析導出模塊包括：

45、數(shù)據(jù)分析模塊：對預處理后的數(shù)據(jù)進行統(tǒng)計分析、趨勢分析和模式識別。集成的數(shù)據(jù)分析工具，支持自定義分析和預設分析模板。提供均值、中位數(shù)、標準差等統(tǒng)計量。展示數(shù)據(jù)隨時間的變化趨勢。

46、數(shù)據(jù)導出模塊：將處理后的數(shù)據(jù)導出為多種格式，以便于進一步分析或共享；導出工具支持用戶選擇導出的數(shù)據(jù)范圍和數(shù)據(jù)格式。格式支持csv、xml、json、netcdf常用數(shù)據(jù)格式。

47、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

48、1、本發(fā)明中，海洋數(shù)據(jù)處理模塊確保了從海洋數(shù)據(jù)采集模塊接收到的原始數(shù)據(jù)能夠被正確地轉(zhuǎn)換、清洗和標準化。數(shù)據(jù)轉(zhuǎn)換模塊通過創(chuàng)建spark?context和spark?session，利用spark這一強大的數(shù)據(jù)處理框架，能夠高效地從各種數(shù)據(jù)源中讀取和處理數(shù)據(jù)。這一步驟不僅提高了數(shù)據(jù)處理的速度，還確保了數(shù)據(jù)能夠在不同的系統(tǒng)和服務之間無縫傳輸。數(shù)據(jù)清洗模塊則負責去除采集過程中產(chǎn)生的錯誤數(shù)據(jù)、異常值和不完整記錄，從而提高數(shù)據(jù)的質(zhì)量。通過云計算服務器和分布式文件系統(tǒng)，該模塊能夠快速地處理大量數(shù)據(jù)，并使用機器學習和人工監(jiān)督相結(jié)合的方法來優(yōu)化清洗算法，確保數(shù)據(jù)的準確性和一致性。數(shù)據(jù)標準化模塊則將清洗后的數(shù)據(jù)轉(zhuǎn)換為具有統(tǒng)一格式和分布的數(shù)據(jù)集，這對于后續(xù)的數(shù)據(jù)分析和模式識別至關(guān)重要。通過z得分標準化，海洋環(huán)境集成測量數(shù)據(jù)集的每個特征都被調(diào)整到具有零均值和單位方差，使得數(shù)據(jù)分布類似于標準正態(tài)分布，便于進行統(tǒng)計分析和模型建立。此外，海洋數(shù)據(jù)處理模塊還負責對處理后的數(shù)據(jù)進行深入地分析，包括探索性數(shù)據(jù)分析、統(tǒng)計分析、模式識別和趨勢分析。這些分析有助于從數(shù)據(jù)中提取有價值的信息，為海洋科學研究、資源管理和環(huán)境保護提供決策支持。

49、2、本發(fā)明中，人機交互模塊則確保了用戶能夠方便地訪問和處理數(shù)據(jù)，通過實時數(shù)據(jù)顯示、系統(tǒng)狀態(tài)監(jiān)控、控制面板和配置設置等功能，用戶可以實時了解系統(tǒng)的運行狀態(tài)，并根據(jù)需要調(diào)整系統(tǒng)參數(shù)。數(shù)據(jù)管理模塊則提供了數(shù)據(jù)的導入、導出、存儲和查看功能，使得數(shù)據(jù)的使用和管理變得更加便捷。最后，數(shù)據(jù)分析導出模塊使得處理后的數(shù)據(jù)能夠以多種格式導出，便于進一步的分析和共享。這一功能使得海洋環(huán)境集成測量技術(shù)不僅在科學研究領域發(fā)揮作用，還能夠為政策制定、教育和公眾傳播提供支持。綜上所述，海洋數(shù)據(jù)處理模塊通過高效、準確的數(shù)據(jù)處理和分析，為多功能海洋環(huán)境集成測量技術(shù)提供了核心支持，使得該技術(shù)能夠在海洋環(huán)境的監(jiān)測和保護中發(fā)揮重要作用。