一種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及實時數(shù)據(jù)分析領(lǐng)域，特別是一種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析系統(tǒng)及其方法。
【背景技術(shù)】
[0002]隨著移動互聯(lián)、物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，建立在物聯(lián)網(wǎng)技術(shù)基礎(chǔ)之上的能源互聯(lián)網(wǎng)應(yīng)用在生成過程中產(chǎn)生多源、海量的時序數(shù)據(jù)。其主要特征為:(I)分布在全網(wǎng)采集節(jié)點越來越多；(2)采集節(jié)點數(shù)據(jù)產(chǎn)生頻率低，部分節(jié)點數(shù)據(jù)為秒級；(3)對于單個采集節(jié)點或者多個采集節(jié)點之間的數(shù)據(jù)，進行實時分析；(4)對于單個采集節(jié)點的歷史數(shù)據(jù)或者多個采集節(jié)點的歷史數(shù)據(jù)，進行統(tǒng)計分析；(5)對于實時數(shù)據(jù)進行可靠的計算分析；(6)對于新的業(yè)務(wù)需求，通過水平擴展方式，快速實現(xiàn)新的計算分析需求。

【發(fā)明內(nèi)容】

[0003]針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種能夠?qū)崟r分析多源、海量的時序數(shù)據(jù)的系統(tǒng)以實現(xiàn)能源的動態(tài)調(diào)整，可實現(xiàn)數(shù)據(jù)的高速采集與快速實現(xiàn)實時流計算與離線計算業(yè)務(wù)的實時數(shù)據(jù)分析系統(tǒng)及其方法。
[0004]本發(fā)明的目的通過以下技術(shù)方案實現(xiàn)。
[0005]—種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析系統(tǒng)，包括緩存組件、計算組件、協(xié)調(diào)服務(wù)組件，所述的緩存組件向計算組件單向通信，所述的緩存組件和協(xié)調(diào)服務(wù)組件之間雙向通信，所述的計算組件和協(xié)調(diào)服務(wù)組件之間雙向通信，所述的緩存組件上連接有API接口，所述的API接口與協(xié)調(diào)服務(wù)組件之間雙向通信，所述的計算組件上連接有存儲組件，所述的存儲組件與計算組件之間雙向通信。
[0006]所述的計算組件包括數(shù)據(jù)源單元和計算單元，所述的數(shù)據(jù)源單元向計算單元單向通信。
[0007]所述的存儲組件向數(shù)據(jù)源單元單向通信，所述的計算單元向存儲組件單向通信。
[0008]所述的API接口為實時數(shù)據(jù)加載API接口和\或?qū)崟r消息加載API接口；所述的存儲組件包括實時數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和HDFS。
[0009]—種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析方法，在實時計算分析場景下執(zhí)行實時流計算；在歷史數(shù)據(jù)統(tǒng)計分析場景下執(zhí)行離線計算。
[0010]所述的實時流計算步驟包括:
[0011]I)應(yīng)用程序通過API接口向緩存組件加載實時數(shù)據(jù)；
[0012]2)計算組件的數(shù)據(jù)源單元從緩存層讀取實時數(shù)據(jù)；
[0013]3)計算組件的數(shù)據(jù)計算單元，完成實時流數(shù)據(jù)的計算，并將計算結(jié)果存儲于存儲組件。
[0014]所述的離線計算分為定時周期離線計算和消息觸發(fā)離線計算，所述的定時周期離線計算步驟包括:I)計算組件的數(shù)據(jù)源單元通過定時機制，從存儲組件中定時地獲取歷史數(shù)據(jù);2)計算組件的計算單元完成業(yè)務(wù)計算，并將計算結(jié)果存儲于存儲組件，所述的消息觸發(fā)離線計算步驟包括:I)應(yīng)用程序通過API接口，將觸發(fā)消息發(fā)送至緩存組件;2)計算組件的數(shù)據(jù)源單元，從緩存組件獲取消息，并且數(shù)據(jù)源單元獲得消息后，則從存儲組件讀取歷史數(shù)據(jù);3)計算組件的計算單元完成業(yè)務(wù)計算，并將計算結(jié)果存儲于存儲組件。
[0015]相比于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點在于:解決了實時數(shù)據(jù)高速分布式采集;提供了實時流計算場景下的可編程計算系統(tǒng);提供了對于計算準(zhǔn)確性高且時效性不高的離線可編程計算系統(tǒng)。
【附圖說明】
[0016]圖1為本發(fā)明實時數(shù)據(jù)分析的結(jié)構(gòu)示意圖。
[0017]圖2為本發(fā)明實時流計算機構(gòu)示意圖。
[0018]圖3為本發(fā)明定時周期離線計算結(jié)構(gòu)圖。
[0019]圖4為本發(fā)明消息觸發(fā)離線計算結(jié)構(gòu)圖。
【具體實施方式】
[0020]下面結(jié)合說明書附圖和具體的實施例，對本發(fā)明作詳細描述。
[0021]如圖1所示，一種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析系統(tǒng)，包括緩存組件、計算組件、協(xié)調(diào)服務(wù)組件，以上組件均支持分布式集群部署。所述的緩存組件向計算組件單向通信，所述的緩存組件和協(xié)調(diào)服務(wù)組件之間雙向通信，緩存組件的功能是實現(xiàn)數(shù)據(jù)的高速采集，其主要分為兩種類型隊列:數(shù)據(jù)緩存隊列、消息緩存隊列。為了實時數(shù)據(jù)的高效采集，數(shù)據(jù)緩存可創(chuàng)建多個數(shù)據(jù)隊列，進而提升實時數(shù)據(jù)加載的并發(fā)性能。同時，從數(shù)據(jù)可靠性角度，數(shù)據(jù)/消息緩存隊列創(chuàng)建備份隊列，并將備份隊列部署在與原隊列不同的集群節(jié)點上。協(xié)調(diào)服務(wù)組件的功能是解決緩存組件與計算組件集群的協(xié)調(diào)服務(wù)，以及應(yīng)用的元數(shù)據(jù)管理。所述的計算組件和協(xié)調(diào)服務(wù)組件之間雙向通信，計算組件的功能是提供實時/離線計算的基本系統(tǒng)，所述的緩存組件上連接有API接口，所述的API接口與協(xié)調(diào)服務(wù)組件之間雙向通信，所述的計算組件上連接有存儲組件，所述的存儲組件與計算組件之間雙向通信。
[0022]所述的計算組件包括數(shù)據(jù)源單元和計算單元，所述的數(shù)據(jù)源單元向計算單元單向通信。
[0023]所述的存儲組件向數(shù)據(jù)源單元單向通信，所述的計算單元向存儲組件單向通信。
[0024]所述的API接口為實時數(shù)據(jù)加載API接口和\或?qū)崟r消息加載API接口；所述的存儲組件包括實時數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和HDFSο計算組件通過存儲組件的接口，從存儲組件中獲取數(shù)據(jù)或者將計算結(jié)果存儲于存儲組件。協(xié)調(diào)服務(wù)組件負(fù)責(zé)緩存組件、計算組件的元數(shù)據(jù)管理，進而實現(xiàn)各集群節(jié)點協(xié)調(diào)管理。協(xié)調(diào)服務(wù)組件也可為用戶提供元數(shù)據(jù)管理，例如:緩存組件IP與端口號、存儲組件IP和端口號等等。在應(yīng)用中，整個系統(tǒng)系統(tǒng)只對外部提供協(xié)調(diào)服務(wù)系統(tǒng)的IP和端口號，其他組件的元數(shù)據(jù)信息均存儲于協(xié)調(diào)服務(wù)組件。
[0025]—種能源互聯(lián)網(wǎng)的實時數(shù)據(jù)分析方法，在實時計算分析場景下執(zhí)行實時流計算；在歷史數(shù)據(jù)統(tǒng)計分析場景下執(zhí)行離線計算。
[0026]如圖2所示，所述的實時流計算步驟包括:
[0027]I)應(yīng)用程序通過API接口向緩存組件加載實時數(shù)據(jù)；
[0028]2)計算組件的數(shù)據(jù)源單元從緩存層讀取實時數(shù)據(jù)；
[0029]3)計算組件的數(shù)據(jù)計算單元，完成實時流數(shù)據(jù)的計算，并將計算結(jié)果存儲于存儲組件。
[0030]在該種應(yīng)用場景下，緩存組件設(shè)計目的:(I)解決應(yīng)用程序數(shù)據(jù)高速提交的數(shù)據(jù)緩存的問題；(2)數(shù)據(jù)的持久化存儲，解決數(shù)據(jù)緩存的可靠性；(3)支持集群部署，解決數(shù)據(jù)并發(fā)加載的問題。計算組件設(shè)計