基于storm 的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)的制作方法
【專利摘要】本發(fā)明公開了基于storm 的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，包括：數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流；數(shù)據(jù)分類模塊，其與數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲(chǔ)；數(shù)據(jù)計(jì)算控制模塊，其與數(shù)據(jù)分類存儲(chǔ)模塊連接，對(duì)數(shù)據(jù)進(jìn)行計(jì)算控制。本發(fā)明的有益效果是本發(fā)明支持對(duì)數(shù)據(jù)的提取、過濾、截?cái)?、切分、格式化，可?duì)龐大的連續(xù)的數(shù)據(jù)流進(jìn)行提取、過濾、分析操作，實(shí)時(shí)性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲(chǔ)的數(shù)據(jù)。本發(fā)明可計(jì)算復(fù)雜度高、維度多的數(shù)據(jù)，低成本、高效率、安全性高。
【專利說明】
基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)時(shí)代來臨，為了更好的數(shù)據(jù)挖掘和更好的用戶體驗(yàn)，對(duì)大數(shù)據(jù)管理的實(shí)時(shí)性要求提高。傳統(tǒng)的批量計(jì)算模型已無法滿足這些要求，網(wǎng)絡(luò)數(shù)據(jù)格式多種多樣，不方便存儲(chǔ)及操作。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，本發(fā)明一種基于流式計(jì)算的大數(shù)據(jù)預(yù)處理方法，解決數(shù)據(jù)處理實(shí)時(shí)性較差，數(shù)據(jù)格式不統(tǒng)一的問題，以便能更好更全面的對(duì)數(shù)據(jù)進(jìn)行處理和存儲(chǔ)。
[0004]本發(fā)明提供的技術(shù)方案為:
基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，包括:
數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流；
數(shù)據(jù)分類模塊，其與所述數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲(chǔ)；
數(shù)據(jù)計(jì)算控制模塊，其與所述數(shù)據(jù)分類存儲(chǔ)模塊連接，所述數(shù)據(jù)計(jì)算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對(duì)過濾單元，數(shù)據(jù)計(jì)算單元和數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元，所述數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對(duì)存儲(chǔ)的子數(shù)據(jù)流進(jìn)行篩選，所述數(shù)據(jù)比對(duì)過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進(jìn)行比對(duì)過濾，所述數(shù)據(jù)計(jì)算單元根據(jù)預(yù)設(shè)的計(jì)算表達(dá)式進(jìn)行計(jì)算通過所述數(shù)據(jù)計(jì)算結(jié)構(gòu)分發(fā)單元將計(jì)算結(jié)果分發(fā)輸出。
[0005]優(yōu)選的是，所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，還包括數(shù)據(jù)處理記錄模塊，其對(duì)數(shù)據(jù)處理數(shù)目及過程進(jìn)行記錄。
[0006]優(yōu)選的是，所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，還包括數(shù)據(jù)丟失配置模塊，其對(duì)丟失的數(shù)據(jù)進(jìn)行配置處理并生成記錄。
[0007]優(yōu)選的是，在所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)中，所述數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元。
[0008]優(yōu)選的是，在所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)中，所述數(shù)據(jù)計(jì)算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，所述緩存單元對(duì)數(shù)據(jù)進(jìn)行分區(qū)緩存，所述數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對(duì)所述緩存單元緩存的數(shù)據(jù)進(jìn)行清除。
[0009]本發(fā)明的有益效果是本發(fā)明支持對(duì)數(shù)據(jù)的提取、過濾、截?cái)?、切分、格式化，可?duì)龐大的連續(xù)的數(shù)據(jù)流進(jìn)行提取、過濾、分析操作，實(shí)時(shí)性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲(chǔ)的數(shù)據(jù)。本發(fā)明可計(jì)算復(fù)雜度高、維度多的數(shù)據(jù)，低成本、高效率、安全性高。
【附圖說明】
[0010]圖1為本發(fā)明工作流程示意圖。
【具體實(shí)施方式】
[0011]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實(shí)施。
[0012]基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，包括:數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流;數(shù)據(jù)分類模塊，其與數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲(chǔ);數(shù)據(jù)計(jì)算控制模塊，其與數(shù)據(jù)分類存儲(chǔ)模塊連接，數(shù)據(jù)計(jì)算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對(duì)過濾單元，數(shù)據(jù)計(jì)算單元和數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元，數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對(duì)存儲(chǔ)的子數(shù)據(jù)流進(jìn)行篩選，數(shù)據(jù)比對(duì)過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進(jìn)行比對(duì)過濾，數(shù)據(jù)計(jì)算單元根據(jù)預(yù)設(shè)的計(jì)算表達(dá)式進(jìn)行計(jì)算通過數(shù)據(jù)計(jì)算結(jié)構(gòu)分發(fā)單元將計(jì)算結(jié)果分發(fā)輸出；數(shù)據(jù)處理記錄模塊，其對(duì)數(shù)據(jù)處理數(shù)目及過程進(jìn)行記錄;數(shù)據(jù)丟失配置模塊，其對(duì)丟失的數(shù)據(jù)進(jìn)行配置處理并生成記錄。其中，數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元，數(shù)據(jù)計(jì)算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，緩存單元對(duì)數(shù)據(jù)進(jìn)行分區(qū)緩存，數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對(duì)緩存單元緩存的數(shù)據(jù)進(jìn)行清除。
[0013]采用本發(fā)明的預(yù)處理方法支持提取、過濾、截?cái)?、切分、格式化，可?duì)龐大的連續(xù)的數(shù)據(jù)流進(jìn)行提取、過濾、分析操作，實(shí)時(shí)性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲(chǔ)的數(shù)據(jù)。本平臺(tái)可擴(kuò)展性強(qiáng)，在多個(gè)線程、進(jìn)程、服務(wù)器之間并行進(jìn)行，支持靈活的水平擴(kuò)展;本平臺(tái)可以保證每條進(jìn)入本平臺(tái)的消息都能被完全處理;如果在消息處理中出現(xiàn)了一些異常，本平臺(tái)會(huì)重新安排這個(gè)出錯(cuò)的處理單元，故本平臺(tái)具有較高的容錯(cuò)性。
[0014]盡管本發(fā)明的實(shí)施方案已公開如上，但其并不僅僅限于說明書和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言，可容易地實(shí)現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細(xì)節(jié)和這里示出與描述的圖例。
【主權(quán)項(xiàng)】
1.基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，其特征在于，包括: 數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流； 數(shù)據(jù)分類模塊，其與所述數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲(chǔ)； 數(shù)據(jù)計(jì)算控制模塊，其與所述數(shù)據(jù)分類存儲(chǔ)模塊連接，所述數(shù)據(jù)計(jì)算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對(duì)過濾單元，數(shù)據(jù)計(jì)算單元和數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元，所述數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對(duì)存儲(chǔ)的子數(shù)據(jù)流進(jìn)行篩選，所述數(shù)據(jù)比對(duì)過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進(jìn)行比對(duì)過濾，所述數(shù)據(jù)計(jì)算單元根據(jù)預(yù)設(shè)的計(jì)算表達(dá)式進(jìn)行計(jì)算通過所述數(shù)據(jù)計(jì)算結(jié)構(gòu)分發(fā)單元將計(jì)算結(jié)果分發(fā)輸出。2.如權(quán)利要求1所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，其特征在于，還包括數(shù)據(jù)處理記錄模塊，其對(duì)數(shù)據(jù)處理數(shù)目及過程進(jìn)行記錄。3.如權(quán)利要求1所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，其特征在于，還包括數(shù)據(jù)丟失配置模塊，其對(duì)丟失的數(shù)據(jù)進(jìn)行配置處理并生成記錄。4.如權(quán)利要求1所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，其特征在于，所述數(shù)據(jù)計(jì)算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元。5.如權(quán)利要求1所述的基于storm的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，其特征在于，所述數(shù)據(jù)計(jì)算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，所述緩存單元對(duì)數(shù)據(jù)進(jìn)行分區(qū)緩存，所述數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對(duì)所述緩存單元緩存的數(shù)據(jù)進(jìn)行清除。
【文檔編號(hào)】G06F17/30GK105956135SQ201610310521
【公開日】2016年9月21日
【申請日】2016年5月12日
【發(fā)明人】楊昆, 閻星娥, 嚴(yán)榮明, 張 林, 石旦, 顏婷婷
【申請人】南京唯實(shí)科技有限公司