基于中間件的業(yè)務(wù)數(shù)據(jù)監(jiān)控方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)流監(jiān)控技術(shù)領(lǐng)域，具體而言，涉及一種基于中間件的業(yè)務(wù)數(shù)據(jù)監(jiān) 控方法和一種基于中間件的業(yè)務(wù)數(shù)據(jù)監(jiān)控系統(tǒng)。
【背景技術(shù)】
[0002] 當(dāng)前計(jì)算機(jī)IT領(lǐng)域，中間件作為基礎(chǔ)軟件的重要組件，已與操作系統(tǒng)、數(shù)據(jù)庫(kù)齊 頭并進(jìn)，在世界范圍內(nèi)呈現(xiàn)出迅猛發(fā)展的勢(shì)頭，已經(jīng)形成一個(gè)巨大的產(chǎn)業(yè)。中間件在國(guó)內(nèi) 整個(gè)軟件行業(yè)中應(yīng)該是發(fā)展速度最快的市場(chǎng)之一。而目前傳統(tǒng)中間件的監(jiān)控技術(shù)，包括監(jiān) 控線程數(shù)、處理時(shí)間、請(qǐng)求數(shù)、字節(jié)數(shù)、Cluster(集群）、堆棧、線程池、連接池、Web(World WideWeb，萬維網(wǎng)）應(yīng)用等指標(biāo)參數(shù)，這些監(jiān)控技術(shù)比較通用，適合行業(yè)也比較廣泛，但 大多只是對(duì)性能的監(jiān)控，無業(yè)務(wù)數(shù)據(jù)流的監(jiān)控能力，而往往真正有價(jià)值的監(jiān)控都是對(duì)業(yè) 務(wù)數(shù)據(jù)的監(jiān)控。當(dāng)前行業(yè)中也有一些基于中間件的監(jiān)控技術(shù)是針對(duì)業(yè)務(wù)數(shù)據(jù)，例如微軟 BizTalk(BusinessTalk:商務(wù)會(huì)話）中的BAM(BusinessActivityMonitoring:業(yè)務(wù)活動(dòng) 監(jiān)控）技術(shù)，但對(duì)業(yè)務(wù)數(shù)據(jù)流的監(jiān)控大多缺乏通用性以及需要過多的人工干預(yù)，這些監(jiān)控 方法需要知道監(jiān)控業(yè)務(wù)的數(shù)據(jù)模型，并根據(jù)自定義好的規(guī)則來進(jìn)行監(jiān)控，因而這些監(jiān)控技 術(shù)不能廣泛使用，且對(duì)數(shù)據(jù)的變化以及業(yè)務(wù)規(guī)則的變化缺乏易變性，不能快速滿足大多行 業(yè)的監(jiān)控要求。
[0003] 因此，需要一種新的技術(shù)方案，可以實(shí)現(xiàn)對(duì)不同業(yè)務(wù)數(shù)據(jù)流的智能監(jiān)控，有效地提 高通用性以及對(duì)業(yè)務(wù)數(shù)據(jù)的變化和業(yè)務(wù)規(guī)則的變化的適應(yīng)性，并能快速滿足大多行業(yè)的監(jiān) 控需求，成為亟待解決的問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明正是基于上述問題，提出了一種新的技術(shù)方案，可以實(shí)現(xiàn)對(duì)不同業(yè)務(wù)數(shù)據(jù) 的智能監(jiān)控，有效地提高通用性以及對(duì)業(yè)務(wù)數(shù)據(jù)的變化和業(yè)務(wù)規(guī)則的變化的適應(yīng)性，并能 快速滿足大多行業(yè)的監(jiān)控需求。
[0005] 有鑒于此，本發(fā)明提出了一種基于中間件的業(yè)務(wù)數(shù)據(jù)監(jiān)控方法，包括：將來自不同 應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)通過中間件發(fā)送至監(jiān)控系統(tǒng)，以對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控；按照預(yù)設(shè) 存儲(chǔ)規(guī)則對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)建模；對(duì)經(jīng)過所述數(shù)據(jù)存儲(chǔ)和所述數(shù)據(jù)建模 處理的所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)分類；根據(jù)所述數(shù)據(jù)分類建立業(yè)務(wù)關(guān)聯(lián)模型，以對(duì)每條所述 業(yè)務(wù)數(shù)據(jù)進(jìn)行軌跡跟蹤；根據(jù)所述業(yè)務(wù)關(guān)聯(lián)模型，設(shè)置預(yù)警閾值，以對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān) 控。
[0006] 在該技術(shù)方案中，通過中間件連接各種不同的應(yīng)用系統(tǒng)，將不同應(yīng)用系統(tǒng)的業(yè)務(wù) 數(shù)據(jù)發(fā)送至監(jiān)控系統(tǒng)，并通過數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)建模，以及結(jié)合NoSQL數(shù)據(jù)庫(kù)可以事先不指定 數(shù)據(jù)結(jié)構(gòu)的能力，將數(shù)據(jù)模型的結(jié)構(gòu)設(shè)計(jì)成動(dòng)態(tài)變化，以使模型可以在實(shí)際運(yùn)維過程中自 我增長(zhǎng)、自我學(xué)習(xí)，然后通過數(shù)據(jù)分類、建立業(yè)務(wù)關(guān)聯(lián)模型、設(shè)置監(jiān)控預(yù)警閾值，可以實(shí)現(xiàn)對(duì) 不同業(yè)務(wù)數(shù)據(jù)的智能監(jiān)控，有效地提高通用性以及對(duì)業(yè)務(wù)數(shù)據(jù)的變化和業(yè)務(wù)規(guī)則的變化的 適應(yīng)性，并能快速滿足大多行業(yè)的監(jiān)控需求，通過使用大數(shù)據(jù)實(shí)現(xiàn)自我學(xué)習(xí)，并通過智能建 模、智能分類、智能預(yù)測(cè)預(yù)警達(dá)到監(jiān)控業(yè)務(wù)數(shù)據(jù)的目標(biāo)。
[0007] 在上述技術(shù)方案中，優(yōu)選地，在將所述業(yè)務(wù)數(shù)據(jù)通過所述中間件發(fā)送至所述監(jiān)控 系統(tǒng)前，判斷是否將所述業(yè)務(wù)數(shù)據(jù)發(fā)送至所述監(jiān)控系統(tǒng)，并在判斷結(jié)果為是時(shí)，通過適配器 將所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為XML數(shù)據(jù)后發(fā)送至所述監(jiān)控系統(tǒng)；以及按照所述預(yù)設(shè)存儲(chǔ)規(guī)則對(duì)所 述業(yè)務(wù)數(shù)據(jù)基于NoSQL數(shù)據(jù)庫(kù)進(jìn)行所述數(shù)據(jù)存儲(chǔ)和所述數(shù)據(jù)建模。
[0008] 在該技術(shù)方案中，在將業(yè)務(wù)數(shù)據(jù)通過中間件發(fā)送至監(jiān)控系統(tǒng)前，也就是說，在將業(yè) 務(wù)數(shù)據(jù)接入或者發(fā)送到相應(yīng)的應(yīng)用系統(tǒng)時(shí)都可以選擇是否需要對(duì)該業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控， 并在需要進(jìn)行監(jiān)控時(shí)，通過適配器將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為XML(ExtensibleMarkupLanguage， 標(biāo)記語(yǔ)言）數(shù)據(jù)，以實(shí)現(xiàn)對(duì)需要進(jìn)行監(jiān)控的業(yè)務(wù)數(shù)據(jù)的標(biāo)記，并基于NoSQL(NotOnly StructuredQueryLanguage，不僅僅是結(jié)構(gòu)化查詢語(yǔ)言）數(shù)據(jù)庫(kù)Cassandra(開源分布式 NoSQL數(shù)據(jù)庫(kù)系統(tǒng)）進(jìn)行數(shù)據(jù)存儲(chǔ)和建模，以便于實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)、建模、分類、軌跡 追蹤等，進(jìn)而實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的監(jiān)控。
[0009] 在上述技術(shù)方案中，優(yōu)選地，按照所述預(yù)設(shè)存儲(chǔ)規(guī)則將所述XML數(shù)據(jù)存儲(chǔ)至所述 NoSQL數(shù)據(jù)庫(kù)Cassandra中，并進(jìn)行所述數(shù)據(jù)建模；計(jì)算每條所述XML數(shù)據(jù)的字段的權(quán)重 值，并根據(jù)所述權(quán)重值對(duì)所述XML數(shù)據(jù)進(jìn)行所述數(shù)據(jù)分類。
[0010] 在該技術(shù)方案中，通過預(yù)設(shè)儲(chǔ)存規(guī)則將XML數(shù)據(jù)存儲(chǔ)至NoSQL數(shù)據(jù)庫(kù)中，以實(shí)現(xiàn)對(duì) 超大量數(shù)據(jù)的處理，并進(jìn)行數(shù)據(jù)建模，可以使儲(chǔ)存的數(shù)據(jù)具有規(guī)范性，便于后續(xù)查找和/或 監(jiān)控；通過計(jì)算數(shù)據(jù)字段的權(quán)重值，對(duì)數(shù)據(jù)進(jìn)行智能分類，為實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的監(jiān)控提供有 利的前提保障。
[0011] 在上述技術(shù)方案中，優(yōu)選地，根據(jù)所述業(yè)務(wù)關(guān)聯(lián)模型，建立關(guān)聯(lián)業(yè)務(wù)出現(xiàn)的概率矩 陣，以確定所述關(guān)聯(lián)業(yè)務(wù)中的必然業(yè)務(wù)，根據(jù)所述必然業(yè)務(wù)設(shè)置所述關(guān)聯(lián)業(yè)務(wù)中的其他業(yè) 務(wù)的預(yù)警閾值，以對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控。
[0012] 在該技術(shù)方案中，根據(jù)業(yè)務(wù)關(guān)聯(lián)模型，列出所有相關(guān)業(yè)務(wù)出現(xiàn)的概率矩陣，從而找 到相關(guān)業(yè)務(wù)中的必然業(yè)務(wù)，并對(duì)違反必然業(yè)務(wù)的數(shù)據(jù)進(jìn)行監(jiān)控預(yù)警，即實(shí)現(xiàn)對(duì)不同業(yè)務(wù)的 監(jiān)控預(yù)警；對(duì)同業(yè)務(wù)的不同字段也建立矩陣模型，找出不同字段出現(xiàn)相應(yīng)值的必然事件，再 配合修改規(guī)則，達(dá)到對(duì)違反必然事件的數(shù)據(jù)進(jìn)行監(jiān)控預(yù)警；對(duì)單業(yè)務(wù)進(jìn)行以秒、分、時(shí)、日、 周、月、年為周期維度，建立離散傅里葉模型，判斷業(yè)務(wù)周期性，對(duì)單業(yè)務(wù)的數(shù)據(jù)進(jìn)行提前預(yù) 測(cè)及監(jiān)控預(yù)警；也就是設(shè)置預(yù)警閾值，當(dāng)超過閾值時(shí)，則進(jìn)行預(yù)警，實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的監(jiān)控， 如此，通過精確的設(shè)置預(yù)警閥值，可以對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行更為準(zhǔn)確的監(jiān)控。
[0013] 在上述技術(shù)方案中，優(yōu)選地，通過所述中間件將所述業(yè)務(wù)數(shù)據(jù)發(fā)送至所述監(jiān)控系 統(tǒng)的接口方式包括：File方式和/或Http方式。
[0014] 在該技術(shù)方案中，監(jiān)控系統(tǒng)為中間件系統(tǒng)提供的接口方式包括但不限于File方 式和/或Http方式，即可以通過File方式：指定文件路徑、文件名表達(dá)式（包含業(yè)務(wù)名稱、 產(chǎn)生時(shí)間、GUID唯一標(biāo)識(shí)號(hào)），以及Http方式：傳輸XML數(shù)據(jù)，指定變量名稱（包含業(yè)務(wù)名 稱、產(chǎn)生時(shí)間、⑶ID唯一標(biāo)識(shí)號(hào)）將業(yè)務(wù)數(shù)據(jù)錄入到監(jiān)控系統(tǒng)中。
[0015] 根據(jù)本發(fā)明的另一方面，還提出了一種基于中間件的業(yè)務(wù)數(shù)據(jù)監(jiān)控系統(tǒng)，包括：數(shù) 據(jù)轉(zhuǎn)換模塊，用于將來自不同應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)通過中間件發(fā)送至監(jiān)控系統(tǒng)，以對(duì)所述 業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控；數(shù)據(jù)存儲(chǔ)模塊，用于按照預(yù)設(shè)存儲(chǔ)規(guī)則對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ) 和數(shù)據(jù)建模；數(shù)據(jù)分類模塊，用于對(duì)經(jīng)過所述數(shù)據(jù)存儲(chǔ)和所述數(shù)據(jù)建模處理的所述業(yè)務(wù)數(shù) 據(jù)進(jìn)行數(shù)據(jù)分類；業(yè)務(wù)建模模塊，用于根據(jù)所述數(shù)據(jù)分類建立業(yè)務(wù)關(guān)聯(lián)模型，以對(duì)每條所述 業(yè)務(wù)數(shù)據(jù)進(jìn)行軌跡跟蹤；數(shù)據(jù)監(jiān)控模塊，用于根據(jù)所述業(yè)務(wù)關(guān)聯(lián)模型，設(shè)置預(yù)警閾值，以對(duì) 所述業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控。
[0016] 在該技術(shù)方案中，通過中間件連接各種不同的應(yīng)用系統(tǒng)，將不同應(yīng)用系統(tǒng)的業(yè)務(wù) 數(shù)據(jù)發(fā)送至監(jiān)控系統(tǒng)，并通過數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)建模，并結(jié)合NoSQL數(shù)據(jù)庫(kù)可以事先不指定數(shù) 據(jù)結(jié)構(gòu)的能力，將數(shù)據(jù)模型的結(jié)構(gòu)設(shè)計(jì)成動(dòng)態(tài)變化，以使模型可以在實(shí)際運(yùn)維過程中自我 增長(zhǎng)、自我學(xué)習(xí)，然后通過數(shù)據(jù)分類、建立業(yè)務(wù)關(guān)聯(lián)模型、設(shè)置監(jiān)控預(yù)警閾值，可以實(shí)現(xiàn)對(duì)不 同業(yè)務(wù)數(shù)據(jù)的智能監(jiān)控，有效地提高通用性以及對(duì)業(yè)務(wù)數(shù)據(jù)的變化和業(yè)務(wù)規(guī)則的變化的適 應(yīng)性，并能快速滿足大多行業(yè)的監(jiān)控需求，通過使用大數(shù)據(jù)實(shí)現(xiàn)自我學(xué)習(xí)，并通過智能建 模、智能分類、智能預(yù)測(cè)預(yù)警達(dá)到監(jiān)控業(yè)務(wù)數(shù)據(jù)的目標(biāo)。
[0017] 在上述技術(shù)方案中，優(yōu)選地，還包括：判斷模塊，用于在將所述業(yè)務(wù)數(shù)據(jù)通過所述 中間件發(fā)送至所述監(jiān)控系統(tǒng)前，判斷是否將所述業(yè)務(wù)數(shù)據(jù)發(fā)送至所述監(jiān)控系統(tǒng)；所述數(shù)據(jù) 轉(zhuǎn)換模塊具體用于：當(dāng)判斷結(jié)果為是時(shí)，通過適配器將所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為XML數(shù)據(jù)后發(fā) 送至所述監(jiān)控系統(tǒng)；以及所述數(shù)據(jù)存儲(chǔ)模塊具體用于：按照所述預(yù)設(shè)存儲(chǔ)規(guī)則對(duì)所述業(yè)務(wù) 數(shù)據(jù)基于NoSQL數(shù)據(jù)庫(kù)進(jìn)行所述數(shù)據(jù)存儲(chǔ)和所述數(shù)據(jù)建模。
[0018] 在該技術(shù)方案中，在將業(yè)務(wù)數(shù)據(jù)通過中間件發(fā)送至監(jiān)控系統(tǒng)前，也就是說，在將業(yè) 務(wù)數(shù)據(jù)接入或者發(fā)送到相應(yīng)的應(yīng)用系統(tǒng)時(shí)都可以選擇是否需要對(duì)該業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控， 并在需要進(jìn)行監(jiān)控時(shí)，通過適配器將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為XML(ExtensibleMarkupLanguage， 標(biāo)記語(yǔ)言）數(shù)據(jù)，以實(shí)現(xiàn)對(duì)需要進(jìn)行監(jiān)控的業(yè)務(wù)數(shù)據(jù)的標(biāo)記，并基于NoSQL(NotOnly StructuredQueryLanguage，不僅僅是結(jié)構(gòu)化查詢語(yǔ)言）數(shù)據(jù)庫(kù)Cassandra(開源分布式 NoSQL數(shù)據(jù)庫(kù)系統(tǒng)）進(jìn)行數(shù)據(jù)存儲(chǔ)和建模，以便于實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)、建模、分類、軌跡 追蹤等，進(jìn)而實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的監(jiān)控。
[0019] 在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)存儲(chǔ)模塊具體用于：按照所述預(yù)設(shè)存儲(chǔ)規(guī)則 將所述XML數(shù)據(jù)存儲(chǔ)至所述NoSQL數(shù)據(jù)庫(kù)Cassandra中，并進(jìn)行所述數(shù)據(jù)建模；以及所述數(shù)