一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)及其方法
【專利摘要】本發(fā)明公開了一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)及其方法，所述系統(tǒng)包括網(wǎng)絡(luò)接收單元，用以接收網(wǎng)絡(luò)數(shù)據(jù)包；處理單元，接收網(wǎng)絡(luò)數(shù)據(jù)包以形成包括請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)的元數(shù)據(jù)，根據(jù)業(yè)務(wù)信息提取規(guī)則提取業(yè)務(wù)信息；根據(jù)關(guān)聯(lián)分析知識(shí)對(duì)業(yè)務(wù)信息進(jìn)行關(guān)聯(lián)分析；對(duì)提取規(guī)則庫和關(guān)聯(lián)分析知識(shí)庫進(jìn)行維護(hù)；所述方法包括構(gòu)建包括業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息的知識(shí)庫；接收網(wǎng)絡(luò)數(shù)據(jù)包，提取元數(shù)據(jù)并存入知識(shí)庫；根據(jù)元數(shù)據(jù)讀取提取規(guī)則；根據(jù)提取規(guī)則提取業(yè)務(wù)信息。本發(fā)明的有益效果為：通過不同的業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息，做到對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的深度利用?；谥R(shí)庫的元數(shù)據(jù)更新，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)與其它業(yè)務(wù)數(shù)據(jù)的關(guān)聯(lián)分析。
【專利說明】一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息【技術(shù)領(lǐng)域】，具體涉及一種對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行審計(jì)和深度分析的系統(tǒng)及其方法。
【背景技術(shù)】
[0002]在政府機(jī)關(guān)、金融、公安、財(cái)政、證券、醫(yī)療、稅、電信運(yùn)營商以及其它一些大型企業(yè)中，都需要對(duì)大量的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，現(xiàn)有技術(shù)中，業(yè)務(wù)數(shù)據(jù)處理分為人工處理和計(jì)算機(jī)處理，人工處理速度慢，現(xiàn)有的計(jì)算機(jī)處理局限于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)提取。但是隨著經(jīng)濟(jì)社會(huì)的快速發(fā)展，為了進(jìn)一步挖掘業(yè)務(wù)數(shù)據(jù)的商業(yè)價(jià)值，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)與其它的相關(guān)數(shù)據(jù)之間的關(guān)聯(lián)分析或者業(yè)務(wù)數(shù)據(jù)本身之間的關(guān)聯(lián)分析很有必要，必須在簡單的數(shù)據(jù)分析之外，深度挖掘業(yè)務(wù)數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提供的一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)及其方法，深度挖掘業(yè)務(wù)數(shù)據(jù)的應(yīng)用價(jià)值和商業(yè)價(jià)值。
[0004]為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是:
一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)，包括:
網(wǎng)絡(luò)接收單元，用以接收網(wǎng)絡(luò)數(shù)據(jù)包；
處理單元，接收網(wǎng)絡(luò)數(shù)據(jù)包以形成包括請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)的元數(shù)據(jù)，根據(jù)業(yè)務(wù)信息提取規(guī)則對(duì)元數(shù)據(jù)進(jìn)行處理，提取業(yè)務(wù)信息；并根據(jù)關(guān)聯(lián)分析知識(shí)，對(duì)業(yè)務(wù)信息進(jìn)行關(guān)聯(lián)分析；對(duì)基于某一單位內(nèi)的各類業(yè)務(wù)信息進(jìn)行綜合分析和挖掘；
維護(hù)單元，對(duì)業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息進(jìn)行維護(hù)和更新；
存儲(chǔ)單元，存儲(chǔ)業(yè)務(wù)信息提取規(guī)則、關(guān)聯(lián)分析知識(shí)、業(yè)務(wù)信息及關(guān)聯(lián)分析結(jié)果。
[0005]通過不同的提取規(guī)則，對(duì)業(yè)務(wù)數(shù)據(jù)包進(jìn)行不同的處理，提取業(yè)務(wù)信息；依據(jù)關(guān)聯(lián)分析知識(shí)，對(duì)基于某一單位內(nèi)的各類業(yè)務(wù)信息深度分析和關(guān)聯(lián)。
[0006]進(jìn)一步的，還包括:
預(yù)處理單元，接收網(wǎng)絡(luò)接收單元傳輸過來的網(wǎng)絡(luò)數(shù)據(jù)包，并對(duì)數(shù)據(jù)包進(jìn)行應(yīng)用協(xié)議分析、協(xié)議算法處理及業(yè)務(wù)數(shù)據(jù)過濾，將處理后的網(wǎng)絡(luò)數(shù)據(jù)包發(fā)送至處理單元。通過預(yù)處理，降低處理單元的壓力，減小其工作量。
[0007]進(jìn)一步的，所述網(wǎng)絡(luò)接收單元包括網(wǎng)絡(luò)身份認(rèn)證系統(tǒng)和網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)，網(wǎng)絡(luò)身份認(rèn)證系統(tǒng)用于監(jiān)控用戶狀態(tài)以確認(rèn)是否允許用戶數(shù)據(jù)通過，網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)根據(jù)預(yù)設(shè)抓包規(guī)則捕獲網(wǎng)絡(luò)數(shù)據(jù)包。一方面進(jìn)行身份認(rèn)證以實(shí)現(xiàn)請(qǐng)求人確認(rèn)，另一方面通過兩個(gè)系統(tǒng)實(shí)現(xiàn)資源的高效利用。
[0008]進(jìn)一步的，存儲(chǔ)單元以統(tǒng)一的存儲(chǔ)接口集成數(shù)據(jù)庫管理系統(tǒng)和分布式存儲(chǔ)架構(gòu)?？梢圆渴鹪诘土挠布?，也可以提供高傳輸率訪問數(shù)據(jù)，適合未來超大數(shù)據(jù)集的應(yīng)用分析。[0009]一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析方法，包括以下步驟:
501:構(gòu)建包括業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息的知識(shí)庫；
502:接收網(wǎng)絡(luò)數(shù)據(jù)包，形成由請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)組成的元數(shù)據(jù)并存入知識(shí)庫；
503:根據(jù)元數(shù)據(jù)讀取提取規(guī)則；
504:根據(jù)提取規(guī)則提取業(yè)務(wù)信息。
[0010]通過不同的業(yè)務(wù)信息提取規(guī)則關(guān)聯(lián)網(wǎng)絡(luò)數(shù)據(jù)包和業(yè)務(wù)信息，可以對(duì)網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行不同的挖掘，從而可以根據(jù)需求實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的關(guān)聯(lián)分析和處理。
[0011]進(jìn)一步的，業(yè)務(wù)信息提取規(guī)則的狀態(tài)分為測試、活動(dòng)、凍結(jié)、失效四個(gè)階段。知識(shí)庫的知識(shí)應(yīng)實(shí)時(shí)更新，必須建立進(jìn)入和退出機(jī)制，使知識(shí)庫成為一個(gè)動(dòng)態(tài)的庫。
[0012]進(jìn)一步的，步驟102-104中，任務(wù)處理由任務(wù)調(diào)度單元和任務(wù)處理單元完成，任務(wù)調(diào)度單元負(fù)責(zé)分派任務(wù)、監(jiān)控任務(wù)、收回任務(wù)以及確認(rèn)任務(wù)。確保任務(wù)處理過程中條理清楚，快速有效。
[0013]進(jìn)一步的，任務(wù)調(diào)度單元將任務(wù)分解成子任務(wù)的集合，以分發(fā)給至少一個(gè)任務(wù)處理單元，并進(jìn)行子任務(wù)的時(shí)序管理，子任務(wù)的處理分為并行處理和串行處理，任務(wù)及子任務(wù)的狀態(tài)分為準(zhǔn)備、就序、處理、完成以及收回。保證復(fù)雜任務(wù)的快速進(jìn)行。
[0014]進(jìn)一步的，知識(shí)庫還包括規(guī)則定義、規(guī)則有效性驗(yàn)證以及規(guī)則管理。業(yè)務(wù)信息提取規(guī)則本身也是動(dòng)態(tài)的，實(shí)用的。
[0015]本發(fā)明的有益效果為:通過不同的業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息，做到對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的深度利用?；谥R(shí)庫的元數(shù)據(jù)更新，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)與其它業(yè)務(wù)數(shù)據(jù)的關(guān)聯(lián)分析。
【專利附圖】

【附圖說明】
[0016]圖1為本發(fā)明所述業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析方法的流程圖；
圖2為本發(fā)明所述業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)的結(jié)構(gòu)框圖；
圖3為本發(fā)明所述業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)的具體實(shí)施圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行描述，很顯然的，附圖所描述的僅僅是本發(fā)明的一部分而不是全部實(shí)施例。
[0018]如圖2所示，本發(fā)明提供的業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)，系統(tǒng)必要單元為處理單元、存儲(chǔ)單元、網(wǎng)絡(luò)接收單元以及維護(hù)單元，進(jìn)一步的，為了減輕處理單元的壓力，還可以設(shè)計(jì)一預(yù)處理單元。
[0019]其中，網(wǎng)絡(luò)接收單元的網(wǎng)絡(luò)并非特指互聯(lián)網(wǎng)，應(yīng)作廣義的理解，包括各種形式的內(nèi)網(wǎng)以及其他現(xiàn)有網(wǎng)絡(luò)形式。網(wǎng)絡(luò)接收單元由網(wǎng)絡(luò)身份認(rèn)證系統(tǒng)和網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)構(gòu)成，它們分別擔(dān)負(fù)不同任務(wù)。網(wǎng)絡(luò)身份認(rèn)證子系統(tǒng)位于網(wǎng)絡(luò)主干線路上，任務(wù)業(yè)務(wù)請(qǐng)求都必須經(jīng)過該子系統(tǒng)。子系統(tǒng)內(nèi)部的連接控制引擎用于控制用戶，它實(shí)時(shí)與用戶狀態(tài)監(jiān)控模塊通訊，確定是否允許用戶數(shù)據(jù)通過；如果用戶沒有登錄，連接控制引擎自動(dòng)把用戶請(qǐng)求跳轉(zhuǎn)到登錄審計(jì)界面，由用戶輸入登錄信息；對(duì)于第一次進(jìn)入網(wǎng)絡(luò)的用戶，可進(jìn)入用戶信息管理模塊，注冊(cè)和管理個(gè)人信息；黑、白名單是為了提供系統(tǒng)效率，優(yōu)化系統(tǒng)功能而設(shè)置的；bypass用于保證整個(gè)系統(tǒng)的兼容性，當(dāng)網(wǎng)絡(luò)身份認(rèn)證子系統(tǒng)出現(xiàn)軟、硬件故障時(shí)，bypass模塊啟動(dòng)使數(shù)據(jù)包可以直接通過本設(shè)備。網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)位于單位主要交換設(shè)備的鏡像上，根據(jù)預(yù)設(shè)的抓包規(guī)則捕獲網(wǎng)絡(luò)數(shù)據(jù)包，經(jīng)過抓包規(guī)則的過濾，可以屏蔽掉無關(guān)數(shù)據(jù)包，減輕系統(tǒng)壓力；抓包規(guī)則以IP包為目標(biāo)，可以設(shè)定源IP、源端口、目標(biāo)IP和目標(biāo)端口 ；另夕卜，考慮到日常工作中，業(yè)務(wù)請(qǐng)求的瞬發(fā)性特點(diǎn)，在網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)中，設(shè)置了大容量的網(wǎng)絡(luò)數(shù)據(jù)緩沖池，起到削峰抑谷的作用，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)流量較大時(shí)，網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)的資源主要用來抓包，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)流量較小時(shí)，網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)的資源可以用來進(jìn)行數(shù)據(jù)包整合，實(shí)現(xiàn)資源的充分利用。
[0020]預(yù)處理單元以分布式方式設(shè)計(jì)，其核心功能是對(duì)網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行預(yù)處理，減輕業(yè)務(wù)處理層的壓力，主要包括應(yīng)用協(xié)議分析引擎、協(xié)議算法模塊(http、DES、MD5等)及業(yè)務(wù)數(shù)據(jù)過濾引擎。應(yīng)用協(xié)議解析引擎調(diào)用協(xié)議算法模塊，對(duì)于網(wǎng)絡(luò)數(shù)據(jù)探針子系統(tǒng)捕獲的數(shù)據(jù)包進(jìn)行二次處理，如https報(bào)文解密、對(duì)于DES、RC2、RC5等密碼協(xié)議進(jìn)行解析、驗(yàn)證捕獲網(wǎng)絡(luò)數(shù)據(jù)包的MD5或SHA簽名；當(dāng)應(yīng)用協(xié)議解析完成后，把全部變?yōu)槊魑牡臄?shù)據(jù)包提交業(yè)務(wù)數(shù)據(jù)過濾引擎，對(duì)捕獲的數(shù)據(jù)包進(jìn)行二次清洗，過濾掉與業(yè)務(wù)無關(guān)的CSS、Javascript、圖片等數(shù)據(jù)包，經(jīng)過預(yù)處理單元后，從網(wǎng)絡(luò)捕獲的數(shù)據(jù)包只剩下業(yè)務(wù)相關(guān)的明文包，可以極大地減輕后續(xù)處理壓力。為了實(shí)現(xiàn)https等加密數(shù)據(jù)的還原，本系統(tǒng)內(nèi)置數(shù)字證書庫，導(dǎo)入數(shù)據(jù)證書，實(shí)現(xiàn)解密工作。另外，預(yù)處理單元可以由多臺(tái)處理機(jī)構(gòu)成，因此內(nèi)置任務(wù)管理模塊，其中任務(wù)調(diào)度引擎是核心，實(shí)現(xiàn)在多處理機(jī)的并行工作。同時(shí)任務(wù)管理模塊根據(jù)當(dāng)前處理機(jī)的運(yùn)行狀態(tài)，協(xié)調(diào)其它處理機(jī)的工作。
[0021]業(yè)務(wù)信息處理單元是本系統(tǒng)的核心，主要實(shí)現(xiàn)業(yè)務(wù)信息的提取和關(guān)聯(lián)分析。主要處理流程包括業(yè)務(wù)信息提取、信息有效性驗(yàn)證、中文編碼轉(zhuǎn)換及關(guān)聯(lián)分析。業(yè)務(wù)信息提取時(shí)，首先與規(guī)則庫通訊，獲得活動(dòng)狀態(tài)的規(guī)則，然后根據(jù)規(guī)則提取業(yè)務(wù)信息；提取業(yè)務(wù)信息后，要對(duì)信息的有效性進(jìn)行驗(yàn)證，如與預(yù)期不一致，應(yīng)產(chǎn)生報(bào)警，由管理員對(duì)業(yè)務(wù)數(shù)據(jù)包或規(guī)則的有效性進(jìn)行確認(rèn)；如果提取的業(yè)務(wù)信息中含有中文信息，則要進(jìn)行中文編碼轉(zhuǎn)換，把GBK、GB18030、Unicode等編碼的中文統(tǒng)一轉(zhuǎn)換為utf_8格式；最后，要按照關(guān)聯(lián)分析知識(shí)庫對(duì)提取信息進(jìn)行關(guān)聯(lián)，其中用戶狀態(tài)表由網(wǎng)絡(luò)身份認(rèn)證子系統(tǒng)提供信息元，主要包括〈人員、IP、時(shí)段〉三元組，用于操作人員與業(yè)務(wù)數(shù)據(jù)的關(guān)聯(lián)。業(yè)務(wù)規(guī)則管理子系統(tǒng)是主要用于規(guī)則維護(hù)，同時(shí)管理規(guī)則的分發(fā)。，管理員可以利用規(guī)則有效性監(jiān)測工具，驗(yàn)證當(dāng)前規(guī)則是否用效。如果目標(biāo)系統(tǒng)發(fā)生變更，在信息提取時(shí)無法通過驗(yàn)證，那么業(yè)務(wù)處理單元將向規(guī)則管理子系統(tǒng)發(fā)送規(guī)則失效報(bào)警，規(guī)則管理子系統(tǒng)收到報(bào)警后，將該規(guī)則狀態(tài)置為“凍結(jié)”，并停止該規(guī)則的分發(fā)。業(yè)務(wù)信息處理采用分布式設(shè)計(jì)，由調(diào)度機(jī)實(shí)現(xiàn)任務(wù)分配、狀態(tài)監(jiān)控及管理，各處理機(jī)定時(shí)報(bào)送狀態(tài)信息到調(diào)度機(jī)。
[0022]本發(fā)明提供的系統(tǒng)，數(shù)據(jù)存儲(chǔ)單元通過統(tǒng)一的存儲(chǔ)接口可以與數(shù)據(jù)庫管理系統(tǒng)(Oracle、SqlServer、Mysql)和分布式存儲(chǔ)架構(gòu)(hadoop)集成。其中，數(shù)據(jù)庫管理系統(tǒng)以數(shù)據(jù)表為單位，以SQL語言進(jìn)行關(guān)聯(lián)、分析，技術(shù)成熟；分布式存儲(chǔ)架構(gòu)有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的硬件上，而且提供高傳輸率來訪問的數(shù)據(jù)，適合未來超大數(shù)據(jù)集的應(yīng)用分析。
[0023]如圖1所示，本發(fā)明提供的一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析方法，包括以下步驟:
501:構(gòu)建包括業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息的知識(shí)庫； 502:接收網(wǎng)絡(luò)數(shù)據(jù)包，形成由請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)組成的元數(shù)據(jù)并存入知識(shí)庫；
503:根據(jù)元數(shù)據(jù)讀取提取規(guī)則；
504:根據(jù)提取規(guī)則提取業(yè)務(wù)信息。
[0024]本發(fā)明提供的分析方法，其核心創(chuàng)新點(diǎn)在于:對(duì)業(yè)務(wù)信息進(jìn)行分析，按信息提取規(guī)則庫提取業(yè)務(wù)數(shù)據(jù)；業(yè)務(wù)信息提取規(guī)則的定義、維護(hù)以及實(shí)施算法；基于關(guān)聯(lián)規(guī)則知識(shí)庫，關(guān)聯(lián)分析各類業(yè)務(wù)信息，形成由操作人、目標(biāo)系統(tǒng)、時(shí)間、業(yè)務(wù)數(shù)據(jù)組成的元數(shù)據(jù)；關(guān)聯(lián)知識(shí)的定義及、維護(hù)及實(shí)施算法；采用分布式計(jì)算方式，實(shí)現(xiàn)“業(yè)務(wù)信息分析”和“關(guān)聯(lián)分析”任務(wù)的可調(diào)度性，在物理設(shè)備上實(shí)現(xiàn)負(fù)載均衡；提供分布式數(shù)據(jù)接口，支持大數(shù)據(jù)分析。
[0025]另外優(yōu)選的，業(yè)務(wù)數(shù)據(jù)通過網(wǎng)絡(luò)接收，因此在網(wǎng)絡(luò)接收數(shù)據(jù)時(shí)還應(yīng)包括Ip數(shù)據(jù)包采集；http(s)等傳輸層協(xié)議的網(wǎng)絡(luò)數(shù)據(jù)包還原；網(wǎng)絡(luò)身份認(rèn)證；現(xiàn)實(shí)身份、ip、時(shí)段關(guān)聯(lián)算法；相關(guān)業(yè)務(wù)系統(tǒng)的信息采集。
[0026]本發(fā)明提供的方法，步驟502中，業(yè)務(wù)信息分析引擎從業(yè)務(wù)數(shù)據(jù)還原接口處接收網(wǎng)絡(luò)數(shù)據(jù)包，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包特征，判斷業(yè)務(wù)種類，根據(jù)業(yè)務(wù)種類，從規(guī)則庫中讀取適用于本業(yè)務(wù)的活動(dòng)規(guī)則子集，按規(guī)則子集提取業(yè)務(wù)數(shù)據(jù)。如果分析引擎在運(yùn)行過程中，發(fā)現(xiàn)提取規(guī)則有問題，可能由于多種原因，如:業(yè)務(wù)系統(tǒng)升級(jí)、規(guī)則適用性不強(qiáng)等，則通過異步機(jī)制通知管理員，由管理員對(duì)規(guī)則庫進(jìn)行維護(hù)。
[0027]業(yè)務(wù)信息提取規(guī)則，由抽象化邏輯語言描述，定義適用業(yè)務(wù)、提取參數(shù)定位信息、參數(shù)有效性驗(yàn)證等信息。根據(jù)不同的業(yè)務(wù)，不同的深度分析需求，編輯不同需求規(guī)則。知識(shí)庫包括各種業(yè)務(wù)信息提取規(guī)則的總和。圖1中使用了規(guī)則庫和知識(shí)庫兩個(gè)方框表示流程，實(shí)際應(yīng)用中提取規(guī)則的總和和業(yè)務(wù)信息的總和即可存儲(chǔ)與一起也可分開放置，根據(jù)實(shí)際需求設(shè)置。規(guī)則按其有效狀態(tài)分為活動(dòng)和凍結(jié)，業(yè)務(wù)信息分析引擎提交規(guī)則查詢請(qǐng)求時(shí)，規(guī)則庫返回所有適用于該業(yè)務(wù)的、處于活動(dòng)狀態(tài)的規(guī)則；當(dāng)一條規(guī)則不適用時(shí)，可將該規(guī)則狀態(tài)調(diào)整為凍結(jié)，該規(guī)則將不生效；規(guī)則庫還包括規(guī)則定義、有效性驗(yàn)證、規(guī)則管理等工具，由管理員進(jìn)行維護(hù)。
[0028]步驟504中，關(guān)聯(lián)分析包括實(shí)現(xiàn)〈業(yè)務(wù)數(shù)據(jù)〉與〈操作人員、時(shí)間和業(yè)務(wù)信息〉的關(guān)聯(lián)。這里，業(yè)務(wù)信息根據(jù)需求確定，既需要分析和挖掘網(wǎng)絡(luò)數(shù)據(jù)包何種方向的價(jià)值，則選取該方向的業(yè)務(wù)信息對(duì)網(wǎng)絡(luò)數(shù)據(jù)包根據(jù)提取規(guī)則進(jìn)行關(guān)聯(lián)以深度分析。業(yè)務(wù)信息可以是業(yè)務(wù)數(shù)據(jù)的總和，也可以是其它信息。
[0029]通過網(wǎng)絡(luò)接收數(shù)據(jù)包時(shí)，在網(wǎng)絡(luò)數(shù)據(jù)包還原時(shí)，可以提取網(wǎng)絡(luò)數(shù)據(jù)包的操作時(shí)間和發(fā)起IP，為了確定操作人員，主要通過網(wǎng)絡(luò)身份認(rèn)證方法，身份認(rèn)證網(wǎng)關(guān)從日切時(shí)間點(diǎn)開始工作，記錄各IP地址的狀態(tài)，如果I個(gè)IP沒經(jīng)過身份認(rèn)證而發(fā)起交易，身份認(rèn)證網(wǎng)關(guān)攔截該IP的通訊，自動(dòng)跳轉(zhuǎn)到身份認(rèn)證界面，由操作人員輸入身份認(rèn)證信息，實(shí)現(xiàn)〈IP，時(shí)段〉與〈操作人員〉的關(guān)聯(lián)。對(duì)于操作人員的關(guān)聯(lián)，視不同目標(biāo)系統(tǒng)可進(jìn)行優(yōu)化，如目標(biāo)系統(tǒng)自身具有身份認(rèn)證模塊，并可提供身份認(rèn)證與通訊session的記錄,那么根據(jù)〈sessionid、操作人員 > 的記錄，可以對(duì)身份認(rèn)證網(wǎng)關(guān)的操作人員進(jìn)行確認(rèn)和修正?！礃I(yè)務(wù)數(shù)據(jù)〉與〈業(yè)務(wù)信息〉的關(guān)聯(lián)，主要依賴于知識(shí)庫。
[0030]知識(shí)庫中的知識(shí)，由業(yè)務(wù)人員歸納、總結(jié)，由管理員進(jìn)行維護(hù)。知識(shí)采用優(yōu)選采用問題歸約法表述，從關(guān)聯(lián)目標(biāo)出發(fā)，逆向推理，通過變換把初始問題變換為子問題集合和子子問題集合，直至最后歸約為一個(gè)平凡的本原問題集合。知識(shí)同樣存在生命周期的問題，分為測試、活動(dòng)、凍結(jié)、失效等階段，測試期主要由業(yè)務(wù)人員控制，確認(rèn)關(guān)聯(lián)知識(shí)是否有效、是否達(dá)到預(yù)期目標(biāo)；確認(rèn)有效后，標(biāo)記知識(shí)為活動(dòng)狀態(tài)，關(guān)聯(lián)分析引擎根據(jù)知識(shí)，進(jìn)行業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)處理；同任何事物一樣，知識(shí)也有適用性問題，當(dāng)目標(biāo)系統(tǒng)及其關(guān)聯(lián)系統(tǒng)發(fā)生變更時(shí)，管理員把知識(shí)調(diào)整為凍結(jié)狀態(tài)，由業(yè)務(wù)人員對(duì)知識(shí)的有效進(jìn)行確認(rèn)和調(diào)整；當(dāng)涉及知識(shí)的模塊或系統(tǒng)停止服務(wù)時(shí)，知識(shí)已不適用，即調(diào)整為失效狀態(tài)。
[0031]在業(yè)務(wù)分析和關(guān)聯(lián)分析時(shí)，優(yōu)選采用分布式處理算法，由任務(wù)調(diào)度主機(jī)和任務(wù)處理主機(jī)協(xié)作完成。首先，對(duì)業(yè)務(wù)分析和關(guān)聯(lián)分析的任務(wù)，在調(diào)度主機(jī)上建立任務(wù)列表，任務(wù)處理主機(jī)向調(diào)度主機(jī)提交申請(qǐng)，由調(diào)度主機(jī)分派任務(wù)，任務(wù)處理主機(jī)完成工作后，提交處理結(jié)果，調(diào)度主機(jī)對(duì)處理情況時(shí)行確認(rèn)。調(diào)度主機(jī)除負(fù)責(zé)任務(wù)調(diào)度外，還負(fù)責(zé)監(jiān)控各任務(wù)處理主機(jī)的運(yùn)行狀態(tài)，當(dāng)任務(wù)處理主機(jī)出現(xiàn)異常、性能降低時(shí)，調(diào)度主機(jī)收回任務(wù)，改由其它任務(wù)處理主機(jī)完成；同時(shí)，調(diào)度主機(jī)還負(fù)責(zé)任務(wù)的分解及子任務(wù)時(shí)序管理，當(dāng)一個(gè)任務(wù)被解為可計(jì)算的子任務(wù)時(shí)，子任務(wù)間存在并行和串行兩種關(guān)系，對(duì)于串行關(guān)系，由調(diào)度主機(jī)負(fù)責(zé)，只有在前序任務(wù)已完成的情況下，才分配后序任務(wù)。為保證任務(wù)處理的一致性和連續(xù)性，我們?cè)谌蝿?wù)處理中引入狀態(tài)機(jī)概念，任務(wù)狀態(tài)分為準(zhǔn)備、就序、處理、完成、收回等五個(gè)狀態(tài)，任務(wù)信息及其狀態(tài)以數(shù)據(jù)庫存儲(chǔ)。分布式任務(wù)處理支持系統(tǒng)進(jìn)行事務(wù)性恢復(fù)，當(dāng)系統(tǒng)出現(xiàn)斷電等情況時(shí)，重新啟動(dòng)后，調(diào)度機(jī)會(huì)根據(jù)數(shù)據(jù)庫中任務(wù)的狀態(tài)，進(jìn)行回退和恢復(fù)操作，保證系統(tǒng)狀態(tài)的一致性。
[0032]在數(shù)據(jù)存儲(chǔ)方面，本發(fā)明提供統(tǒng)一的存儲(chǔ)接口，生成的數(shù)據(jù)即可以存儲(chǔ)到傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中，也可以存儲(chǔ)到hadoop之類的分布式系統(tǒng)。這使得后期數(shù)據(jù)挖掘和科學(xué)決策的技術(shù)方式和體系框架更加靈活。各應(yīng)用單位，可以對(duì)生成的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，提取有價(jià)值的業(yè)務(wù)信息，并在此基礎(chǔ)上，通過選用不同的數(shù)學(xué)模型，進(jìn)行量化計(jì)算，為市場預(yù)測和科學(xué)決策提供事實(shí)依據(jù)。
[0033]如圖3所示，是本發(fā)明在公安系統(tǒng)的一個(gè)詳細(xì)實(shí)施例，在我國，公安系統(tǒng)下設(shè)的現(xiàn)有業(yè)務(wù)系統(tǒng)有60多個(gè)，這些業(yè)務(wù)系統(tǒng)絕大部分都是基于http和https的Web應(yīng)用系統(tǒng)，它們由不同的警種、總隊(duì)、業(yè)務(wù)處室使用。這些業(yè)務(wù)系統(tǒng)都不能實(shí)現(xiàn)總體聯(lián)通和審計(jì)，不能達(dá)到公安部關(guān)于《加強(qiáng)信息系統(tǒng)應(yīng)用審計(jì)的通知》的要求。如果進(jìn)行整改，一部分系統(tǒng)的開發(fā)商已經(jīng)無法聯(lián)系，不具備改造條件；其它系統(tǒng)則都要按照統(tǒng)一的規(guī)則進(jìn)行改造，影響正常業(yè)務(wù)、改造周期長、成本高。
[0034]本發(fā)明提供的業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)分析系統(tǒng)及其方法采用基本網(wǎng)絡(luò)的架構(gòu)，是一種基于網(wǎng)絡(luò)數(shù)據(jù)包(流)的業(yè)務(wù)數(shù)據(jù)審計(jì)和業(yè)務(wù)數(shù)據(jù)深度分析的方法，不需要對(duì)現(xiàn)在信息系統(tǒng)和網(wǎng)絡(luò)進(jìn)行改造，不需要在原有信息系統(tǒng)的服務(wù)器里安裝任何插件或Agent，就可以達(dá)到公安部對(duì)業(yè)務(wù)系統(tǒng)審計(jì)的要求，同時(shí)還提供豐富的數(shù)據(jù)挖掘功能。在本實(shí)施例中，關(guān)聯(lián)分析系統(tǒng)的業(yè)務(wù)審計(jì)功能可以細(xì)化到操作級(jí)別，其元數(shù)據(jù)為:誰、什么時(shí)間、在哪個(gè)系統(tǒng)、進(jìn)行了什么操作、操作內(nèi)容是什么，完全滿足公安部的要求。在審計(jì)功能的基礎(chǔ)上，關(guān)聯(lián)分析系統(tǒng)提供豐富的數(shù)據(jù)挖掘功能，由于數(shù)據(jù)挖掘功能與業(yè)務(wù)結(jié)合緊密，例如:串并案和逃犯關(guān)注排名。
[0035]在關(guān)聯(lián)分析系統(tǒng)之前，對(duì)于一個(gè)案件的串并案工作，主要靠內(nèi)部通報(bào)，但由于警種和區(qū)域的限制，串并案的線索來源并不全面。如果使用本發(fā)明提供的關(guān)聯(lián)分析系統(tǒng)，某一警員在案件偵破過程中，利用信息系統(tǒng)查詢犯罪嫌疑人或案例相關(guān)人員時(shí)，其操作記錄都會(huì)被關(guān)聯(lián)分析系統(tǒng)審計(jì)到。關(guān)聯(lián)分析系統(tǒng)自動(dòng)根據(jù)被查人員的信息，在數(shù)據(jù)倉庫中檢索所有查詢過該人的警員，按照時(shí)間和地域排序，形成案件線索，由內(nèi)部OA系統(tǒng)推送給案件承辦的警員。例如，派出所的A警官處理一起案件，通過網(wǎng)上逃犯庫中查詢了張三的信息，那么隨后王警官就會(huì)在OA系統(tǒng)中收到一份“案件線索文件”，其中提示“禁毒總隊(duì)的B警官在三天前在禁毒系統(tǒng)中也查詢過張三的信息”。關(guān)聯(lián)分析的具體應(yīng)用串并案自動(dòng)提示功能實(shí)現(xiàn)了跨系統(tǒng)、跨警種、跨地域的線索收集。
[0036]還如，在公安工作中，如何提高辦案效率是公安工作的首要問題。在關(guān)聯(lián)分析系統(tǒng)的逃犯關(guān)注排名，就可以起到探索作用。逃犯關(guān)注排名可以以全國逃犯庫為基礎(chǔ)數(shù)據(jù)，以本發(fā)明提供的關(guān)聯(lián)分析系統(tǒng)的提取規(guī)則為主要數(shù)據(jù)，通過權(quán)值處理算法，對(duì)逃犯進(jìn)行排序，篩選出最受關(guān)注和活躍的逃犯，作為工作的重點(diǎn)。其中，逃犯權(quán)值主要依據(jù)關(guān)注警員職級(jí)、關(guān)注(查詢)次數(shù)、時(shí)間來計(jì)算，如逃犯李四被廳長在上周查詢過一次，被禁毒總隊(duì)長在本周查詢過兩次，被基層民警查詢過11次，則其排名靠前，在通報(bào)時(shí)各警種和基層警員都會(huì)把張強(qiáng)作為工作的重點(diǎn)。
[0037]上述技術(shù)方案的描述僅體現(xiàn)了本發(fā)明的優(yōu)選技術(shù)方案，而并不是無遺漏的，很顯然的，根據(jù)上述實(shí)施例類推，本技術(shù)方案還應(yīng)用于政府、公安、交警、財(cái)政、金融、證券、稅務(wù)、電信運(yùn)營商、醫(yī)療、衛(wèi)生、保險(xiǎn)、企業(yè)、電力、能源、國土等各個(gè)行業(yè)，或者將本發(fā)明限于所公開的形式?；诒景l(fā)明的實(shí)施例，任何人在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的其他形式的技術(shù)方案，不論其在結(jié)構(gòu)或形式上作出何種變化，均屬于本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種業(yè)務(wù)數(shù)據(jù)的審計(jì)和深度分析系統(tǒng)，其特征在于，包括: 網(wǎng)絡(luò)接收單元，用以接收網(wǎng)絡(luò)數(shù)據(jù)包； 處理單元，接收網(wǎng)絡(luò)數(shù)據(jù)包以形成包括請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)的元數(shù)據(jù)，根據(jù)業(yè)務(wù)信息提取規(guī)則對(duì)元數(shù)據(jù)進(jìn)行處理，提取業(yè)務(wù)信息；并根據(jù)關(guān)聯(lián)分析知識(shí)，對(duì)業(yè)務(wù)信息進(jìn)行關(guān)聯(lián)分析； 維護(hù)單元，對(duì)業(yè)務(wù)信息提取規(guī)則庫和關(guān)聯(lián)分析知識(shí)庫進(jìn)行維護(hù)和更新； 存儲(chǔ)單元，存儲(chǔ)業(yè)務(wù)信息提取規(guī)則、關(guān)聯(lián)分析知識(shí)、業(yè)務(wù)信息及關(guān)聯(lián)分析結(jié)果。
2.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，其特征在于，還包括: 預(yù)處理單元，接收網(wǎng)絡(luò)接收單元傳輸過來的網(wǎng)絡(luò)數(shù)據(jù)包，并對(duì)數(shù)據(jù)包進(jìn)行應(yīng)用協(xié)議分析、協(xié)議算法處理及業(yè)務(wù)數(shù)據(jù)過濾，將處理后的網(wǎng)絡(luò)數(shù)據(jù)包發(fā)送至處理單元。
3.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)接收單元包括網(wǎng)絡(luò)身份認(rèn)證系統(tǒng)和網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)，網(wǎng)絡(luò)身份認(rèn)證系統(tǒng)用于監(jiān)控用戶狀態(tài)以確認(rèn)是否允許用戶數(shù)據(jù)通過，網(wǎng)絡(luò)數(shù)據(jù)探針系統(tǒng)根據(jù)預(yù)設(shè)抓包規(guī)則捕獲網(wǎng)絡(luò)數(shù)據(jù)包。
4.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，其特征在于，存儲(chǔ)單元以統(tǒng)一的存儲(chǔ)接口集成數(shù)據(jù)庫管理系統(tǒng)和分布式存儲(chǔ)架構(gòu)。
5.一種業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)分析方法，其特征在于，包括以下步驟: 501:構(gòu)建包括業(yè)務(wù)信息提取規(guī)則和業(yè)務(wù)信息的知識(shí)庫； 502:接收網(wǎng)絡(luò)數(shù)據(jù)包，形成由請(qǐng)求人、請(qǐng)求時(shí)間、目標(biāo)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)組成的元數(shù)據(jù)并存入知識(shí)庫； 503:根據(jù)元數(shù)據(jù)讀取提取規(guī)則； 504:根據(jù)提取規(guī)則提取業(yè)務(wù)信息。
6.根據(jù)權(quán)利要求5所述的分析方法，其特征在于，提取規(guī)則的狀態(tài)分為測試、活動(dòng)、凍結(jié)、失效四個(gè)階段。
7.根據(jù)權(quán)利要求5所述的分析方法，其特征在于，步驟102-104中，任務(wù)處理由任務(wù)調(diào)度單元和任務(wù)處理單元完成，任務(wù)調(diào)度單元負(fù)責(zé)分派任務(wù)、監(jiān)控任務(wù)、收回任務(wù)以及確認(rèn)任務(wù)。
8.根據(jù)權(quán)利要求7所述的分析方法，其特征在于，任務(wù)調(diào)度單元將任務(wù)分解成子任務(wù)的集合，以分發(fā)給至少一個(gè)任務(wù)處理單元，并進(jìn)行子任務(wù)的時(shí)序管理，子任務(wù)的處理分為并行處理和串行處理，任務(wù)及子任務(wù)的狀態(tài)分為準(zhǔn)備、就序、處理、完成以及收回。
9.根據(jù)權(quán)利要求5所述的分析方法，其特征在于，知識(shí)庫還包括規(guī)則定義、規(guī)則有效性驗(yàn)證以及規(guī)則管理。
【文檔編號(hào)】H04L29/08GK103618652SQ201310691075
【公開日】2014年3月5日 申請(qǐng)日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】邵永剛, 范仲偉, 李穎 申請(qǐng)人:沈陽覺醒軟件有限公司