一種分布式異常檢測網(wǎng)絡(luò)數(shù)據(jù)流的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是一種分布式異常檢測網(wǎng)絡(luò)數(shù)據(jù)流的方法。
【背景技術(shù)】
[0002] 網(wǎng)絡(luò)數(shù)據(jù)流異常是指對網(wǎng)絡(luò)傳輸造成影響，導(dǎo)致終端用戶無法正常使用的現(xiàn)象。 數(shù)據(jù)流異常會對網(wǎng)絡(luò)的性能造成一定程度的影響，消耗設(shè)備資源，嚴重時甚至可能導(dǎo)致網(wǎng) 絡(luò)癱瘓。例如：分布式拒絕服務(wù)攻擊，攻擊者通過控制多臺不同IP地址的計算機，對某個 服務(wù)器進行攻擊，通過發(fā)送大量的數(shù)據(jù)報文，不僅使服務(wù)器資源使用率過高，還占用網(wǎng)絡(luò)帶 寬，造成網(wǎng)絡(luò)擁堵，甚至服務(wù)器癱瘓。使得正常用戶的正常請求無法得到服務(wù)器的響應(yīng)。因 此，檢測網(wǎng)絡(luò)數(shù)據(jù)流出現(xiàn)的異常并采取一定措施進行處理，以保障網(wǎng)絡(luò)安全就顯得尤為重 要。
[0003] 該領(lǐng)域研究中根據(jù)異常檢測的檢測點部署位置的不同，可分為單點的異常檢測和 分布式的異常檢測。
[0004] 單點的異常檢測是通過在單個主機上配置檢測系統(tǒng)，來識別主機上出現(xiàn)的異常， 它可以針對主機異常進行細致的分析并發(fā)出警報，對檢測小型網(wǎng)絡(luò)的主機異常具有較好的 性能。但隨著網(wǎng)絡(luò)規(guī)模的不斷擴大，對每個主機設(shè)置檢測節(jié)點的成本太高，弊端凸顯。而且 這種方式無法了解網(wǎng)絡(luò)的流量信息，只能對主機異常進行檢測。
[0005] 分布式異常檢測作為異常檢測的一種方法被廣泛應(yīng)用于網(wǎng)網(wǎng)絡(luò)安全領(lǐng)域。它的主 要思想是在要監(jiān)測的網(wǎng)絡(luò)中設(shè)置多個檢測點和一個處理中心，通過彼此的協(xié)同工作完成異 常數(shù)據(jù)流的檢測。通常采用抽樣檢測的方式檢測部分的網(wǎng)絡(luò)數(shù)據(jù)流，通過處理和分析，判斷 整個網(wǎng)絡(luò)中的異常數(shù)據(jù)流情況。
[0006] 網(wǎng)絡(luò)數(shù)據(jù)流的異常檢測的典型分布式邏輯結(jié)構(gòu)主要有兩大類。第一類是分布式的 數(shù)據(jù)搜集，集中式的數(shù)據(jù)處理；第二類是分層結(jié)構(gòu)的數(shù)據(jù)搜集和處理。
[0007] 第一類分布式的數(shù)據(jù)搜集，如圖4所示，集中式的數(shù)據(jù)處理中需要兩類監(jiān)測點：探 測節(jié)點和分析節(jié)點。其中探測節(jié)點負責收集網(wǎng)絡(luò)信息，中心分析節(jié)點負責所有的計算和分 析任務(wù)。這種結(jié)構(gòu)的優(yōu)點主要體現(xiàn)在數(shù)據(jù)的準確度比較高，因為數(shù)據(jù)搜集完成后直接交由 分析結(jié)點處理，沒有經(jīng)過其他途徑。但其缺點是，一個分析結(jié)點負責多個搜集結(jié)點，造成分 析結(jié)點的負載過重。
[0008] 第二類分層結(jié)構(gòu)的數(shù)據(jù)搜集和處理需要配置多個分析節(jié)點，如圖5所示，通過節(jié) 點的深度分為高層節(jié)點和底層節(jié)點。底層分析節(jié)點收集處理后的信息輸出給高層分析節(jié) 點，由高層分析節(jié)點進行彼此關(guān)聯(lián)分析。這種結(jié)構(gòu)的優(yōu)點體現(xiàn)在使用分層的結(jié)構(gòu)，使得各個 分析結(jié)點的負荷大大降低。但缺點是在數(shù)據(jù)搜集后需要經(jīng)過層層的分析處理并向上層節(jié)點 傳遞，使得每經(jīng)過一層，數(shù)據(jù)的精確度便有所降低，導(dǎo)致高層的分析結(jié)點很難準確的對當前 網(wǎng)絡(luò)狀況進行判斷。
[0009] 對檢測點進行部署后，在單個檢測點上進行異常檢測的技術(shù)主要分為三類：
[0010] 1、基于特征匹配的異常檢測技術(shù)，其主要思想是：特征庫中存儲下已知異常的特 征數(shù)據(jù)，檢測點通過提取數(shù)據(jù)流的相應(yīng)特征屬性，與特征庫進行匹配來確定數(shù)據(jù)流的異常 情況。該匹配又分為模糊匹配和完全匹配。模糊匹配，當相似率超過指定閾值，則認為異常。 完全匹配，只有當相似率達到百分之百的時候，才認定為異常。這種方法可以根據(jù)已有的異 常數(shù)據(jù)流特征庫檢測出特征庫中存在的異常，具有較高的準確性和可靠性。但是這種方法 只能對已知的異常進行檢測，無法識別未知的異常數(shù)據(jù)流。
[0011] 2、基于統(tǒng)計分析的異常檢測技術(shù)，其主要思想是：統(tǒng)計網(wǎng)絡(luò)中一段時間內(nèi)的數(shù)據(jù) 流信息，建立某種數(shù)學(xué)模型，統(tǒng)計分析得到一個閾值，用以區(qū)分正常流和異常流。例如：獲取 某時間段數(shù)據(jù)流攜帶的所有數(shù)據(jù)包，通過計算得到數(shù)據(jù)包的出現(xiàn)頻率，頻率超過某閾值者 視為正常數(shù)據(jù)流，否則視為異常。這種方法不需要事先知道異常數(shù)據(jù)流的具體行為特征，可 以防范新出現(xiàn)的異常。但合理的閾值的確定成為這種方法的難點，閾值設(shè)定太高，會導(dǎo)致一 些異常無法檢測出來，系統(tǒng)漏報率增加；閾值設(shè)定太低會導(dǎo)致正常數(shù)據(jù)流的誤判，即某些正 常數(shù)據(jù)流會被當做異常數(shù)據(jù)處理。
[0012] 3、基于機器學(xué)習(xí)和數(shù)據(jù)挖掘的異常檢測技術(shù)，其主要思想是：通過采集大量的數(shù) 據(jù)，進行分析，得出異常情況。如今的數(shù)據(jù)挖掘的方法已有許多，如分類算法，聚合算法，神 經(jīng)網(wǎng)絡(luò)算法，模式分析等。這種方法既可以檢測已知的異常流，也可以檢測位置的異常流， 可以對大量數(shù)據(jù)進行關(guān)聯(lián)分析。但是處理的數(shù)據(jù)量較大，計算量大，會消耗較多的系統(tǒng)資 源。

【發(fā)明內(nèi)容】

[0013] 有鑒于此，本發(fā)明的目的是提供一種分布式異常檢測網(wǎng)絡(luò)數(shù)據(jù)流的方法，在保護 終端的同時可實現(xiàn)分布式檢測網(wǎng)絡(luò)數(shù)據(jù)流。該方法可以有效減少整個網(wǎng)絡(luò)中的異常包，并 防止終端接受異常包；將檢測點置于終端與網(wǎng)絡(luò)的連接口，可以有效減少檢測點的負載，則 檢測結(jié)點硬件制作的成本可降低，同時檢測與分析集成于一體，不會出現(xiàn)分層的數(shù)據(jù)精度 丟失。
[0014] 本發(fā)明采用以下方案實現(xiàn)：一種分布式異常檢測網(wǎng)絡(luò)數(shù)據(jù)流的方法，具體包括以 下步驟：
[0015] 步驟S1:部署N個檢測點：設(shè)終端設(shè)備與網(wǎng)絡(luò)的連接接口的一結(jié)點為普通結(jié)點，所 述檢測點獨立于所述普通結(jié)點之外；所述檢測點與所述普通結(jié)點相連，每個檢測點監(jiān)測一 普通節(jié)點，用以檢測普通節(jié)點處的終端設(shè)備發(fā)送的異常數(shù)據(jù)包同時防止該終端接收到網(wǎng)絡(luò) 中的異常數(shù)據(jù)包；
[0016] 步驟S2 :檢測點監(jiān)測異常網(wǎng)絡(luò)數(shù)據(jù)流：采用三種檢測方法進行層次化的異常檢 測，第一層檢測采用基于特征匹配的異常檢測方法，第二層檢測采用基于統(tǒng)計分析的異常 檢測方法，第三層采用基于機器學(xué)習(xí)與數(shù)據(jù)挖掘的異常檢測方法：
[0017] 步驟S3 :檢測點進行信息共享：利用普通結(jié)點進行檢測點之間的信息共享，則所 有檢測點的特征庫進行有效更新。
[0018] 進一步地，所述步驟S1具體包括以下步驟：
[0019] 步驟S11 :提供N個終端設(shè)備以及與每個終端設(shè)備相連的路由器或交換機，即存在 N個路由器或者交換機，在每個路由器或交換機上均設(shè)置一個檢測點，形成一檢測點集合D ={D」i= 1，2,3...N};
[0020] 步驟S12 :進行特征庫設(shè)計，所述特征庫包括特征串與特征值；其中所述特征串為 一定長度的字符串，所述特征值為所述特征串中的每個字符進行異或得到的結(jié)果；所述特 征庫設(shè)計采用鏈表設(shè)計，每種長度的特征串連成一個鏈表；
[0021] 步驟S13 :初始化所有檢測點，將已知的異常數(shù)據(jù)流的特征信息的特征庫布置到 檢測點中，并將所述檢測點連接到對應(yīng)的路由器或交換機上，則所述檢測點通過所連接的 路由器或交換機對網(wǎng)絡(luò)數(shù)據(jù)流進行分析。
[0022] 較佳的，網(wǎng)絡(luò)中的每個結(jié)點為普通結(jié)點，這些被監(jiān)測的普通結(jié)點都是與終端有直 接相連的。出于對終端機器的保護，以及減少由終端機器發(fā)給送到整個網(wǎng)絡(luò)線路中的異 常包，在終端機器與整個網(wǎng)絡(luò)的連接接口處，布置檢測點，一個檢測點只對這個接口進行負 責，降低檢測點的負載，從而降低對檢測點的硬件要求，達到降低成本的效果。這個檢測點 不僅可以檢測終端機器發(fā)送出去的異常包，而且可以防止該終端接收到來自網(wǎng)絡(luò)中的異常 數(shù)據(jù)包，大大增加了安全性。
[0023] 進一步地，所述步驟S2中第一層檢測采用基于特征匹配的異常檢測方法具體包 括以下步驟：
[0024] 步驟S211 :假設(shè)特征庫內(nèi)的特征集合用C={A|i= 0, 1，2- }表示；
[0025] 步驟S212:所述檢測點接收網(wǎng)絡(luò)數(shù)據(jù)流時，即所述網(wǎng)絡(luò)數(shù)據(jù)流通過檢測點檢測的 路由器或者交換機的時，所述檢測點提取數(shù)所述網(wǎng)絡(luò)數(shù)據(jù)流的特征串和特征值，所述特征 串包括IP地址、端口號以及協(xié)議類型；設(shè)定所述特征串長度為L，則將所述特征串總每個字 符相異或得到一對應(yīng)的特征值T，采用以下公式得到特征值T:『=…，其中所述特 征串L為AB......；
[0026] 步驟S213 :假設(shè)特征庫中長度與特征值T相同的特征串有m個，則j= 1，2,3,…， m，則為該長度下的特征值；所述檢測點判斷是否為零，若不等于〇,則所述 特征串與該特征值不匹配，忽略該特征串；若等于〇,則所述特征串與該特征值匹配， 保留該特征串，進行下一次的完整匹配；
[0027] 步驟S214:經(jīng)過所述步驟S213的篩選，對保留下的特征串采用BF算法進行完整 匹配，所述BF算法具體為將目標特征串的第一個字符與模式特征串的第一個字符進行匹 配，判斷兩者是否相等；若相等，則繼續(xù)比較所述目標特征串的第二個字符與所述模式特征 串的第二個字符；若不相等，則比較所述目標特征串的第二個字符和所述模式特征串的的 第一個字符，依次比較下去，直到得出最后的匹配結(jié)果；若所述目標特征串與所述模式特征 串匹配成功，則該數(shù)據(jù)流為異常數(shù)據(jù)流，若未匹配成功則進入下一層檢測。
[0028] 特別的，這一層的檢測過程中，由于先建立起了保存異常數(shù)據(jù)流特征信息的特征 庫。異常數(shù)據(jù)流的特征信息可包括報文的負載特征、傳輸特征、連接的特征等。當數(shù)據(jù)流通 過檢測點的時候，檢測點首先提取該數(shù)據(jù)流的特征信息，通過完全匹配的方法，將其與特征 庫中已有的特征屬性進行匹配，如果匹配的相似率達到百分之百，則認定該數(shù)據(jù)流為異常 數(shù)據(jù)流，發(fā)出警告，提醒網(wǎng)絡(luò)管理者進行異常處理。采用該方法可以簡單的去除已知的異常 流，而其余的數(shù)據(jù)流則進行下一層檢測。
[0029] 進一步地，所述步驟S2中第二層檢測采用基于統(tǒng)計分析分異常檢測方法具體包 括以下步驟：
[0030] 步驟S21 :檢測點對需要進行檢測的網(wǎng)絡(luò)數(shù)據(jù)流進行特征信息采集，所述特征信 息包括源IP、目的IP、源端口、目的端口以及數(shù)據(jù)容量大小。
[0031] 步驟S222:定義屯表示第i個特征信息的第j個值的大小；定義