一種http請求包的收集及處理方法、系統(tǒng)和服務器的制造方法
【專利摘要】本發(fā)明適用于通訊【技術領域】，提供了一種HTTP請求包的收集及處理方法、系統(tǒng)和服務器。處理方法包括以下步驟：接收客戶端瀏覽器插件上報的http請求包；根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；將掃描結果存儲到數(shù)據(jù)庫中。本發(fā)明實施例可以全面收集web應用程序在各種場景下的http請求包，從而提高了對web應用程序安全掃描的覆蓋度；且在不影響開發(fā)人員和QAi人員日常工作的情況下實現(xiàn)http請求包收集的完全自動化。
【專利說明】一種HTTP請求包的收集及處理方法、系統(tǒng)和服務器
【技術領域】
[0001]本發(fā)明屬于通訊【技術領域】，尤其涉及一種HTTP請求包的收集及處理方法、系統(tǒng)和服務器。
【背景技術】
[0002]在現(xiàn)有技術中，發(fā)現(xiàn)web應用程序安全漏洞的技術方案是利用web安全漏洞掃描器對整個部署web應用程序的站點做爬行并掃描。掃描器通常由3個模塊組成:爬行模塊、滲透測試模塊、判斷統(tǒng)計模塊。
[0003]爬行模塊是利用web頁面的爬行技術來遍歷網(wǎng)站的頁面，收集一個網(wǎng)站的所有http請求包。
[0004]滲透測試模塊是利用爬行模塊所收集的http請求包作為樣本，篡改http請求包的參數(shù)值或http請求包頭部，然后組成新的滲透測試請求包，然后把請求包發(fā)送到測試目標網(wǎng)站,并收集其返回包。
[0005]判斷統(tǒng)計模塊是對滲透測試模塊的返回包，根據(jù)一定的規(guī)則來判斷返回包是否存在安全漏洞，如果是則做反饋。
[0006]業(yè)界已有的web安全漏洞掃描器的主要缺陷在于爬行模塊，由于web2.0i應用的普及流行以及AJAX技術的廣泛使用，很多網(wǎng)站上面的http請求包都不能依靠現(xiàn)有的網(wǎng)站爬行技術所收集，即，現(xiàn)有網(wǎng)站爬行技術收集web應用程序請求包不完善，導致web應用程序的安全覆蓋度不能得到保障。
【發(fā)明內(nèi)容】
[0007]本發(fā)明的目的在于提供一種HTTP請求包的收集及處理方法、系統(tǒng)和服務器，旨在解決現(xiàn)有網(wǎng)站爬行技術收集web應用程序請求包不完善，導致web應用程序的安全覆蓋度不能得到保障的問題。
[0008]本發(fā)明是這樣實現(xiàn)的，一種HTTP請求包的處理方法，所述方法包括以下步驟:
[0009]接收客戶端瀏覽器插件上報的http請求包；
[0010]根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；
[0011]對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；
[0012]將掃描結果存儲到數(shù)據(jù)庫中。
[0013]本發(fā)明的另一目的在于提供一種服務器，所述服務器包括:
[0014]接收模塊，用于接收客戶端瀏覽器插件上報的http請求包；
[0015]錄入模塊，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；
[0016]掃描模塊，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；
[0017]存儲模塊，用于將掃描結果存儲到數(shù)據(jù)庫中。
[0018]本發(fā)明的另一目的在于提供一種HTTP請求包的處理系統(tǒng)，所述系統(tǒng)包括:瀏覽器插件和服務器；[0019]所述瀏覽器插件包括:
[0020]收集模塊，用于收集客戶端瀏覽器所發(fā)送的各種http請求包；
[0021]上報模塊，用于將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端；
[0022]所述服務器包括:
[0023]接收模塊，用于接收客戶端瀏覽器插件上報的http請求包；
[0024]錄入模塊，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；
[0025]掃描模塊，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；
[0026]存儲模塊，用于將掃描結果存儲到數(shù)據(jù)庫中。
[0027]在本發(fā)明中，通過安裝在客戶端瀏覽器中的插件，來負責將從瀏覽器中所發(fā)送出去的http請求包根據(jù)上報規(guī)則上報給服務器端，使得原先需要由爬行模塊所上報的http請求包被瀏覽器中的插件所取代。本發(fā)明實施例可以全面收集web應用程序在各種場景下的http請求包，從而提高了對web應用程序安全掃描的覆蓋度；且在不影響開發(fā)人員和QAii人員日常工作的情況下實現(xiàn)http請求包收集的完全自動化。
【專利附圖】
【附圖說明】
[0028]圖1是本發(fā)明實施例提供的HTTP請求包的收集方法的實現(xiàn)流程示意圖。
[0029]圖2是本發(fā)明實施例提供的HTTP請求包的處理方法的實現(xiàn)流程示意圖。
[0030]圖3是本發(fā)明實施例提供的瀏覽器插件的結構示意圖。
[0031]圖4是本發(fā)明實施例提供的服務器的結構示意圖。
【具體實施方式】
[0032]為了使本發(fā)明的目的、技術方案及有益效果更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0033]在本發(fā)明實施例中，通過安裝在客戶端瀏覽器中的插件，來負責將從瀏覽器中所發(fā)送出去的http請求包根據(jù)上報規(guī)則上報給服務器端，使得原先需要由爬行模塊所上報的http請求包被瀏覽器中的插件所取代。解決了現(xiàn)有網(wǎng)站爬行技術收集web應用程序請求包不完善，導致web應用程序的安全覆蓋度不能得到保障的問題。
[0034]請參閱圖1，為本發(fā)明實施例提供的HTTP請求包的收集方法的實現(xiàn)流程，其包括以下步驟:
[0035]在步驟SlOl中，客戶端瀏覽器插件收集客戶端瀏覽器所發(fā)送的各種http請求包；
[0036]在本發(fā)明實施例中，所述http請求包主要包括:協(xié)議、服務器域名、端口號、請求包路徑、GET參數(shù)名、POST參數(shù)名、擴展名、目標服務器網(wǎng)段等。
[0037]在步驟S102中，客戶端瀏覽器插件將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端。
[0038]在本發(fā)明實施例中，收集到的http請求包將會通過http協(xié)議的方式發(fā)送到服務器端以作存儲，本發(fā)明實施例可根據(jù)不同網(wǎng)站以及根據(jù)不同要求來確定請求包中的某些信息作為上報規(guī)則的條件，下面通過舉例來詳細描述，例如上報規(guī)則是同時符合下面1、2和3的請求包:
[0039]I)例如請求包url包含以下擴展名(圖片類型、音頻類型、壓縮類型等等，可以理解的是，不限于這些類型，該擴展名可根據(jù)用戶要求自行設定)的不作上報；如圖片類型為"bmp"，" gif"，" jpeg"，" jpg"，" png"等，音頻類型為"mpl"，" mp2"，"mp3"，" mp4"，" mp5"，" mp6"，壓縮類型為"7z"，" rar"等，
[0040]2)目標服務器網(wǎng)段例如為:
[0041]10\..*;
[0042]192\.168\..*;
[0043]172\.16\..*;
[0044]172\.17\..*;
[0045]然而，可以理解的是，不限于上述網(wǎng)段，其可根據(jù)用戶要求自行設定。
[0046]3)目標服務器域名段為:
[0047].*? \.qq\.com.*;
[0048].* ? \.msn\.com.*;
[0049].*? \.163\.com.*;
[0050]然而，可以理解的是，不限于上述目標服務器域名段，其可根據(jù)用戶要求自行設定。
[0051]請參閱圖2，為本發(fā)明實施例提供的HTTP請求包的處理方法的實現(xiàn)流程，其包括以下步驟:
[0052]在步驟S201中，接收客戶端瀏覽器插件上報的http請求包；
[0053]在本發(fā)明實施例中，在所述接收客戶端瀏覽器插件上報的http請求包的步驟之前，還包括:
[0054]客戶端瀏覽器插件收集客戶端瀏覽器所發(fā)送的各種http請求包；
[0055]客戶端瀏覽器插件將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端。
[0056]在步驟S202中，根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；
[0057]在本發(fā)明實施例中，去重規(guī)則為:把請求包的協(xié)議、服務器域名、端口號、請求包路徑、GET參數(shù)名、P0ST參數(shù)名串接在一起作為產(chǎn)生md5的種子來產(chǎn)生作為特征碼的md5字符串，為每一個準備新入庫的http請求包計算其特征碼md5，如果改特征碼沒有存儲于數(shù)據(jù)庫中，則對這個請求包做入庫處理。
[0058]在步驟S203中，對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；
[0059]在步驟S204中，將掃描結果存儲到數(shù)據(jù)庫中。
[0060]在本發(fā)明實施例中，所述根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫的步驟，具體為:
[0061]計算所述http請求包的唯一碼,將所述http請求包錄入數(shù)據(jù)庫。
[0062]其中，所述http請求包的唯一碼即為特征碼md5 ;如:把請求包的協(xié)議、服務器域名、端口號、請求包路徑、GET參數(shù)名、P0ST參數(shù)名串接在一起作為產(chǎn)生md5的種子來產(chǎn)生作為特征碼的md5字符串，為每一個準備新入庫的http請求包計算其特征碼md5,如果改特征碼沒有存儲于數(shù)據(jù)庫中，則對這個請求包做入庫處理。
[0063]在本發(fā)明實施例中，所述對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描的步驟，具體為:
[0064]篡改http請求包的參數(shù)或http請求包頭部,然后組成新的滲透測試請求包,將新的滲透測試請求包發(fā)送到測試目標網(wǎng)站，收集測試目標網(wǎng)站發(fā)送的返回包，通過判斷返回包是否包含特定的字符串來判斷http請求包是否存在安全漏洞。
[0065]在本發(fā)明實施例中，所述將掃描結果存儲到數(shù)據(jù)庫中的步驟，具體為:
[0066]存儲去重后的http請求包數(shù)據(jù)，以及安全掃描結果至數(shù)據(jù)庫中。
[0067]請參閱圖3，為本發(fā)明實施例提供的瀏覽器插件的結構。為了便于說明，僅示出了與本發(fā)明實施例相關的部分。
[0068]瀏覽器插件包括:收集模塊101、以及上報模塊102。
[0069]收集模塊101，用于收集客戶端瀏覽器所發(fā)送的各種http請求包。
[0070]上報模塊102，用于將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端。
[0071]請參閱圖4，為本發(fā)明實施例提供的服務器的結構。為了便于說明，僅示出了與本發(fā)明實施例相關的部分。
[0072]服務器包括:接收模塊201、錄入模塊202、掃描模塊203、以及存儲模塊204。
[0073]接收模塊201，用于接收客戶端瀏覽器插件上報的http請求包。
[0074]錄入模塊202，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫。
[0075]掃描模塊203，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描。
[0076]存儲模塊204，用于將掃描結果存儲到數(shù)據(jù)庫中。
[0077]在本發(fā)明實施例中，錄入模塊202，具體用于計算所述http請求包的唯一碼，將所述http請求包錄入數(shù)據(jù)庫。
[0078]在本發(fā)明實施例中，掃描模塊203具體包括:篡改模塊、判斷模塊。
[0079]篡改模塊,用于篡改http請求包的參數(shù)或http請求包頭部,然后組成新的滲透測試請求包，將新的滲透測試請求包發(fā)送到測試目標網(wǎng)站。
[0080]判斷模塊，用于收集測試目標網(wǎng)站發(fā)送的返回包，通過判斷返回包是否包含特定的字符串來判斷http請求包是否存在安全漏洞。
[0081]在本發(fā)明實施例中，存儲模塊204，具體用于存儲去重后的http請求包數(shù)據(jù)，以及安全掃描結果至數(shù)據(jù)庫中。
[0082]本發(fā)明實施例還提供一種HTTP請求包的處理系統(tǒng)，所述系統(tǒng)包括:瀏覽器插件和服務器；
[0083]所述瀏覽器插件包括:
[0084]收集模塊，用于收集客戶端瀏覽器所發(fā)送的各種http請求包；
[0085]上報模塊，用于將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端；
[0086]所述服務器包括:
[0087]接收模塊，用于接收客戶端瀏覽器插件上報的http請求包；
[0088]錄入模塊，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；
[0089]掃描模塊，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；
[0090]存儲模塊，用于將掃描結果存儲到數(shù)據(jù)庫中。
[0091]綜上所述，本發(fā)明實施例通過安裝在客戶端瀏覽器中的插件，來負責將從瀏覽器中所發(fā)送出去的http請求包根據(jù)上報規(guī)則上報給服務器端，使得原先需要由爬行模塊所上報的http請求包被瀏覽器中的插件所取代。本發(fā)明實施例可以全面收集web應用程序在各種場景下的http請求包，從而提高了對web應用程序安全掃描的覆蓋度；且在不影響開發(fā)人員和QAiii人員日常工作的情況下實現(xiàn)http請求包收集的完全自動化。
[0092]本領域普通技術人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，所述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，所述的存儲介質(zhì)，如R0M/RAM、磁盤、光盤等。
[0093]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權利要求】
1.一種HTTP請求包的處理方法，其特征在于，所述方法包括以下步驟: 接收客戶端瀏覽器插件上報的http請求包； 根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫； 對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描； 將掃描結果存儲到數(shù)據(jù)庫中。
2.如權利要求1所述的方法，其特征在于，在所述接收客戶端瀏覽器插件上報的http請求包的步驟之前，還包括: 客戶端瀏覽器插件收集客戶端瀏覽器所發(fā)送的各種http請求包； 客戶端瀏覽器插件將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端。
3.如權利要求1所述的方法，其特征在于，所述根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫的步驟，具體為: 計算所述http請求包的唯一碼,將所述http請求包錄入數(shù)據(jù)庫。
4.如權利要求1所述的方法，其特征在于，所述對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描的步驟，具體為: 篡改http請求包的參數(shù)或http請求包頭部,然后組成新的滲透測試請求包,將新的滲透測試請求包發(fā)送到測試目標網(wǎng)站，收集測試目標網(wǎng)站發(fā)送的返回包，通過判斷返回包是否包含特定的字符串來判斷http請求包是否存在安全漏洞。`
5.如權利要求1所述的方法，其特征在于，所述將掃描結果存儲到數(shù)據(jù)庫中的步驟，具體為: 存儲去重后的http請求包數(shù)據(jù)，以及安全掃描結果至數(shù)據(jù)庫中。
6.一種服務器，其特征在于，所述服務器包括: 接收模塊，用于接收客戶端瀏覽器插件上報的http請求包； 錄入模塊，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫； 掃描模塊，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描； 存儲模塊，用于將掃描結果存儲到數(shù)據(jù)庫中。
7.如權利要求6所述的服務器，其特征在于， 所述錄入模塊，具體用于計算所述http請求包的唯一碼,將所述http請求包錄入數(shù)據(jù)庫。
8.如權利要求6所述的服務器，其特征在于，所述掃描模塊具體包括:篡改模塊、判斷模塊； 篡改模塊，用于篡改http請求包的參數(shù)或http請求包頭部,然后組成新的滲透測試請求包，將新的滲透測試請求包發(fā)送到測試目標網(wǎng)站。 判斷模塊，用于收集測試目標網(wǎng)站發(fā)送的返回包，通過判斷返回包是否包含特定的字符串來判斷http請求包是否存在安全漏洞。
9.如權利要求6所述的服務器，其特征在于， 所述存儲模塊，具體用于存儲去重后的http請求包數(shù)據(jù)，以及安全掃描結果至數(shù)據(jù)庫中。
10.一種HTTP請求包的處理系統(tǒng)，其特征在于，所述系統(tǒng)包括:瀏覽器插件和服務器； 所述瀏覽器插件包括:收集模塊，用于收集客戶端瀏覽器所發(fā)送的各種http請求包；上報模塊，用于將收集到的http請求包根據(jù)上報規(guī)則上報給服務器端；所述服務器包括:接收模塊，用于接收客戶端瀏覽器插件上報的http請求包；錄入模塊，用于根據(jù)去重規(guī)則將所述http請求包錄入數(shù)據(jù)庫；掃描模塊，用于對新錄入數(shù)據(jù)庫中的http請求包進行安全掃描；存儲模塊，用于將掃描結 果存儲到數(shù)據(jù)庫中。
【文檔編號】H04L29/06GK103428249SQ201210162158
【公開日】2013年12月4日 申請日期:2012年5月23日 優(yōu)先權日:2012年5月23日
【發(fā)明者】黎偉堅, 黎曉波 申請人:騰訊科技（深圳）有限公司