一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法
【專利摘要】本發(fā)明公開(kāi)了一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，其特征在于，具有全局監(jiān)視線程；具有全局采集規(guī)則總隊(duì)列；具有全局優(yōu)先隊(duì)列；每個(gè)采集目標(biāo)建立獨(dú)立線程池和采集隊(duì)列；每個(gè)采集目標(biāo)具有獨(dú)立采集策略；優(yōu)先隊(duì)列中規(guī)則將優(yōu)先于總規(guī)則隊(duì)列采集；當(dāng)信息規(guī)則修改時(shí)放入優(yōu)先隊(duì)列采集一次；分屬不同專題的信息規(guī)則在隊(duì)列中位置均衡。本方法可以靈活適應(yīng)互聯(lián)網(wǎng)信息的復(fù)雜性，為每一個(gè)互聯(lián)網(wǎng)目標(biāo)的采集制定策略，精確可調(diào)的控制系統(tǒng)資源和網(wǎng)絡(luò)資源的使用，提高采集速度，平衡系統(tǒng)各部分獲取信息的速度，分隔各個(gè)采集目標(biāo)的訪問(wèn)，不使一個(gè)采集目標(biāo)的采集狀態(tài)影響其它目標(biāo)的采集，從而改善用戶體驗(yàn)，提高采集系統(tǒng)性能。
【專利說(shuō)明】一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于互聯(lián)網(wǎng)信息處理領(lǐng)域，具體地說(shuō)是一種依據(jù)目標(biāo)策略進(jìn)行差別化采集調(diào)度的方法。

【背景技術(shù)】
[0002]隨著社會(huì)信息化的迅猛發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們表達(dá)觀點(diǎn)、發(fā)表評(píng)論的重要場(chǎng)所。新聞網(wǎng)、博客、微博、貼吧、論壇以及社交媒體等是互聯(lián)網(wǎng)信息的聚合點(diǎn)。網(wǎng)絡(luò)信息采集系統(tǒng)作為互聯(lián)網(wǎng)信息的深入分析的起點(diǎn)。基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，一方面可以應(yīng)用到輿情分析系統(tǒng)中，用于政府機(jī)關(guān)如政府、公安、檢察等單位快速?gòu)木W(wǎng)絡(luò)上獲取關(guān)于本單位的相關(guān)信息。另一方面可以應(yīng)用到情報(bào)分析系統(tǒng)中，用于從網(wǎng)絡(luò)上快速獲取有價(jià)值的線索信息。
[0003]鑒于互聯(lián)網(wǎng)信息的復(fù)雜性，互聯(lián)網(wǎng)信息聚合目標(biāo)具有各種各樣不同的特性，有的還具有防采集特性，采集系統(tǒng)所使用的硬件資源和網(wǎng)絡(luò)資源也有所不同，這就需要針對(duì)不同目標(biāo)確定不同采集策略，根據(jù)系統(tǒng)性能進(jìn)行調(diào)度優(yōu)化，兼顧速度及系統(tǒng)資源平衡性，采集系統(tǒng)的調(diào)度方式要靈活、可調(diào)，具有目標(biāo)隔離特性，一個(gè)目標(biāo)的訪問(wèn)速度、采集成功與否，不能影響對(duì)其它目標(biāo)的采集。


【發(fā)明內(nèi)容】

[0004]鑒于以上所述的需求，本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，該方法可以靈活適應(yīng)互聯(lián)網(wǎng)信息的復(fù)雜性，為每一個(gè)互聯(lián)網(wǎng)目標(biāo)的采集制定策略，精確可調(diào)的控制系統(tǒng)資源和網(wǎng)絡(luò)資源的使用，提高采集速度，改善用戶體驗(yàn)，平衡系統(tǒng)各部分(專題)獲取信息的速度，分隔各個(gè)采集目標(biāo)的訪問(wèn)，不使一個(gè)采集目標(biāo)的采集狀態(tài)影響其它目標(biāo)的采集。
[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是通過(guò)以下的技術(shù)方案來(lái)實(shí)現(xiàn)的，本發(fā)明是一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，其特點(diǎn)是，具有全局監(jiān)視線程；具有全局采集規(guī)則總隊(duì)列；具有全局優(yōu)先隊(duì)列；每個(gè)采集目標(biāo)建立獨(dú)立線程池和采集隊(duì)列；每個(gè)采集目標(biāo)具有獨(dú)立采集策略；優(yōu)先隊(duì)列中規(guī)則將優(yōu)先于總規(guī)則隊(duì)列采集；當(dāng)信息規(guī)則修改時(shí)放入優(yōu)先隊(duì)列采集一次；分屬不同專題的信息規(guī)則在隊(duì)列中位置均衡；其具體步驟如下:
(1)創(chuàng)建調(diào)度監(jiān)視線程；其操作步驟如下:
(1-1)該監(jiān)視線程具有創(chuàng)建規(guī)則隊(duì)列L1、L2能力；(1-2)該監(jiān)視線程具有創(chuàng)建、停止、刪除采集線程池Tn的能力；
(2)根據(jù)信息規(guī)則集合R，創(chuàng)建總規(guī)則隊(duì)列LI;其操作步驟如下:
(2-1)根據(jù)信息規(guī)則集合R，在系統(tǒng)初始化時(shí)創(chuàng)建總規(guī)則隊(duì)列LI，根據(jù)規(guī)則所屬專題的不同，從每一個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，所有專題選擇過(guò)后，重新從每個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，直至所有規(guī)則放入隊(duì)列為止，每個(gè)規(guī)則放入隊(duì)列時(shí)，打上自增的序號(hào)，代表其在隊(duì)列中的位置；(2-2)信息規(guī)則集合R發(fā)生變化時(shí)，如R中的規(guī)則發(fā)生增加則將增加規(guī)則增加到總規(guī)則隊(duì)列LI的尾部，如R中的規(guī)則發(fā)生刪除，則直接刪除隊(duì)列中的元素；
(3)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集線程池Tn;其操作步驟如下:(3-1)查找目標(biāo)策略集合P，根據(jù)目標(biāo)策略創(chuàng)建線程池，每一個(gè)目標(biāo)創(chuàng)建一個(gè)線程池，線程池中線程數(shù)量由目標(biāo)策略確定，存在訪問(wèn)限制的目標(biāo)，線程池中線程數(shù)量為I ;
(4)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集隊(duì)列In;其操作步驟如下:(4-1)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)策略中指定長(zhǎng)度的采集隊(duì)列In ；
(5)創(chuàng)建優(yōu)先隊(duì)列L2;其操作步驟如下:
(5-1)系統(tǒng)創(chuàng)建優(yōu)先隊(duì)列L2，初始化時(shí)優(yōu)先隊(duì)列為空；
(5-2)系統(tǒng)在非初始化時(shí)對(duì)規(guī)則集合R進(jìn)行增加操作時(shí)，將增加元素放入L2中；
(6)Tn中線程提取優(yōu)先規(guī)則隊(duì)列L2中規(guī)則進(jìn)行采集；其操作步驟如下:(6-1)Τη中線程優(yōu)先提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，當(dāng)η個(gè)目標(biāo)線程池都將L2遍歷道隊(duì)尾時(shí)，將L2清空
(7)Τη中線程提取總規(guī)則隊(duì)列LI中規(guī)則進(jìn)行采集；其操作步驟如下:(7-1)Τη中線程遍歷過(guò)L2后遍歷LI，提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，遍歷過(guò)程中如發(fā)現(xiàn)L2存在新元素則重新遍歷L2 ;轉(zhuǎn)到步驟(6-1)。
[0006]本方法可以靈活適應(yīng)互聯(lián)網(wǎng)信息的復(fù)雜性，為每一個(gè)互聯(lián)網(wǎng)目標(biāo)的采集制定策略，采集調(diào)度靈活，精確可調(diào)的控制系統(tǒng)資源和網(wǎng)絡(luò)資源的使用，提高采集速度；具有優(yōu)先規(guī)則隊(duì)列和總規(guī)則隊(duì)列，可以兼顧快速信息獲取和資源均衡性需求，平衡系統(tǒng)各部分(專題)獲取信息的速度，分隔各個(gè)采集目標(biāo)的訪問(wèn)，不使一個(gè)采集目標(biāo)的采集狀態(tài)影響其它目標(biāo)的采集，從而改善用戶體驗(yàn)，提高采集系統(tǒng)性能。

【專利附圖】

【附圖說(shuō)明】
[0007]圖1是本發(fā)明方法的流程框圖；
圖2是圖1中步驟101創(chuàng)建監(jiān)視線程類的方法列表；
圖3是圖1中步驟102所述的根據(jù)信息規(guī)則集合R，創(chuàng)建總規(guī)則隊(duì)列LI流程圖；
圖4是圖1中步驟103所述的根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集線程池Tn的流程圖；
圖5是圖1中步驟104所述的根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集隊(duì)列In流程圖；
圖6是圖1中步驟105所述的創(chuàng)建優(yōu)先隊(duì)列L2的流程圖；
圖7是圖1中步驟106所述的Tn中線程提取優(yōu)先規(guī)則隊(duì)列L2中規(guī)則進(jìn)行采集的流程圖；
圖8是圖1中步驟107所述的Tn中線程提取總規(guī)則隊(duì)列LI中規(guī)則進(jìn)行采集的流程圖。

【具體實(shí)施方式】
[0008]以下參照附圖，進(jìn)一步描述本發(fā)明的具體技術(shù)方案，以便于本領(lǐng)域的技術(shù)人員進(jìn)一步地理解本發(fā)明，而不構(gòu)成對(duì)其權(quán)利的限制。
[0009]實(shí)施例1，一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，具有全局監(jiān)視線程；具有全局采集規(guī)則總隊(duì)列；具有全局優(yōu)先隊(duì)列；每個(gè)采集目標(biāo)建立獨(dú)立線程池和采集隊(duì)列；每個(gè)采集目標(biāo)具有獨(dú)立采集策略；優(yōu)先隊(duì)列中規(guī)則將優(yōu)先于總規(guī)則隊(duì)列采集；當(dāng)信息規(guī)則修改時(shí)放入優(yōu)先隊(duì)列采集一次；分屬不同專題的信息規(guī)則在隊(duì)列中位置均衡；其具體步驟如下:
(1)創(chuàng)建調(diào)度監(jiān)視線程；其操作步驟如下:
(1-1)該監(jiān)視線程具有創(chuàng)建規(guī)則隊(duì)列L1、L2能力；(1-2)該監(jiān)視線程具有創(chuàng)建、停止、刪除采集線程池Tn的能力；
(2)根據(jù)信息規(guī)則集合R，創(chuàng)建總規(guī)則隊(duì)列LI;其操作步驟如下:
(2-1)根據(jù)信息規(guī)則集合R，在系統(tǒng)初始化時(shí)創(chuàng)建總規(guī)則隊(duì)列LI，根據(jù)規(guī)則所屬專題的不同，從每一個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，所有專題選擇過(guò)后，重新從每個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，直至所有規(guī)則放入隊(duì)列為止，每個(gè)規(guī)則放入隊(duì)列時(shí)，打上自增的序號(hào)，代表其在隊(duì)列中的位置；(2-2)信息規(guī)則集合R發(fā)生變化時(shí)，如R中的規(guī)則發(fā)生增加則將增加規(guī)則增加到總規(guī)則隊(duì)列LI的尾部，如R中的規(guī)則發(fā)生刪除，則直接刪除隊(duì)列中的元素；
(3)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集線程池Tn;其操作步驟如下:(3-1)查找目標(biāo)策略集合P，根據(jù)目標(biāo)策略創(chuàng)建線程池，每一個(gè)目標(biāo)創(chuàng)建一個(gè)線程池，線程池中線程數(shù)量由目標(biāo)策略確定，存在訪問(wèn)限制的目標(biāo)，線程池中線程數(shù)量為I ;
(4)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集隊(duì)列In;其操作步驟如下:(4-1)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)策略中指定長(zhǎng)度的采集隊(duì)列In ；
(5)創(chuàng)建優(yōu)先隊(duì)列L2;其操作步驟如下:
(5-1)系統(tǒng)創(chuàng)建優(yōu)先隊(duì)列L2，初始化時(shí)優(yōu)先隊(duì)列為空；
(5-2)系統(tǒng)在非初始化時(shí)對(duì)規(guī)則集合R進(jìn)行增加操作時(shí)，將增加元素放入L2中；
(6)Tn中線程提取優(yōu)先規(guī)則隊(duì)列L2中規(guī)則進(jìn)行采集；其操作步驟如下:
(6-1) Tn中線程優(yōu)先提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，當(dāng)η個(gè)目標(biāo)線程池都將L2遍歷道隊(duì)尾時(shí)，將L2清空
(7)Tn中線程提取總規(guī)則隊(duì)列LI中規(guī)則進(jìn)行采集；其操作步驟如下:
(7-DTn中線程遍歷過(guò)L2后遍歷LI，提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，遍歷過(guò)程中如發(fā)現(xiàn)L2存在新元素則重新遍歷L2 ;轉(zhuǎn)到步驟(6-1)。
[0010]實(shí)施例2，一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法進(jìn)行的操作實(shí)驗(yàn)，具體實(shí)施步驟如下:
參照?qǐng)D1，步驟101，采集系統(tǒng)初始化后，系統(tǒng)創(chuàng)建調(diào)度監(jiān)視線程MT，參照?qǐng)D2，步驟101，包括以下步驟:
步驟201,調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法ruleOperat1n(inttype, Objectobj),用于對(duì)采集規(guī)則總隊(duì)列增刪查操作，type值確定是哪個(gè)操作(暫定1:增，2:刪除，3:查詢)，obj參數(shù)不同的操作類型代表不同意義，增加刪除修改操作時(shí)為規(guī)則對(duì)象，查詢操作時(shí)為起始查詢點(diǎn)；
步驟202,調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法pr1rRuleOperat1n (inttype, Objectobj)，用于優(yōu)先規(guī)則隊(duì)列的增刪查操作，參數(shù)意義同步驟201 ； 步驟203,調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法startEngine (intid),用于啟動(dòng)搜索引擎任務(wù)，id為搜索引擎對(duì)象的id;
步驟204,調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法stopEngine (intid),用于停止搜索引擎任務(wù)，id為搜索引擎對(duì)象的id;
步驟205，調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法queryAllStatusO，用于查詢所有搜索引擎的狀態(tài)；
步驟206,調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法queryStatus (intid),根據(jù)搜索引擎ID查詢?cè)撍阉饕嫒蝿?wù)狀態(tài)；
步驟207，調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法getRuleSize O，返回采集規(guī)則隊(duì)列當(dāng)前規(guī)則數(shù)；
步驟208，調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法getPr1rRuleSizeO，返回優(yōu)先規(guī)則隊(duì)列當(dāng)前規(guī)則數(shù)；
步驟209，調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法scan O，定時(shí)掃描任務(wù)，定時(shí)檢查每個(gè)搜索引擎任務(wù)對(duì)優(yōu)先規(guī)則隊(duì)列請(qǐng)求位置，如果所有搜索引擎任務(wù)都已請(qǐng)求到了優(yōu)先規(guī)則隊(duì)列的隊(duì)尾位置，則清空優(yōu)先規(guī)則隊(duì)列；
步驟210，調(diào)度監(jiān)視線程MT實(shí)現(xiàn)類具有方法init O，初始化采集隊(duì)列，搜索引擎隊(duì)列。
[0011]步驟102，調(diào)度監(jiān)視線程MT創(chuàng)建總規(guī)則隊(duì)列LI，其長(zhǎng)度與系統(tǒng)數(shù)據(jù)庫(kù)內(nèi)全部基礎(chǔ)規(guī)則數(shù)量相同，參照?qǐng)D3，步驟102包括以下步驟；
步驟301，調(diào)度監(jiān)視線程Mt創(chuàng)建總規(guī)則隊(duì)列LI ；
步驟302，調(diào)度監(jiān)視線程Mt讀取信息規(guī)則集合R，從每一專題對(duì)應(yīng)規(guī)則中順序選擇I個(gè)規(guī)則放入LI，以保證各個(gè)專題對(duì)應(yīng)規(guī)則在LI中均勻分布；
步驟302，LI中每一個(gè)規(guī)則在入隊(duì)時(shí)增加一個(gè)自增序號(hào)，該序號(hào)從I開(kāi)始，只增不減，規(guī)則與序號(hào)唯一對(duì)應(yīng)，對(duì)隊(duì)列的任何操作，對(duì)應(yīng)關(guān)系不發(fā)生變化；
步驟303，判斷規(guī)則集合R中是否還有未入隊(duì)規(guī)則，是則重復(fù)步驟301，否則規(guī)則總隊(duì)列LI創(chuàng)建初始化結(jié)束。
[0012]步驟103，調(diào)度監(jiān)視線程MT讀取數(shù)據(jù)庫(kù)中目標(biāo)策略集合P，根據(jù)P包含的每一條記錄，創(chuàng)建記錄對(duì)應(yīng)的采集目標(biāo)線程池，參照?qǐng)D4，步驟103包括以下步驟:
步驟401，調(diào)度監(jiān)視線程MT讀取數(shù)據(jù)庫(kù)中目標(biāo)策略集合P，目標(biāo)策略集合P中包含網(wǎng)絡(luò)目標(biāo)的采集配置信息，如:該采集目標(biāo)對(duì)應(yīng)采集線程池包含線程數(shù)量；該采集目標(biāo)采集間隔，O為無(wú)采集間隔，如果為非O值，則使用單線程進(jìn)行采集，即對(duì)應(yīng)采集線程池線程數(shù)為I ;該采集目標(biāo)對(duì)應(yīng)采集隊(duì)列In長(zhǎng)度；
步驟402，根據(jù)每個(gè)目標(biāo)不同的策略信息，創(chuàng)建不同的線程池Tn，縣城池?cái)?shù)量與目標(biāo)數(shù)量一致；
步驟403，判斷目標(biāo)策略集合P中是否還有未讀取策略，是則重復(fù)步驟401，否則目標(biāo)線程池創(chuàng)建結(jié)束。
[0013]步驟104，采集線程讀取數(shù)據(jù)庫(kù)中目標(biāo)策略集合P，根據(jù)P包含的每一條記錄，創(chuàng)建記錄對(duì)應(yīng)的采集目標(biāo)對(duì)應(yīng)采集隊(duì)列In，參照?qǐng)D5，步驟104包括以下步驟:
步驟501，采集線程讀取目標(biāo)策略集合對(duì)應(yīng)記錄Pn ；
步驟502,創(chuàng)建目標(biāo)策略Pn中指定長(zhǎng)度的采集隊(duì)列In,采集隊(duì)列數(shù)量與采集目標(biāo)數(shù)量相同，采集隊(duì)列In長(zhǎng)度不同決定了采集線程每次從規(guī)則總隊(duì)列中讀取的規(guī)則數(shù)量；
步驟503，判斷目標(biāo)策略集合P中是否還有未讀取策略，是則重復(fù)步驟401，否則采集目標(biāo)隊(duì)列創(chuàng)建結(jié)束。
[0014]步驟105，調(diào)度監(jiān)視線程MT創(chuàng)建空優(yōu)先隊(duì)列，參照?qǐng)D6，步驟105包括以下步驟: 步驟601，調(diào)度監(jiān)視線程MT創(chuàng)建空優(yōu)先隊(duì)列L2 ；
步驟602，當(dāng)非初始化時(shí)，規(guī)則集合R出現(xiàn)增加規(guī)則時(shí)，調(diào)用步驟202調(diào)度監(jiān)視線程MT的 pr1rRuleOperat1n (inttype, Objectobj)方法；
步驟603，調(diào)度監(jiān)視線程MT掃描規(guī)則集合R，讀取增加的規(guī)則集合R+，將R+放入優(yōu)先隊(duì)列L2 ；
步驟106，Tn中線程提取優(yōu)先隊(duì)列L2中規(guī)則進(jìn)行采集，參照?qǐng)D7，步驟106包括以下步驟:
步驟701，全部目標(biāo)采集線程Tn分別遍歷L2，將L2種元素放入In中，開(kāi)始采集轉(zhuǎn)入步驟 702 ；
步驟702，采集線程Tn調(diào)用采集實(shí)現(xiàn)類進(jìn)行采集；
步驟703，判斷Tn是否遍歷完L2，是則轉(zhuǎn)入步驟801，否則轉(zhuǎn)入步驟701 ；
步驟704，判斷所有所有Tn是否遍歷完L2，是則清空L2，否則轉(zhuǎn)入步驟701。
[0015]步驟107，Τη中線程提取總規(guī)則隊(duì)列LI中規(guī)則進(jìn)行采集，參照?qǐng)D8，步驟107包括以下步驟:
步驟801，Tn線程從LI中獲取In長(zhǎng)度個(gè)元素放入In ；
步驟802，調(diào)用采集實(shí)現(xiàn)類進(jìn)行采集；
步驟803，判斷L2是否存在新元素，是則轉(zhuǎn)入步驟701，否則轉(zhuǎn)入步驟804 ；
步驟804，判斷Tn是否遍歷到LI結(jié)尾，是則轉(zhuǎn)入步驟701，否則轉(zhuǎn)入步驟801。
【權(quán)利要求】
1.一種基于目標(biāo)的互聯(lián)網(wǎng)信息采集調(diào)度方法，其特征在于，具有全局監(jiān)視線程；具有全局采集規(guī)則總隊(duì)列；具有全局優(yōu)先隊(duì)列；每個(gè)采集目標(biāo)建立獨(dú)立線程池和采集隊(duì)列；每個(gè)采集目標(biāo)具有獨(dú)立采集策略；優(yōu)先隊(duì)列中規(guī)則將優(yōu)先于總規(guī)則隊(duì)列采集；當(dāng)信息規(guī)則修改時(shí)放入優(yōu)先隊(duì)列采集一次；分屬不同專題的信息規(guī)則在隊(duì)列中位置均衡；其具體步驟如下: (1)創(chuàng)建調(diào)度監(jiān)視線程；其操作步驟如下: (1-1)該監(jiān)視線程具有創(chuàng)建規(guī)則隊(duì)列L1、L2能力；(1-2)該監(jiān)視線程具有創(chuàng)建、停止、刪除采集線程池Tn的能力； (2)根據(jù)信息規(guī)則集合R，創(chuàng)建總規(guī)則隊(duì)列LI;其操作步驟如下: (2-1)根據(jù)信息規(guī)則集合R，在系統(tǒng)初始化時(shí)創(chuàng)建總規(guī)則隊(duì)列LI，根據(jù)規(guī)則所屬專題的不同，從每一個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，所有專題選擇過(guò)后，重新從每個(gè)專題順序選擇I個(gè)規(guī)則放入隊(duì)列，直至所有規(guī)則放入隊(duì)列為止，每個(gè)規(guī)則放入隊(duì)列時(shí)，打上自增的序號(hào)，代表其在隊(duì)列中的位置；(2-2)信息規(guī)則集合R發(fā)生變化時(shí)，如R中的規(guī)則發(fā)生增加則將增加規(guī)則增加到總規(guī)則隊(duì)列LI的尾部，如R中的規(guī)則發(fā)生刪除，則直接刪除隊(duì)列中的元素； (3)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集線程池Tn;其操作步驟如下:(3-1)查找目標(biāo)策略集合P，根據(jù)目標(biāo)策略創(chuàng)建線程池，每一個(gè)目標(biāo)創(chuàng)建一個(gè)線程池，線程池中線程數(shù)量由目標(biāo)策略確定，存在訪問(wèn)限制的目標(biāo)，線程池中線程數(shù)量為I ; (4)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)采集隊(duì)列In;其操作步驟如下:(4-1)根據(jù)目標(biāo)策略集合P，為P中每一個(gè)目標(biāo)創(chuàng)建對(duì)應(yīng)策略中指定長(zhǎng)度的采集隊(duì)列In ； (5)創(chuàng)建優(yōu)先隊(duì)列L2;其操作步驟如下: (5-1)系統(tǒng)創(chuàng)建優(yōu)先隊(duì)列L2，初始化時(shí)優(yōu)先隊(duì)列為空； (5-2)系統(tǒng)在非初始化時(shí)對(duì)規(guī)則集合R進(jìn)行增加操作時(shí)，將增加元素放入L2中； (6)Tn中線程提取優(yōu)先規(guī)則隊(duì)列L2中規(guī)則進(jìn)行采集；其操作步驟如下:(6-1)Τη中線程優(yōu)先提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，當(dāng)η個(gè)目標(biāo)線程池都將L2遍歷道隊(duì)尾時(shí)，將L2清空 (7)Τη中線程提取總規(guī)則隊(duì)列LI中規(guī)則進(jìn)行采集；其操作步驟如下:(7-1)Τη中線程遍歷過(guò)L2后遍歷LI，提取隊(duì)列L2中符合采集隊(duì)列長(zhǎng)度In規(guī)則進(jìn)行采集，遍歷過(guò)程中如發(fā)現(xiàn)L2存在新元素則重新遍歷L2 ;轉(zhuǎn)到步驟(6-1)。
【文檔編號(hào)】G06F17/30GK104462076SQ201310414540
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2013年9月12日 優(yōu)先權(quán)日:2013年9月12日
【發(fā)明者】陳永江, 陳宗華, 仲兆滿 申請(qǐng)人:江蘇金鴿網(wǎng)絡(luò)科技有限公司