一種基于分布式的任務(wù)調(diào)度方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種基于分布式的任務(wù)調(diào)度方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著“大數(shù)據(jù)”理念以及相關(guān)技術(shù)的演進(jìn)和商業(yè)化實(shí)踐，數(shù)據(jù)已經(jīng)成為互聯(lián)網(wǎng)公司最重要的資產(chǎn)之一。大數(shù)據(jù)概念中有幾個(gè)重要的特征與存儲(chǔ)備份集群的設(shè)計(jì)相關(guān)度非常高，即數(shù)據(jù)價(jià)值密度相對(duì)低，數(shù)據(jù)價(jià)值不確定性相對(duì)高，數(shù)據(jù)量大。這決定了存放數(shù)據(jù)需要根據(jù)數(shù)據(jù)重要性，存取性能，被訪問頻度，數(shù)據(jù)冗余要求等特征來(lái)針對(duì)性的提供數(shù)據(jù)服務(wù)能力。而備份集群承擔(dān)了防止所有數(shù)據(jù)丟失的最后一個(gè)保障，需要充分考慮從數(shù)據(jù)內(nèi)容、應(yīng)用特征、服務(wù)能力、資源消耗等幾個(gè)方面的實(shí)際需求。
[0003]傳統(tǒng)的數(shù)據(jù)備份集群通常采用在線集群、近線備份、離線備份的方式。不同生命周期的數(shù)據(jù)按需求存放在不同集群中，每個(gè)層次集群對(duì)于數(shù)據(jù)訪問滿足時(shí)間不同。例如在線集群為實(shí)時(shí)訪問(接近5?10ms級(jí))；近線集群與在線集群通過網(wǎng)絡(luò)鏈路聯(lián)通，存在關(guān)系為數(shù)據(jù)的導(dǎo)入導(dǎo)出，數(shù)據(jù)訪問時(shí)間為準(zhǔn)實(shí)時(shí)方式(視所需數(shù)據(jù)量與導(dǎo)入在線集群的時(shí)長(zhǎng)，從分鐘至小時(shí)級(jí)別)；離線集群與近線集群同樣為數(shù)據(jù)導(dǎo)入導(dǎo)出的關(guān)系，所需數(shù)據(jù)訪問需要提前預(yù)約準(zhǔn)備，通常以天為準(zhǔn)備及訪問時(shí)間，如圖1所示。
[0004]隨著在線數(shù)據(jù)的逐年增長(zhǎng)，相應(yīng)的要求近線集群以及離線集群的數(shù)據(jù)存儲(chǔ)容量也會(huì)越來(lái)越大，因此對(duì)于近線和離線集群在可擴(kuò)展性、整體成本方面的需求也會(huì)成為主要矛盾。與此同時(shí)隨著云計(jì)算能力的能力提升以及被使用成本的逐年降低，對(duì)于數(shù)據(jù)價(jià)值挖掘的維度和需求也可能使得訪問全量數(shù)據(jù)的需求更為頻繁和迫切，那么對(duì)于近線和離線集群在整體可用性，整體性能方面也提出了要求。
[0005]其中在線集群根據(jù)其分布式框架選擇合適的兼具計(jì)算和存儲(chǔ)能力的datanode orchunkserver(目錄管理節(jié)點(diǎn)或塊服務(wù)器)。近線備份通常采用與在線集群類似解決方案，但通過設(shè)備配置的裁剪以及使用相對(duì)廉價(jià)存儲(chǔ)介質(zhì)，例如近線SATA大容量硬盤、云盤，歸檔盤等，來(lái)降低TCO (Total Cost Ownership總體擁有成本)。
[0006]離線備份通常采用磁帶介質(zhì)存儲(chǔ)，配合專用帶庫(kù)管理軟件來(lái)實(shí)施。
[0007]面對(duì)目前上百PB級(jí)別的數(shù)據(jù)存儲(chǔ)、歸檔、備份需求，近線存儲(chǔ)集群和采用磁帶庫(kù)等商業(yè)存儲(chǔ)軟硬件一體化方案的離線備份集群在支持?jǐn)U展性，訪問性能需求，以及單位容量成本方面都遇到不同程度的挑戰(zhàn)。
[0008]就近線集群而言，互聯(lián)網(wǎng)公司基本擯棄了昂貴的，容量擴(kuò)展性及性能擴(kuò)展性存在局限的商用NAS (Network Attached Storage,網(wǎng)絡(luò)存儲(chǔ)設(shè)備)設(shè)備，取而代之的是基于計(jì)算機(jī)服務(wù)器架構(gòu)的分布式集群方案。而通常分布式集群方案運(yùn)用比較常見得為基于Hadoop分布式文件系統(tǒng)的方案，其中目錄管理節(jié)點(diǎn)通常采用大容量近線SATA硬盤以及云盤或者歸檔盤；這些存儲(chǔ)介質(zhì)本質(zhì)上仍為微精密電控機(jī)械磁臂配合垂直記錄磁存儲(chǔ)介質(zhì)的傳統(tǒng)硬盤實(shí)現(xiàn)，單體功耗主要消耗在驅(qū)動(dòng)磁碟旋轉(zhuǎn)的馬達(dá)、電控機(jī)械磁臂尋道操作，以及磁頭讀寫操作電流做功消耗，常見3.5寸7200rpm硬盤閑時(shí)功耗約7W，滿負(fù)載運(yùn)行功耗10瓦以上；5400rpm低轉(zhuǎn)速硬盤標(biāo)稱功耗約在7W，閑時(shí)功耗在4.5?5W，而10000RPM以及15000RPM硬盤的功耗更高。
[0009]針對(duì)機(jī)械硬盤背景功耗(閑時(shí)仍然需要保持磁盤旋轉(zhuǎn)，即消耗電能轉(zhuǎn)化為機(jī)械能)對(duì)于能源消耗，以及該過程中產(chǎn)生熱量同時(shí)需要系統(tǒng)級(jí)制冷手段來(lái)帶走熱量，因此對(duì)于大規(guī)模利用機(jī)械硬盤磁介質(zhì)方案的datanode(目錄管理節(jié)點(diǎn))方案需要精算其Capex (Capital Expenditure,即資本性支出)和 Opex (Operating Expense,運(yùn)營(yíng)成本)，而針對(duì)近線集群并非24*7實(shí)時(shí)訪問，讀多寫少，無(wú)規(guī)劃隨機(jī)讀，有規(guī)劃順序?qū)懙氖褂锰卣?，這部分整體方案中繼續(xù)使用機(jī)械硬盤介質(zhì)的方案需要在capex層面投入大量的設(shè)備購(gòu)置費(fèi)用，在集群生命周期內(nèi)需要支付大量的機(jī)架空間占用所付出的的租金，同時(shí)消耗大量的電倉(cāng)泛。
[0010]綜上可知，現(xiàn)有技術(shù)在實(shí)際使用上顯然存在不便與缺陷，所以需要一個(gè)新的方案來(lái)滿足新的系統(tǒng)對(duì)低功耗的需求。

【發(fā)明內(nèi)容】

[0011]針對(duì)上述的缺陷，本發(fā)明的目的在于提供一種基于分布式的任務(wù)調(diào)度方法及系統(tǒng)，主要解決基于10訪問的控制算法來(lái)實(shí)現(xiàn)冷存儲(chǔ)數(shù)據(jù)訪問的單機(jī)柜功率與整體冷數(shù)據(jù)中心的能耗可控，其充分利用閃存介質(zhì)服務(wù)與能耗關(guān)系，結(jié)合數(shù)據(jù)分布式存/取的特點(diǎn)，降低冷數(shù)據(jù)備份集群成本。
[0012]為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于分布式的任務(wù)調(diào)度方法，所述方法包括:
[0013]設(shè)置分布式集群內(nèi)每個(gè)機(jī)架的被訪問的任務(wù)計(jì)算節(jié)點(diǎn)閾值；
[0014]獲取各機(jī)架中被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量，并判斷機(jī)架中當(dāng)前被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量是否超出所述閾值；
[0015]若所述機(jī)架中當(dāng)前被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量超過所述閾值，則將分配的新任務(wù)分配到其它機(jī)架中或?qū)⑺鲂氯蝿?wù)調(diào)度至任務(wù)隊(duì)列等待。
[0016]本發(fā)明相應(yīng)提供一種基于分布式的任務(wù)調(diào)度系統(tǒng)，所述系統(tǒng)包括:
[0017]配置模塊，用于設(shè)置分布式集群內(nèi)每個(gè)機(jī)架的被訪問的任務(wù)計(jì)算節(jié)點(diǎn)閾值；
[0018]采集模塊，用于獲取各機(jī)架中被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量，
[0019]分析模塊，用于判斷所述機(jī)架中當(dāng)前被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量是否超出所述閾值；
[0020]分配模塊，用于當(dāng)機(jī)架中當(dāng)前被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量超出所述閾值時(shí)，則將分配的新任務(wù)分配到其它機(jī)架中或?qū)⑺鲂氯蝿?wù)調(diào)度至任務(wù)隊(duì)列等待。
[0021]本發(fā)明通過設(shè)置分布式集群內(nèi)每個(gè)機(jī)架的被訪問的任務(wù)計(jì)算節(jié)點(diǎn)閾值，實(shí)時(shí)獲取各機(jī)架中被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量，并判斷機(jī)架中當(dāng)前被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量是否超出閾值；若超出則將分配的新任務(wù)分配到其它機(jī)架中或?qū)⑿氯蝿?wù)調(diào)度至任務(wù)隊(duì)列等待，且已經(jīng)分配至該機(jī)架的任務(wù)等待該機(jī)架被訪問的任務(wù)計(jì)算節(jié)點(diǎn)數(shù)量低于閾值一預(yù)設(shè)比例后再繼續(xù)執(zhí)行。從而通過控制每個(gè)機(jī)架的存儲(chǔ)數(shù)據(jù)訪問來(lái)實(shí)現(xiàn)單機(jī)柜功率和整體數(shù)據(jù)中心的能耗可控，從而使得能夠采用過保的硬盤能夠應(yīng)用于冷數(shù)據(jù)備份集群中，降低冷數(shù)據(jù)備份集群成本。
【附圖說明】
[0022]圖1是現(xiàn)有技術(shù)中在線集群、近線集群以及離線集群的數(shù)據(jù)導(dǎo)入導(dǎo)出示意圖；
[0023]圖2是本發(fā)明一種基于分布式的任務(wù)調(diào)度系統(tǒng)的框架圖；
[0024]圖3是本發(fā)明一種實(shí)施例中將10請(qǐng)求合并入10隊(duì)列的流程圖；
[0025]圖4是本發(fā)明一種實(shí)施例中目錄管理節(jié)點(diǎn)將10隊(duì)列中的10請(qǐng)求進(jìn)行分配的流程圖；
[0026]圖5是本發(fā)明一種基于分布式的任務(wù)調(diào)度方法的流程圖。
【具體實(shí)施方式】
[0027]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0028]在本申請(qǐng)一個(gè)典型的配置中，終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。
[0029]內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。
[0030]計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPR0M)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media),如調(diào)制的數(shù)據(jù)信號(hào)和載波。
[0031]在現(xiàn)有技術(shù)中，在冷數(shù)據(jù)備份集群(近線集群)中，采用Hadoop分布式文件系統(tǒng)的方案，其中目錄管理節(jié)點(diǎn)通常采用大容量近線SATA硬盤以及云盤或者歸檔盤，這些存儲(chǔ)介質(zhì)本質(zhì)上仍為微精密電控機(jī)械磁臂配合垂直記錄磁存儲(chǔ)介質(zhì)的傳統(tǒng)硬盤實(shí)現(xiàn)，機(jī)械硬盤背景功耗對(duì)于能源消耗較大，以及該過程中產(chǎn)生熱量同時(shí)需要系統(tǒng)級(jí)制冷手段來(lái)帶走熱量較大。而