一種基于預(yù)測(cè)的Map/Reduce數(shù)據(jù)處理平臺(tái)內(nèi)存資源動(dòng)態(tài)分配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于分布式計(jì)算領(lǐng)域，具體設(shè)及Map/Re化ce型海量數(shù)據(jù)處理平臺(tái)中內(nèi)存 資源的使用預(yù)測(cè)與動(dòng)態(tài)分配方法。
【背景技術(shù)】
[0002]Map/Re化ce是一種新型的并行計(jì)算模型，已被廣泛應(yīng)用于海量數(shù)據(jù)處理領(lǐng)域。內(nèi) 存是支撐Map/Re化ce應(yīng)用運(yùn)行的重要計(jì)算資源。在實(shí)際運(yùn)行中，一個(gè)Map/Re化ce應(yīng)用是 由一個(gè)或多個(gè)Map/Re化ce作業(yè)組成。每個(gè)Map/Re化ce作業(yè)的執(zhí)行通常包含一個(gè)Map階 段和一個(gè)Re化ce階段。其中，Map階段和Re化ce階段可分別映射為多個(gè)Map任務(wù)進(jìn)程和 Re化ce任務(wù)進(jìn)程并行執(zhí)行。Map/Re化ce應(yīng)用的運(yùn)行平臺(tái)（W下簡(jiǎn)稱"Map/Re化ce平臺(tái)"） W任務(wù)為單位為Map/Re化ce應(yīng)用分配其運(yùn)行所需的內(nèi)存資源。
[0003] 由于Map/Re化ce應(yīng)用普遍具有大數(shù)據(jù)處理的特征，是否分配充足的內(nèi)存資源，已 成為制約Map/Re化ce應(yīng)用執(zhí)行效率的關(guān)鍵因素。目前，Map/Re化ce平臺(tái)對(duì)內(nèi)存資源的分 配通常采用W用戶設(shè)置為導(dǎo)向的方法，即用戶在Map任務(wù)和Re化ce任務(wù)運(yùn)行前或運(yùn)行中主 動(dòng)發(fā)起內(nèi)存資源申請(qǐng)請(qǐng)求，給出確定的內(nèi)存資源需求量，Map/Re化ce平臺(tái)根據(jù)用戶指定的 需求量為其分配或追加內(nèi)存資源；任務(wù)一旦獲得內(nèi)存資源將持續(xù)占用，直至任務(wù)運(yùn)行結(jié)束， 或在其他運(yùn)行任務(wù)需要追加內(nèi)存資源時(shí)被動(dòng)釋放。
[0004] 然而，上述方法運(yùn)用于實(shí)際Map/Re化ce生產(chǎn)性平臺(tái)存在如下問(wèn)題；Map任務(wù)和 Re化ce任務(wù)在其運(yùn)行過(guò)程中對(duì)內(nèi)存資源的使用量往往具有顯著的波動(dòng)性，用戶對(duì)任務(wù)的內(nèi) 存資源的實(shí)際消耗需求難W準(zhǔn)確把握。因此，在Map/Re化ce平臺(tái)中采用W用戶設(shè)置為導(dǎo)向 的內(nèi)存分配方法，導(dǎo)致用戶過(guò)量申請(qǐng)內(nèi)存資源是客觀存在的事實(shí)。同時(shí)，在既有W用戶設(shè)置 為導(dǎo)向的方法中，任務(wù)無(wú)法將其過(guò)量占有的內(nèi)存資源主動(dòng)釋放出來(lái)W供待調(diào)度的Map任務(wù) 和Re化ce任務(wù)使用。該使得待調(diào)度任務(wù)由于無(wú)法獲得初始內(nèi)存分配而延遲啟動(dòng)執(zhí)行，從而 大大降低了平臺(tái)的任務(wù)吞吐率和內(nèi)存資源的利用率。此外，W用戶設(shè)置為導(dǎo)向的方法難W 防止惡意用戶過(guò)度申請(qǐng)內(nèi)存資源，從而導(dǎo)致平臺(tái)資源惡意競(jìng)爭(zhēng)的現(xiàn)象。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明方法針對(duì)Map和Re化ce任務(wù)在運(yùn)行過(guò)程中內(nèi)存資源使用量具有明顯波動(dòng) 性的特征，根據(jù)Map任務(wù)和Re化ce任務(wù)運(yùn)行過(guò)程中的內(nèi)存使用量歷史記錄，采用線性回歸 和t檢驗(yàn)法，統(tǒng)計(jì)任務(wù)內(nèi)存使用規(guī)律，預(yù)測(cè)任務(wù)后續(xù)運(yùn)行中需要使用的內(nèi)存量，并根據(jù)任務(wù) 內(nèi)存使用預(yù)測(cè)量，動(dòng)態(tài)追加或減少正在運(yùn)行的Map任務(wù)和Re化ce任務(wù)的內(nèi)存分配量，從而 有效提高M(jìn)ap/Re化ce平臺(tái)內(nèi)存資源的使用效率，提升Map/Re化ce作業(yè)的執(zhí)行效率。
[0006] 本發(fā)明所述的內(nèi)存資源分配方法分為五個(gè)步驟；初始化、任務(wù)內(nèi)存資源使用預(yù)測(cè)、 任務(wù)內(nèi)存資源釋放、任務(wù)內(nèi)存資源追加和回溯。在本方法中，有五個(gè)基本的參數(shù)：預(yù)測(cè)函數(shù) 擬合次數(shù)闊值Cm"、任務(wù)內(nèi)存資源追加判斷闊值叫、任務(wù)內(nèi)存資源釋放判斷闊值Uf、內(nèi)存追 加量計(jì)算時(shí)間步長(zhǎng)T、任務(wù)搶占優(yōu)先級(jí)權(quán)值比例0。Cm"-般取值在3~5之間，U a取值 在0. 1~0. 5之間，Uf取值在0. 5~1之間，T取值在5~10秒，0取值在0~1之間。
[0007] 上述方法在計(jì)算機(jī)上按W下步驟實(shí)現(xiàn)：
[000引 （1)初始化：從Map/Re化ce平臺(tái)既有資源及作業(yè)管理組件采集運(yùn)行任務(wù) t"(l《1《m，1《j《n)內(nèi)存動(dòng)態(tài)分配所需的初始化信息，包括任務(wù)當(dāng)前內(nèi)存分配量RC。'、 任務(wù)開(kāi)始運(yùn)行時(shí)刻c_iu和任務(wù)的內(nèi)存資源使用量歷史記錄集合RN U。其中，i表示任務(wù)所 屬M(fèi)ap/Re化ce作業(yè)的編號(hào)，j表不任務(wù)在作業(yè)內(nèi)的任務(wù)編號(hào)。
[0009] (2)建立任務(wù)ty的內(nèi)存資源使用量預(yù)測(cè)函數(shù)。
[0010] 2. 1)設(shè)置任務(wù)ty的內(nèi)存資源使用預(yù)測(cè)量是關(guān)于時(shí)間的函數(shù)，預(yù)測(cè)函數(shù)形如 如/〇二l〇gay(t + 1) + Cy，其中，au與C U是待估算的參數(shù)；
[OCm] 2. 2)令平臺(tái)中運(yùn)行任務(wù)ty的內(nèi)存資源使用量歷史記錄集合RU U表示為RU u = {ril；ri= (t i，mi)，t 0}，其中，11為第1個(gè)記錄周期，mi為t li己錄周期任務(wù)t U 的內(nèi)存使用量。設(shè)置RUu為預(yù)測(cè)樣本；
[001引 2.扣令X = ln(t+l)，y = qu(t)，by二品；將任務(wù)t。.的內(nèi)存資源需求預(yù)測(cè) 函數(shù)變換為y = byx+cu，待估算的參數(shù)變換為by和C U;令C U為函數(shù)擬合失敗的次數(shù)， C。一 0 ;
[001引 2. 4)采用線性回歸方法對(duì)函數(shù)y = buX+c。進(jìn)行擬合，其中b。和C U即為回歸系 數(shù)；
[0014]2. 4. 1)對(duì)于任務(wù)ty的歷史內(nèi)存資源使用記錄集RU。中的每一個(gè)記錄r 1，計(jì)算一 個(gè)變換后的記錄 r/ ; (Xi，yi)，Xi= ln(t 1+1)，yi= m 1;
[0015] 2.4.2)利用公式（1)-化），計(jì)算回歸系數(shù)by和c。的估計(jì)值5；；和而，其中，叫表 示RUu中當(dāng)前內(nèi)存資源使用記錄的個(gè)數(shù)。
[0016]
[0021] 而=y-碎 (6)
[0022] 由此得出經(jīng)驗(yàn)回歸方程y二+而；
[002引 2. 5)利用t檢驗(yàn)法，對(duì)回歸方程y二+ C;進(jìn)行顯著性檢驗(yàn)。令
是 否滿足。其中，- 2)是自由度為ny-2的t分布函數(shù)a/2分位值，a是顯著性水平；
[0024] 2. 6)若檢驗(yàn)滿足，則函數(shù)擬合成功，執(zhí)行步驟2. 10);否則，執(zhí)行步驟2. 7);
[00巧]2. 7)C U+1，若Cu> C max，則擬合失敗，執(zhí)行步驟2. 9);否則，執(zhí)行步驟2. 8); 其中，Cmax為預(yù)測(cè)函數(shù)擬合次數(shù)闊值；
[0026]2. 8)修正預(yù)測(cè)樣本對(duì)RUu中所有內(nèi)存資源使用記錄r1=(t1，mi)，riG RUU，若 滿足 ri-i = (t 1_1，mi_i)，ri_i G RU u，< 0，則設(shè)置 RU i產(chǎn) RU ij-{ti}，執(zhí)行步驟 2. 4 ;
[0027] 2. 9)標(biāo)記任務(wù)t。內(nèi)存資源使用量預(yù)測(cè)函數(shù)構(gòu)建失敗，執(zhí)行步驟做；
[00測(cè) 2. 10)標(biāo)記任務(wù)tu內(nèi)存資源使用量預(yù)測(cè)函數(shù)構(gòu)建成功，將任務(wù)t U的內(nèi)存資源需 求預(yù)測(cè)函數(shù)聽(tīng).陽(yáng)=log~(t + ；0 + Cy中的待估計(jì)參數(shù)設(shè)置為斬.^ el/而，Cy ^
[0029] (3)計(jì)算任務(wù)t。的內(nèi)存資源追加量RA。和釋放量畑。。令當(dāng)前時(shí)刻為c_c。，任務(wù) ty當(dāng)前內(nèi)存使用量為RNu。
[0030] 3. 1)初始化 RAu= 0,畑 u= 0 ;
[003U 3. 2)估算任務(wù)tu的完成時(shí)刻c_f u。令任務(wù)ty處理的進(jìn)度為p u，根據(jù)公式（7) 估算任務(wù)tu的完成時(shí)刻c_f U;
[003引 c_fu= c_i u+(c_Cu-c_iu)/pu (7)
[003引 3.如判斷判斷任務(wù)tu是否需要追加內(nèi)存資源；若心j < Ua，則執(zhí)行步驟 3.7);否則，執(zhí)行步驟3.4);其中，U歷內(nèi)存資源追加判斷闊值。
[0034] 3.4)根據(jù)步驟（2)，判斷任務(wù)tu的預(yù)測(cè)函數(shù)是否構(gòu)建成功，若是，則執(zhí)行步驟 3. 5)，否則，執(zhí)行步驟3.6);
[0035] 3. 5)根據(jù)公式（8)計(jì)算RAu，執(zhí)行步驟3. 8);
[0036]
[0037] 其中，T為內(nèi)存追加量預(yù)測(cè)時(shí)間步長(zhǎng)；
[003引 3. 6)根據(jù)公式（9)計(jì)算RAu，執(zhí)行步驟3. 8);
[0039] RAij= (RC ij-RNij) X 1. 5 (9)
[0040] 3. 7)設(shè)置 RAu=0;
[0041] 3.8)判斷判斷任務(wù)tu是否需要釋放內(nèi)存資源。若Ur，則執(zhí)行步驟3.9); 否則，執(zhí)行步驟3. 12);其中，Uf為內(nèi)存釋放判斷闊值。
[00心]3.9)根據(jù)步驟（2)，判斷任務(wù)tu的預(yù)測(cè)函數(shù)是否構(gòu)建成功，若是，則執(zhí)行步驟 3. 10)，否則，執(zhí)行步驟3. 11);
[00創(chuàng) 3. 10)令RMu=qu(c_fu-c_iu)，根據(jù)公式（10)計(jì)算畑U，執(zhí)行步驟（4);
[0044]
(10)
[0045] 3. 11)根據(jù)公式（11)計(jì)算畑。，執(zhí)行步驟（4);
[0046]
(11)
[0047] 3. 12)設(shè)置畑u=0;
[0048] (4)任務(wù)tu內(nèi)存資源釋放。令tU運(yùn)行所在節(jié)點(diǎn)服務(wù)器為Nk，執(zhí)行RCu-RCU-畑U， Rk_free^Rk_free+RDu，其中，Rkfree為節(jié)點(diǎn)Nk的空閑內(nèi)存資源量。
[0049] 妨任務(wù)tu內(nèi)存資源追加。令任務(wù)tu運(yùn)行所在節(jié)點(diǎn)服務(wù)器為Nk，Rk_free為節(jié)點(diǎn)Nk 的空閑內(nèi)存資源量。
[0050] 5. 1)根據(jù)步驟（4)，判斷是否滿足RAu《Rkfree，若是，則執(zhí)行Rk_free^ Rk_free-RAiJ， 并轉(zhuǎn)至步驟5.9);否則，執(zhí)行步驟5.2);
[0化^ 5. 2)令節(jié)點(diǎn)服務(wù)器Nk上所有正在運(yùn)行的任務(wù)組成集合TR，對(duì)TR中的每一個(gè)任務(wù) tw，按照公式（12)計(jì)算該任務(wù)的搶占優(yōu)先級(jí)Aw，
[005引Auv= 0Xpuv+(1-日）Xfu，0《0《1 (。）
[005引其中，Puv是任務(wù)tUV的運(yùn)行進(jìn)度，fU是任務(wù)tUV所屬作業(yè)JU中已完成任務(wù)數(shù)占總?cè)?務(wù)數(shù)的比例，0是權(quán)值比例；
[0化4] 5. 3)選取TR中所有搶占優(yōu)先級(jí)高于任務(wù)tu的任務(wù)組成集合TR';
[0055] 5.4)令TP為節(jié)點(diǎn)服務(wù)器Nk上需要搶占其內(nèi)存資源的任務(wù)集合，設(shè)置TP二0，初 始設(shè)置內(nèi)存資源搶占總量Pr_Rk= 0 ;
[0056] 5.W判斷是否滿足RA?！礡khee+Pr_Rk且77T單0，若是，則執(zhí)行步驟5. 6);否則， 執(zhí)行步驟5. 7);
[0057] 5.6)按照任務(wù)搶占優(yōu)先級(jí)從高到低的順序從TR'中選取任務(wù)，不妨將所選取任 務(wù)表示為t'W，任務(wù)t'W的當(dāng)前內(nèi)存分配量表示為RC'UY;對(duì)于TR'中每個(gè)任務(wù)t'UY， 設(shè)置Pr_Rk-Pr_Rk+RC'UV，TR' -TR' -It' J，TP-TPUIt' J。執(zhí)行步驟 5. 5); [005引 5. 7)判斷是否滿足 RAy《 Rk ftee+Pr_Rk，若是，則執(zhí)行 Rk ftee^ Rk_ftee+Pr_Rk-RA。，并 執(zhí)行步驟5.8);否則，執(zhí)行步驟5.10);
[0化9] 5.8)對(duì)任務(wù)集合TP中的每一個(gè)任務(wù)執(zhí)行內(nèi)存資源搶占操作，即中止該任務(wù)的運(yùn) 行進(jìn)程，將任務(wù)重新標(biāo)記為待調(diào)度任務(wù)；
[0060] 5.9)標(biāo)記任務(wù)ty內(nèi)存資源追加成功，設(shè)置任務(wù)t。的當(dāng)前內(nèi)存資源分配量 RCu^RCu+RA。.，轉(zhuǎn)至步驟（6);
[0061] 5. 10)標(biāo)記任務(wù)ty內(nèi)存資源追加失敗。
[0062] 做回溯；一個(gè)內(nèi)存資源動(dòng)態(tài)分配周期間隔t后，判斷任務(wù)t。是否結(jié)束，是則轉(zhuǎn)至 步驟（7)，否則轉(zhuǎn)到步驟（1);其中，內(nèi)存資源動(dòng)態(tài)分配周期間隔t是指相鄰兩次任務(wù)內(nèi)存資 源動(dòng)態(tài)分配間，從第一次內(nèi)存分配結(jié)束到第二次內(nèi)存分配開(kāi)始的間隔時(shí)長(zhǎng)。
[006引 （7)結(jié)束；中止對(duì)任務(wù)ty的內(nèi)存資源重分配功能。
[0064] 當(dāng)平臺(tái)中存在多個(gè)運(yùn)行任務(wù)時(shí)，在本發(fā)明方法的各步驟中，依照所述方法順次處 理每一個(gè)運(yùn)行任務(wù)，W完成對(duì)所有運(yùn)行任務(wù)的動(dòng)態(tài)內(nèi)存資源分配。
[00化]為了實(shí)現(xiàn)上述方法，本發(fā)明在Map/Re化ce平臺(tái)每個(gè)任務(wù)運(yùn)行所在的服務(wù)器上增 設(shè)一個(gè)任務(wù)內(nèi)存使用及運(yùn)行進(jìn)度監(jiān)控器，用于周期性地獲取任務(wù)內(nèi)存資源使用信息、任務(wù) 運(yùn)行進(jìn)度信息，本發(fā)明將監(jiān)控器所獲取的任務(wù)內(nèi)存資源使用信息構(gòu)成發(fā)明步驟（2)中所 需的任務(wù)內(nèi)存資源使用量歷史記錄集合；并將最后一次獲取的任務(wù)內(nèi)存使用信息作為步 驟（3)中所需的當(dāng)前內(nèi)存使用量為RNy，將最后一次獲取的任務(wù)進(jìn)度信息作為該任務(wù)當(dāng)前 的運(yùn)行進(jìn)度。任務(wù)的運(yùn)行進(jìn)度和其內(nèi)存資源使用量信息可通過(guò)復(fù)用Map/Re化ce平臺(tái)中既 有的周期性任務(wù)運(yùn)行狀態(tài)監(jiān)控機(jī)制獲取。為了實(shí)現(xiàn)該方法，本發(fā)明在Map/Re化ce平臺(tái)中 增設(shè)任務(wù)