基于協(xié)處理器的作業(yè)調(diào)度處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明通信領(lǐng)域，更具體地說，涉及一種基于協(xié)處理器的作業(yè)調(diào)度處理方法及裝置。
【背景技術(shù)】
[0002]集群作業(yè)管理系統(tǒng)(Job Management System,簡稱為JMS)是根據(jù)用戶的需求,統(tǒng)一管理和調(diào)度集群的軟硬件資源，保證用戶作業(yè)公平合理地共享集群資源，提高系統(tǒng)資源利用率和吞吐率。集群JMS包括系統(tǒng)資源管理和作業(yè)調(diào)度管理，作業(yè)調(diào)度技術(shù)是集群作業(yè)管理系統(tǒng)中關(guān)鍵的技術(shù)之一，作業(yè)調(diào)度的功能在于提供作業(yè)提交、調(diào)度、執(zhí)行及控制的新機制，更加有效地利用系統(tǒng)資源、平衡網(wǎng)絡(luò)負(fù)載、提高系統(tǒng)整體性能。
[0003]作業(yè)調(diào)度策略是根據(jù)一定的算法，從輸入的一批作業(yè)中選出作業(yè)，分配必要的資源，將其投入運行。該技術(shù)是提高集群系統(tǒng)執(zhí)行并行作業(yè)的效率及系統(tǒng)資源利用率的關(guān)鍵因素，對集群系統(tǒng)提高并行處理能力具有重大的意義。目前，作業(yè)調(diào)度策略可以劃分為兩種類型:一類是面向提高資源利用率的調(diào)度策略:根據(jù)某種算法選取合適的作業(yè)，達(dá)到盡量使資源的使用最大化，提高資源的利用率的目的，這類中常見的有FirstFit。另一類是面向公平性的調(diào)度策略:確保每個作業(yè)在較短的時間內(nèi)能夠獲得資源，資源的獲取使用具有公平性，這類調(diào)度策略常見的是FCFS。
[0004]圖形處理器(Graphic Process Unit,簡稱為GPU),是專用于圖形輸出流水線的處理和加速，因此當(dāng)GPU的功能越來越強時，與圖形有關(guān)的處理便自然而然地從CPU向GPU轉(zhuǎn)移。最先發(fā)生的轉(zhuǎn)移是最靠近應(yīng)用程序的幾何變換部分，包括造型變換和觀察變換；其次是局部或特殊光照效果的計算和生成。當(dāng)頂點級和像素級的可編程功能越來越靈活時，圖形本身的處理速度和靈活性都得到了前所未有的提高。而當(dāng)GPU內(nèi)部像素級的紋元達(dá)到可以參與編程的運算時，則向著可作通用計算的方向發(fā)展。這時，基于GPU的通用計算便應(yīng)運而生了。
[0005]基于GPU的通用計算(General Purpose GPU,簡稱為GPGPU)指的是利用圖形卡來實現(xiàn)一般意義上的計算。采用GPU來做通用計算的主要目的是為了加速，加速的動力來自這些新硬件所具有的以下主要優(yōu)勢:一定的并行性；高密集的運算；減少了 GPU與CPU的數(shù)據(jù)通信。
[0006]GPU的每個流多處理器被看作類似于CPU的單個核心，每個流多處理器以單指令流多線程方式工作，只能執(zhí)行相同的程序。盡管GPU運行頻率低于CPU，但由于其流處理器數(shù)目遠(yuǎn)遠(yuǎn)多于CPU的核心數(shù)，我們稱之為“眾核”，其單精度浮點處理能力達(dá)到了同期CPU的十倍之多。上面兩種技術(shù)都旨在提高并行作業(yè)的執(zhí)行效率，不同的是前者考慮的層面是節(jié)點數(shù)，而后者則是單個節(jié)點上的計算核心數(shù)。
[0007]目前針對相關(guān)技術(shù)中的上述問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供了一種基于協(xié)處理器的作業(yè)調(diào)度處理方法及裝置，以至少解決相關(guān)技術(shù)中，尚無有效的技術(shù)方案實現(xiàn)集群和協(xié)處理器相結(jié)合的調(diào)度方法的問題。
[0009]為了達(dá)到上述目的，根據(jù)本發(fā)明的一個方面，提供了一種基于協(xié)處理器的作業(yè)調(diào)度處理方法，包括:獲取待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息，其中所述資源類型包括協(xié)處理器資源和CPU資源；根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0010]優(yōu)選地，獲取待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息之前，包括:根據(jù)各個作業(yè)的優(yōu)先級確定所述待調(diào)度作業(yè)。
[0011]優(yōu)選地，根據(jù)各個作業(yè)的優(yōu)先級確定所述待調(diào)度作業(yè)，包括:利用所述作業(yè)的初始優(yōu)先級和等待時間進(jìn)行加權(quán)計算得到所述作業(yè)的當(dāng)前優(yōu)先級；在所述當(dāng)前優(yōu)先級大于第一預(yù)設(shè)閾值時，為所述當(dāng)前優(yōu)先級對應(yīng)的作業(yè)預(yù)約執(zhí)行所述當(dāng)前優(yōu)先級對應(yīng)的作業(yè)所需要的資源；將所述當(dāng)前優(yōu)先級對應(yīng)的作業(yè)設(shè)置為所述待調(diào)度作業(yè)。
[0012]優(yōu)選地，根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點，包括:當(dāng)獲取的所述資源類型為CPU資源時，比較所述資源類型所對應(yīng)的請求資源和根據(jù)所述負(fù)載信息確定的剩余CPU資源，在所述剩余節(jié)點資源滿足所述待調(diào)度作業(yè)所請求的資源時，從所述剩余CPU資源所對應(yīng)的節(jié)點中選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0013]優(yōu)選地，上述方法還包括:在所述剩余CPU資源不滿足所述待調(diào)度作業(yè)所請求的資源時，比較所述待調(diào)度作業(yè)所請求的資源和協(xié)處理器資源，在所述剩余協(xié)處理器資源滿足所述待調(diào)度作業(yè)所請求的資源時，從所述剩余協(xié)處理器資源所對應(yīng)的節(jié)點中選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0014]優(yōu)選地，根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點，包括:當(dāng)獲取的所述資源類型為協(xié)處理器資源時，比較所述資源類型所對應(yīng)的請求資源和根據(jù)所述負(fù)載信息確定的剩余協(xié)處理器資源，在所述剩余協(xié)處理器資源滿足所述待調(diào)度作業(yè)所請求的資源時，從所述剩余協(xié)處理器資源所對應(yīng)的節(jié)點中選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0015]優(yōu)選地，上述方法還包括:在所述剩余協(xié)處理器資源不滿足所述待調(diào)度作業(yè)所請求的資源時，比較所述待調(diào)度作業(yè)所請求的資源和剩余CPU資源，在所述剩余CPU資源滿足所述待調(diào)度作業(yè)所請求的資源時，從所述剩余CPU資源所對應(yīng)的節(jié)點中選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0016]優(yōu)選地，根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點之前，還包括:獲取所述協(xié)處理器資源和CPU資源的指定性能指標(biāo)，其中，在所述指定性能指標(biāo)未超過第二預(yù)設(shè)閾值時，從所述協(xié)處理器資源所對應(yīng)的節(jié)點或CPU資源所對應(yīng)的節(jié)點中選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0017]優(yōu)選地，根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點之前，還包括:獲取所述協(xié)處理器資源和CPU資源的指定性能指標(biāo)，對各個所述指定性能指標(biāo)進(jìn)行加權(quán)運算得到綜合性能指標(biāo)；在所述綜合性能指標(biāo)未超過第三預(yù)設(shè)閾值時，從所述協(xié)處理器資源所對應(yīng)的節(jié)點或CPU資源所對應(yīng)的節(jié)點中選擇所述執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0018]優(yōu)選地，根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點之后，還包括:將選擇的所述待調(diào)度作業(yè)節(jié)點通知給集群服務(wù)器。
[0019]為了達(dá)到上述目的，根據(jù)本發(fā)明的另一個方面，還提供了一種基于協(xié)處理器的作業(yè)調(diào)度處理裝置，包括:獲取模塊，用于獲取待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息，其中所述資源類型包括協(xié)處理器資源和CPU資源；選擇模塊，用于根據(jù)所述資源類型和所述負(fù)載信息選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點。
[0020]優(yōu)選地，所述裝置還包括:確定模塊，用于根據(jù)各個作業(yè)的優(yōu)先級確定所述待調(diào)度作業(yè)。
[0021]通過本發(fā)明，采用根據(jù)獲取到的待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息來選擇執(zhí)行所述待調(diào)度作業(yè)的節(jié)點的技術(shù)手段。解決了相關(guān)技術(shù)中，尚無有效的技術(shù)方案實現(xiàn)集群和協(xié)處理器相結(jié)合的調(diào)度方法。本發(fā)明提出一種集群中有效調(diào)度協(xié)處理器的方法，支持協(xié)處理器的基于預(yù)約策略和負(fù)載均衡的集群調(diào)度，來達(dá)到最大的任務(wù)并行效率。
【附圖說明】
[0022]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0023]圖1為根據(jù)本發(fā)明實施例的基于協(xié)處理器的作業(yè)調(diào)度處理方法的流程圖；
[0024]圖2是根據(jù)本發(fā)明實施例的基于協(xié)處理器的作業(yè)調(diào)度處理裝置的結(jié)構(gòu)框圖；
[0025]圖3是根據(jù)本發(fā)明實施例的基于協(xié)處理器的作業(yè)調(diào)度處理裝置的再一結(jié)構(gòu)框圖；
[0026]圖4為根據(jù)本發(fā)明優(yōu)選實施例的基于協(xié)處理器的作業(yè)調(diào)度處理系統(tǒng)的結(jié)構(gòu)框圖；
[0027]圖5為根據(jù)本發(fā)明優(yōu)選實施例的基于協(xié)處理器的作業(yè)調(diào)度處理系統(tǒng)示意圖；
[0028]圖6為根據(jù)本發(fā)明優(yōu)選實施例的基于協(xié)處理器的作業(yè)調(diào)度處理方法的流程圖。
【具體實施方式】
[0029]下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0030]圖1為根據(jù)本發(fā)明實施例的基于協(xié)處理器的作業(yè)調(diào)度處理方法的流程圖，如圖1所示，該方法包括:步驟S102至步驟S104，
[0031]S102:獲取待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息，其中上述資源類型包括協(xié)處理器資源和CPU資源；
[0032]在該步驟之前，即在獲取集群作業(yè)管理系統(tǒng)中待調(diào)度作業(yè)所請求的資源類型以及各個節(jié)點的負(fù)載信息之前，還需執(zhí)行以下過程:根據(jù)上述集群作業(yè)管理系統(tǒng)中各個作業(yè)的優(yōu)先級確定上述待調(diào)度作業(yè)。其中，根據(jù)上述集群作業(yè)管理系統(tǒng)中各個作業(yè)的優(yōu)先級確定上述待調(diào)度作業(yè)具體可以包括但不限于以下步驟:利用上述作業(yè)的初始優(yōu)先級和等待時間進(jìn)行加權(quán)計算得到上述作業(yè)的當(dāng)前優(yōu)先級；在當(dāng)前優(yōu)先級大于第一預(yù)設(shè)閾值時，為上述當(dāng)前優(yōu)先