一種基于 Hadoop 多作業(yè)環(huán)境下的資源調(diào)度方法
本發(fā)明公開了一種基于 Hadoop 多作業(yè)環(huán)境下的資源調(diào)度方法, 包括:(1)實時采集集群負載、Hadoop 平臺以及硬件三方監(jiān)控信息,(2) 實時采集集群各計算節(jié)點上用戶的作業(yè)執(zhí)行監(jiān)控信息,(3)匯總集群三 方監(jiān)控數(shù)據(jù),建模評估節(jié)點的計算能力,并將集群節(jié)點劃分為優(yōu)勢計 算節(jié)點和劣勢計算節(jié)點,(4)若節(jié)點為優(yōu)勢計算節(jié)點,則啟動基于相似 度評估的作業(yè)任務(wù)資源需求配置策略,(5)若節(jié)點為劣勢計算節(jié)點,則 還原為 Yarn
華中科技大學
2021-04-14