一種基于帶寬感知的 Hadoop 調度方法和系統
本發明公開了一種基于帶寬感知的 Hadoop 調度方法,包括:對Hadoop 任務調度建立一個作業時間完成模型,為 Hadoop 調度系統建立一個數學模型,將 Hadoop 的任務調度問題轉化為一個為待調度的作業尋找一個使得該作業的作業完成時間最短的任務調度方法的問題;利用 SDN 提供的實時網絡管理與流量控制功能,提出了一種基于時隙的網絡帶寬分配機制,將每一條鏈路的剩余帶寬的占用期劃分為相等的時隙,在作業完成時間模型和網絡時隙帶寬分配機制的基礎之上;在為某個任務分配計算節點之前,綜合考慮任務的本地性與實時網絡帶寬情況,為每一個任務分配一個能夠提供最早完成時間的計算節點。本發明解決了現有方法中不能同時從全局視角和實際網絡可用帶寬兩方面進行任務調度的問題。
華中科技大學
2021-04-11