一種 MapReduce 帶寬優(yōu)化方法
本發(fā)明公開了一種 MapReduce 帶寬優(yōu)化方法,包括:在 Hadoop 作業(yè)提交后,OpenFlow 控制器根據(jù) JobTracker 發(fā)送的任務執(zhí)行節(jié)點信 息,通過 Map 中間值路由策略確定執(zhí)行 Map 中間值合并任務的節(jié)點, 更新對應流表項,并發(fā)送至 OpenFlow 交換機,OpenFlow 交換機通過 安全通道對其接收并安裝,然后對接收到的數(shù)據(jù)包進行流表項匹配, 若其與合并 Map 中間值行為類型匹配,則對 Map 中間值進行合并。本 發(fā)明通過結合 OpenFlow 和 Hadoop,利用 OpenFlow 交換機的數(shù)據(jù)處 理能力,對 Map 中間值,即經 map()函數(shù)作用后得到的中間元組數(shù)據(jù) 提前進行合并處理,從而大大緩解了數(shù)據(jù)遷移過程中的網絡擁塞問題, 顯著提高了 Hadoop 工作效率。
華中科技大學
2021-04-11