高等教育領域數字化綜合服務平臺
華中科技大學
教育部
- 74 高校采購信息
- 3295 科技成果項目
- 0 創新創業項目
- 0 高校項目需求
一種 MapReduce 帶寬優化方法
所屬領域:
項目成果/簡介:
本發明公開了一種 MapReduce 帶寬優化方法，包括：在 Hadoop作業提交后，OpenFlow 控制器根據 JobTracker 發送的任務執行節點信息，通過 Map 中間值路由策略確定執行 Map 中間值合并任務的節點，更新對應流表項，并發送至 OpenFlow 交換機，OpenFlow 交換機通過安全通道對其接收并安裝，然后對接收到的數據包進行流表項匹配，若其與合并 Map 中間值行為類型匹配，則對 Map 中間值進行合并。本發明通過結合 OpenFlow 和 Hadoop，利用 OpenFlow 交換機的數據處理能力，對 Map 中間值，即經 map()函數作用后得到的中間元組數據提前進行合并處理，從而大大緩解了數據遷移過程中的網絡擁塞問題，顯著提高了 Hadoop 工作效率。
項目階段:
未應用
掃碼關注，查看更多科技成果
取消
確定