一種基于 Storm 實時流計算框架的消息可靠處理保障方法
本發(fā)明公開了一種基于 Storm 實時流計算框架的消息可靠處理 保障方法,包括:①預處理階段,對環(huán)境做初始化工作;②集群計算 過程中對已經(jīng)發(fā)射并正處于計算狀態(tài)的數(shù)據(jù)進行跟蹤;③發(fā)射任務在 監(jiān)聽到消息處理成功的信號時,清空緩存區(qū)中屬于它的所有子元組的 跟蹤信息;④發(fā)射任務在監(jiān)聽到消息處理失敗的信號時,定位產(chǎn)生處 理失敗的任務的位置和待恢復數(shù)據(jù);⑤根據(jù)跟蹤信息和 xml 文件構建 消息恢復程序,然后從緩存區(qū)讀取待恢復數(shù)據(jù)
華中科技大學
2021-04-14