大規模并發數據流處理系統及其處理方法
一種大規模并發數據流處理系統及其處理方法,涉及數據處理技術領域,所解決的是提高流處理器處理效率的技術問題.該系統包括數據流單元緩沖區,數據流單元聚類隊列池,數據流單元映射表,流處理器池,數據流讀取部件,DSU聚類分配部件,任務調度部件,計算后處理部件,所述流處理器池由多個GPU構成,其中數據流讀取部件用于將并發數據流寫入數據流單元緩沖區,DSU聚類分配部件用于對數據流單元緩沖區中當前被處理的數據流單元進行分類,任務調度部件用于將數據流單元聚類隊列池中的就緒隊列加載至流處理器池中的GPU上執行流計算,計算后處理部件用于將GPU的計算結果返回到數據流.本發明提供的系統,能提高流處理器的處理效率.
上海理工大學
2021-05-04