一種大規(guī)模并發(fā)數(shù)據(jù)流處理系統(tǒng)及其處理方法,涉及數(shù)據(jù)處理技術(shù)領(lǐng)域,所解決的是提高流處理器處理效率的技術(shù)問題.該系統(tǒng)包括數(shù)據(jù)流單元緩沖區(qū),數(shù)據(jù)流單元聚類隊(duì)列池,數(shù)據(jù)流單元映射表,流處理器池,數(shù)據(jù)流讀取部件,DSU聚類分配部件,任務(wù)調(diào)度部件,計(jì)算后處理部件,所述流處理器池由多個(gè)GPU構(gòu)成,其中數(shù)據(jù)流讀取部件用于將并發(fā)數(shù)據(jù)流寫入數(shù)據(jù)流單元緩沖區(qū),DSU聚類分配部件用于對(duì)數(shù)據(jù)流單元緩沖區(qū)中當(dāng)前被處理的數(shù)據(jù)流單元進(jìn)行分類,任務(wù)調(diào)度部件用于將數(shù)據(jù)流單元聚類隊(duì)列池中的就緒隊(duì)列加載至流處理器池中的GPU上執(zhí)行流計(jì)算,計(jì)算后處理部件用于將GPU的計(jì)算結(jié)果返回到數(shù)據(jù)流.本發(fā)明提供的系統(tǒng),能提高流處理器的處理效率.