海量混合時態(tài)數(shù)據(jù)融合處理關鍵技術及應用
流立方在技術流派里屬于流式大數(shù)據(jù)實時處理領域,但兼顧了批式數(shù)據(jù)處理技術的優(yōu)勢,一定程度的做到了混合時態(tài)的實時處理。流立方通過在數(shù)據(jù)流水過程中嵌入流處理引擎將所有流過的數(shù)據(jù)進行實時處理, 并生成多維度的可計算數(shù)據(jù)魔方。1)超高并發(fā)性:“流立方”產(chǎn)品擁有每秒處理百萬筆交易流水復雜分析的能力。而達到這樣的性能僅需要 8 臺普通的 pc 服務器搭建的集群。2)超低時效性:流立方對每筆流水處理的延時嚴格控制在毫秒級,實際生產(chǎn)中平均延時穩(wěn)定在 10 毫秒左右。形象一點來說,也就是在海水涌進海洋的幾乎同一時刻,數(shù)據(jù)就被分析完成了,遠遠低于人類學上 0.1 秒即有所感知的時間節(jié)點,處理速度比一眨眼快了很多倍。最近一年,流立方的高級版本更是提升到了微秒級的處理延時,將被用在春運票務、軍工、反恐等要求更加極致的場景。3)高可靠性、高擴展性、高兼容性:流立方自帶的可計算分布式緩存高性能、高可靠、高可擴展。在內(nèi)存不足時, 能夠平滑擴展到多節(jié)點。流立方平臺內(nèi)支持算法數(shù)量達到幾十個。計算模型、腳本獨立管理,在線編寫、即時部署即時生效, 大大節(jié)約上線時間。
浙江大學
2021-04-11