海量混合時態數據融合處理關鍵技術及應用
流立方在技術流派里屬于流式大數據實時處理領域,但兼顧了批式數據處理技術的優勢,一定程度的做到了混合時態的實時處理。流立方通過在數據流水過程中嵌入流處理引擎將所有流過的數據進行實時處理, 并生成多維度的可計算數據魔方。1)超高并發性:“流立方”產品擁有每秒處理百萬筆交易流水復雜分析的能力。而達到這樣的性能僅需要 8 臺普通的 pc 服務器搭建的集群。2)超低時效性:流立方對每筆流水處理的延時嚴格控制在毫秒級,實際生產中平均延時穩定在 10 毫秒左右。形象一點來說,也就是在海水涌進海洋的幾乎同一時刻,數據就被分析完成了,遠遠低于人類學上 0.1 秒即有所感知的時間節點,處理速度比一眨眼快了很多倍。最近一年,流立方的高級版本更是提升到了微秒級的處理延時,將被用在春運票務、軍工、反恐等要求更加極致的場景。3)高可靠性、高擴展性、高兼容性:流立方自帶的可計算分布式緩存高性能、高可靠、高可擴展。在內存不足時, 能夠平滑擴展到多節點。流立方平臺內支持算法數量達到幾十個。計算模型、腳本獨立管理,在線編寫、即時部署即時生效, 大大節約上線時間。
浙江大學
2021-04-11