中新網上海新聞9月5日電(李佳佳)近日,國家市場監(jiān)督管理總局、國家標準化管理委員會正式發(fā)布大數據領域首個批流融合國家標準GB/T 44216-2024《信息技術 大數據 批流融合計算技術要求》,該標準牽頭起草單位為阿里云計算有限公司,將于2025年2月1日起正式實施。
《信息技術 大數據 批流融合計算技術要求》對批流融合技術作了清晰定義,規(guī)定了批流融合系統(tǒng)需能同時支持實時和離線計算模型,并應具備統(tǒng)一資源管理、統(tǒng)一計算框架、統(tǒng)一API、統(tǒng)一SQL接口、統(tǒng)一作業(yè)管理、統(tǒng)一權限管理及彈性拓展等關鍵能力。
批流融合是大數據領域重要的新興技術趨勢。隨著互聯(lián)網的發(fā)展,企業(yè)在電商推薦、交通物流、金融交易監(jiān)控等眾多場景對大規(guī)模實時數據計算的需求不斷攀升,傳統(tǒng)批量計算范式在時延方面難以滿足要求,將實時處理數據的流式計算與批量計算在統(tǒng)一技術框架下融合成為行業(yè)必經之路。
以流計算兼容批計算的開源計算引擎Apache Flink是大數據計算的后起之秀,允許用戶以一套代碼進行流處理或批處理,節(jié)省了大量開發(fā)成本。2019年,阿里收購Apache Flink母公司,結合自身電商場景實踐,投入大量研發(fā)力量優(yōu)化Apache Flink產品,使其達到高吞吐、低延遲、高可用、高準確性的企業(yè)級應用標準,并持續(xù)為全球開源社區(qū)貢獻,成為推動社區(qū)和技術創(chuàng)新的主導力量。目前,Apache Flink已成為行業(yè)內批流融合計算的事實標準,阿里巴巴、螞蟻集團、字節(jié)跳動、小米、快手、小紅書、嗶哩嗶哩、滴滴、中國聯(lián)通等上百家企業(yè)都在使用Apache Flink進行實時計算。
作為國內大數據領域領導者,阿里云在2019年發(fā)起了批流融合計算技術的國家標準立項和編制工作,并聯(lián)合行業(yè)內各單位共同起草完善。融合了阿里云實時計算Flink版的打造經驗和豐富的行業(yè)實踐,國家標準《信息技術 大數據 批流融合計算技術要求》將更好地推動批流融合計算的技術發(fā)展,指導國內批流融合計算系統(tǒng)的設計、開發(fā)和部署,并進一步幫助批流融合技術在各行業(yè)中落地應用。
據了解,阿里云在大數據領域積累了深厚技術實力。阿里云擁有從大數據處理分析、數據倉庫到AI工程化服務的全棧技術能力,自主研發(fā)的MaxCompute、Dataworks、Hologres等旗艦產品可提供業(yè)界最高水平的數據處理性能、伸縮彈性和穩(wěn)定性;同時,阿里云積極貢獻并維護了一系列頂級開源項目,包括Apache Flink、Apache Paimon等,為開發(fā)者提供豐富的工具選擇,并提供全托管式云服務。
注:請在轉載文章內容時務必注明出處!
編輯:李佳佳