4月20日，袋鼠云成功舉行了以“數(shù)實融合，韌性生長”為主題的2023春季生長大會。會上，袋鼠云自主研發(fā)的一站式大數(shù)據(jù)基礎軟件——數(shù)棧V6.0產(chǎn)品矩陣全新發(fā)布。對旗下大數(shù)據(jù)基礎平臺、大數(shù)據(jù)開發(fā)與治理、數(shù)據(jù)智能分析與洞察三大模塊的全線產(chǎn)品進行全新升級，并重點發(fā)布了企業(yè)級數(shù)據(jù)計算與存儲平臺——自研大數(shù)據(jù)引擎 EasyMR。(免費試用產(chǎn)品https://www.dtstack.com/dtengine/easymr?src=dsygzh)
袋鼠云作為國內領先的數(shù)字化基礎軟件與應用服務商，自始自終堅持自主創(chuàng)新，專注大數(shù)據(jù)基礎軟件研發(fā)，利用先進技術賦能更多行業(yè)客戶數(shù)字化轉型，助力發(fā)掘和釋放數(shù)據(jù)資源的潛在價值。
全新發(fā)布數(shù)棧V6.0產(chǎn)品矩陣
袋鼠云產(chǎn)研負責人思樞首先介紹了數(shù)棧V6.0全新產(chǎn)品矩陣的落地進展以及產(chǎn)品升級方向。通過對多年數(shù)字化實踐沉淀的梳理、重構和升級，數(shù)棧V6.0形成了大數(shù)據(jù)基礎平臺層+大數(shù)據(jù)開發(fā)與治理層+數(shù)據(jù)分析與洞察平臺層的全新數(shù)字化產(chǎn)品矩陣，以迭代的新組合、新能力、新技術，為數(shù)實融合應用注入更強勁的“數(shù)棧”驅動力。
整個矩陣中，大數(shù)據(jù)基礎平臺是底座，包含全新升級的兩款產(chǎn)品：大數(shù)據(jù)計算引擎EasyMR 和湖倉一體EasyLake。EasyMR 主要提供 Hadoop、Spark、Flink、HBase、Trino 等一鍵式組件的安裝、運維、部署。EasyLake 則主要提供面向數(shù)據(jù)湖的統(tǒng)一元數(shù)據(jù)管理，及數(shù)據(jù)服務和分析。大數(shù)據(jù)基礎平臺旨在為各行業(yè)的數(shù)字化轉型提供隨時可用的強勁動力和堅實基礎。
中間層大數(shù)據(jù)開發(fā)與治理，它融合了 DataOps 數(shù)據(jù)理念，包含離線開發(fā)BatchWorks、實時開發(fā)StreamWorks、數(shù)據(jù)服務DataAPI、數(shù)據(jù)資產(chǎn)DataAssets和指標管理DataIndex 五大模塊。以自主可控、安全創(chuàng)新為技術內核，將全域數(shù)據(jù)資產(chǎn)進行匯聚、加⼯、治理、服務、分析，為客戶提供安全、穩(wěn)定、易⽤的⼤數(shù)據(jù)平臺，加速釋放數(shù)據(jù)價值，賦能數(shù)智應用。
最上層的數(shù)據(jù)智能分析與洞察層，提供客戶數(shù)據(jù)洞察UserInsight和數(shù)據(jù)可視化分析EasyBI兩大應用功能。助力企業(yè)構建以業(yè)務價值為導向的數(shù)據(jù)分析與應用體系，驅動業(yè)務增長。
EasyMR：大數(shù)據(jù)計算引擎
EasyMR 內包含 Hadoop、Hive、Spark、Trino、HBase、Kafka 等計算組件，完全兼容 Apache 開源生態(tài)，一鍵開啟 LDAP+Kerberos+Ranger 認證權限體系，支持庫/表/行/列級權限控制，提供企業(yè)級安全管控。
EasyMR 的集群管理包括以下五大功能：
l 主機管理：可以對接x86服務器、ARM 服務器、Kubernetes 集群等主機類型，進行包括批量接入、主機下架、主機監(jiān)控等在內的主機操作
l 安裝部署：包含自動部署、手動部署、補丁包升/降級、組件回滾等豐富功能
l 集群運維：包含組件啟停、健康檢查、服務日志查看等功能，以及根據(jù)客戶業(yè)務側的使用情況實現(xiàn)動態(tài)擴縮容
l 監(jiān)控告警：隨著業(yè)務的運行，發(fā)生主機運行的異常情況，能夠實現(xiàn)自動告警
l 基礎管理：包括用戶管理、操作權限管理、審計日志等功能
EasyMR 的豐富功能能夠幫助企業(yè)，更全面、更智能、更安全地運用數(shù)據(jù)，加速企業(yè)數(shù)字化轉型。
EasyMR 的核心特性
l 信創(chuàng)國產(chǎn)化
EasyMR 完成了與主流信創(chuàng)生態(tài)廠商的適配互認工作，支持統(tǒng)信UOS、龍蜥、麒麟等國產(chǎn)操作系統(tǒng)，鯤鵬920、飛騰等國產(chǎn)芯片，長城擎天CF520、華為公有云等國產(chǎn)服務器的適配，以及大部分國產(chǎn)數(shù)據(jù)庫、國產(chǎn)中間件的適配。
l 開源/自主可控
EasyMR 作為袋鼠云自研的大數(shù)據(jù)基礎平臺，其大數(shù)據(jù)組件100%基于開源 Hadoop，完全兼容 Apache 開源生態(tài)，與開源社區(qū)同步迭代，時刻保持技術的領先性。并且 EasyMR 對 Spark、Flink、Trino、Iceberg 等部分組件特性進行優(yōu)化增強，回饋社區(qū)，以開放心態(tài)共建 Hadoop 生態(tài)。
l 運維托管服務
EasyMR 提供大數(shù)據(jù)集群監(jiān)控告警、安全保障、數(shù)據(jù)質量保障以及平臺運維服務;提供定期巡檢、深度體檢、成本優(yōu)化以及高階調優(yōu)服務;以及提供包括大數(shù)據(jù)集群遷移、集群容災建設、架構設計規(guī)劃等在內的實施服務，全鏈路一站式運維托管服務。
l 安全
通過 LDAP+Kerberos+Ranger 這套認證權限體系，對庫/表/行/列級進行權限控制，實現(xiàn)企業(yè)級安全管控。
EasyMR 國產(chǎn)化適配：
Hive 的子組件 Hive Metastore，在開源的方案中通過 redis 進行緩存加速，而現(xiàn)在可以通過寶蘭德BCS 這樣的國產(chǎn)中間件對 redis 進行國產(chǎn)化替代。
Hive Metastore 本身的元數(shù)據(jù)信息在開源方案中存儲在 MySQL 和 OracleSQL 中，現(xiàn)在也可以通過適配國產(chǎn)數(shù)據(jù)庫，如 TDSQL、OceanBase，對開源數(shù)據(jù)庫進行替代。基于此，EasyMR 實現(xiàn)真正的國產(chǎn)化，完全自主可控。
EasyMR 深知只有實現(xiàn)關鍵技術的自主化、國產(chǎn)化，才能真正實現(xiàn)技術創(chuàng)新，攻克“卡脖子”難題。
EasyMR 對大數(shù)據(jù)組件的功能增強
袋鼠云作為國內領先的數(shù)字化基礎軟件與應用服務商，十分重視強化產(chǎn)品的基礎能力和技術能力，在開源技術的基礎上，EasyMR 對 Spark、Flink、Trino、Iceberg 等多個大數(shù)據(jù)核心組件進行了功能及性能增強。具體優(yōu)化見下圖：
僅在2022年袋鼠云技術同學就完成了上百次的 commit，為 Hadoop 生態(tài)的技術發(fā)展貢獻了屬于袋鼠云的力量。
贈人玫瑰手有余香，回饋社區(qū)的同時袋鼠云實現(xiàn)了對整個 Hadoop 體系核心代碼的完全自主掌握，對于 EasyMR 大數(shù)據(jù)平臺遷移、大數(shù)據(jù)組件維保等做到了100%自主可控。
EasyMR 自主研發(fā)能力：技術開源
從2016年數(shù)棧V1.0發(fā)布開始，到如今的數(shù)棧V6.0，數(shù)棧已經(jīng)歷經(jīng)了七年六個大版本的迭代實踐。隨著對技術能力的不懈探索，數(shù)棧內部也沉淀了一些優(yōu)秀的大數(shù)據(jù)組件，如流批一體的數(shù)據(jù)同步集成組件ChunJun，DAG分布式任務調度組件Taier、大數(shù)據(jù)平臺運維組件ChengYing等，這些組件數(shù)棧已經(jīng)全部貢獻給了Github，下面是袋鼠云開源的地址，歡迎使用。
Github地址：https://github.com/DTStack
技術無界，創(chuàng)新不止。袋鼠云數(shù)棧技術團隊連續(xù)兩年榮獲“年度優(yōu)秀開源技術團隊”的稱號，ChunJun 也順利晉級“2022 年中國開源創(chuàng)新大賽”決賽，并榮獲“優(yōu)秀開源項目/社區(qū)”獎項。這些鼓勵都源于數(shù)棧技術團隊出眾的產(chǎn)品技術能力和自主研發(fā)能力。
CDP/CDH 平滑遷移到 EasyMR 解決方案
基于國家對于國產(chǎn)信創(chuàng)的政策要求，以及 CDH 停止服務(EoS)，用戶沒辦法再獲取售后支持的大背景，各行各業(yè)的大數(shù)據(jù)平臺底座需要進行國產(chǎn)化替代的需求越來越強烈。基于此，數(shù)棧支持 CDP/CDH 平滑遷移到 EasyMR 的解決方案，大大降低企業(yè)遷移成本低。
生產(chǎn)業(yè)務不能停，該方案支持雙軌運行，即客戶的原 CDH 集群和信創(chuàng)的 EasyMR 集群可以同時運行。整個遷移過程操作簡單，配置靈活，通過4步即可完成所有的遷移工作。
第一步，進行計算平臺和開發(fā)套件的替換。
第二步，進行數(shù)據(jù)遷移。包括歷史數(shù)據(jù)和元數(shù)據(jù)的遷移，在遷移過程中，EasyMR 支持數(shù)據(jù)檢驗，保證在數(shù)據(jù)遷移過程中的數(shù)據(jù)一致。
第三步，執(zhí)行任務遷移。包括采集任務、數(shù)據(jù)加工任務、任務依賴關系以及分析引擎。
第四步，業(yè)務切割。包含集群的切換，及老服務器下線，新服務器上線等動作切換，最終達到 CDP/CDH 平滑遷移到 EasyMR 的目的，并且實現(xiàn)對客戶側的業(yè)務無感知。
EasyMR 積累了大量的遷移成功案例，經(jīng)驗豐富，可以保障整個遷移過程安全可靠。
Hadoop 平滑升級解決方案
大數(shù)據(jù)組件每年的版本更新速度比較快，不少企業(yè)還停留在 Hadoop2.0 的階段。許多客戶想升級到 Hadoop3.0 版本，體驗新的特性和性能優(yōu)化，但是客戶的業(yè)務在版本更新中又不能停止，這時應該怎么做?
EasyMR 可實現(xiàn)節(jié)點的動態(tài)替換，將一個節(jié)點先升級到 Hadoop3.0 的節(jié)點，在這個節(jié)點上印證沒有問題之后，再進行剩下節(jié)點的逐步替換，這樣就真正實現(xiàn)了 Hadoop 的無感知平滑升級。
EasyMR 的實踐應用
在介紹完 EasyMR 的具體功能和特性之后，下文將為大家介紹2個 EasyMR 的經(jīng)典實踐應用落地，更深地感受 EasyMR 是如何幫助企業(yè)更高效、平滑、安全地實現(xiàn)實現(xiàn)國外進口產(chǎn)品的國產(chǎn)化替代。
某全國性股份制商業(yè)銀行：CDH 遷移至 EasyMR
某全國性股份制商業(yè)銀行，為解決分行數(shù)據(jù)應用建設效率差等問題，數(shù)棧幫助該客戶實現(xiàn)了 CDH 平滑遷移至 EasyMR，并且為該客戶建立了“總行統(tǒng)一調度+分行數(shù)據(jù)協(xié)同共享”的數(shù)據(jù)應用云平臺。
EasyMR 使用 Trino 替換 Impala，解決了客戶 Impala 內存過度占用導致節(jié)點宕機的問題，提升查詢性能，實現(xiàn)了資源動態(tài)隔離;并且采用「云平臺」的模式，總行+各個分行是平臺上的單獨租戶，底層存儲、計算資源共享提升數(shù)據(jù)下發(fā)效率，數(shù)據(jù)權限隔離保證安全，不用再擔心出現(xiàn)分行數(shù)據(jù)誤刪除、丟失等安全問題。EasyMR 兼容信創(chuàng)生態(tài)體系，平滑遷移至國產(chǎn)化環(huán)境，符合金融行業(yè)的信創(chuàng)國產(chǎn)化要求。
通過 EasyMR 大數(shù)據(jù)基礎平臺的建設，該全國性股份制商業(yè)銀行實現(xiàn)了成本管理和業(yè)務管控的雙效提升。
某支付行業(yè)云服務品牌：EasyMR + 數(shù)棧Saas化
金融行業(yè)正逐漸從數(shù)字化時代邁向智能化時代，該客戶的需求是將 EasyMR 和數(shù)棧進行 Saas 化，依托數(shù)據(jù)中臺產(chǎn)品，賦能客戶，加快走向智能化時代的步伐。
面對客戶需求，數(shù)棧 + EasyMR 與云平臺的網(wǎng)絡架構、服務器、云平臺的統(tǒng)一權限管控等各項內容實現(xiàn)全面兼容適配，保證在客戶開通權限資源后，依然能夠保障 EasyMR 的穩(wěn)定運行。并且數(shù)棧 + EasyMR 實現(xiàn)了「訂購—自動化部署—一鍵擴縮容」等各類操作。
作為大數(shù)據(jù)基礎軟件國產(chǎn)化的重要推動者之一，數(shù)棧還擁有大量成熟大數(shù)據(jù)解決方案，可以更好地支持各行業(yè)智能化、數(shù)字化應用建設。
首發(fā)數(shù)棧V6.0產(chǎn)品白皮書
此外，會上還發(fā)布了《數(shù)棧產(chǎn)品白皮書》(獲取地址：https://fs80.cn/zt4sp6)，從數(shù)字技術、產(chǎn)品能力、應用實踐、服務支持四個方面進行深度研判，針對性克服數(shù)字化轉型短板，從數(shù)據(jù)治理、湖倉一體、數(shù)據(jù)集成、DataOps 等八個方面進行解決方案解讀，重點提升客戶數(shù)據(jù)管控能力。此外，本白皮書總結了有效的大數(shù)據(jù)基礎軟件建設經(jīng)驗，為各行業(yè)企業(yè)的數(shù)字化轉型提供參考和指導。
數(shù)棧始終堅持自主可控，積極致力于幫助客戶打造國產(chǎn)創(chuàng)新的企業(yè)級大數(shù)據(jù)基礎軟件，幫助客戶夯實數(shù)據(jù)基座，建立從數(shù)據(jù)獲取生產(chǎn)到數(shù)據(jù)消費利用的全生命周期管理體系，使數(shù)據(jù)“可見、可用、可管”，洞察數(shù)字化機遇，明確轉型方向，創(chuàng)造數(shù)據(jù)新價值。
今后，數(shù)棧產(chǎn)品也將更加貼合實際場景，用數(shù)智化方式解題，踐行“用數(shù)據(jù)產(chǎn)生價值”的使命。
(獲取地址：https://fs80.cn/zt4sp6)
