梧桐数据库 - 墨天轮百科

梧桐数据库

编辑

简介：梧桐数据库（WuTongDB）是中移动信息技术有限公司（中国移动集团大数据中心）打造的一款分布式 OLAP 数据库。产品通过实现存算分离、节点无状态架构提供高可用、高可靠、高扩展能力，通过实现向量化计算引擎提供极速数据分析能力，提供云原生部署和弹性伸缩能力，可以帮助企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。

产品概览用户评价

产品简介

梧桐云原生分析型数据库（WuTongDB）是基于 Apache HAWQ 打造的一款分布式 OLAP 数据库。产品通过存算分离架构提供高可用、高可靠、高扩展能力，实现了向量化计算引擎提供极速数据分析能力，通过多异构存储关联查询实现湖仓融合能力，可以帮助企业用户轻松构建核心数仓和湖仓一体数据平台。
2023年6月，梧桐数据库（WuTongDB）产品通过信通院可信数据库分布式分析型数据库基础能力测评，在基础能力、运维能力、兼容性、安全性、高可用、高扩展方面获得认可。
可信数据库评测证书.png

产品架构

梧桐云原生分析型数据库产品大图.png

接入层

兼容 SQL 标准，兼容 Oracle/Mysql 函数；
提供 JDBC/ODBC/PSQL 接入方式；
自动迁移工具，转换成功率达 80%；
管理平台，提供运维监控和可视化开发能力；

服务层

实现多活主节点和负载均衡的高可用架构；
扩展主节点数量，提升并发连接；
主节点在线弹性扩缩容，业务无感知；
元数据存储基于分布式、多副本、高可用架构；

计算层

计算资源实现逻辑隔离和物理隔离；
通过扩展计算集群实例实现无感知扩展并发能力;
向量化执行引擎使数据处理性能提升 5~10 倍；

存储层

提供跨异构存储引擎的数据关联查询能力；
自研 HTAP 分布式存储，支持实时更新、删除、支持主键、唯一约束、支持 B+ 树索引、支持 LSM 树索引等；

基础设施层

支持存算一体、存算分离、湖仓融合等部署方式
支持云主机、物理机、虚拟机部署；
支持国产操作系统和国产化服务器；

技术能力

高扩展能力
基于云基础设施的部署和动态资源申请能力，为动态扩容提供了基础；存算分离架构，使计算能力、存储能力单独扩容成为可能，提升资源使用效率；主节点和计算节点的无状态设计支持分层扩展；
高并发能力
传统数仓的并发量受限于主节点数量和计算节点规模，本产品将主节点设计为多活架构，将元数据存储独立部署使主节点实现无状态灵活扩展，通过扩展主节点和计算节点规模可使集群整体支持上万并发。
混合负载的资源隔离
传统 MPP 数据库的 share-nothing 架构在节点扩展或故障时会使集群在一段时间内不可用或服务能力成倍降低。本产品通过计算子集群设计实现资源隔离，业务互不影响；通过存算分离使数据与计算资源解耦；实现了集群在扩展和节点故障时的高可用特性。
极速计算引擎
基于 SIMD 指令集的向量化执行引擎，使数据处理性能相比传统MPP数据库提升 5-10 倍，相比 Hive、SparkSQL 等 SQL 引擎提升几十倍；弹性分布式优化器可高效利用计算资源；基于 C 的存储访问技术和谓词下推技术提升了存储访问效率充分利用存储资源。
打破数据孤岛
原生支持 HDFS、S3、Hive、Hudi 等存储，通过可插拔框架可快速对接新的数据源，实现高效读写和数据共享。支持 ODBC/JDBC/Spark/Flink，支持主流 SQL 语法和函数，支持多种 ETL、BI 工具。用户透明访问多个存储集群，实现数据跨集群关联分析。
数据安全保障
支持 MD5、SHA、SM4 等多种加密算法，支持透明数据加密和列级别加密解密，支持用户、IP 等黑白名单的配置，支持对接多个 HDFS 集群的多 Kerberos 认证、LDAP 认证、Ranger 权限控制等多种安全措施。

应用场景

应用场景1：传统架构计算引擎升级换代
针对PB级数据分析场景下传统架构数据库查询效率低、扩容难、成本高、维护困难等痛点，新一代云原生数据库可为企业构建全业务核心数据仓库，具备高性能、高扩展、低成本、一站式分析等特性，提供自动化元数据/数据迁移工具，实现 Oracle、Teradata、Vertica 等传统数仓业务的平滑迁移。
应用场景2：支持企业构建一站式湖仓
新一代云原生数据库支持湖仓构建，可直接基于多个对象存储、不同 Hadoop 平台进行数据关联查询、处理、分析；对用户屏蔽底层存储细节，在数据分析查询层面形成统一服务；提供 ODBC、JDBC、Spark/Flink connector 等多种访问接口对接周边生态；从而避免数据孤岛，提供一站式湖仓能力。

落地案例

梧桐数据库（WuTongDB）已在中国移动现网生产系统中部署 10 套集群，共 908 节点，支持中国移动各省公司业务系统从 Vertica、Oracle、Greenplum 的迁移和湖仓融合系统的建设。

案例1：中国移动某省公司现网大数据 B 域业务由多个异构数仓支撑，存在大量数据冗余，MPP 产品存算一体，扩容困难。为了解决以上问题，规划数仓平台向存算分离架构演进，通过架构升级，解决现网开发复杂、数据共享困难的问题，提升业务敏捷开发能力及集群扩展能力，提升业务系统运行效率。当前部署 178 节点，完成从 Vertica、Oracle 向梧桐数据库产品的迁移。
案例2：中国移动某省公司 B 域智能挖掘系统+决策分析系统基于 Hadoop+MPP 建设，存在数据融合、模型共享等需求，两个系统因架构制约无法高效实现数据融合计算能力，同时 MPP 为存算一体架构，硬件设备扩容困难，不支持按需扩展存算资源。2023 年，省公司将系统迁移至梧桐数据库，利用产品的架构和功能优势实现数据统采统用，共享同一份数据、提高模型处理效率，节省存储成本和计算成本。

公司介绍

为顺应中国移动IT领域改革要求，中国移动整合原集团公司业务支撑系统部、中国移动（深圳）有限公司、南方基地IT支撑中心、政企公司M域等建设团队，于2018年1月设立“中国移动信息技术中心”。负责统筹管理全网IT工作，并承担集中化IT系统的运营和支撑。

信息技术中心（IT管理委员会办公室、大数据中心、中移动信息技术有限公司、中移信息技术有限公司、中国移动通信集团有限公司信息技术分公司）实行“一套人马、多块牌子”。作为集团信息技术工作的统筹管理者、能力建设者和运营服务者，面向全网IT领域，行使职能管理职责，统筹管理全网IT系统规划、投资、大数据统筹等工作；面向内部业务需求，进行智慧中台、业务支撑、管理支撑、大数据系统、IT云建设及运营，以及研发创新等工作；面向外部能力输出，具备独立的法人实体资质，可对外输出解决方案。

信息技术中心共设置20个二级机构，员工2000余人，本科及以上人员占99%，分布在北京、深圳、广州三地。公司成立以来先后获得国家高新技术企业、CMMI4、CNAS、以及国标DCMM四级等多项国家认证。

信息技术中心以“成为数智化转型、高质量发展的重要引擎”为战略愿景，致力于加强IT领域的全网统一指挥、系统统筹规划、资源统筹配置和能力统筹运营，推动全网基础资源集中共享，持续做强中台赋能、智慧运营、IT创新和IT治理体系，不断丰富以5G、算力网络、智慧中台建设为重点的“连接+算力+能力”新基建内涵，助推“上云用数赋智”，深化从传统业务支撑的“小IT”向赋能公司数智化转型、高质量发展的“大IT”转变。

目录