暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

南大通用趣说GBase 8a数据库集群(四)

GBASE数据库 2022-06-20
1865

各位GBase 8a的粉丝以及对其感兴趣的朋友,大家好,本篇“趣说”继续和大家聊GBase 8a的产品功能。

前面的“趣说”,已经聊完GBase 8a MPP Cluster【简称:GBase 8a】产品的历史演进、架构,还有其高可用特性。对于分布式数据库而言,高可用性、高可靠性、高性能、高安全性、高可扩展性、高易用性,这6个方面的特性是任何一款分布式数据库都必须具备的能力,无论是国内的、国外的分布式数据库都围绕这6个核心特性研发产品,由于各自所采用的技术不同以及底层的基础数据库不同而相互有所差异。

大体而言,能够处理大数据的分布式数据库可分为两大类,一类是以传统关系型数据库为基础的分布式数据库,比如MySQL、PostGreSQL,其中又以PostGreSQL为基础的居多,Greenplum、GuassDB等;另一类是以非关系型数据库为基础的分布式数据库,包括Hadoop生态系列的分布式数据库,以MongoDB为基础的分布式数据库,以KV数据库为基础的分布式数据库,例如星环TDH、巨杉SequoiaDB、TiDB等。前者的优势在于SQL语法兼容性好,通用性强,处理复杂SQL特别是多表Join时的性能更高;后者的优势在于支持处理半结构化数据、非结构化数据以及一些特定应用场景时会具有更好的处理性能。GBase 8a MPP Cluster产品属于前者,它是以自研的列存储GBase 8a单机为基础研发的一款分布式数据库,其版本的历史演进和架构的历史演进可参见《趣说GBase 8a数据库集群(一)》和《趣说GBase 8a数据库集群(二)》。该产品采用分布式大规模并行处理技术架构,可以为应用系统提供更高的处理性能和更好的可扩展性。GBase 8a产品的高可用性在上篇文档《趣说GBase 8a数据库集群(三)》已经介绍过了,接下来,介绍一下GBase 8a产品的其他几个特性:

(一)GBase 8a的高可靠性

GBase 8a通过多副本技术实现数据的高可靠性。在安装部署GBase 8a时,用户可以指定集群中数据的副本个数,最多支持3副本。当用户指定2副本或者3副本时,集群才具备冗余存储,冗余存储保障集群在即使1个副本数据失效时(3副本时最多允许2个副本失效),集群不丢失数据且可以正常对外提供数据库服务。

(二)GBase 8a的高性能

GBase 8a的高性能是该产品的最佳亮点,TPC-DS测试结果是其性能的最直接表现。2020年12月23日,TPC官网正式发布了南大通用MPP数据库GBase 8a V9版本的TPC-DS 10000 Scale测试结果:GBase 8a V9仅用8台服务器,便取得了性能QphDS分数8944478的优异成绩,排名第三,在全部测试厂商中使用测试节点数量最少,平均单核算力第一且加载性能最优。

那么,GBase 8a采用了哪些技术使得其性能如此优异呢?包括以下几个方面:

(1)架构

GBase 8a采用MPP架构,大规模并行处理,可以充分发挥每个计算节点的计算能力,采用的技术包括:

基于MPP技术的计划器,具备诸多优化算子,可以根据不同的SQL语句进行优化

基于规则和基于代价的优化器,即RBO和CBO优化器

基于异步I/O技术的调度器

(2)存储与压缩

GBase 8a集群的数据存储采用列存储方式,并且采用多种数据压缩技术,这些技术可以针对具体的查询请求完成有效的剪枝,降低磁盘IO,有效提升数据的读写性能,体现在数据库层面为加载数据快、查询耗时短。

(3)索引

GBase 8a集群采用粗粒度的智能索引,免维护且膨胀率低,智能索引包含基于列的统计信息,在数据检索定位时可被直接使用,有效过滤数据,实现快速定位。

(三)GBase 8a的高可扩展性

GBase 8a采用无中心节点的MPP架构设计,从设计层面支持集群的扩展性,可以为集群提供近似线性的扩展能力。在最新的V9版本中,GBase 8a提供的在线扩展能力相比于历史版本有了更多的提升,用户可以首先在集群中添加Free node节点,当有业务和数据扩展需要时,可以从Free Nodes列表中获取资源进行扩容,无需停止集群中正在执行的数据库任务,并且扩容过程可控,支持对扩容过程监控、暂停、恢复和取消等灵活的扩容管理功能。当业务和数据减少时,可以进行缩容释放节点进入Free Nodes列表。

此外,还提供以下扩展保障:

缩容过程中允许数据追加写

扩容过程中允许数据追加写

扩容和缩容过程中不阻塞数据库的查询请求

(四)GBase 8a的高安全性

GBase 8a集群的高安全性体现在功能和权限管理两个方面。

首先,在功能上GBase 8a集群具备存储加密功能和传输加密功能,确保GBase 8a集群中持久化的数据是安全的以及确保GBase 8a集群中的数据在传输过程中是安全的。存储加密功能:支持用户管理自己的秘钥,在创建表时指定表数据加密存储,在加载数据和访问数据时,无需用户采取额外的操作,GBase 8a的数据存储加密处理对于用户是高度透明的,数据在后台自动加密和解密,并且属于轻量级数据加密/解密,加解密负载对整体性能影响小于5%。同时,为了兼顾加密特性和性能,GBase 8a支持表级加密的同时还支持列级加密,方便用户根据业务需要选择加密的处理范围,达到既兼顾了安全性又最大限度减小对集群性能的影响。传输加密功能:GBase 8a支持SSL标准协议,通过数字签名和数字证书来实现客户端和服务器的双向身份验证,保证了通信双方更加安全地数据传输。

其次,在权限管理上GBase 8a集群支持完备的基于数据库账户的权限管理体系,可以实现库级、表级、列级不同粒度权限控制,可以实现对集群中的数据库对象的创建/删除权限管理、实现对数据的读/写/更新/删除管理等。通过这些权限控制,并结合GBase 8a集群所具备的物理多租和逻辑多租能力,支持用户根据自身的需要在应用层面设计和完成部门级权限管理体系,实现部门内部数据独立管理、部门间数据根据需要限定范围和限定账户访问,进而有效支撑用户的上层业务体系建设。

(五)GBase 8a的高易用性

GBase 8a的高易用性体现在运维管理、监控管理、管理客户端工具、迁移工具、同步系统等多个图形化工具和服务组件上,具体的:

(1) 运维管理:GBase 8a即支持命令行方式也支持图形化方式对系统进行运维管理。熟悉GBase 8a产品的DBA可以直接使用各种Shell命令完成对GBase 8a集群的操作运维管理,包括但不限于安装GBase 8a集群、卸载GBase 8a集群、升级GBase 8a集群、扩容/缩容GBase 8a集群,启动/停止GBase 8a集群、查看GBase 8a集群状态等;同时,这些运维功能都具备相应的图形化管理功能界面,方便于那些习惯于使用界面操作系统的管理工程师使用;

(2) 监控管理:GBase 8a提供图形化的监控系统,使用图形化管理工具安装部署GBase 8a集群以后,监控系统即时启动运行,可实现对所安装部署集群的监控管理功能;此外,用户也可以将那些未被监控的GBase 8a集群通过配置以后纳管到监控系统中,实现一套监控系统监控管理多套GBase 8a集群。GBase 8a的监控系统具备市面上常用监控系统的通用功能,包括仪表盘功能、“集群”监控功能、“主机”监控功能、“告警”功能等等;

(3) 管理客户端工具:GBase 8a提供基于C/S架构的企业管理器和基于Web的管理器两种管理客户端工具,用户可以根据其实际需要安装部署使用,管理器功能包括图形化表管理、视图管理、存储过程管理、存储过程调试、SQL编辑器功能等常用企业管理器功能;

(4) 迁移工具:GBase 8a提供图形化的迁移工具,可实现将用户现有数据库系统中的元数据和数据快速迁移到GBase 8a集群中,用户在使用时仅需通过简单的配置完成源端数据库和目标端数据库连接以后,在界面上选择那些表的元数据和数据需要进行迁移并确定以后,迁移工具生成迁移任务自动执行迁移操作,非常快捷和易用。支持的源端数据库包括Oracle、SQL Serve、MySQL、DB2、PostgreSQL等;

(5) 同步系统:GBase 8a提供RTSync同步系统,可实现动态捕获源端数据库的增量数据,并将增量数据同步到GBase 8a集群中,提供实时数据同步能力,类似于Oracle数据库的OGG。已支持的源端系统包括Oracle、SQL Server、DB2、Informix、MySQL、GBase 8s以及Kafka。

除了上述工具以外,GBase 8a还提供很多交互工具组件,可以实现同构集群之间,异构集群之间,与Hadoop生态产品之间的数据访问和数据传输。典型的包括有,DBlink组件,支持在两个GBase 8a集群之间相互访问数据;集群间同步工具,支持在两个异地GBase 8a集群间构建灾备解决方案;Orato8a工具,支持在GBase 8a集群直接访问Oracle数据库中的数据;导入和导出功能,支持将HDFS上的文件加载到GBase 8a集群以及将GBase 8a集群中的数据导出到HDFS上。实时同步组件Kafka consumer,支持实时消费Kafka集群中的增量数据将其写入GBase 8a集群。GBase 8a的高易用性是随着产品的成长壮大以及客户的实际需要、实际体验,经过多年的工具研发积累,逐渐提升工具产品质量后变得愈发成熟、好用、易用。GBase公司专注于数据库软件产品和服务,为客户提供好用、易用的数据库工具是我们专注于“服务”的重要组成部分。

 

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论