1、产品简介
南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster,它是在GBase 8a列存储数据库基础上开发的一款Shared Nothing架构的分布式并行数据库集群,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算平台。
2、应用场景
GBase 8a MPP
Cluster用于支撑各类数据仓库系统、BI系统和决策支持系统。
3、技术特点
GBase 8a MPP
Cluster具有联邦构架、大规模并行计算、海量数据分布式压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管理、在线快速扩展、高并发、高可用、高安全性、易维护、高效加载等技术特征。具体特点如下:
低硬件成本
l 完全使用x86架构的PC Server,不需要昂贵的小型机和磁盘阵列。
联邦架构集群部署
l 基于列存储的完全并行的MPP + Shared
Nothing的联邦架构,采用多活Coordinator(Master)节点、运算节点的两级部署结构,避免了单点性能瓶颈和单点故障。
l Coordinator节点支持最多部署64个;
l 单个虚拟集群的数据节点支持部署300个以上,包含多个虚拟集群的同一物理集群数据节点支持部署1000个以上;
l 单节点可支持100TB裸数据数据量,且所有节点无共享;
l 单个虚拟集群内部不同数据节点具有对等计算能力;
l 集群支持海量数据存储、查询,单个物理集群最高支持100PB以上的结构化数据。
大规模并行计算
l 通过采用MPP技术的计划器,基于规则和基于代价的优化器,基于异步IO技术的调度器,支持高并发、高可靠、大规模的并行调度。
海量数据分布式压缩存储
l 可处理100PB以上的结构化数据,采用hash或random及replicate的分布策略进行数据分布式存储;
l 采用先进的压缩算法,减少存储数据所需的空间,并相应地提高I/O性能;支持实例级、表级、字段级三级压缩;
l 支持基于列存储的数据编码及高效压缩技术;压缩比可达2~20倍。
高效存储结构
l 采用基于列存储、适合分析优化的存储结构;
l 索引采用免维护的智能索引;
l 支持列存和行列混合存储的存储结构,有效提高列存数据库在select * 场景下的查询性能。
智能索引
l 采用粗粒度智能索引技术,索引建立膨胀率不超过百分之一。智能索引包含基于列的统计信息,在数据检索定位时可被直接使用,有效过滤数据,大幅降低数据库磁盘I/O,高性能、免维护的智能索引技术,大幅提高海量数据的查询性能。
虚拟集群及镜像
l 通过虚拟集群技术,可以对集群中的运算节点进行分组,物理上进行资源的隔离;对命名空间进行逻辑隔离,支持多租户的使用方式。
l 通过镜像技术,在不同的虚拟集群间对数据进行复制,提供更高的容灾能力,满足更灵活的系统容灾和读写负载分离等业务场景需求。
灵活的数据分布
l 用户可以按照业务场景的需求,自定义数据分布策略,从而在性能、可靠性和灵活性间获得最佳匹配;
l 数据分布策略包括hash分布和random分布。
完善的资源管理
l 通过资源池及资源使用计划的灵活配置,可以支持对CPU、内存、磁盘空间、磁盘IO、并发任务数等关键资源和指标进行管控;
l 结合虚拟集群技术能够提供完善的多租户能力。
在线高性能扩展
l 支持集群节点的在线扩容和缩容,效率更高,对业务的影响更小;
l 在线扩展性能大于20TB/小时。支持在线替换故障节点,而不影响业务运行。
高并发
l 读写不互斥,支持数据的边加载边查询,并发能力大于300。
数据高可用
l 通过冗余机制来保证集群的高可用特性,互备的分片数据间可实现自动同步;
l 数据通过副本提供冗余保护,自动故障探测和管理,自动同步元数据和业务数据;
l 部分副本故障不影响集群的可用性;
l 支持故障的自动恢复,无需人工干预;
l 数据的副本机制支持1或2个数据副本,支持用户自定义的数据副本分布方式。
主备集群高可用
l 支持高可用模式;
l 支持数据全量、增量同步;
l 支持主备同步回滚机制;
l 支持主备同步错误恢复机制;
l 支持同城灾备;
安全性
l 提供完善的用户、角色、账号控制策略,提高数据库集群的安全性;
l 提供详尽的审计日志输出功能,记录数据库中与数据库操作相关的所有日志,也可以通过图形化的监视工具实现审计管理;
l 支持透明的数据加密:
l 支持数据存储加密,支持数据库密码加密,支持数据加密压缩;
l 支持相关加密函数,如AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等;
易维护
l 提供图形化管理及监控工具,以简化管理员对数据库的管理工作。
数据加载高效性
l 基于策略的数据加载模式,集群整体加载速度大于30TB/h。
集群具有数据备份恢复能力
l 支持全量、增量备份/恢复;
Hadoop备份/恢复
l 支持与Hadoop之间进行数据备份/恢复,将库内数据备份到Hadoop中,或将Hadoop内的数据文件恢复到库内;Hadoop备份/恢复性能大于100TB/小时。
标准化
l 支持SQL92 ANSI/ISO标准,支持ODBC、JDBC、ADO.NET等接口规范;
l 支持C API,Python API,TCL API等接口;
支持SQL 2003 OLAP函数。




