暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a产品技术特点

原创 小龙人7599 2023-04-10
528

GBase 8a MPP Cluster 具有联邦构架、大规模并行计算、海量数据压缩、
高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管
理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、
高效加载等技术特征,具体如下:

  1. 联邦架构:基于列存储的完全并行的 MPP + Shared Nothing 的联邦
    架构,采用多活 Coordinator 节点、运算节点的两级部署结构,避免
    了单点性能瓶颈和单点故障。Coordinator 节点支持最多部署 64 个;
    单个虚拟集群的数据节点支持部署 300 个以上,包含多个虚拟集群的
    同一物理集群数据节点支持部署 1000 个以上;单节点可支持 100TB
    裸数据量,且所有节点无共享;集群支持海量数据存储、查询,单个
    物理集群支持 100PB 以上的结构化数据;
  2. 大规模并行计算:通过采用 MPP 技术的计划器,基于规则和基于代价
    的优化器,基于异步 I/O 技术的调度器,支持高并发、高可靠、大规
    模的并行调度;
  3. 海量数据压缩存储:可处理 100PB 以上的结构化数据,采用 hash、
    GBase 8a MPP Cluster 技术白皮书
  • 2 - 南大通用数据技术股份有限公司
    random 及 replicate 的分布策略进行数据分布式存储;同时采用先进
    的压缩算法、基于列存储的数据编码及高效压缩技术,减少存储数据
    所需的空间,并相应地提高 I/O 性能;支持实例级、表级、列级三级
    压缩;压缩比可达 1:20 以上;
  1. 高效存储结构:采用基于列存储、适合分析优化的存储结构;支持行
    列混合存储的存储结构,有效提高列存数据库在 select * 场景下的
    查询性能;
  2. 智能索引:采用高性能、免维护的粗粒度智能索引技术,索引建立膨
    胀率不超过百分之一。智能索引包含基于列的统计信息,在数据检索
    定位时可被直接使用,有效过滤数据,大幅降低数据库磁盘 I/O,大
    幅提高海量数据的查询性能;
  3. 虚拟集群及镜像集群:通过虚拟集群技术,可以对集群中的运算节点
    进行分组,物理上进行资源的隔离;对命名空间进行逻辑隔离,支持
    多租户的使用方式。通过镜像技术,在不同的虚拟集群间对数据进行
    复制,提供更高的容灾能力,满足更灵活的系统容灾和读写负载分离
    等业务场景需求;
  4. 完善的资源管理:通过资源池及资源使用计划的灵活配置,可以支持
    对 CPU、内存、磁盘空间、磁盘 IO、并发任务数等关键资源和指标进
    行管控;能够提供完善的多租户能力;
  5. 在线高性能扩展:支持集群节点的在线扩容和缩容,效率更高,对业
    务的影响更小;在线扩展性能大于 20TB/小时;
  6. 高并发:读写不互斥,支持数据的边加载边查询,并发能力大于 1000;
  7. 数据高可用:通过冗余机制来保证集群的高可用特性,互备分片间可
    实现数据自动同步。数据通过副本提供冗余保护,数据的副本机制支
    持 1 或 2 个数据副本,支持用户自定义的数据副本分布方式;自动故
    障探测和管理,自动同步元数据和业务数据,副本故障不影响集群的
    可用性,支持故障的自动恢复,无需人工干预;
    GBase 8a MPP Cluster 技术白皮书
    南大通用数据技术股份有限公司 - 3 -
  8. 主备集群高可用:支持集群间的高可用模式;支持主备集群数据全量、
    增量同步;支持主备集群同步回滚机制;支持主备同步错误恢复机制;
    支持同城灾备;
  9. 安全性:提供完善的用户、角色、权限控制策略,提高数据库集群的
    安全性;支持详尽的审计日志,可配置灵活的审计策略,记录数据库
    中与数据库操作相关的所有日志,也可以通过图形化的监视工具实现
    审计管理;支持透明的数据加密:支持数据存储加密,支持数据库密
    码加密,支持数据加密压缩;支持相关加密函数,如 AES_ENCRYPT()、
    ENCRYPT()、MD5()、SHA1()、SHA()等;支持库内数据脱敏;支持
    Kerberos 认证方式访问集群和外部数据源;
  10. 易维护:提供图形化管理及监控工具,以简化管理员对数据库的管理
    工作;
  11. 数据加载高效性:基于策略的数据加载模式,集群整体加载速度大于
    30TB/h;
  12. 数据备份恢复能力,支持实例级、库级、表级的全量、增量备份/恢
    复;
  13. Hadoop 备份/恢复:支持与 Hadoop 之间进行数据备份/恢复,将库内
    数据备份到 Hadoop 中,或将 Hadoop 内的数据文件恢复到库内;Hadoop
    备份/恢复性能大于 100TB/小时;
  14. 标准化:支持 SQL 2003 ANSI/ISO 标准,支持 ODBC、JDBC、ADO.NET
    等接口规范;支持 C API,Python API,TCL API 等接口;支持 OLAP
    函数。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论