暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase UP的系统架构及其最小部署方案

郑小雯 2023-03-27
280

GBase UP 系统架构

混搭集群


GBase UP 部署示意图


GBase UP 是以 GBase 8a MPP 最新超大规模集群版本为基础,融合 GBase 8t和 Hadoop Hive/Spark,实际部署时可以理解为 5 个小集群/集合,其中:GBaseUP 负责连接接入,元数据管理,跨集群查询调度,安全认证,日志记录等一系列 分布式数据库的功能;GBase 8a 集群(集合)负责高质量高密度高性能的数据 存储和计算;Gbase 8t 负责支撑高端事务处理;Hive 集群负责驱动 Hadoop 或 Spark 集群实现对低密度、低质量、结构化/非结构化的大数据进行分析;Hadoop 集群的 HDFS 负责高效高可用的存储海量数据,HBase 负责存储海量中小文件, 以及作为分布式可扩展的 KV 型数据仓库。


最小部署

在没有单点故障的前提下,最小规模部署模式需要 7 台服务器(如果不需 要 GBase 8t,则仅需 5 台服务器),如下图所示,服务器由万兆网连接,编号 分别为 s1、s2、s3、s4、s5、s6 和 s7。


没有单点故障的最小部署


GBase UP 系统架构图 

 整体系统分作 6 大模块: 1.统一数据访问接口,建立标准接入层和规划可扩展的查询语言; 2.多引擎的调度和管理,包含解析标准 SQL 和各处理引擎的 SQL 方言,借 助强一致性的元数据管理,用户授权管理,最终实现基于规则和基于代价的高效的跨引擎关联查询; 3.高可扩展的面向业务的扩展计算架构,结合 Linux 容器技术、数据库扩 展用户自定义函数,实现处理关系数据、图数据、KV 数据和非结构化数据的计 算引擎的计算能力的融合与扩展; 4.基于分布式文件系统(DFS)、远程直接数据存取(RDMA)等先进技术的 数据路由和交换功能,构建多引擎间的高速通讯总线。 5.数据库企业管理器集合 Hadoop 生态的部署、监控工具,提供完整的部署、 监控、调优、诊断等管理功能。 6.通过 GBase 8a MPP 完备的安全机制,增强各处理引擎的安全管理。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论