混搭集群
Hive & Spark GBase 8a HDFS & HBASE GBase Up Cluster GBase 8t
GBase UP 是以 GBase 8a MPP 最新超大规模集群版本为基础,融合 GBase 8t
和 Hadoop Hive/Spark,实际部署时可以理解为 5 个小集群/集合,其中:GBaseUP 负责连接接入,元数据管理,跨集群查询调度,安全认证,日志记录等一系列 分布式数据库的功能;GBase 8a 集群(集合)负责高质量高密度高性能的数据 存储和计算;Gbase 8t 负责支撑高端事务处理;Hive 集群负责驱动 Hadoop 或 Spark 集群实现对低密度、低质量、结构化/非结构化的大数据进行分析;Hadoop 集群的 HDFS 负责高效高可用的存储海量数据,HBase 负责存储海量中小文件, 以及作为分布式可扩展的 KV 型数据仓库。
最小部署
在没有单点故障的前提下,最小规模部署模式需要 7 台服务器(如果不需 要 GBase 8t,则仅需 5 台服务器),如下图所示,服务器由万兆网连接,编号 分别为 s1、s2、s3、s4、s5、s6 和 s7。
万兆交换机
s1 s2 s4 s5 s6 s7 s3
没有单点故障的最小部署
整体架构
GBase UP 系统架构图 整体系统分作 6 大模块: 1.统一数据访问接口,建立标准接入层和规划可扩展的查询语言; 2.多引擎的调度和管理,包含解析标准 SQL 和各处理引擎的 SQL 方言,借 助强一致性的元数据管理,用户授权管理,最终实现基于规则和基于代价的高
效的跨引擎关联查询; 3.高可扩展的面向业务的扩展计算架构,结合 Linux 容器技术、数据库扩 展用户自定义函数,实现处理关系数据、图数据、KV 数据和非结构化数据的计 算引擎的计算能力的融合与扩展; 4.基于分布式文件系统(DFS)、远程直接数据存取(RDMA)等先进技术的 数据路由和交换功能,构建多引擎间的高速通讯总线。 5.数据库企业管理器集合 Hadoop 生态的部署、监控工具,提供完整的部署、 监控、调优、诊断等管理功能。 6.通过 GBase 8a MPP 完备的安全机制,增强各处理引擎的安全管理。
GBase UP 产品平台和指标
3.1 支持的操作系统和平台
支持如下的操作系统和平台: 64 位 Linux 系列 :
CentOS 6.X
Red Hat Enterprise Linux 6.x
SUSE 11.x
3.2 硬件环境
1) 支持基于 x86_64 的标准 PC 服务器; 2) 支持本地存储(SATA、SAS、SSD etc); 3) 支持阵列部署(SAN、NAS);
4) 支持 SSD、Flash 存储介质作为二级 I/O 缓存;
5) 支持千兆、万兆 Ethernet 网络;
6) 支持 InfiniBand 网络。




