暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a MPP多实例方案简介

原创 上善若水 2021-11-26
1277

GBase 8a MPP多实例方案简介

         GBase 8a MPP Cluster在国内数据仓库领域,拥有较多的成功案例,在分析型数据库市场占有率多年以来一直名列前茅。随着服务器的服务器的配置逐步升高,GBase 8a 多实例的实施方案越来越多被广泛采纳,下面我们介绍一下GBase 8a MPP Cluster多实例的一些特点以及带来的一些好处。

1.    什么是多实例?

传统的GBase 8a 集群,每个服务器上只部署一个8a实例,所有的资源由这一个实例独享,多实例是指在一台服务器上部署多个8a实例,主要应对以下状况:

1)       服务器CPU核数较多;

2)       内存较充裕;

以上情况在国产CPU服务器上尤为明显,目前主流的国产服务器华为鲲鹏920、海光等CPU核数均超过100以上(主要指是2路服务器),单实例单线程的进程部署方案不能充分利用这些cpu资源,目前超过40cores的服务器上建议可以采用多实例部署方案。


2.    如何避免多实例间的资源冲突?

GBase 8a MPP 在每个服务器上部署多个实例,主要采用NUMA绑定技术,对每个实例进程的cpu和内存进行绑定:

1、  多实例多进程实现对高配服务器的硬件资源的充分利用;

2、  利用numa技术,充分增加每个实例之间内存交换的效率,减少跨numa组之间内存的交换;

尤其是在国产服务器上,比如海光服务器每个CPU拥有4个numa组,2路CPU就有8个numa组,核数更是达到了128个,更建议采用此种部署方案:


图 1 海光CPU numa分布情况


2 不同numu组物理内存分布情况                                                    

NUMA百科(原引百度百科NUMA_百度百科 (baidu.com)

非统一内存访问(NUMA)是一种用于多处理器的电脑内存体设计,内存访问时间取决于处理器的内存位置。 在NUMA下,处理器访问它自己的本地存储器的速度比非本地存储器(存储器的地方到另一个处理器之间共享的处理器或存储器)快一些。

NUMA架构在逻辑上遵循对称多处理(SMP)架构。 它是在二十世纪九十年代被开发出来的,开发商包括Burruphs (优利系统), Convex Computer(惠普),意大利霍尼韦尔信息系统(HISI)(后来的Group Bull),Silicon Graphics公司(后来的硅谷图形),Sequent电脑系统(后来的IBM),通用数据(EMC), Digital (后来的Compaq ,HP)。 这些公司研发的技术后来在类Unix操作系统中大放异彩,并在一定程度上运用到了Windows NT中。

首次商业化实现基于NUMA的Unix系统的是对称多处理XPS-100系列服务器,它是由VAST公司的Dan Gielen为HISI设计的。 这个架构的巨大成功使HISI成为了欧洲的顶级Unix厂商。

 

3.    实质带来的好处

从实际测试的效果来看,每个节点部署4实例与每个节点单实例的部署方案(需根据实际配置确定采用几实例),TPC-H和TPC-DS两个复杂测试模型的查询时间基本能提升50%-80%的性能,在实际生产环境上的实际应用,部分场景的性能甚至能实现成倍性能的提升。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论