暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBASE参与财政行业首个经济分析决策案例

GBASE数据库 2022-06-28
224

2012年7月开始山东移动经分系统开始采用GBase 8a MPP数据库对DB2进行全面替换,经过几期建设,2020年逐步建成大数据开放运营平台,通过MPP数据库服务能力为大数据平台数据对内对外服务提供助力。

随着承载量的剧增,2021年开始云经分数据主仓存储长时间高水位可能引发频繁的硬件故障,同时数据库整体性能也会有所下降,这就要求运维团队随时监控集群情况,一方面是运维投入的增加,一方面是影响新的业务开发,所以集群扩容成为亟待解决的问题。

山东移动第五数据中心是省公司最早建设的数据中心之一,目前已饱和使用,无剩余空间用于业务扩容,所以只能将大数据平台进行跨机房搬迁和扩容。经分大数据主仓库PB级的数据量、15万张的表、每日库内超过3000个作业以及日加工时间超过16个小时等客观情况都为迁移工作带来巨大挑战。

GBASE南大通用经过周密计划,制定了2步骤的搬迁扩容方案:

其一是:基于GBase 8a镜像集群实现数据复制,进行机房搬迁


双活集群图

通过GBase 8a MPP 产品V95版本搭建跨数据中心的双活集群架构,在第六数据中心创建虚拟集群VC2,要求VC2与第五数据中心VC1的集群规模、分片个数、distribution和hash map完全相同,创建VC2之后通过镜像关系开始集群的全量数据同步,同时上层应用修改JDBC连接,开始访问VC2的Coordinator节点,此时VC1的datanode节点仍然作为生产数据集群对外提供数据服务。



双活集群图


当数据同步完成后将VC2的Coordinator向下访问数据集群修改为VC2的datanode,最终完成数据主仓的跨数据中心迁移工作。

此方案做到了业务应用的代码零改动,通过修改JDBC的连接串,重启服务就完成了系统割接,真正意义上做到了经分大数据数据主仓完全业务无感知的跨数据中心搬迁工作。

其二是对搬迁完成后的集群进行节点扩容,提升大数据平台的存储容量及计算能力

最终通过7天时间的数据重分布完成了PB级数据节点双倍的扩容工作,目前扩容后系统已良好运行。

通过GBase 8a MPP V95版本的虚拟集群功能,在虚拟集群中将两个同样规模和数据分布策略的子集群建立镜像关系来构建实时数据复制,可以构建大数据业务平台实时双活的容灾方案。

通过山东移动大数据平台主数据仓库的成功迁移,验证了通过虚拟集群搭建双活或容灾架构的可行性,为其他预计搭建双活或容灾集群的省公司积累了丰富经验。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论