暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【GBASE案例】GBase 8a成功替换国外软硬一体机产品

顾文静 2020-08-31
1005

项目背景:
某国有大型保险公司数据仓库原本采用国外软硬一体机产品,在原环境下:性能压力大,软硬一体产品数仓业务多、负载高、日报有时只能T+2更新、月报经常只能在15日发布;架构复杂,数据流向复杂,上下游异构数据库间数据同步依赖复杂调度程序;成本高,采用国外软硬一体机以及封闭架构,软硬件紧耦合,使用和运维成本高;扩容难度大,数仓存储容量和处理性能已经达到瓶颈,无法纵向扩容,扩容需要中断业务,不能利旧。

建设情况
墨天轮1.png

**试点先行:**ACRM业务作为试点,首先进行迁移测试工作,首个试点迁移项目3个月内完成迁移上线;
**仓库迁移:**整体仓库业务迁移根据业务优先程度分阶段进行,目前数仓一阶段迁移工作基本完成;
Dblink、集群间同步工具建设双活集群:基于GBase 8a MPP集群dblink和数据同步工具搭建数仓和集市的双活备份系统;
搭建大数据湖平台,构建基于GBASE新架构系统:搭建基于GBASE架构大数据湖平台,接入上游业务系统数据;
逐渐剥离主仓业务:从集市入手逐渐降低原国外软硬一体机主仓业务负载,剥离核心业务,从并行运行到逐步迁移替代;
实施规模:目前已完成8套生产集群共100多个节点安装部署。

迁移工作
对于整个迁移过程,南大通用有可以实现异构数据库迁移的工具GBaseMigrationToolKit,可以实现在联机状态下对源端表对象,以及数据到GBase的全量迁移,人员准备充分,同时拥有整体完善的迁移方案,涵盖了迁移过程和风险应对方案,使迁移工作达到:工具自动化、过程标准化、工作简单化、风险最小化等标准。

在本项目,南大通用通过搭建两套A、B集群承载主要业务,SGA、ODS、F、DW、DM各层整体数据量200+TB,完成1000+个程序迁移工作。

系统架构

墨天轮2.png

实现效果

墨天轮3.png

使用GBase 8a MPP替换原有国外软硬一体机环境后,增量执行时间由原平台下的18小时提高到7小时,日增量基础数据可在每日 7:00 前完成,提升2.5倍;月度报表执行之前由原平台下的48小时提高到4.5小时,可在每月 3 日前完成数据发布,提升10倍;全量执行时间由7天提高到16小时,提升10倍,整体性能提升 2~10 倍。

GBase 8a MPP目前已在国内外几百个用户处上线使用,是国内部署节点最多的OLAP数据库。特别多次在金融、电信等有海量数据处理需求的行业顺利安装部署,有力证明了其在架构先进性、集群规模、高可用、可扩展性、安全性等方面的强大优势。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论