暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

国产数据库的推广和运维

GBOps 2022-06-25
896


       在谈到国产分布式数据库的应用过程中,大家都比较关心应用系统改造、软硬件、运维等方面的成本投入,接下来从这几个方面来聊聊我们是怎么做的。

       关于应用改造迁移,如果仅仅为了迁移到国产数据库而去改造应用系统的确是要不少的工作量和成本,但是如果是业务系统重建或新建时来同步来使用国产数据库呢?是不是就简单多了?我们在推广国产数据库的过程中均是在业务系统新建或重建时同步去应用国产数据库,同时要求开发在系统建设过程中不允许使用存储过程,所有的业务逻辑均通过应用程序来实现,形成统一的数据库使用规范,解耦应用和底层数据库技术架构,这样将来即使需要再次迁移至其它国产数据库也能够花费最小的代价。

       关于软硬件成本,如果是针对核心系统,中小行两地三中心至少4台AS400主机+复制软件,这成本在1000~2000万。而使用X86服务器的国产分布式数据库10万一台的已经算配置很高,一个集群即便30台硬件成本也才300万。从所有业务系统层面来说,国产数据库所需要的服务器数量相比传统集中式数据库的确会有所增加,但这个相比近10年来银行信息科技的发展,业务系统数量的增长所带来的服务器数量的增加的量级要小的多,而之前我们针对这个问题的做法就是虚拟化,在2014年我们就将除核心以外的应用系统(包括数据库)迁移到虚拟化平台了。现在推广国产数据库的过程中,我们依然以虚拟化为主,重要关键系统才考虑跑物理机。因此,对于我们来说,软硬件的成本整体而言是降低的。

        关于运维部分,有一种观点是使用分布式数据库后会导致服务器数量增多,运维成本增加很多,但就如前面所说近10年来银行数据中心早就经历了服务器数量快速增长的过程,在这个过程中我们的运维团队已经建立了自动化运维体系,具备了自动化运维和运维开发的能力,当团队具备这个能力的时候,运维100台服务器和运维200台服务器的运维成本已经没多大区别了。由于我们的自动化运维体系基于开源软件自主建设,具备了自主开发能力,因此能够很方便的将国产数据库的运维融入到我们的体系中去。

       在监控方面,我们的系统监控平台是采用开源的Zabbix自主建设的,国外成熟数据库zabbix官方均带有现成的模板开箱即用,国产数据库就要我们自己开发模板了,针对GoldenDB的管理节点、计算节点、存储节点、GTM的各个组件我们和厂商一起开发了7个模板共计一百多项监控指标,实现了GoldenDB接入我行的监控平台。

       在自动化运维方面,我们基于开源的蓝鲸PaaS平台自主建设了运维PaaS平台,平台上有蓝鲸自带的作业平台、标准运维、故障自愈等自动化运维SaaS,我们也针对我们的实际需求在蓝鲸PaaS平台上开发了许多其它的运维SaaS,比如云管平台、数据库统一管理平台、集中事件台、统一用户、灾备切换等等,并和我们原有的ITSM等系统进行了集成。实现了一系列运维场景的自动化。

       介绍几个场景,一是在蓝鲸标准运维上开发了GoldenDB一键自动化切换流程,能够一键自动的将GoldenDB集群在主中心和同城灾备中心互相切换,在每年的灾备切换演练时轻松完成切换:

               

二是在蓝鲸标准运维上开发了GoldenDB每日自动恢复的流程,在恢复区搭建了一套虚拟化的恢复环境。每天自动运维平台会将这个恢复环境的集群恢复到前一天的批前状态。每天都在恢复,确保了数据备份的有效性,可恢复,同时如果运维有需要查询前一天的数据也可以连到这个恢复环境来查询,如果测试需要生产数据也可以从这个恢复环境直接进行数据脱敏再导入测试环境。                       

               

三是开发了数据库统一管理平台,统一管理各类数据库,数据库的相关信息来自CMDB,并参考了去哪儿DBA团队的这篇《MySQL慢查询风险指数模型设计》文章,在该平台开发了慢查询风险指数自动评分功能,从日、周、月三个周期,执行时间、执行次数、锁等待时间、扫描行数、业务等级五个维度自动给全行慢SQL评分排序,每天、每周、每月给应用系统负责人邮件发送TOP10的慢SQL。各应用负责人对SQL进行分析后在该平台填写分析结果,DBA对分析结果进行审核,审核后的慢SQL不再发送,形成SQL优化的闭环。

               


               

               



因此,虽然国产数据库在运维方面的生态还不算成熟,但我们在2016年开始基于蓝鲸平台自主建设我们的运维体系,经过这么些年我们已具备运维开发的能力,可以结合我们的实际情况、痛点去开发适合我们自己的运维工具,提升运维效率。后面将会针对我们开发的每个SaaS进行详细的分享,欢迎关注。


文章转载自GBOps,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论