暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

云化数据备份恢复平台落地实施,助力湖北公司降本增效

开源节流 降本增效 2021-11-01
1048

一、存在问题及分析

随着湖北公司“5G+”、“大链接”战略的深入落实,业务规模高速增长,业务数据量逐步呈指数级增长,如何保障数据备份的完整性和及时性,以及故障发生后数据恢复的时效性等方面的支撑能力提升显得至关重要。

湖北公司数据备份恢复系统存在下列亟待解决的问题:

1、物理带库与虚拟带库系统的设备老旧、数据备份恢复的传输通道及备份设备的驱动存在能力支撑不足,导致数据库全备整体备份时间偏长、或备份无法成功,数据恢复的时间过长,无法满足生产对数据恢复时效性要求。

2、数据备份时出现的高IO在业务高峰期会影响数据库运行效率,严重时会影响正常生产。

3、数据备份恢复的速度均偏慢,无法满足相应级别的应用数据保护要求。

4、各业务系统采用各自独立而分散的备份恢复系统,运维管理不便捷,运维成本偏高。

二、实施方案与落地

为满足数据备份容量需求、提高备份恢复速度以达到降本增效目标为动力,湖北公司在数据备份恢复提速专项工作中,在数据备份方法上引入新技术、优化原有的数据备份架构,提供数据备份新方法来解决现有存在的问题。

1、将各业务系统的数据备份进行优化整合,搭建了集中统一的云备份平台,实现跨网段数据备份的集中统一管理,利用云存储替换原有物理带库与虚拟带库的旧架构,低成本实现更大容量更快速度的备份能力。

左图是优化前的备份方式,数据直接通过备份软件备份到物理磁带和虚拟带库。其缺点是备份恢复速度慢,只有每秒180M;操作复杂,磁带备份满后需要备份管理员到机房从带库中将磁带取出,挪到仓库中进行编码登记后进行入库管理;带库在机房占用空间大,现有带库机头占用40U,由于设备老旧耗电量较大。

右图是优化后的备份方式,数据先快速备份到备份一体机,其后再缓慢异步同步到分布式文件存储。备份一体机的特点是备份恢复速度快,价格较贵;分布式文件存储的特点是备份速度偏慢,但价格便宜。数据首先高速缓存到一体机中,其后异步的放入大容量的分布式文件存储中,新的备份方法实现了我们的最终备份平台,对外的备份速度是备份一体机的速度,容量是云存储的容量,相当于实现了大容量高速备份两个备份要求。

2、搭建数据分层分级的数据保护架构,提高数据保护精细化管理,以及为生产提供更为可靠快速的恢复方式。第一层为核心数据库基于ADG逻辑复制的只读容灾库;第二层为基于CDM的数据虚拟化的应急库;第三层保护为基于云存储备份的数据备份机制。为不同重要级别的数据提供不同恢复失效的保护方案。

3、备份服务集中统一,备份网络专享服务。通过专用备份IP网络,备份服务集中化,实现备份网络提速管理。实现对现有生产业务数据保护的集中化监控与管理,并为后期大数据平台的保护,以及云的扩展奠定架构的基础。

4、备份文件的分级存储管理、数据的重删压缩,实现数据备份、恢复速度快,容量大,成本低。满足操作系统、软件相关文件、话单文件、dmp文件、数据库等各类文件的备份要求。

使用了新的备份架构的同时,我们试验发现备份一体机较以前的磁带支持重删压缩的功能,对我们生产系统的各类文件进行多场景的备份恢复测试后,开启重删压缩功能参数,进一步压缩备份保存的容量,提高从备份一体机到分布式存储同步的速度。

5、自动归档云存储功能实现湖北移动自动化异地容灾备份功能,异地备份文件的自动传输,文件可自动转存至价格低的分布式文件云存储,极大节省人力维护成本。

三、成效

湖北公司自落地实施“云化数据备份恢复平台”以来,数据备份恢复速度得到明显提升,运维成本得到有效压降。

1、通过新云备份平台的使用,备份及恢复速度提升明显,备份速度由180MB/s提升到650MB/s,提高速度 4倍,恢复速度较之前提升2倍,特别是以前频繁出问题的数据库全备,速度提升10倍左右,如加上老方式人为更换磁带的时间,备份和恢复速度均提升50倍以上。

2、利用重复数据消除的功能,针对数据库全备和归档备份有极大压缩比,能够在更小的占用空间内存储更多备份数据,其压缩比高达7.6倍之多。

3、新成果的应用节约了机房占用空间,机房机柜位置从之前的带库机头40U,减少到现在1P容量占用10U,降低了机房成本投入。

4、大大降低日常运维成本,维护便捷,节约了维护人员到机房存取磁、磁带出入仓库管理、磁带定期运输到异地及其管理的各环节。改造前基本有0.9人年做备份维护,改造完成后维护人力为0.2人年,整体运维团队人员减少,为运维人员节约了大量时间成本及价值成本。

5、该成果落地应用后,从处理速度、节约存储容量、节约机房位置空间、节约设备电费、节约老旧设备的维保费、节约人力维护成本费用。当年投资约为170万,全年节约经济收入约250万。

文章转载自开源节流 降本增效,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论