星环科技×福建华通银行，建设大数据灾备集群保障各种灾难下数据安全

星环科技 2023-02-24

692

金融是经济的核心，银行是国民经济的命脉。数据不丢失、业务不中断，是商业银行开展业务的两条红线，因此银行信息系统的灾备能力必须要满足业务连续性保障需求，达到灾难恢复等级要求和容灾建设的目标。

随着数字化建设的发展、完善，福建华通银行建立了基于星环科技大数据基础平台TDH的大数据中心，建立了诸多大数据应用，为银行业务发展提供数据支持。在数据大集中带来巨大优势的同时，也使风险大集中，如何应对和有效化解数据集中带来的风险？如何保证数据在各种灾难情况下的安全？如何保障业务连续性、维护银行声誉呢？

星环科技基于自身的大数据平台数据备份恢复软件Transwarp Backup，为福建华通银行搭建了大数据平台的灾备集群，保障系统在遭遇自然灾害、设备故障、人为灾难等突发性事件时，可以通过灾难恢复或应急切换，支撑系统正常运行，保障业务连续性。

满足信创要求，搭建大数据平台的灾备集群

福建华通银行总部位于福州，是经原中国银监会批准筹建的全国第二批试点民营银行之一，于2017年1月16日正式开业，注册资本24亿元，是福建省首家民营银行,也是继深圳前海微众银行、浙江网商银行之后的全国第三家采用基于互联网模式的分布式架构技术的银行。

自成立以来，福建华通银行始终坚守 “科技金融助微惠民 ” 的战略定位，践行“金融为本、互联网为用”的经营模式，以“普惠金融、消费金融、供应链金融、网络金融、金融市场 ”为五大业务方向，致力于打造线上线下相融合的新型银行。

伴随着大数据中心和大数据应用的发展，福建华通银行容灾备份系统的建设成为一项紧迫的工作。

目前银行等金融用户在灾备系统建设上的一大要求就是以合理的代价保护应用数据的完整性与安全性，在灾难发生后尽快恢复运行，减少业务停顿时间，尽可能不中断或不影响业务的正常进行，使灾难造成的损失降到最小。

其次不管两个系统相离多远，当一个数据中心出现问题时，另一个数据中心就应能迅速接替运行，既要保证业务数据的完整性，又要保证关键业务的连续。

为满足监管要求以及行内数据安全管理，同时满足监管单位对信创的考核需求，福建华通银行确定了灾备项目的主要目标，即在满足信创需求的前提下，搭建大数据平台的灾备集群，灾备集群可实现：

能够达到T-1数据备份；
信息系统恢复时间目标RTO小于1小时；
信息系统恢复点目标RPO 小于5分钟；
能够保证备集群元数据及应用程序与主集群的一致性、正确性；
能够保证备集群数据与主集群的一致性、正确性；
能够支持全量备份、分区增量备份方式；
能够支持用户自定义备份的范围；
能够支持用户自定义备份频度或手工触发备份；
能够支持快速将备集切换为主集群，主集群切换为备集群（当主集群恢复之后，可以通过这样的切换，快速将备集群的数据同步回主集群）。

利用原厂数据备份恢复软件建设大数据平台灾备方案

星环科技基于自身的大数据平台数据备份恢复软件Transwarp Backup，为福建华通银行搭建大数据平台的灾备集群，利用属于原厂数据备份恢复软件产品，帮助客户在灾难发生前，利用IT 技术对信息系统的数据和应用程序进行预先复制备份，以便可在一定时限内(RTO)，完成特定时效（RPO）要求前的数据恢复，进而保证业务的正常开展。

同步方式。方案需同步至灾备集群的信息主要有应用程序信息、HDFS文件信息、Orc表信息、ES表信息、Hyperdrive表信息等，分别采用准实时同步、全/增量同步的方式进行。

数据校验。数据校验分为应用程序校验、元数据信息校验、数据校验三个部分。其中，应用程序的校验和元数据信息校验，两边数据文件进行MD5校验；而数据校验，两边数据文件进行大小校验。

另外，主备集群需要定期做切换演练。建议应用上线的时做一次切换演练，之后定期做切换演练。其中，基础数据区建议1个月一次，业务服务区建议半年或一年一次。

同步时间。同步时间选择在批处理完成后1小时开始，若同步数据量较大，可选择在非业务高峰时间段。通过数据量来估算备份数据所需时间，两集群之间数据传输的效率在千兆网的情况下大约80M/s，500G数据备份所需时间约为1.5小时。

同步时资源情况。同步时的资源情况主要从以下几个方面进行评估：应用程序信息，应用程序同步，基本不消耗资源，可以忽略；HDFS文件，主要消耗集群网络以及磁盘IO；ORC表，主要消耗集群网络以及磁盘IO；Hyperdrive表，消耗资源较少，对主集群的影响不大；ES表，消耗集群CPU、内存等计算资源，集群网络磁盘IO等。若ES表同步数据不多，对集群影响相对较小。若ES表同步数据较多，则需考虑对其他计算任务的影响。

调度与监控。在调度方面，通过contab或调度工具定期触发check程序，当满足备份条件（备份条件由配置文件决定）时，触发灾备作业，自动错误重试、断点续传。在监控方面，提供灾备作业日志以获取作业进度、状态，相关灾备程序日志也提供API接口。

用户权限同步。在TDH平台用户数据库的权限及HDFS目录权限是存储在MySQL中的，通过星环科技中间件可以自动同步两个集群的数据库权限及HDFS目录权限。

灾备切换策略。当发生主数据中心服务器集群宕机且无法短时间恢复，甚至发生主数据中心出现不可逆的事故时，需要进行灾备切换。由于之前ETL调度程序以及相关的集群外应用程序在进行上线部署时已进行同步部署，故在切换后程序只需要进行配置调整后启用灾备服务程序。

关于切换后的数据问题完整性需要根据以下几种场景而不同：

首次，上一次数据同步完成到本次数据完成前发生需要灾备切换的情况时，由于本次数据未完成同步，造成丢失最多一天的数据，此时在启动灾备中心服务之后，需要根据数据类型进行恢复处理：批处理数据，需要重新执行当天的日终批处理过程，实现批处理数据恢复。

其次，在上一次同步之后到本次批处理前发生了灾备切换时，由于批处理数据已经同步完成，因此只需要对实时流数据的归档数据进行重新采集入库，需要重新配置实时采集的开始时间点，对数据进行补录。

当主集群恢复之后，需将应用从备集群回切到主集群。在回切之前需要灾备平台进行主备切换，并完成一次主备同步之后才可以将应用程序回切到主集群，在回切完主集群之后需要灾备平台再做一次主备切换。

大数据平台+原厂数据备份软件应用效果突出

星环科技大数据平台的灾备集群解决方案，提升了福建华通银行信息化系统抵御运营事故风险和重大自然灾难的能力，实现了在主数据中心不可用情况下，备数据中心无缝割接网络及接管主数据中心业务系统，保障了业务系统的安全和业务服务的持续。通过对各区域网络中不同业务系统和数据的备份和容灾，以高效率、低成本的方案保障整个信息化系统的安全、稳定运行。同时补充完善了网络安全法以及等级保护要求的规定，实现了实用性的扩展、政策要求的响应、安全威胁的预防等多方面的收益。

星环科技大数据平台灾备解决方案实现了灾备性能指标包括：