助力降本增效
——重庆公司
01
背景
△原有数据同步架构
助力降本增效
随着重庆公司业务的飞速发展，业务支撑系统的各种子系统及外部系统间的数据交互需求越来越频繁，各种异构数据需要在各种异构系统间进行实时同步共享，且对正确性、延迟、配置上线速度等都提出了更高的要求。目前重庆公司支撑系统的各子系统、各子系统与外部系统间的数据同步，主要采用goldengate数据同步软件实现，但原有架构为直接在源端节点和目标端节点间部署抽取和复制进程，随着同步链路的快速增加，导致如下问题：
资源占用问题：所有端点都需在操作系统上安装数据同步软件，部署抽取和复制进程，占用生产数据库节点的CPU、内存、磁盘空间资源。
安全问题：ogg数据同步管理员拥有所有系统的高权限账号，存在安全隐患。
系统稳定性问题：现有的很多数据库端点无容灾、部分边缘数据库和外部数据库甚至无高可用，导致同步系统相关部分可用性无保障，出现问题时恢复时长很长，并可能造成数据同步丢失，增量数据无法同步接续。
资源占用问题：所有端点都需在操作系统上安装数据同步软件，部署抽取和复制进程，占用生产数据库节点的CPU、内存、磁盘空间资源。
数据同步一致性保障问题：由于各个端点系统设备能力参差不齐，且同步对象接近1000个，数据实时变更，导致众多数据同步对象的数据出现不一致，常规一致性比对方法实施困难且低效。
重庆公司
02
解决方案
助力降本增效
重庆公司针数据同步系统现状问题，基于“数据交换”的理念，进行了数据同步交换平台建设，大幅降低了运维成本；减少了端点数据库资源扩容成本；提升了系统安全稳定性。
数据同步交换平台架构
通过将所有数据同步链路和进程集中化，建成一个主数据交换中心和两个边缘数据交换中心架构，将原所有承载在数据库端点的数据链路和进程搬迁至数据交换平台，采用远程抽取与复制，实现了数据同步的星型化改造和统一管理，并通过数据交换平台统一进行数据一致性的比对与修复。
△数据同步逻辑架构图
数据同步交换平台实施措施
通过采用数据库X86利旧设备及共享存储，搭建了中心节点具备容灾和高可用、边缘节点具备高可用的星型数据交换平台，其中数据交换平台中心节点上部署支持远程数据抽取和远程数据复制的标准类数据库进程和链路，涉及支撑系统内部各子系统，主要交换端点为oracle、mysql、db2等关系型数据库。两个边缘接口平台部署复制端代理，实现不支持复制的非标准数据库的复制接力，如复制端点为hdfs、文件、kafka等非关系型数据库，并通过两个接口机隔离支撑系统内部和外部的数据同步链路。
△中心节点容灾架构
对原有的点对点架构复制链路，由于各个端点交叉复制，故采用根据抽取进程为单元逐步迁移搬迁，每搬迁一个抽取进程，在中心节点上同步部署相关抽取对应的所有复制进程，并从原有复制端点配置中剥离出相关复制链路，通过scn号做好数据同步接续。
△历史复制链路迁移方法
数据一致性比对
Ogg Veridata是用于比较数据库间数据同步效果的工具，能在不中断业务的情况下，识别和修复数据库之间的数据差异。由于系统、网络、配置等各方面因素，Ogg同步过程中可能会产生数据不一致情况，针对数据同步产生的数据差异性问题，在数据同步交换平台上搭建数据比对系统，对比同步效果，修复差异数据。目前系统支持表的全量比对、增量比对，分区表的比对。
△数据同步交换平台数据比对架构
数据同步元数据管理
数据同步元数据管理平台，是在bomc系统上开发实现的基于WEB的数据同步信息管理模块，全景展示现网中已存在的数据同步元数据信息，供业务开发和维护人员查询、管理和维护数据库同步信息，更好的指导开发设计，减少中间繁琐沟通流程，系统主要提供以下功能：
业务开发人员可查询或申请新增同步关系，信息包括源端节点和目标端节点IP、数据库名、表名、表结构等；
数据同步维护人员评审新增同步需求，实施后更新数据链路同步状态
重庆公司
03
经验亮点
助力降本增效
管理效率提升
异构系统数据初始化、增量数据同步均实现远程抽取、远程复制，在一个平台上统一管理所有的数据同步链路，解决了原有本地抽取、点对点架构的监控维护困难、升级困难、数据冗余等多个问题。
系统安全提升
源端节点和目标端节点数据库节点上均无需再部署数据同步的抽取和复制进程，故无需在相关节点上申请主机账号并配置高权限，降低了安全风险。
资源高效利用
数据同步系统不再占用源端和目标端数据库的计算、内存和存储资源，相关资源可有效利用到数据库节点自身任务的处理，平均降低端点节点数据库CPU利用率约3%、节省内存240G、存储24T。
单点隐患消除
平台数据交换节点中的主节点具备高可用和容灾能力，边缘节点具备高可用能力，解决了原有点对点网状架构下很多端点节点无容灾、无高可用问题；整个数据同步系统可用性能力大幅提升。
系统应急切换更快捷
在端点的数据库进行容灾切换时，同步系统不用再拷贝整套软件和数据到容灾侧，只需改变数据交换平台的抽取和复制指向，不再影响端点数据库的容灾切换时间，相关环节的容灾切换速度从15分钟下降到1分钟内。
数据同步元数据全景展示
通过在bomc开发数据同步元数据全景展示界面，授权人员可以通过查询获得所有数据同步元数据信息，从而可以更好的指导开发设计，并通过新增环节流程化保证新增修改元数据变更及时同步至bomc中的元信息配置表。
统一数据比对平台
统一的数据比对平台，不间断的比对，快速发现数据差异并进行自动修复，对于有唯一索引的数据库表，每小时能比对近30G数据，自动修复少量不一致数据，节约人力维护成本。
重庆公司
04
成效
助力降本增效
目前统一数据交换平台已接入数据交换端点12个，涵盖了oracle、mysql、db2、hdfs、kafka等数据生产端点和消费端点，共计32条数据交换链路，且实现链路变更元数据的自动化管理和展示，开发设计，运维效率都得到大幅提升，ogg运维人员从2人下降至1人，节约人力成本1人/年。
端点数据库容灾切换时，只需通过共享平台指向修改，即可完成容灾侧的抽取或复制接续，减少端点数据库容灾切换时间约15分钟。
数据同步链路端到端全路径实现高可用，系统上线3个月实现零故障。
统一的数据比对平台，不间断的比对，快速发现数据差异并进行自动修复，对于有唯一索引的数据库表，每小时能比对近30G数据，自动修复少量不一致数据，节约人力维护成本。
目前已迁移的12个端点资源设备CPU平均下降3%，存储资源减少24T，内存占用减少240G，按对相关数据库设备进行同等能力扩容估算，对应成本约240万，数据交换平台自身采用8台利旧的x86设备及存储，成本约100万，降本140万，后续全部迁移完成可进一步降低成本。
采用数据层的数据同步，大幅减少应用开发层的接口开发数量，特别是异构集成商间的应用接口开发，从4月至今新增数据同步接口36个，以开发一个接口10人天算，数据层的同步总计节约开发人天360天，对应费约29万。
04
总结
助力降本增效
目前重庆公司新增数据同步需求全部纳入集中化数据交换平台、传统架构的数据同步端点及数据链路约50%已迁移至数据交换平台，数据同步系统的运维效率、安全性和稳定性都得到了大幅提升，后续重庆公司还将在已取得成效基础上,进一步推进完成如下工作：
完成全部遗留历史数据同步链路及端点迁移至集中化数据交换平台, 在数据同步系统的降本增效方面获得更多成效，落实公司的降本增效战略。
着力解决集中化数据交换平台目前存在的数据库版本适配过多问题，通过数据库升级改造实现数据库版本差异收敛，提升数据同步系统效率。
进行集中化数据交换平台的容灾和高可用切换演练，进一步提升统一数据交换平台的精细化、智慧化运营水平。
重庆公司
投稿单位：重庆公司
关注微信公众号
“开源节流 降本增效”
随时关注小伙伴们的动态！
有好建议、好做法、好素材，可整理发送至jbzx@chinamobile.com
