CN201910561602.7_一种实现增量数据比对的系统及方法_GoldenDB.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201910561602.7
(22)申请日 2019 .06 .26
(71)申请人 中兴通讯股份有限公司
地址 518057 广东省深圳市南山区高新技
术产业园科技南路中兴通讯大厦法务
部
(72)发明人 买建华 刘志文 丁岩 郭龙波
张鹏 许振华
(74)专利代理机构 北京安信方达知识产权代理
有限公司 11262
代理人 王素燕 龙洪
(51)Int .Cl.
G06F
16/23
(2019 .01)
G06F
16/27
(2019 .01)
G06Q
40/00
(2012 .01)
(54)发明名称
一种实现增量数据比对的系统及方法
(57)摘要
本发明实施例公开了一种实现增量数据比
对的系统及方法，其中该系统包括：同步T环境、
仿真F环境、仿真工具、内存数据库、比对工具和
结果数据库；所述T环境包括同步环境核心应用、
传统商业数据库、增量同步工具和同步环境分布
式数据库；所述F环境包括仿真环境核心应用和
仿真环境分布式数据库；所述仿真工具，用于回
放T环境业务和F环境业务；所述内存数据库，用
于存储T环境和F环境的报文值映射关系；所述比
对工具，用于根据所述报文值映射关系比对T环
境和F环境中的数据；所述结果数据库，用于存储
所述比对工具产生的比对结果数据。本发明实施
例提供的技术方案，能够处理分布式数据库大数
据量的比对。
权利要求书3页 说明书8页 附图4页
CN 112231324 A
2021.01.15
CN 112231324 A
1 .一种实现增量数据比对的系统，其特征在于，包括：
同步T环境、仿真F环境、仿真工具、内存数据库、比对工具和结果数据库；
所述T环境包括同步环境核心应用、传统商业数据库、增量同步工具和同步环境分布式
数据库；
所述F环境包括仿真环境核心应用和仿真环境分布式数据库；
所述仿真工具，用于回放T环境业务和F环境业务；
所述内存数据库，用于存储T环境和F环境的报文值映射关系；
所述比对工具，用于根据所述报文值映射关系比对T环境和F环境中的数据；
所述结果数据库，用于存储所述比对工具产生的比对结果数据。
2.根据权利要求1所述的系统，其特征在于，
所述仿真环境核心应用，用于将所述仿真工具输入的业务数据写入所述仿真环境分布
式数据库，产生对应的二进制日志binlog，并向所述仿真工具返回结果报文；
所述同步环境核心应用，用于将所述仿真工具输入的业务数据写入所述传统商业数据
库，产生对应的重做日志redo log，并向所述仿真工具返回结果报文；
所述增量同步工具，用于采集所述传统商业数据库的redo log，解析为SQL后写入所述
同步环境分布式数据库，产生对应的二进制日志binlog；
所述仿真工具，具体用于解析T环境和F环境返回的结果报文，得到报文值映射关系后
写入所述内存数据库。
3 .根据权利要求1所述的系统，其特征在于，
所述比对工具包括一个比对服务端CS和多个比对客户端CC，
每一个CC，用于主动发起心跳注册到所述CS，
所述CS，用于为每个CC分配一对比对源，同时将T环境和F环境的binlog起始位置信息
下发给所有CC；
所述每一个CC，还用于模拟备机方式接入对应的比对源；
所述一对比对源为T环境和F环境各一个对应的分片。
4 .根据权利要求3所述的系统，其特征在于，
所述CS，还用于向每一个CC请求一个业务上为全局递增的字段值；
所述每一个CC，还用于在F环境从binlog起始位置开始搜索，直至找到第一个不小于所
述字段值的binlog位置，返回该位置对应字段值给CS；
所述CS，还用于集齐每一个CC返回的字段值后，将最大的字段值作为初始字段值，查询
所述内存数据库根据T环境和F环境的报文值映射关系获取所述初始字段值对应的T环境相
应的初始字段值，并下发至所有CC；
所述每一个CC，还用于获取T环境和F环境中所述初始字段值对应的binlog文件和位
置，并返回给CS；
所述CS，收到所述binlog文件和位置后，通知所有CC开始按批次解析binlog；
所述每一个CC，还用于按批次解析binlog，将F环境和T环境有对应关系的值，替换为T
环境的值，返回解析结果；
所述CS，收到一个批次的解析结果后，生成落地文件并执行比对，将比对结果存入所述
结果数据库。
权 利 要 求 书
1/3 页
2
CN 112231324 A
2
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论