数据同步中的数据比对校验及数据修复的方法及装置-CN115373889A-武智晖-郭志伟-刘辉-徐海勇-陶涛-尚晶-中移动信息技术有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202110546602.7
(22)申请日 2021.05 .19
(71)申请人 中移动信息技术有限公司
地址 100033 北京市西城区金融大街29号A
座
申请人 中国移动通信集团有限公司
(72)发明人 武智晖 郭志伟 刘辉 徐海勇
陶涛 尚晶
(74)专利代理机构 北京路浩知识产权代理有限
公司 11002
专利代理师 王毅
(51)Int.Cl.
G06F
11/10
(2006 .01)
G06F
16/27
(2019 .01)
G06F
16/23
(2019 .01)
(54)发明名称
数据同步中的数据比对校验及数据修复的
方法及装置
(57)摘要
本发明提供了一种数据同步中的数据比对
校验及数据修复的方法及装置，包括：对源端数
据库t1时刻的全量数据CRC校验码和目标端数据
库t1时刻的全量数据CRC校验码进行对比；若对
比结果不一致，则确定差异数据集，并生成第一
数据集；获取目标端数据库中的差异数据集未执
行的交易命令集合；基于目标端数据库中的差异
数据集未执行的交易命令集合在目标端数据库
中的差异数据集生成第一数据集上执行生成第
二数据集；对源端数据库中的差异数据集和第二
数据集进行对比 ；若对比结果不一致，则进行数
据修复，本发明适用于静态数据比对场景、动态
数据比对场景、同构数据同步场景、异构数据同
步场景、全量数据比对校验场景及单独比对校验
场景，实用性非常广泛。
权利要求书2页 说明书10页 附图5页
CN 115373889 A
2022.11.22
CN 115373889 A
1 .一种数据同步中的数据比对校验及数据修复的方法，其特征在于，包括：
获取源端数据库t1时刻的全量数据CRC校验码和交易队列中末尾的交易序号；
获取目标端数据库t1时刻的全量数据CRC校验码和交易队列中末尾的交易序号；
对所述源端数据库t1时刻的全量数据CRC校验码和所述目标端数据库t1时刻的全量数
据CRC校验码进行对比；
若对比结果不一致，则确定源端数据库中的差异数据集和目标端数据库中的差异数据
集，并基于所述目标端数据库中的差异数据集生成第一数据集；
基于与源端数据库t1时刻对应的所述交易队列中末尾的交易序号，和，与目标端数据
库t1时刻对应的所述交易队列中末尾的交易序号，获取所述目标端数据库中的差异数据集
未执行的交易命令集合；
基于所述目标端数据库中的差异数据集未执行的交易命令集合在所述目标端数据库
中的差异数据集生成第一数据集上执行生成第二数据集；
对所述源端数据库中的差异数据集和所述第二数据集进行对比；
若对比结果不一致，则对不一致的数据集进行数据修复。
2.根据权利要求1所述的数据同步中的数据比对校验及数据修复的方法，其特征在于，
还包括：
对所述源端数据库t1时刻的全量数据CRC校验码和所述目标端数据库t1时刻的全量数
据CRC校验码进行对比，若对比结果一致，则校验结束。
3 .根据权利要求1所述的数据同步中的数据比对校验及数据修复的方法，其特征在于，
所述若对比结果不一致，则对不一致的数据集进行数据修复，包括：
在源端数据库获取所述源端数据库中的差异数据集在t2时刻对应的数据集，并将所述
源端数据库中的差异数据集在t2时刻对应的数据集传到目标端数据库的缓存中；
清空所述目标端数据库中的差异数据集在t2时刻对应的数据集；
基于目标端数据库缓存中的所述源端数据库中的差异数据集在t2时刻对应的数据集
加载到已清空的数据集中，生成第三数据集完成对不一致的数据集修复。
4 .根据权利要求3所述的数据同步中的数据比对校验及数据修复的方法，其特征在于，
所述基于目标端数据库缓存中的所述源端数据库中的差异数据集在t2时刻对应的数据集
加载到已清空的数据集中，生成第三数据集完成对不一致的数据集修复，包括：
t2时刻，对所述源端数据库中的差异数据集在t2时刻对应的数据集进行操作日志分
析，确定与所述源端数据库中的差异数据集在t2时刻对应的数据集对应的增量；
基于所述增量，在生成第三数据集后完成对不一致的数据集修复。
5 .一种数据同步中的数据比对校验及数据修复的装置，其特征在于，包括：
第一获取模块，用于获取源端数据库t1时刻的全量数据CRC校验码和交易队列中末尾
的交易序号；
第二获取模块，用于获取目标端数据库t1时刻的全量数据CRC校验码和交易队列中末
尾的交易序号；
第一对比模块，用于对所述源端数据库t1时刻的全量数据CRC校验码和所述目标端数
据库t1时刻的全量数据CRC校验码进行对比；
第一生成模块，用于若对比结果不一致，则确定源端数据库中的差异数据集和目标端
权 利 要 求 书
1/2 页
2
CN 115373889 A
2
of 18
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论