CN202310152480.2-数据同步方法、存储介质及设备.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310152480 .2
(22)申请日 2023 .02 .22
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 魏乾 王凯龙
(74)专利代理机构 北京智汇东方知识产权代理
事务所(普通合伙) 11391
专利代理师 刘长江
(51)Int.Cl .
G06F
16/27
(2019 .01)
G06F
16/215
(2019 .01)
(54)发明名称
数据同步方法、存储介质及设备
(57)摘要
本发明提供了一种数据同步方法、存储介质
及设备，该数据同步方法包括：从多个影子表中
查找起始日志序号，将所述起始日志序号对应数
据所在的影子表记为第一影子表；从所述第一影
子表中抽取全部的增量数据，确定全部的增量数
据中最大的日志序号，并将所述最大的日志序号
记为数据断点；从其余影子表中抽取日志序号小
于等于所述数据断点的增量数据；将从所述多个
影子表中抽取的增量数据封装为一个分片，并存
入中间文件。本发明的优点是只需记录一个数据
断点即可在抽取增量数据使数据不重复、不缺
失，有效保证了生产环境中数据的可靠性。
权利要求书1页 说明书6页 附图4页
CN 116150274 A
2023.05.23
CN 116150274 A
1 .一种数据同步方法，包括：
从多个影子表中查找起始日志序号，将所述起始日志序号对应数据所在的影子表记为
第一影子表，其中，所述多个影子表与待同步的多个数据表一一对应，并用于记录待同步的
多个数据表的增量数据；
从所述第一影子表中抽取全部的增量数据，确定全部的增量数据中最大的日志序号，
并将所述最大的日志序号记为数据断点；
从其余影子表中抽取日志序号小于等于所述数据断点的增量数据；
将从所述多个影子表中抽取的增量数据封装为一个分片，并存入中间文件。
2.根据权利要求1所述的数据同步方法，还包括：
启动线程；
定时从所述中间文件的最后一个所述分片中获取数据断点；
删除所述多个影子表中日志序号小于等于所述数据断点的增量数据。
3 .根据权利要求1所述的数据同步方法，其中，所述从多个影子表中查找起始日志序号
的步骤包括：
从多个所述影子表中查找各所述增量数据的日志序号；
比较各所述增量数据的日志序号的大小；
将各所述增量数据中最小的日志序号作为起始日志序号。
4 .根据权利要求3所述的数据同步方法，其中，
所述日志序号被设置成二进制的值。
5 .根据权利要求4所述的数据同步方法，其中，所述比较各所述增量数据的日志序号的
大小的步骤包括：
将所述日志序号的前8位转换成日志对应的文件名，通过比较所述文件名的数字大小
从而确定出所述日志序号的大小。
6 .根据权利要求5所述的数据同步方法，其中，所述比较各所述增量数据的日志序号的
大小的步骤还包括：
将所述日志序号的后8位转换成时间戳，在文件名相同的情况下，通过比较所述时间戳
的大小从而确定出所述日志序号的大小。
7 .根据权利要求1所述的数据同步方法，还包括：
获取程序中途停止的事件；
从所述中间文件的最后一个所述分片中获取数据断点；
从大于所述数据断点的增量数据开始重新启动同步。
8.根据权利要求1所述的数据同步方法，其中，
所述中间文件为磁盘文件KUFL。
9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理
器执行时实现根据权利要求1至8任一项所述的数据同步方法。
10 .一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运
行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8
任一项所述的数据同步方法。
权 利 要 求 书
1/1 页
2
CN 116150274 A
2
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论