一种基于Quart的分布式异步数据同步方法_CN118051564A_南大通用.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202410452922 .X
(22)申请日 2024 .04 .16
(71)申请人 天津南大通用数据技术股份有限公
司
地址 300384 天津市滨海新区华苑产业区
海泰发展六道6号海泰绿色产业基地
J-518
(72)发明人 刘文刚
(74)专利代理机构 天津企兴智财知识产权代理
有限公司 12226
专利代理师 石倩倩
(51)Int.Cl.
G06F
16/27
(2019 .01)
G06F
9/48
(2006 .01)
G06F
16/2455
(2019 .01)
G06F
16/25
(2019 .01)
(54)发明名称
一种基于Quart的分布式异步数据同步方法
(57)摘要
本发明提供了一种基于Quart的分布式异步
数据同步方法，方法由同步系统实现，同步系统
包括Quartz调度中心、业务源数据库、同步目标
数据库、WEB可视图界面和同步数据执行器，方法
包括数据配置同步方法和异常数据修正方法。本
发明有益效果：可以在对主业务流程不影响的提
前下，对大量历史业务数据在较短的时间内，进
行异步同步完成，同时对当前业务产生的数据，
也能持续的在极短的时间内同步完成，保证数据
同步的可靠性和一致性。
权利要求书2页 说明书10页 附图4页
CN 118051564 A
2024.05.17
CN 118051564 A
1 .一种基于Quart的分布式异步数据同步方法，其特征在于：所述方法由同步系统实
现，所述同步系统包括Quartz调度中心、业务源数据库、同步目标数据库、WEB可视图界面和
同步数据执行器，所述WEB可视图界面通过Quartz调度中心与同步数据执行器通信连接，所
述同步数据执行器还分别与业务源数据库、同步目标数据库通信连接；
所述方法包括数据配置同步方法和异常数据修正方法，所述异常数据修正方法用于监
控数据配置同步方法，当出现异常数据时对异常数据进行修正，所述数据配置同步方法包
括以下步骤：
A1、配置业务源数据库、同步目标数据库信息资源；
A2、Quartz调度中心配置同步信息；
A3、对数据同步执行任务加锁，保证同步只能执行一个数据同步执行任务；
A4、Quartz调度中心执行Corn调度，根据Corn配置，查询业务源数据库信息；
A5、查询业务源表数据量；
A6、判断数据量是否超过预设值，大于预设值则进入步骤A7，小于或等于预设值则直接
进入步骤A8；
A7、将数据量拆分多线程，执行查询后进入步骤A8；
A8、将步骤A6或者步骤A7查询到的数据批量保存至目标数据库；
A9、同步结束，并将步骤A1‑步骤A8的同步记录持久化存储。
2 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：所
述WEB可视图界面用于提供给用户一个可视化界面，用于配置和监控数据同步任务；
所述Quartz调度中心是基于Quartz框架实现的调度中心，负责调度和执行数据同步任
务；
所述业务源数据库用于存储需要同步的原始数据；
所述同步目标数据库用于同步任务，将从业务源数据库获取到的数据同步到目标数据
库中；
所述同步数据执行器负责实际执行数据同步任务。
3 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤A2中，Quartz调度中心配置同步信息任务，其配置包括：
通过WEB可视图界面允许用户根据业务需求定义数据同步的触发条件和时间，通过配
置Quartz的Cron表达式或简单触发器实现，Cron表达式是一个字符串，该字符串由6个空格
分为7个域，每一个域代表一个时间含义；
注册Scheduler，通过Trigger和JobDetail调度、新增、暂停和删除任务操作；
配置Trigger触发器，用于描述触发Job执行的时间触发规则；
配置JobDetail，用于表示任务详情，包括任务的唯一标识和具体要执行的任务。
4 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤A3中，数据同步执行任务包括：
定义同步数据开始时间为S，结束时间为E，获取数据步长时间T，Quartz执行次数为N；
将数据拆分成小批次的方式进行同步，查询以[S ,S+T] ,[S+T ,S+T+T]等差数列的方式
为条件，即[S+(N‑1)*T，S+N*T]，间隔获取[S+(N‑1)*T，S+N*T]条件内的业务源数据库数据
内容，将获取到的数据批量保存到目标数据库。
权 利 要 求 书
1/2 页
2
CN 118051564 A
2
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论