【GoldenDB专利】一种异构数据库的数据同步监控系统、方法及介质_202311832986.4 _金篆信科有限责任公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202311832986 .4
(22)申请日 2023 .12.27
(71)申请人 金篆信科有限责任公司
地址 100000 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层(北
京自贸试验区高端产业片区亦庄组
团)
(72)发明人 刘嘉明 刘骏 郑阔涛
(74)专利代理机构 广东良马律师事务所 44395
专利代理师 王兆林
(51)Int.Cl .
G06F
16/27
(2019 .01)
(54)发明名称
一种异构数据库的数据同步监控系统、方法
及介质
(57)摘要
本发明公开了一种异构数据库的数据同步
监控系统、方法及介质，包括采集模块、消息队列
中间件模块、管理监控模块，其中：所述采集模
块，用于采集并解析同步任务的白名单与源端数
据库的元数据，获取需要同步的表对象，解析源
端数据库业务日志，获取表对象的数据变更信
息；所述消息队列中间件模块，用于以所述表对
象为单位创建相应数量的信息管道，通过每个信
息管道接收所述采集模块推送的相应表对象的
数据变更信息以进行数据回放；所述管理监控模
块，用于监控并管理指定信息管道的工作状态和
工作进度，以控制对应表对象的同步过程。本申
请通过基于表对象为单位的信息管道监控，实现
在同步过程中对每个表对象的同步监控和控制。
权利要求书1页 说明书6页 附图4页
CN 117786009 A
2024.03.29
CN 117786009 A
1 .一种异构数据库的数据同步监控系统，其特征在于，包括：采集模块、消息队列中间
件模块、管理监控模块，其中：
所述采集模块，用于采集并解析同步任务的白名单与源端数据库的元数据，获取需要
同步的表对象，解析源端数据库业务日志，获取表对象的数据变更信息；
所述消息队列中间件模块，用于以所述表对象为单位创建相应数量的信息管道，通过
每个信息管道接收所述采集模块推送的相应表对象的数据变更信息以进行数据回放；
所述管理监控模块，用于监控并管理指定信息管道的工作状态和工作进度，以控制对
应表对象的同步过程。
2 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述系统还包
括回放模块，用于接收所述消息队列中间件中各信息管道的可消费数据并回放至目标端数
据库。
3 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述系统还包
括下游抽数平台，用于所述消息队列中间件新建或复用信息管道，对指定表对象的变更数
据进行抽取。
4 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述系统包括
监控管理平台，用于下发指令给管理监控模块，以及接收所述管理监控模块上报的信息。
5 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述管理监控
模块包括管理单元和监控单元；
所述监控单元，用于监控所述消息队列中间件的信息管道的生产消费进度和消费数据
信息；
所述管理单元，用于控制消息队列中间件的信息管道中有序队列的生产消费。
6 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述消息队列
中间件接收所述表对象以有序队列的形式发送至指定信息管道的数据变更信息。
7 .根据权利要求1所述的异构数据库的数据同步监控系统，其特征在于，所述数据变更
信息包括数据位置、数据变更内容和变更时间。
8.一种基于如权利要求1所述的数据同步监控系统的数据同步监控方法，其特征在于，
包括：
采集并解析同步任务的白名单和源端数据库元文件，获取需要同步的表对象，并以所
述表对象为单位创建相应数量的信息管道；
将所述表对象的数据变更信息推送至所述消息队列中间件的信息管道；
监控并管理指定消息队列中间件中信息管道的工作状态和工作进度。
9 .一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介
质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所
述一个或多个处理器执行权利要求1‑7任一项所述的异构数据库的数据同步监控方法。
权 利 要 求 书
1/1 页
2
CN 117786009 A
2
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论