CN111984728A 异构数据库数据同步方法、装置、介质和电子设备.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202010819597.8
(22)申请日 2020.08.14
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 王凯龙
(74)专利代理机构 北京开阳星知识产权代理有
限公司 11710
代理人 安伟
(51)Int.Cl.
G06F
16/27
(2019 .01)
G06F
16/28
(2019 .01)
G06F
16/172
(2019 .01)
(54)发明名称
异构数据库数据同步方法、装置、介质和电
子设备
(57)摘要
本公开涉及数据库技术领域，具体涉及一种
异构数据库数据同步方法、异构数据库数据同步
装置、计算机可读存储介质和电子设备，其中所
述方法包括：从源数据库传输来的增量数据文件
中读取增量数据；将所述增量数据以预设文件格
式写入本地缓存文件；所述预设文件格式与对所
述增量数据的数据操作类型相关；调用归属于目
标数据库的数据装载工具从所述本地缓存文件
中读取增量数据，以将读取的增量数据批量装载
至所述目标数据库中；所述目标数据库是数据仓
库。本公开的实施方案可以在数据仓库场景下异
构数据库数据同步时，大幅提高目标数据库的数
据入库加载性能。
权利要求书2页 说明书10页 附图3页
CN 111984728 A
2020.11.24
CN 111984728 A
1 .一种异构数据库数据同步方法，其特征在于，包括：
从源数据库传输来的增量数据文件中读取增量数据；
将所述增量数据以预设文件格式写入本地缓存文件；所述预设文件格式与对所述增量
数据的数据操作类型相关；
调用归属于目标数据库的数据装载工具从所述本地缓存文件中读取增量数据，以将读
取的增量数据批量装载至所述目标数据库；其中，所述目标数据库是数据仓库。
2.根据权利要求1所述的异构数据库数据同步方法，其特征在于，所述将所述增量数据
以预设文件格式写入本地缓存文件，包括：
获取针对所述增量数据的数据操作类型；
基于所述数据操作类型的不同，将所述增量数据以对应的不同预设文件格式写入所述
本地缓存文件。
3 .根据权利要求2所述的异构数据库数据同步方法，其特征在于，所述预设文件格式包
括第一预设文件格式、第二预设文件格式和第三预设文件格式；所述第一预设文件格式与
数据插入操作相关；所述第二预设文件格式与数据删除操作相关；所述第三预设文件格式
与数据更新操作相关；
所述基于所述数据操作类型的不同，将所述增量数据以对应的不同预设文件格式写入
所述本地缓存文件，包括：
在所述数据操作类型是数据插入操作时，将所述增量数据以所述第一预设文件格式写
入所述本地缓存文件；
在所述数据操作类型是数据删除操作时，将所述增量数据以所述第二预设文件格式写
入所述本地缓存文件；
在所述数据操作类型是数据更新操作时，将所述增量数据以所述第三预设文件格式写
入所述本地缓存文件。
4 .根据权利要求1～3任一项所述的异构数据库数据同步方法，其特征在于，所述目标
数据库提供用以批量导入格式化文本文件的数据加载工具，且所述目标数据库支持MERGE
操作；所述同步方法还包括：
所述数据装载工具将读取的增量数据写入所述目标数据库的中间临时表；
调用所述MERGE操作将所述中间临时表中的增量数据批量装载至所述目标数据库中对
应的实际数据表。
5 .根据权利要求4所述的异构数据库数据同步方法，其特征在于，所述预设文件格式还
包括第四预设文件格式，所述第四预设文件格式与所述MERGE操作相关；
所述将所述增量数据以预设文件格式写入本地缓存文件，包括：
将所述增量数据以所述第四预设文件格式写入所述本地缓存文件。
6 .根据权利要求4所述的异构数据库数据同步方法，其特征在于，所述从源数据库传输
来的增量数据文件中读取增量数据之前，还包括：
初始化读线程和写线程，建立所述写线程对应的缓存队列，将所述写线程与所述目标
数据库连接。
7 .根据权利要求6所述的异构数据库数据同步方法，其特征在于，所述从源数据库传输
来的增量数据文件中读取增量数据，包括：
权 利 要 求 书
1/2 页
2
CN 111984728 A
2
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论