CN119336851A-分布式数据库间的数据传输方法、装置、设备及介质_宋佳飞王昊等_四维纵横.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411875112 .1
(22)申请日 2024 .12.19
(71)申请人 北京四维纵横数据技术有限公司
地址 101399 北京市顺义区中关村科技园
区顺义园机场东路8号
(72)发明人 宋佳飞 王昊 杨飞 杨旭东
王志强
(74)专利代理机构 北京清大紫荆知识产权代理
有限公司 11718
专利代理师 周晓飞
(51)Int.Cl .
G06F
16/27
(2019 .01)
(54)发明名称
分布式数据库间的数据传输方法、装置、设
备及介质
(57)摘要
本发明实施例提供了一种分布式数据库间
的数据传输方法、装置、设备及介质，涉及数据处
理技术领域，其中，该方法包括：针对每个待传输
数据表，建立源数据库的第一数据分片与目标数
据库的第二数据分片的映射关系；目标数据库的
协调者将插入数据任务分解为多个插入数据子
任务分别发送给各个参与者；在每个参与者中，
响应于插入数据子任务，激活各自的传输工具，
针对每个参与者中的每个第二数据分片，通过所
述传输工具基于映射关系确定该第二数据分片
映射对应的第一数据分片，并从映射对应的第一
数据分片读取待传输数据表的数据存储在该第
二数据分片上。该方案数据分片之间读取数据的
过程不依赖协调者，有利于避免出现单点性能瓶
颈的问题。
权利要求书2页 说明书9页 附图10页
CN 119336851 A
2025.01.21
CN 119336851 A
1 .一种分布式数据库间的数据传输方法，其特征在于，包括：
针对每个待传输数据表，建立源分布式数据库的第一数据分片与目标分布式数据库的
第二数据分片的映射关系；
在所述目标分布式数据库的协调者接收到插入数据任务时，将所述插入数据任务分解
为多个插入数据子任务，将多个所述插入数据子任务分别发送给各个参与者，其中，所述目
标分布式数据库的分布式节点中一个分布式节点为协调者，其他分布式节点为参与者；
在每个所述参与者中，响应于所述插入数据子任务，激活各自的传输工具，针对每个所
述参与者中的每个所述第二数据分片，通过所述传输工具基于所述映射关系确定该第二数
据分片映射对应的所述第一数据分片，并从映射对应的所述第一数据分片读取所述待传输
数据表的数据存储在该第二数据分片上，其中，所述传输工具存储在所述目标分布式数据
库的每个分布式节点上，所述映射关系存储在所述目标分布式数据库的每个分布式节点
上。
2 .如权利要求1所述的分布式数据库间的数据传输方法，其特征在于，确定源分布式数
据库的第一数据分片与目标分布式数据库的第二数据分片的映射关系，包括：
针对所述源分布式数据库和所述目标分布式数据库，分别统计分布式节点的数量、数
据分片的总量以及各分布式节点上数据分片的数量；
根据所述源分布式数据库和所述目标分布式数据库之间分布式节点的数量、数据分片
的总量以及各分布式节点上数据分片的数量的不同情况，确定所述源分布式数据库的第一
数据分片与所述目标分布式数据库的第二数据分片的映射关系，所述映射关系中每个所述
第一数据分片映射对应一个所述第二数据分片。
3 .如权利要求1或2所述的分布式数据库间的数据传输方法，其特征在于，根据所述源
分布式数据库和所述目标分布式数据库之间分布式节点的数量、数据分片的总量以及各分
布式节点上数据分片的数量的不同情况，确定所述源分布式数据库的第一数据分片与所述
目标分布式数据库的第二数据分片的映射关系，包括：
若所述源分布式数据库和所述目标分布式数据库之间数据分片的总量相同，则按照所
述源分布式数据库和所述目标分布式数据库中数据分片的编号由小到大的顺序，一一对应
地建立所述第一数据分片与所述第二数据分片的映射关系。
4 .如权利要求1或2所述的分布式数据库间的数据传输方法，其特征在于，根据所述源
分布式数据库和所述目标分布式数据库之间分布式节点的数量、数据分片的总量以及各分
布式节点上数据分片的数量的不同情况，确定所述源分布式数据库的第一数据分片与所述
目标分布式数据库的第二数据分片的映射关系，包括：
若所述源分布式数据库和所述目标分布式数据库之间分布式节点的数量相同，且所述
源分布式数据库和所述目标分布式数据库中各自的各个分布式节点具有的数据分片数量
相同，则将所述源分布式数据库的分布式节点按照主机名排序，得到第一排序，将所述目标
分布式数据库的分布式节点按照主机名排序，得到第二排序；
将所述第一排序和所述第二排序中相同排位的分布式节点的所述第一数据分片和所
述第二数据分片建立映射关系。
5 .如权利要求1或2所述的分布式数据库间的数据传输方法，其特征在于，根据所述源
分布式数据库和所述目标分布式数据库之间分布式节点的数量、数据分片的总量以及各分
权 利 要 求 书
1/2 页
2
CN 119336851 A
2
of 22
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论