【GoldenDB专利】分布式数据库日志处理方法和装置、电子设备和存储介质_CN202310985683.X_金篆信科有限责任公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310985683 .X
(22)申请日 2023 .08.07
(71)申请人 金篆信科有限责任公司
地址 100176 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层（北
京自贸试验区高端产业片区亦庄组
团）
(72)发明人 吴沛霆 付裕 马玉伟 周亚运
岳新新
(74)专利代理机构 北京华夏泰和知识产权代理
有限公司 11662
专利代理师 曾军
(51)Int.Cl .
G06F
16/27
(2019 .01)
G06F
16/2458
(2019 .01)
G06F
16/2457
(2019 .01)
G06F
16/18
(2019 .01)
(54)发明名称
分布式数据库日志处理方法和装置、电子设
备和存储介质
(57)摘要
本申请提供了一种分布式数据库日志处理
方法和装置、电子设备和存储介质。其中，方法包
括：获取分布式数据库下多个数据节点中每个数
据节点的日志文件；根据日志文件中每个节点事
务的事务提交信息，确定出与每个分布式事务对
应的节点事务，其中，每个节点事务的事务提交
信息用于指示每个节点事务在开始写操作的次
序以及每个节点事务所属的分布式事务提交时
的全局顺序；按照与每个分布式事务对应的节点
事务，对各个节点事务进行组合，得到用于指示
每个分布式事务的全局日志。通过本申请，解决
了相关技术中存在的因为需要对每一个数据节
点都部署一个队列，导致的不仅需要大量的人力
保障运维，还需要额外增加大量中间机资源，费
效比非常低下的问题。
权利要求书2页 说明书12页 附图2页
CN 116701544 A
2023.09.05
CN 116701544 A
1 .一种分布式数据库日志处理方法，其特征在于，包括：
获取所述分布式数据库下多个数据节点中每个数据节点的日志文件；
根据所述日志文件中每个节点事务的事务提交信息，确定出与每个分布式事务对应的
所述节点事务，其中，所述每个节点事务的事务提交信息用于指示所述每个节点事务开始
写操作的次序以及所述每个节点事务所属的分布式事务提交时的全局顺序；
按照所述与每个分布式事务对应的所述节点事务，对各个所述节点事务进行组合，得
到用于指示每个分布式事务的全局日志。
2.根据权利要求1所述的方法，其特征在于，所述获取所述分布式数据库下多个数据节
点中每个数据节点的日志文件，包括：
获取分布式数据库下多个数据节点中的每个数据节点的二进制日志；
将所有所述二进制日志复制至目标备机，得到所述每个数据节点的日志文件。
3 .根据权利要求2所述的方法，其特征在于，所述根据所述日志文件中每个节点事务的
事务提交信息，确定出与每个分布式事务对应的所述节点事务，包括：
将每个日志文件中的节点事务，读取至所述每个日志文件对应的事务队列中；
按照所述每个节点事务的事务提交信息，并通过对各个所述事务队列中的节点事务进
行读取，得到所述每个分布式事务对应的所述节点事务。
4 .根据权利要求3所述的方法，其特征在于，所述将每个日志文件中的节点事务，读取
至所述每个日志文件对应的事务队列中，包括：
启动与所述数据节点对应的FETCH线程，并创建与每个FETCH线程对应的所述事务队
列；
按照与所述每个数据节点对应的FETCH线程，通过所述每个FETCH线程对所述目标备机
中的每个日志文件进行读取，得到与所述每个数据节点对应的中继日志；
将所述中继日志中的所述节点事务读取至所述事务队列中。
5 .根据权利要求4所述的方法，其特征在于，所述按照所述每个节点事务的事务提交信
息，并通过对各个所述事务队列中的节点事务进行读取，得到所述每个分布式事务对应的
所述节点事务，包括：
启动一个目标线程，打开用于存储所述分布式数据库的全局日志信息的全局日志文
件，并创建所述目标线程对应的完整队列；
通过所述目标线程读取得到每个FETCH线程对应的事务队列中位于第一的首位事务；
通过解析每个首位事务的事务提交信息中的首位分布式事务ID以及首位分片信息后，
在所有首位事务中确定出指定分布式节点事务，其中，分布式事务ID用于指示唯一的分布
式事务，分片信息用于指示所对应的分布式事务中的每个节点事务所分布于的数据节点，
分布式节点事务所对应的分片信息涉及多个数据节点，对于任一个所述指定分布式节点事
务，所述指定分布式节点事务的首位分片信息指示包含所述指定分布式节点事务的指定分
布式事务分布于多个数据节点；
按照每个指定分布式节点事务的首位分布式事务ID，依次确定出与每个首位分布式事
务ID对应的节点事务组，并将所述节点事务组放入所述完整队列中，其中，与每个首位分布
式事务ID对应的节点事务组中包括：所有指定分布式节点事务中与所述每个首位分布式事
务ID对应的第一目标分布式节点事务，以及通过所述第一目标分布式节点事务的所述首位
权 利 要 求 书
1/2 页
2
CN 116701544 A
2
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论