CN119336855A-关系型数据库内的流式数据处理装置、方法、设备及系统_四维纵横.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411911064 .7
(22)申请日 2024 .12.24
(71)申请人 北京四维纵横数据技术有限公司
地址 101399 北京市顺义区中关村科技园
区顺义园机场东路8号
(72)发明人 王昊 郝羽 张伟晨 唐鹏洲
于宁 姚延栋
(74)专利代理机构 北京清大紫荆知识产权代理
有限公司 11718
专利代理师 周晓飞
(51)Int.Cl .
G06F
16/28
(2019 .01)
G06F
16/242
(2019 .01)
G06F
16/22
(2019 .01)
(54)发明名称
关系型数据库内的流式数据处理装置、方
法、设备及系统
(57)摘要
本发明实施例提供了一种关系型数据库内
的流式数据处理装置、方法、设备及系统，涉及数
据处理技术领域，其中，该装置包括：优化器，用
于接收输入的定义库内流计算的SQL语句，将SQL
语句转化为一个可供执行器执行的流执行计划，
SQL包括增量数据的上游数据库表、对增量数据
实施的加工计算以及下游数据库表；存储器，用
于持久化存储库内流计算的相关元信息，相关元
信息包括流执行计划和流执行计划的进度信息；
执行器，用于在重复执行流执行计划的过程中，
抽取增量数据，对增量数据进行加工计算，并将
加工计算结果反映到下游数据库表中。该方案使
得增量数据的流计算过程在同一数据库内部实
现，有利于减小资源开销，有利于提高实时性。
权利要求书2页 说明书9页 附图5页
CN 119336855 A
2025.01.21
CN 119336855 A
1 .一种关系型数据库内的流式数据处理装置，应用于上游的关系型数据库内，其特征
在于，包括：
优化器，用于接收输入的定义库内流计算的SQL语句，将所述SQL语句转化为一个可供
执行器执行的流执行计划，其中，所述SQL包括增量数据的上游数据库表、对增量数据实施
的加工计算以及下游数据库表；
存储器，用于持久化存储所述库内流计算的相关元信息，所述相关元信息包括所述流
执行计划和所述流执行计划的进度信息；
执行器，用于在重复执行所述流执行计划的过程中，抽取所述增量数据，对所述增量数
据进行加工计算，并将加工计算结果反映到所述下游数据库表中。
2 .如权利要求1所述的关系型数据库内的流式数据处理装置，其特征在于，所述流执行
计划包括抽取所述增量数据的扫描抽取步骤、对所述增量数据实施的加工计算的步骤以及
将所述加工计算结果反映到所述下游数据库表的处理动作。
3 .如权利要求1所述的关系型数据库内的流式数据处理装置，其特征在于，所述执行
器，用于基于所述相关元信息中的所述流执行计划的进度信息，确定出执行前一次提取所
述增量数据时对所述上游数据库表的预写日志进行扫描的扫描结束位置，接续所述扫描结
束位置对所述预写日志进行逻辑解码，抽取数据库内部格式的所述增量数据，并将本次提
取所述增量数据对所述预写日志扫描的扫描结束位置更新为所述流执行计划的进度信息。
4 .如权利要求1所述的关系型数据库内的流式数据处理装置，其特征在于，所述执行
器，用于对抽取的数据库内部格式的所述增量数据进行加工计算。
5 .如权利要求1所述的关系型数据库内的流式数据处理装置，其特征在于，
所述执行器，用于将所述加工计算结果通过以下任意一种处理动作反映到所述下游数
据库表的处理动作：插入、更新以及删除。
6 .如权利要求1至5中任一项所述的关系型数据库内的流式数据处理装置，其特征在
于，还包括：
后台工作模块，用于通过后台工作进程来重复执行所述流执行计划，抽取所述增量数
据，对所述增量数据进行加工计算，并将加工计算结果反映到所述下游数据库表中。
7 .如权利要求1至5中任一项所述的关系型数据库内的流式数据处理装置，其特征在
于，所述SQL语句包括第一预设函数和第二预设函数，所述第一预设函数用于指示抽取所述
增量数据需扫描的所述上游数据库表的预写日志，所述第二预设函数用于指示所述增量数
据需同步至的所述下游数据库表。
8.一种关系型数据库内的流式数据处理方法，应用于上游的关系型数据库内，其特征
在于，包括：
通过优化器接收输入的定义库内流计算的SQL语句，将所述SQL语句转化为一个可供执
行器执行的流执行计划，其中，所述SQL包括增量数据的上游数据库表、对增量数据实施的
加工计算以及下游数据库表；
持久化存储所述库内流计算的相关元信息，所述相关元信息包括所述流执行计划和所
述流执行计划的进度信息；
通过执行器在重复执行所述流执行计划的过程中，抽取所述增量数据，对所述增量数
据进行加工计算，并将加工计算结果反映到所述下游数据库表中。
权 利 要 求 书
1/2 页
2
CN 119336855 A
2
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论