暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【AntDB分布式数据库的发展展望】分布式数据库的热点技术 - 流式计算

北陌 2023-11-23
110

时序数据库的持续聚集和实时数仓的实时分析都会用到流式计算,流式 计算属于分布式计算框架,在 Hadoop 生态圈中流式计算框架比较丰富,如Storm、Spark Streaming、Flink、Kafka Streams、Heron 等。

最近几年随着 SQL 的回归,流式计算也开始向数据库方向发展,陆续出现几个流数据库,如 HStreamDB、Materialize 等,流数据库对外 SQL 接口, 使用流数据库进行流式计算就像操作传统数据库一样方便。数据库中 SQL 语句经过解析器解析和优化器优化后转换成执行计划树,执行计划树的结构和 流式计算框架中的拓扑图结构非常相似,因此流式计算系统可以做成数据库 的样子对外提供 SQL 接口。标准 SQL 语句转换成的执行计划树是有向无环图(Directed Acyclic Graph,DAG),复杂的流式计算框架,比如 Flink 拓扑图可以是环状的,称为有向循环图(Directed Cyclic Graph,DCG),针对这些情况需要对标准 SQL 语法做一下扩展。下面是流数据库 Materialize 用 SQL 语句进行流式计算的例子,如图 7-15 所示。

图 7-15 Materialize 多数据源多流数据合并计算的 SQL 语句

Materialize 的成功说明把流式计算框架做成 SQL 执行引擎技术上可行。AntDB 后续也会借鉴 Materialize 的实现原理在分布式 SQL 执行引擎中加入流式计算能力。


关于AntDB数据库

AntDB 数据库始于 2008 年,在运营商的核心系统上,为全国 24 个省份的 10 亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近 15 年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论