暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

MQTT over QUIC、大规模监控存储实践|「云边数据智能」沙龙第三期回顾

EMQX 2023-07-27
330

2023 年 7 月 22 日,EMQ「云边数据智能」系列主题沙龙第三期来到了美丽的西子湖畔杭州。本期活动 EMQ 联合 Greptime,一起分享了 MQTT over QUIC 在车联网中的创新应用、大规模监控场景下的存储实践,以及软件创业公司如何寻找 PMF 等热门议题。

公众号后台回复「0722」获取本次活动完整 PPT 资料。


MQTT over QUIC:下一代车联网协议


首先,EMQ 开源社区布道师周子博为大家分享了 MQTT over QUIC 的诞生背景和技术原理,以及其当前在业务场景的落地情况。MQTT 是目前物联网领域应用最广泛的通信协议,广泛应用于车联网、工业制造、能源电力、智能家居等行业。但由于底层 TCP 传输协议限制,MQTT 在当前日益复杂的网络环境下逐渐暴露一些弊端,比如网络切换会导致连接中断,断网后重新建立连接困难,弱网环境下数据传输受限于拥塞、丢包侦测和重传机制等。

QUIC (Quick UDP Internet Connections) 是一种建立在 UDP 之上通用的传输层网络协议,最初由 Google 提出,作为 TCP+TLS 的替代方案,在减少连接开销与消息延迟的同时,为现代移动互联网提供了有效灵活的传输层。MQTT Over QUIC 也可以非常好地解决 MQTT 协议遇到的困境 —— 基于 QUIC 0 RTT/1 RTT 重连/新建能力,能够在弱网与不固定的网络通路中有效提升用户体验。

为了让用户能够尽快地享受到 MQTT over QUIC 带来的各种益处,EMQ 也提供了两种解决方案。一种是支持 MQTT over QUIC 的客户端 SDK——NanoSDK;另一种方案是通过 NanoMQ 将 TCP 连接转换为 QUIC 连接。通过这两种方案,EMQ 已经帮助一些车联网行业相关的用户在生产环境正式部署了 QUIC,实践证明,在弱网环境下,QUIC 不管是丢包率还是短线重连频率,都有了明显的降低。

另外,EMQX 在 5.0 版本中就已经引入对 QUIC 的支持,也是全球首个将 QUIC 引入 MQTT 的开创性产品,本月新发布的 EMQX Enterprise 5.1 版本中,EMQX 的 MQTT over QUIC 已经完全具备了在生产环境应用的能力。比如连接迁移、多路复用、0 RTT 握手这些特性,都已经在 EMQX 中得到了支持。


大规模监控场景下的时序存储实践


接下来,Greptime 联合创始人 & CEO 庄晓丹为大家分享了大规模监控场景下存储系统的设计思路、架构演进和实践,以及 Greptime 目前在做的产品。庄晓丹称自己是一位在在大厂和创业之间来回横跳的 16 年程序员老兵,曾在蚂蚁带领团队自研了蚂蚁的时序数据库产品,目前作为 Greptime 创始人打造自己的云原生时序数据库产品。

庄晓丹详细介绍了在蚂蚁期间监控存储系统的整个演讲过程。从 18 年到 22 年,庄晓丹带领团队做了三个版本的时序数据库,1. 0 的时候用 Rust 重写了 InfluxDB 的 TSM 引擎,拿到了一些语言带来的性能红利;2.x 的时候演变为分布式分片的方案;3.x 的时候实现了存算分离,数据都存储在公司内部的分布式 KV 上,时序数据库的节点本质上是无状态的,可以随意地 Scale;4.x 则计划把分析的能力加进来,以及利用云上的廉价存储降低成本(在 4.x 完成前庄晓丹已经出来创业了)。

Greptime 目前的主要产品是时序数据库 GreptimeDB 和格睿云 GreptimeCloud。其中,GreptimeDB 是一款用 Rust 写的云原生、分布式、融合时序和分析的开源时序数据库。GreptimeCloud 则是基于 GreptimeDB 的 Database as a Service 云服务。庄晓丹介绍说目前自己的创业产品是基于三个对于未来的展望:

  1. 云原生,未来所有的基础软件都要上云,做到开箱即用和非常好的用户体验;

  2. AI for DB,即用 AI 来解决监控的问题,比如你告诉我你的 workload,以及数据类型和数据规模,AI 自动化地帮你预测出你需要的机器资源,然后帮你生成 Dockerfile,实现全部的监控运维自动化;DB for AI,就是把 Python 的一些脚本、算法直接内推到数据库里面去算,因为搬计算永远比搬数据更容易;

  3. 融合,就是计算跟分析的融合,甚至数据库里面内置一些 AI 的算法,无论是时序的预测、异常检测的算法以及多模态,从时序扩展到链路,扩展到日志。大家都在讲可观测,但只通过指标类型去做故障发现是不够的,还需要日志和链路。如果有一个统一的监控存储来存储可观测的三个支柱的话,对定位的过程会有极大的帮助。


圆桌讨论:软件创业公司如何寻找 PMF


最后的圆桌讨论环节,Greptime 联合创始人 & CEO 庄晓丹和 EMQ 开源社区运营总监顾钧相对而坐,讨论了许多创业公司都非常关心的话题:基础软件的创业公司应该如何寻找 PMF?讨论环节中,庄晓丹分享了自己从大厂到创业的心路历程,以及很多自己从 2022 年至今的创业细节。这些经验不但对创业者很有启发,对依然在打工的开发者也有很多启发。

后续我们会把圆桌环节整理为详细的文章,敬请关注。

「云边数据智能(Edge-cloud Data & Intelligence)」沙龙系列还在继续进行中,EMQ 还将联合合作伙伴在上海、北京、杭州、深圳等地举行线下技术沙龙。如果你对物联网、云边数据智能、现代化云计算技术栈、开源基础软件感兴趣,敬请关注后续的活动安排。欢迎来到现场与我们交流,探索智能未来的无限可能!



点击“阅读原文”,了解更多






文章转载自EMQX,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论