暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GreptimeDB 贡献 OTel-Arrow Rust,实现 OpenTelemetry 与 Apache Arrow 集成

GreptimeDB 2025-05-22
296

近日,OpenTelemetry 官方宣布 OpenTelemetry Protocol with Apache Arrow(OTel-Arrow)进入第二阶段[1],并提到了 Greptime 团队在 OTel-Arrow 项目[2]中的重要贡献

作为云原生观测与大数据社区的积极参与者,Greptime 针对遥测数据(Telemetry Data)的高性能采集与传输,在 Rust 生态中落地了 Arrow Flight gRPC 通道端到端支持,极大地推动了 OTel-Arrow 项目的生态完善和工程落地,该工作由 Greptime 资深工程师黄磊完成并贡献。

(图 1:OTel-Arrow 第一阶段的设计架构)

(第一阶段主要面向 Collector 间流量优化的落地实现,已实现与原有 OTLP 组件兼容的 Exporter 和 Receiver)

OTel-Arrow 项目致力于将 Apache Arrow 高效的“零拷贝”列式数据框架引入可观测性领域,实现与 OpenTelemetry 体系的深度融合。通过 Arrow Flight gRPC 通道,遥测数据可以以更高性能、更优压缩、更强扩展性的方式在 SDK 与 Collector 之间批量、无损地传递,极大提升了高基数、高维度场景下的数据处理能力。

相关 PR (#303) [3]中,Greptime 团队主导完成了 Rust SDK 到 Rust Collector 的 Arrow Flight gRPC 通信实现,支持结构化列式遥测数据的高效流转。这项工作让 Arrow Flight 成为 OTel-Arrow Rust 端数据管道的“高速通道”,也为未来多语言 Collector 生态(如 Go、Java)积累了宝贵经验。

在第二阶段,OTel-Arrow 项目将重点探索 Rust 语言在端到端 OTAP(OpenTelemetry Arrow Protocol)数据通道中的应用,包括:

  • 研究如何在 SDK 到 Collector 之间实现真正意义上的零拷贝、面向列的数据流动;
  • 深度集成 Apache Arrow 和 DataFusion 等分析工具,让观测数据更容易与数据湖和数据分析场景对接;
  • 打造安全、高性能、可插拔的 Rust 数据处理管道,使其能高效嵌入到多种运行环境;
  • 持续兼容和桥接 Go 生态,实现 Rust 管道与 OpenTelemetry Golang Collector 的无缝协作。

正如 OpenTelemetry 官方博客所述,OTel-Arrow 的演进正在重新定义观测数据的传输范式。作为这一变革的早期推动者,Greptime 始终坚信:真正的开源创新源于社区协作与工程实践的深度融合

GreptimeDB 最新代码也已经增加了 OTel-Arrow 的初始支持[4],目前还在进一步完善。Greptime 也将继续深耕时序与分析领域,携手开源社区,共建更高效、智能的下一代观测平台。


Reference

[1] https://opentelemetry.io/blog/2025/otel-arrow-phase-2/

[2] https://github.com/open-telemetry/otel-arrow

[3] https://github.com/open-telemetry/otel-arrow/pull/303

[4] https://github.com/GreptimeTeam/greptimedb/pull/5840


关于 Greptime

Greptime 格睿科技专注于打造新一代可观测数据库,服务开发者与企业用户,覆盖从从边缘设备到云端企业级部署的多样化需求。

  • GreptimeDB 开源版:开源、云原生,统一处理指标、日志和追踪数据,适合中小规模 IoT,个人项目与可观测性场景;
  • GreptimeDB 企业版:面向关键业务,提供更高性能、高安全性、高可用性和智能化运维服务;
  • GreptimeCloud 云服务:全托管云服务,零运维体验“企业级”可观测数据库,弹性扩展,按需付费。

欢迎加入开源社区参与贡献与交流!推荐从带有 good first issue
 标签的任务入手,一起共建可观测未来。

⭐ Star us on GitHub:https://github.com/GreptimeTeam/greptimedb 

📚 官网:https://greptime.cn/
📖 文档:https://docs.greptime.cn/
🌍 Twitter:https://twitter.com/Greptime
💬 Slack:https://greptime.com/slack 
💼 LinkedIn:https://www.linkedin.com/company/greptime/

往期精彩文章:

点击「阅读原文」,立即体验 GreptimeDB!

文章转载自GreptimeDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论