从数据血缘到AI Agent：天翼云 × DolphinScheduler的云上调度新篇章

点击蓝字，关注我们

在数据驱动与智能化的浪潮下，数据调度平台的价值正在被重新定义。天翼云翼 MR 与 Apache DolphinScheduler 的结合，不仅是一次技术选型，更是一次从社区到企业的深度融合与创新探索。

作者介绍

陆小龙

天翼云研发专家

Apache Linkis Committer，Apache DolphinScheduler Contributor

天翼云团队与 Apache DolphinScheduler 社区的合作由来已久。除了在生产环境中深度使用外，团队成员也积极参与社区建设，通过PR提交、问题反馈、功能建议等多种方式推动项目迭代。

部分贡献示例：

• PR #17037：优化任务执行逻辑

• PR #17165：新增日志获取客户端
  
  
  
  

这种双向互动，不仅让平台更贴合实际业务需求，也让社区获得了来自一线生产的真实反馈。

作为天翼云的大数据计算平台，翼 MR 为用户提供了即开即用、安全可靠、便捷管理的公有云形态。

更重要的是，翼 MR 与大数据组件实现了自动集成，用户在 DolphinScheduler 中调度任务时，无需繁琐的环境配置，即可直接调用 Hive、Spark、Flink 等组件。

此外，平台内置基于 DolphinScheduler 优化过的监控与运维系统，为任务执行提供全链路可视化管理，帮助运维人员快速定位问题、优化性能。

在生产环境中，天翼云团队基于DolphinScheduler进行了多项定制化优化：

1. 结果集标准化
   将节点输出统一为CSV格式，降低内存占用、提高落盘效率。

2. 全链路血缘追踪
   可视化展示数据从采集、加工到输出的全路径，支持任务间依赖分析与审计。
   

   通过 SQLLineage4J、SQLLineage 和 GSP 三大解析引擎，把各类 SQL 脚本解析成血缘关系，保存到元数据中心；随后由数据地图、数据服务等下游模块消费这些血缘信息，实现数据资产的可视化、查询和影响分析。
   

3. 第三方任务系统集成
   支持通过界面化注册接入第三方任务系统（如 Dinky、AWS EMR），并可借助 OpenAPI 直接提交任务，减少接入开发成本。
   

这些优化大幅提升了任务调度的灵活性与可维护性，也为不同类型的业务提供了统一的调度中枢。

最后，我想分享一下我关于在 Agentic AI 趋势下，DolphinScheduler 的展望。在 Agentic AI 时代，用户对 Dolphinscheduler 的要求，或者说使用方式正在发生变化。例如在 6 月份的 Meetup 上，社区分享了 DolphinScheduler 的 MCP（Model Context Protocol）相关探索，这意味着未来DolphinScheduler的“用户”可能从人类开发者延伸到AI Agent。

也许不久的将来，Dolphincheduler 的目标用户会变成 agent，调度平台将不再只是面向人类的 Web 控制台，而是 AI 工作流中的一环。当然，我觉得 Dolphinscheduler 在这个环节中具有天然优势，因为虽然大数据各种组件都在搞自己的 MCP Server，但是 Dolphinscheduler 作为一个集成了几乎所有大数据组件的调度平台，相比让各个组件自研 MCP Server，由DolphinScheduler 作为统一调度入口，它会更加高效、更易维护，也更轻量。

理想很丰满，那么这些想法该如何落地呢？我认为，正如代立冬在issue #17334提出的那样，引入大模型能力，是迈向这一未来的第一步。作为社区的一份子，我呼吁大家积极加入到这个话题的探索之中，群策群力，共同早日把我们的设想落实下去。

天翼云翼 MR 与 Apache DolphinScheduler 的结合，是一次社区与企业的双向奔赴，也是在 AI 浪潮下对调度平台角色的新思考。未来，随着 Agentic AI 的发展，这一组合将在更多场景中释放价值。

如果你对大数据调度、AI 工作流感兴趣，欢迎通过公众号、Slack、GitHub 加入 Apache DolphinScheduler 社区，一起探索数据调度的更多可能。

用户案例

Zoom网易邮箱 每日互动 惠生工程  作业帮 

博世智驾 蔚来汽车 长城汽车集度长安汽车

思科网讯食行生鲜联通医疗联想

新网银行唯品富邦消费金融 

自如有赞伊利当贝大数据

珍岛集团传智教育Bigo

YY直播  拈花云科太美医疗

Cisco Webex兴业证券

迁移实战

Azkaban   Ooize（当贝迁移案例）

Airflow （有赞迁移案例）

Air2phin（迁移工具）

Airflow迁移实践

发版消息

Apache DolphinScheduler 3.2.2版本正式发布！

Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级

Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！

加入社区

关注社区的方式有很多：

• GitHub: https://github.com/apache/dolphinscheduler
• 官网：https://dolphinscheduler.apache.org/en-us
• 订阅开发者邮件：dev@dolphinscheduler@apache.org
• X.com：@DolphinSchedule
• YouTube：https://www.youtube.com/@apachedolphinscheduler
• Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。

📂非代码方式包括：

完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。

👩‍💻代码方式包括：

查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚，就来为我点亮Star吧！

https://github.com/apache/dolphinscheduler

你的好友秀秀子拍了拍你

并请你帮她点一下“分享”