暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

详细教程 | 如何使用DolphinScheduler调度Flink实时任务

海豚调度 2025-02-08
267

点击蓝字



关注我们


Apache DolphinScheduler 非常适用于实时数据处理场景,尤其是与 Apache Flink 的集成。DolphinScheduler 提供了丰富的功能,包括任务依赖管理、动态调度、实时监控和日志管理,能够有效简化 Flink 实时任务的管理和部署。通过 DolphinScheduler 的可视化界面,用户可以轻松创建和配置 Flink 任务,设置任务的调度规则,并实时监控任务的执行状态,帮助企业高效地处理大规模实时数据,提升数据处理的效率和可靠性。


本文将详细演示如何使用 Apache DolphinScheduler 调度 Flink 实时任务。
  1. 在“项目管理”>>"工作流定义" 里边创建工作流 

  2. 选择 Flink_Stream 

  3. 选择安装 Flink 服务的节点 Worker 分组,程序类型选择 SQL 

  4. 在“脚本” 编写框输入 Flink-SQL 主代码 

  5. 选择 Flink 版本,指定任务名称,配置资源参数,最后点击确认保存 

  6. 在任务定义>> 实时任务列表找到刚才编写的 Flink_Stream 任务流,点击执行 






用户案例



每日互动 惠生工程  作业帮 博世智驾 
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 食行生鲜 联通医疗 联想
新网银行 唯品富邦消费金融  
自如 有赞 伊利 当贝大数据
珍岛集团 传智教育 Bigo
YY直播  三合一 太美医疗
Cisco Webex 兴业证券




迁移实战



Azkaban   Ooize(当贝迁移案例)   
Airflow (有赞迁移案例) 
Air2phin(迁移工具)
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布!
Apache DolphinScheduler 3.2.1 版本发布:增强功能与安全性的全面升级
Apache DolphinScheduler 3.1.9 版本发布:提升系统的稳定性和性能
Apache DolphinScheduler 3.1.8 版本发布,修复 SeaTunnel 相关 Bug
Apache DolphinScheduler 2.0.9 发布,或将是最后一个 2.0.X 版本
Apache DolphinScheduler 发布 3.1.7 版本,修复 SeaTunnel 任务保存错误




加入社区



参与Apache DolphinScheduler 社区有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。

📂非代码方式包括:

完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。

👩‍💻代码方式包括:

查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚,就来为我点亮Star吧!

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论