点亮 ⭐️ Star · 照亮开源之路
GitHub:https://github.com/apache/dolphinscheduler

版本发布
2022/7/12
近日,Apache Dolphin Scheduler 迎来了 2.0.6 版本发布。新版本对依赖和任务分布功能进行了重要改动,并针对 2.0.5 进行了 bug 修复,具体更新详见下文。
1
重大改动
Significant changes
01
依赖相关问题
新增了每 5s 检测依赖是否完成的逻辑 打印出依赖等待和失败的原因 当依赖整个工作流时,无论最后一个工作流启动多少个任务,会判定依赖周期内该工作流中所有任务最后一个状态。共有以下几种情况:当有任务未运行时,依赖失败;当有任务失败时,依赖失败;有任务正在运行时,依赖等待。 当依赖工作流中某个任务时,会直接根据依赖周期内所依赖任务最后一个状态进行判断

02
任务分布不均衡问题
在 worker 端,队列有等待分配队列(该队列会延迟执行队列)、等待执行队列、执行队列,在上个版本中,等待分配队列和等待执行队列是无限队列,限制其和执行队列相等。 master 在选择 worker 时,如果 worker 的等待执行队列为空,则将任务分配给负载最小的 worker;如果 worker 的等待队列不为空,则将任务分配给等待队列最小的 worker,若等待队列不为空且相等,就根据负载进行选择 worker;如果所有 worker 的等待队列已满,则阻塞 1 秒后再次选择 worker。 由于 worker 每次心跳会在 zk 中更新一次等待队列大小,如果在一次心跳周期内启动了大量的任务(本次心跳周期内等待队列还未更新),worker 获取到任务时先放到等待分配队列,等待分配队列会将任务给执行队列,执行队列满时,会放到等待执行队列,当执行队列、等待执行队列都满时,等待分配队列会每隔 1 秒尝试分配一次任务。当等待分配队列也满时,就会触发 master 召回策略,worker 把任务返回给 master,master 会重新分配。
2
Bug 修复
Bug Fix
修复资源重新上传提示名称重复问题 修复工作流保存后直接跳转到列表页的问题 修复资源名称比较长时保存失败问题 修复 LDAP 登录失败问题 修复邮件告警模板分隔线问题 修复发生 failover 时任务重试不起作用的问题 修复工作流有失败任务而恢复失败时工作流成功的问题 修复 master/worker 重复日志打印比较频繁问题 修复工作流停止时,子工作流和依赖节点不能停止的问题 修复偶发性不能获取任务执行状态的问题 修复偶发性工作流执行完成,子工作流卡住的问题 修复任务强制成功,而工作流状态不改变的问题 修复依赖相关问题 修复多个 worker 节点时,任务分布非常不均衡问题
3
Release Note
4
资源下载
Resource download
5
致谢
Acknowledgement
Amy0104, calvinjiang, caishunfeng, JinyLeeChina, liqingwang, Hou-Shuaishuai, songjianet, Tianqi-Dotes, weeway, zhanqian-1993, zwZjut
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
< 💊 >
精彩活动推荐
Apache DolphinScheduler & Apache Hudi 线上联合 Meetup 即将举行!
7 月 14 日14:00,最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 将与最受欢迎的数据湖产品 Apache Hidi 强强练手,带来调度系统与数据湖强强联手的最佳实践,通过实践案例,解析云原生时代下,大数据处理的神奇能力。
点击链接 https://www.slidestalk.com/m/987 或扫码下图二维码免费预约直播吧!

我知道你在看哟





