点击蓝字
关注我们
转载自鹏说大数据
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。
1
资源中心任务组上限问题
【资源容量】: 允许任务实例并发的最大数量。
1.1、 现象
当我们部署方式是standalone时，资源容量默认值是 10，如下截图：
如果我们调整这个上限，很容易就出现Task和scheduler failed，这就表示同时运行的任务超过上限了。
1.2、解决方案
所以，如果不改变部署方式，我们尽量去拆分任务运行的时间，不要让同一时间点运行任务过多。
2
任务运维问题
2.1、现象
从如下截图可以看出，每个任务组的资源容量是10。
如果我们把所有的任务都放到几个任务组，那么当任务数量上来之后，比如到达如下图现在800+个，当任务堵塞的时候，以下几百个任务需要停止或者运维，这将是灾难。
2.1、解决方案
所幸各个任务组的容量是分开的，各个任务组之间的互补干扰。
所以，尽量去多拆分任务组，这样就会减少因为任务组上限的问题，造成的性能问题和死锁，以及减少后面运维的工作量。
3
循环任务死锁
3.1、现象
任务组容量默认值是10，且使用了功能 逻辑节点-DYNAMIC。
特点： 这个节点可以循环生成子任务，比如设置了20个循环参数，就会循环生成20个子任务，在子任务没有完全生成运行完成之前，这个循环任务会一直保持"运行中"状态，并占用任务组容量。
这就会导致超过10个循环任务同时执行时，循环任务因为任务组容量的问题，无法生成子任务，然后循环任务无法生成子任务，循环任务本身又不会结束，死锁了。
3.2、解决办法
前置条件: 循环任务虽然配置同时运行，但是循环任务还有前置任务，不会完全同时。
提升子任务的任务组内优先级。
循环任务组内优先级设置为一个较小的数字如 2。
子任务组内有限设置为一个较大的数字如 7。
这样，只要生成子任务就会比循环任务优先级高，这样子任务就会一直生成，并执行完成，循环任务也就完成了。不会死锁。
4
依赖任务死锁
4.1、现象
任务组容量默认值是10，且使用了功能 逻辑节点-DEPENDENT。
特点： 这个节点可以设置前置依赖任务，比如下面这个任务设置了前置依赖任务，在前置依赖任务未完成的情况下，这个任务会一直占用1个容量。
如果任务和前置任务的定时时间，设置反了，后置任务比前置任务先运行，那么当任务数量超过任务组容量时，就会导致依赖任务，一直等待前置任务，但是前置任务无法运行，死锁。
4.2、解决办法
避免配置后置任务的定时器比前置任务时间早。
转载自鹏说大数据
原文链接：https://blog.csdn.net/pengpenhhh/article/details/145809143
用户案例
迁移实战
发版消息
加入社区
关注社区的方式有很多：
GitHub: https://github.com/apache/dolphinscheduler 官网：https://dolphinscheduler.apache.org/en-us 订阅开发者邮件：dev@dolphinscheduler@apache.org X.com：@DolphinSchedule YouTube：https://www.youtube.com/@apachedolphinscheduler Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg
同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。
📂非代码方式包括：
完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。
👩💻代码方式包括：
查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。
你的好友秀秀子拍了拍你
并请你帮她点一下“分享”
