点击蓝字 关注我们

答疑人 | 钟嘉杰 张柏强
问题收集整理 | Debra Chen
摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。
关于本栏目的要点:
本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。
所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:
关于 Apache DolphinScheduler 的使用问题和技术性问题;
在实际应用中遇到的瓶颈问题;
参与社区贡献遇到的困难;
关于社区发展的疑问。
资源有限,请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)
在社群里已经提问的问题,请勿在文档中重复提问,节约资源。
本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
9月16日-9月22日
问
在k8s部署DolphinScheduler的时候
repository: https://raw.githubusercontent.com/
bitnami/charts/archive-full-index/bitnami这仓库地址找不到需要怎么修改?
答
这个应该是可以找到才对的, 根据 https://github.com/bitnami/charts/issues
/10833 地址的说明。
问
DolphinScheduler 使用k8s节点的时候命名空间能不能在触发任务运行时传递进去,而不是下拉固定选择某个?
答
目前还不支持,需要自行修改代码。
问
低代码的工作流,是不是比flink的工作流更贴业务一些,而Airflow和da也可以是工作流,那Flink和DolphinScheduler是某种场景里可以互相替代的?
答
DolphinScheduler和Flink的应用场景不同,前者是调度,后者是流计算,前者能调度 Flink ,反之行不通。
问
DolphinScheduler 3.1.8 中使用scripts告警应该如何获取任务以及工作流信息?
答
获取不了。
问
有计划升级到JDK17和SpringBoot 3.x版本的计划吗?
答
暂时没有。
问
DolphinScheduler 2.0.8上游sql传出参数,下游sql传入参数并进行insert加载。如右图所示;但下游无法接收到所传出的参数。
答
2.0.x版本环境不了解,但经测试3.0.x可以支持。如果2.0.x不支持的话,尝试下将两个sql合并成一个大的sql 解决。
问
DolphinScheduler 在哪里可以看到每个版本迭代了哪些内容?
答
https://github.com/apache/dolphin
scheduler/releases
问
DolphinScheduler有没有循环节点?或者说有没有方法能循环调用某个节点?
答
减少定时延时,使用并行。或者使用shell 或者python 写一个loop 封装下。
问
DolphinScheduler任务间传递参数传list是怎么传的?
答
["val1", "val2", "val3"]。
问
未来有计划支持Windows版本的worker吗?
答
3.2.0 可以在windows,我们支持了windows 的 shell 执行 。https://github.com/apache/dolphin
scheduler/pull/14582
问
输出的日志中文乱码怎么解决?
答
操作系统编码和数据库编码设置为 UTF-8 就行。
问
DolphinScheduler 3.1.2版本,采用伪集群模式部署,集成minio作为资源存储。在api-server/conf/common.properties 中,如果resource.aws.s3.endpoint=http://10.
192.133.3:9000采用http协议,可以正常启动,但如果 resource.aws.s3.endpoint=https://
10.192.133.3:9000 采用的是https协议+ip+端口,就会报错。如果minio是https的,是否需要额外配置什么,就可以使用?还是只能通过二开S3Utils类来解决?
答
目前仅支持 http。
问
DolphinScheduler可以根据shell task 的返回值进行判断,处罚alert group吗?
答
可以直接在脚本里面写发送邮件,目前的告警是针对流程实例的,如果想做到任务实例上,可以尝试在taskFinished 那个方法里加一下。
问
DolphinScheduler 3.1.7 资源授权有文件夹权限的概念吗(就是可以对某个文件夹下的任何文件增删改查),目前好像只能到文件。
答
只能文件。
问
DolphinScheduler提交spark sql 类型的任务时只有 local 和 client,cluster模式在哪个版本支持呢?
答
可以直接通过shell的形式提交cluster。
问
使用Python任务类型调用powershell脚本涉及到远程机的登录密码 要保证密码的安全性,这个如何处理?
答
单独一台worker,单独linux租户处理这个问题,将密码存储在worker文件中,仅有这个租户能操作。或者要求不高直接保存在DolphinScheduler环境比变量中。
问
凌晨调度,多个任务同时执行时,能设置并行度吗?
答
有资源池,资源池就是控并发用的。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份)
如果想参与贡献,添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。





