暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 24 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-09-25
523




点击蓝字 关注我们




答疑人 | 钟嘉杰 张柏强

问题收集整理 | Debra Chen


摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





9月16日-9月22日




在k8s部署DolphinScheduler的时候

repository: https://raw.githubusercontent.com/

bitnami/charts/archive-full-index/bitnami这仓库地址找不到需要怎么修改?

这个应该是可以找到才对的, 根据 https://github.com/bitnami/charts/issues

/10833 地址的说明。

DolphinScheduler 使用k8s节点的时候命名空间能不能在触发任务运行时传递进去,而不是下拉固定选择某个?

目前还不支持,需要自行修改代码。

低代码的工作流,是不是比flink的工作流更贴业务一些,而Airflow和da也可以是工作流,那Flink和DolphinScheduler是某种场景里可以互相替代的?

DolphinScheduler和Flink的应用场景不同,前者是调度,后者是流计算,前者能调度 Flink ,反之行不通。

DolphinScheduler 3.1.8 中使用scripts告警应该如何获取任务以及工作流信息?

获取不了。

有计划升级到JDK17和SpringBoot 3.x版本的计划吗?

暂时没有。

DolphinScheduler 2.0.8上游sql传出参数,下游sql传入参数并进行insert加载。如右图所示;但下游无法接收到所传出的参数。

2.0.x版本环境不了解,但经测试3.0.x可以支持。如果2.0.x不支持的话,尝试下将两个sql合并成一个大的sql 解决。

DolphinScheduler  在哪里可以看到每个版本迭代了哪些内容?

https://github.com/apache/dolphin

scheduler/releases

DolphinScheduler有没有循环节点?或者说有没有方法能循环调用某个节点?

减少定时延时,使用并行。或者使用shell 或者python 写一个loop 封装下。

DolphinScheduler任务间传递参数传list是怎么传的?

["val1", "val2", "val3"]。

未来有计划支持Windows版本的worker吗?

3.2.0 可以在windows,我们支持了windows 的 shell 执行 。https://github.com/apache/dolphin

scheduler/pull/14582

输出的日志中文乱码怎么解决?

操作系统编码和数据库编码设置为 UTF-8 就行。

DolphinScheduler 3.1.2版本,采用伪集群模式部署,集成minio作为资源存储。在api-server/conf/common.properties 中,如果resource.aws.s3.endpoint=http://10.

192.133.3:9000采用http协议,可以正常启动,但如果 resource.aws.s3.endpoint=https://

10.192.133.3:9000 采用的是https协议+ip+端口,就会报错。如果minio是https的,是否需要额外配置什么,就可以使用?还是只能通过二开S3Utils类来解决?

目前仅支持 http。

DolphinScheduler可以根据shell task 的返回值进行判断,处罚alert group吗?

可以直接在脚本里面写发送邮件,目前的告警是针对流程实例的,如果想做到任务实例上,可以尝试在taskFinished 那个方法里加一下。

DolphinScheduler 3.1.7 资源授权有文件夹权限的概念吗(就是可以对某个文件夹下的任何文件增删改查),目前好像只能到文件。

只能文件。

DolphinScheduler提交spark sql 类型的任务时只有 local 和 client,cluster模式在哪个版本支持呢?

可以直接通过shell的形式提交cluster。

使用Python任务类型调用powershell脚本涉及到远程机的登录密码 要保证密码的安全性,这个如何处理?

单独一台worker,单独linux租户处理这个问题,将密码存储在worker文件中,仅有这个租户能操作。或者要求不高直接保存在DolphinScheduler环境比变量中。

凌晨调度,多个任务同时执行时,能设置并行度吗?

有资源池,资源池就是控并发用的。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



如果想参与贡献,添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。

< 🐬🐬 >
更多精彩推荐

恭喜社区 Committer 阵营又添一员!

实操教程 | 触发器实现 Apache DolphinScheduler 失败钉钉自动告警

又一轮优秀用户案例有奖征集,快来投稿!

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

如何快速在 Apache DolphinScheduler 新扩展一个任务插件?



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论