暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 20 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-08-25
334




点击蓝字 关注我们




整理编辑 | Debra Chen

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





8月19日-8月25日




DolphinScheduler 3.1.x task 复制功能没有了吗?

有的,看看是不是你上线了所以用不到了。

DolphinScheduler 3.1.8 调度中有失败任务时,手动停止调度后点击“恢复运行”时,失败的任务不能重新执行,是怎么回事?

暂停是停止了工作流,恢复只是从对应节点重新开始,不会对已经完成的任务状态做改变,你可以尝试重新trigger 工作流运行。

从2.0.7中导出工作流在导入3.1.7中,如果在这个工作流中新增任务会出现该工作流中历史任务的前置任务重复现象,也就是会有3个相同的前置任务,会修复这个问题吗?

如果你是开发倒入生产中,你应该先在 2.0.7 版本的基础上,先升级 3.1.7,然后再做导入导出。

DolphinScheduler 3.1.7,原来使用的2.0.5,创建节点时,需要用到上传的资源,资源可以进行查找和复制,3.1.7也无法进行查找和复制了,使用起来很不方便,后期还会考虑加上吗?

3.1.x应该不会加了,3.2.0 已经重构了资源中心,DolphinScheduler不再保留元数据信息,直接查询资源中心的内容了,所以不会再有类似的问题。

DolphinScheduler 2.0.6,DataX同步数据模块,其中限流(记录数)选择为0时,不生效,提示请输入正整数。

如果用form表单不生效的话,尝试下使用另一种方式,json template。

DolphinScheduler 支持根据http请求的结果进行逻辑判断吗?

用校验条件+condition实现。

目前多租户的设计有针对底层组件比如 yarn 队列 ,hdfs的目录做资源隔离吗?

目前多租户就是根据yarn队列来的,需要你跟yarn配合使用,hdfs要开启权限检查,yarn要开启队列根据用户来分配资源的配置。

Airflow迁移到DolphinScheduler有什么工具可以用吗?

可以用air2phin,具体可了解https://github.com/WhaleOps/

air2phin。

DolphinScheduler可以做血缘分析吗?

有一个提案是做这个事情的,为此创建了一个仓库但是目前还没有消息 https://github.com/apache/

dolphinscheduler-datawarehouse,欢迎贡献。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



如果想参与贡献,添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。

< 🐬🐬 >
更多精彩推荐

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

如何用 Apache DolphinScheduler 实现自动配置自定义变量?

又一轮优秀用户案例有奖征集,快来投稿!

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

3.2.0 终极预告!云原生支持新增 Spark on k8S 支持

使用 Apache DolphinScheduler 进行 EMR 任务调度



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论