暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第十三期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-07-10
217




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





7月1日-7月7日




SeaTunnel Web 发布后,最低支持DolphinScheduler哪个版本?

可能3.3.0版本会支持。 

直接用shell执行spark-sql 任务,shell返回的状态是非0,但是yarn上的任务状态是成功的。有什么解决的方法和建议吗?

请确定为什么会返回非 0 的值,这是shell 的判断依据。

3.1.7默认没有MYSQL驱动吗?

是的。

全局任务和工作流模板及实例的血缘关系展示;支持在全局视图进行停止暂停、重跑、依赖链重跑等操作,这些功能实现了吗?

开源版不支持,商业版本WhaleScheduler已经支持。

3.1.7版本部署的DOCKER伪分布式集群,创建DATAX任务启动后报错,提示:找不到/opt/soft/PYTHON2.7。如何增加PYTHON 2.7?

你需要自己build 一个docker 镜像,参照之前FAQ,有给出文档。

3.17版本创建了一个SHELL任务,执行JAR包。把包传到MASTER服务/OPT目录下,但是任务失败,找不到JAR包。怎么解决?

需要到worker,而不是master中。

3.0.6版本,hive的udf jar包加入UDF-资源管理后,有多个任务依赖这个udf函数,当对函数更新后再次覆盖这个jar,在工作流实例页面无法停止对应的任务,停止按钮置灰无法点击,后台一直刷日志,最终导致服务不可用,后续的版本有修复这个问题吗?

请确定你的更新方式。

DolphinScheduler版本2.0.5,刚搭建集群模式,创建mysql数据流报错:Failed to load driver class com.mysql.cj.jdbc.Driver in either of HikariConfig class loader or Thread context classloader 显示的是mysql驱动问题,但我的cdh6.3.2 使用的是mysql5.6.24作为元数据库,且对应的是mysql-connector-java-5.1.27.jar使用正常的。并且尝试使用mysql-connector-java-8.0.16.jar但均失败。最后我把5.6.24和8.0.16这两个driver包放在ds的lib下,可以连接mysql数据源。但创建工作流的时候连接mysql查数据时日志只显示[local path]和[host]。所创建的log文件不存在。请问如何处理?

如果解决不了,请使用不同的数据库处理cdh和DolphinScheduler。

DolphinScheduler版本3.1.3使用问题:一个Worker分组下节点全部宕机,定时调度的任务还在一直在向宕机的Worker组提交任务,这个为什么会影响其他任务向正常Worker组提交呢?

我自己debug看代码,在org.apache.dolphinscheduler.server.

master.consumer.TaskPriorityQueue

Consumer 这个类里面有个逻辑,分发失败的任务,会重新丢到 taskPriorityQueue 这个队列中,如果定时任务一直调度向宕机的worker提交,那么这个队列里面会有很多分发失败的任务等着重新分发,这种情况是不是会影响其他任务的正常分发呢?

Worker down 后,再次提交应该不会向这个worker提交,请确定是否worker还活着。

我创建了HTTP GET请求任务,用POSTMAN执行是正常的,但是DolphinScheduler就报异常,请求格式:http://apis.juhe.cn/mobile

/get?phone=13691***&key=0181*** ,报错内容:dolphinscheduler.plugin.task.api.

TaskException: Execute http task failed

先确保worker 的网络是否通,如果通则看看拼接后的url是否正确。

[3.1.5]  通过第一个节点扫描出来的不确定数量的批量任务,如何才能实现后续的批量任务串行执行?是否可以通过分支判断来实现循环?目前我是用api来创建整个流程,不确定数量的批量任务在api中创建。

dev有个dyn的任务节点,应该可以满足这类需求,可以去了解下。

[3.1.7] 工作流实例正在执行子流程的时候暂停工作流,整个工作流一直处于正在暂停状态,只能去数据库改实例状态,怎么解决?

暂停是对下一个运行节点暂停,不影响当前节点。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

用一杯星巴克的钱,训练自己私有化的ChatGPT

社区星力量 | 平等、包容、耐性,这对贡献小白来说很重要

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

线上 Meetup 讲师报名火热进行中!快来“秀”出你的才华和肌肉

Apache DolphinScheduler 荣获“掘进技术引力榜”「2023 年度 ROBUST 开源项目」奖项!



欢迎点赞在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论