暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第16期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-07-31
430




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





7月22日-7月28日




DolphinScheduler 3.1.4 中使用S3对象存储,每起一个新任务实例都需要下载引用的资源,可能会存在瓶颈,是否需要引入缓存机制?

对于一个离线调度平台的并发量,应该不至于把 s3 干出瓶颈。

DolphinScheduler 3.1.4 宕机或停服一段时间,还不支持自动补数,是否需要引入自动补数功能?

如果你工作流有定时,定时开始结束时间是正确的,且工作流和定时都上线了,那重启服务后会自动触发工作流运行,如果没有请检查上述配置。

DolphinScheduler 3.1.4 工作流补数手动输入日期执行无序,是否需要优化为按时间顺序执行?

可以的,补数有并行和串行。

[3.0.4] 文档说在使用 sub_process 调用子结点任务的时候,需要保证定义的子结点为上线状态,否则 sub_process 的工作流无法正常运行。可是在3.0.4版本中,sub_process的子节点为下线状态,最终也被运行了。这个合理吗?

应该是合理的,外部触发一个工作流。

dolphinscheduler 2.0.9 配置好工作流定义后,点击运行,能不能按照指定日期,并且将指定日期作为参数传给定时任务呢?

可以使用补数功能实现,时间参数参考这里,这里的时间都是业务时间 https://dolphinscheduler.apache.org/en-us/docs/2.0.9/guide/parameter/built-in。

docker镜像构建部署的时候,构建到api-server的时候,提示multiple platforms feature is currently not supported for docker driver. Please switch to a different driver (eg. "docker buildx create --use")。docker版本是Docker version 23.0.4, build f480fb1。

buildx是多镜像需求,需要安装buildx https://docs.docker.com/engine/refer

ence/commandline/buildx/ 。

DolphinScheduler 3.1.4, 工作流拖节点会重合, 是否应该考虑不允许重合? 不然盖住了有时候找不到节点了。

每次修改前后可以使用formatter 按钮解决这个问题。

DolphinScheduler 3.0.1每次重启worker时都会报worker-server/conf/dolphinscheduler_env.sh权限限制,每次需手动chmod 777才可以,这是为什么?

升级到最新的 3.0.x 版本可以解决。

能否在定义工作流的地方新增一个试运行的功能,方便调试组件?

如果只是工作流,可以保存后直接运行工作流。另外WhaleScheduler商业版本已经支持了task的re-run 功能。

3.2.0 有具体的上线时间吗?

可能8月份。

【3.1.7】单机部署,停止DolphinScheduler服务,重启后提示zookeeper 服务超时,关闭防火墙后开放2181端口失败,请问该怎么重启zookeeper服务(未安装zookeeper,早期一键安装的DolphinScheduler)?

Standalone 的zk应该是其他服务一起启动和停止的,请确定 application.yaml 中 registry 配置是否正确,一般这类解决方案就是重启服务,重新安装服务等。

DolphinScheduler  3.1.5, 使用minio做文件管理,spark任务读取不到配置文件,sql任务读取不到udf文件,请问是不是一定要用hdfs做文件管理,如果是的话,是不是一个DolphinScheduler服务只能使用一个hdfs集群了?

不是的,hdfs、s3、minio都行,请确定task 引用资源的时候为什么下载不了。

DolphinScheduler 3.17版本生产集群部署,可以不依赖zookeeper么?请问这个物理机部署应该怎么修改配置文件?

我们注册中心除了zk,还有jdbc比如mysql,可以尝试一下。修改 application.yaml 的 registry 节点。

DolphinScheduler 可以提供直接支持用户提交k8s yaml文件的方式调度k8s任务吗?

目前还不可以。

[3.1.5] sql任务hive数据源,使用udf的时候会报错"ParseException line 1:18 missing KW_VIEW at 'temporary' near 'replace' in table name",请问这个和hive版本有关么?

目前使用的udf sql方式是create or replace temporary function {0} as {1},可以看看日志,将日志中的sql复制在hive cli 单独运行看看是否有问题。

[3.0.4] 请问什么情况下sub_process一直在执行,但是其子节点的task没有一个被执行?整个流程一直卡在subProcess这个位置。

看看master日志是否有异常。

[3.0.4] 请问,master和worker都没有down或者crush,为什么会进行process的failover操作?

Master有个轮询线程做兜底,名称 failoverThread,看看是否是这个触发的。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 


添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

用一杯星巴克的钱,训练自己私有化的ChatGPT

Apache DolphinScheduler 在腾讯音乐的应用实践

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

助力长城汽车数据管道平台连接“数据孤岛”,加强数据一元化,Apache DolphinScheduler 的角色定位

使用 Apache DolphinScheduler 进行 EMR 任务调度



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论