暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第15期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-07-22
494




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





7月15日-7月21日




Switch任务,条件表达式怎样写?可以写逻辑吗?

https://dolphinscheduler.apache.org/zh-cn/docs/3.1.7/guide/task/switch  参考一下文档。

DolphinScheduler支持 ARM 架构服务器吗?

支持的,我们docker镜像就有arm 架构的镜像。

DolphinScheduler 由于网络原因,需要迁移到其他网段上,不管是库还是服务都要迁移,数据库可以通过dba配合同步,服务迁移怎么做呢?特别是master 还依赖zookeeper,是需要重新安装吗?

只要元数据保持一致,重新根据当前网段配置worker,master apiserver即可,无需重新安装。PS如果你这里的网段改变是指服务器都换了,那就需要重新部署,其实可以理解成copy 然后重启。

DolphinScheduler有windows启动脚本吗?

standalone支持Windows。

在DolphinScheduler里面,设置了一个跨工作流依赖, 但是发现依赖的任务还在运行, 这个工作流的下面任务就开始执行了, 这种依赖感觉没有起到作用?

要看下被依赖的任务今天是否有成功的实例,如果被依赖的任务今天有成功,也有失败,则按时间排序,最后一个实例是有效实例,其他都是无效的。

为什么DolphinScheduler的work节点挂掉后,会kill掉yarn上的任务,并且设置为容错再继续运行呢?

这是两个流程,一个是是否kill yarn任务是有参数可以控制的,默认是kill掉的,第二个默认挂了会容错的所在节点的任务的。

有讲解DolphinScheduler源码的视频吗?

关注DolphinScheduler调度视频号搜索,不过最好的方式是撸源码,开源项目迭代快,视频容易过时。

上周分享的血缘解析自动生成调度功能,DolphinScheduler中有相关的血缘模块吗?考虑做耦合血缘吗?

DolphinScheduler有任务级别的任务血缘,暂时没有数据血缘,考虑做血缘耦合的话成本太高,可以基于其他组件去做,目前已经有一些开源的。

[3.1.5] DolphinScheduler的流程执行中发现 某个任务的引用的资源错了 是不是可以先暂停流程实例 然后直接在这个流程实例中改下任务的资源引用 然后继续流程实例?会有什么问题吗

不行,暂停进暂停流程,不暂停已经调起的任务真实进程。建议修改任务定义然后重新执行workflow,workflow尽量设置成幂等的。

[3.1.5] DolphinScheduler是基于线程池,但是有的worker节点上有占用大内存的任务,怎么让这个任务独占分配的worker节点?

设置任务优先级,同时DolphinScheduler会自己根据资源情况分配任务,如果必须指定的话,请设置worker group 指定worker group执行。

[3.1.7]在配置【数据源中心】选择mysql时提示 Failed to load driver class com.mysql.cj.jdbc.Driver in either of HikariConfig class loader or Thread context classloader的错误,在apache-dolphinscheduler-3.1.7-bin/alert-server/libs 路径下的dolphinscheduler-api-3.1.7.jar 的maven 目录下的pom.xml新增了mysql 的版本依赖,为什么还是提示驱动问题呢?

需要在每一个节点的worker master下添加lib。

哪里能看到每个版本修复了哪些问题?

https://github.com/apache/dolphinscheduler

/tags

每一两个月就会发生 多台节点从 zk 断开连接  包括 master 和 worker,是怎么回事?怎么解决?

需要看下master 和 worker的日志,如果用ip,检查网络,如果用域名检查dns,还是要看日志。一般是网络不稳定。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 


添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

用一杯星巴克的钱,训练自己私有化的ChatGPT

Apache DolphinScheduler 在腾讯音乐的应用实践

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

助力长城汽车数据管道平台连接“数据孤岛”,加强数据一元化,Apache DolphinScheduler 的角色定位

新晋 Committer!来自复旦大学的帅哥一枚



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论