点击蓝字 关注我们

摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。
关于本栏目的要点:
本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。
所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:
关于 Apache DolphinScheduler 的使用问题和技术性问题;
在实际应用中遇到的瓶颈问题;
参与社区贡献遇到的困难;
关于社区发展的疑问。
资源有限,请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)
在社群里已经提问的问题,请勿在文档中重复提问,节约资源。
本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
6月10日-6月16日
问
DolphinScheduler数据源里面有支持Doris的计划吗?
答
Doris 兼容MySQL 协议,你可以直接使用 MySQL 的数据源链接试试。
问
DolphinScheduler支持外部事件触发吗?
答
目前未支持,计划中。
问
DolphinScheduler 3.0.5版中工作流上线后,怎么仅运行选中的任务,工作流中选中的任务不向后运行(除了删除连接任务的依赖)。或者这个是在哪个版本开始实现的呢?
答
3.0.x 不支持,3.2.0 将会支持这个功能。
问
目前在体验3.1.5的版本,资源中心使用hdfs存储spark jar,已经平稳运行16天。今天发现一个问题,一台worker在执行spark的时候,报kerberos认证异常无法从资源中心下载资源。但是任务飘到另一台worker就是好的,是怎么回事?
答
可能是 kerberos 超时了,尝试下将 kerberos.expire.time 配置设置小一点。
问
zk3.4.6能支持的最新的DolphinScheduler版本是哪个?
答
3.0.2之后的版本都是zk3.8版本,新版本按照官方打包方式可以支持老zk。
问
DataX支持的抽数数据源太少了,DataX实际已经支持很多数据源,但ui只能选择固定的那几个。如果后续考虑切换抽数赛道为 SeaTunnel,大概在哪个版本会支持数据源拖拉拽抽数的ui?
答
DataX 可以使用 custom 选项填写同步配置。需要等SeaTunnel先有ui 之后我们才会支持。
问
DolphinScheduler 2.0.8部署伪集群模式时,任务量少的时候可以正常运行,任务量变多后会因为这个问题导致所有任务都失败是为什么呢?
答
看看是否机器负载过高导致,看看master 和worker 日志是否有异常。
问
遇到DolphinScheduler SQL查询限制条数10000怎么办?
答
这是内部代码限制的,可以自己改一下,目前是代码里的常量控制的。
问
Spring Boot Actuator未授权访问漏洞【原理扫描】,海豚在漏扫时要怎么解决这个漏洞呢?
答
不需要用的话不开放就行,配置在 application.yaml 中的 management.endpoints.web.
exposure。
问
我有几个使用上的小建议,看有机会优化么:
1.工作流无法直接看到最近工作流运行状态,比如是否报错,快速点进去查看分析等。这个地方如果能看到,就能快速判断具体的工作流是否有异常。
2.工作流不能暂停,有些时候业务上知道某些依赖的资源条件不具备,希望暂停,甚至批量暂停,准备好后开启,即使过了定时也能立即触发调度执行。
3.无法从报错的工作流中,clear某个失败的task重跑。
4.无法点到某个工作流实例中强制失败的task为成功。
答
1、这个应该不会支持,使用逻辑不一样,你可以去工作流实力根据定义名称查询,实现的效果是一样的,如果天工作流也只会有一个实例。
2、是支持的,下线工作流调度即可。
3、3.2.0将会支持。
4、这个不支持。
问
DolphinScheduler 2.0.6版本,假如因网络闪断,worker节点跟zk、master失去了联系,导致同一时间提交的任务状态只是提交成功,但是任务不会运行,即使是worker节点网络恢复后任务也不会执行,状态也不会变,这种情况有没有解决方案?
答
可以升级 2.0.9 看看,修复了部分类似的问题。
问
DolphinScheduler在调度SeaTunnel的时候,调度成功了,但是任务并没有真正的执行,这个是什么问题?
答
3.1.7版本我们修复了SeaTunnel部分功能,目前可以运行起来,但是 kill 任务还有待改进。
问
为什么shell里写中文会乱码?
答
操作系统编码和数据库编码需要 UTF-8。
问
在执行Fink任务,选择local模式时,能不能通过什么设置由DolphinScheduler自己启动Flink,结束后关闭Flink?
答
你可以前后增加一个 shell 任务自己做启动和关闭。
问
生产环境上DS,除了按照官网部署以外,还建议额外做些什么高可用相关的考量么?
答
搞好监控,比如 Prometheus 监控异常,服务日志里的异常。
问
关于Flink 流式任务支持遇到的问题:
1.提交后的 Flink 任务实例很快就结束了,但是实际上任务在 Yarn 上还在正常运行,是设计成这样的吗?
2.无法停止 Flink 实时任务。遇到这些情况怎么办?
答
查看下 worker 的运行日志,Flink 流任务正常是可以用的状态,有问题可以提个 issue。
问
DolphinScheduler链接一个工作流可以共用一个,不用多次配置,是否可以一个项目就能共用?
答
dev 已经支持项目级别参数,7月底-8月初 3.2.0版本发布时会支持。
问
引用资源中心的资源只能用系统相对路径吗?脚本中存在cd 命令,可能会冲突,有好的使用经验吗?
答
源码里改一下就可以用绝对路径了。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份)
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。





