暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第十一期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-06-18
692




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





6月10日-6月16日




DolphinScheduler数据源里面有支持Doris的计划吗?    

Doris 兼容MySQL 协议,你可以直接使用 MySQL 的数据源链接试试。    

DolphinScheduler支持外部事件触发吗?    

目前未支持,计划中。    

DolphinScheduler 3.0.5版中工作流上线后,怎么仅运行选中的任务,工作流中选中的任务不向后运行(除了删除连接任务的依赖)。或者这个是在哪个版本开始实现的呢?    

3.0.x 不支持,3.2.0 将会支持这个功能。    

目前在体验3.1.5的版本,资源中心使用hdfs存储spark jar,已经平稳运行16天。今天发现一个问题,一台worker在执行spark的时候,报kerberos认证异常无法从资源中心下载资源。但是任务飘到另一台worker就是好的,是怎么回事?    

可能是 kerberos 超时了,尝试下将 kerberos.expire.time 配置设置小一点。    

zk3.4.6能支持的最新的DolphinScheduler版本是哪个?    

3.0.2之后的版本都是zk3.8版本,新版本按照官方打包方式可以支持老zk。    

DataX支持的抽数数据源太少了,DataX实际已经支持很多数据源,但ui只能选择固定的那几个。如果后续考虑切换抽数赛道为 SeaTunnel,大概在哪个版本会支持数据源拖拉拽抽数的ui?         

DataX 可以使用 custom 选项填写同步配置。需要等SeaTunnel先有ui 之后我们才会支持。    

DolphinScheduler 2.0.8部署伪集群模式时,任务量少的时候可以正常运行,任务量变多后会因为这个问题导致所有任务都失败是为什么呢?    

看看是否机器负载过高导致,看看master 和worker 日志是否有异常。    

遇到DolphinScheduler SQL查询限制条数10000怎么办?    

这是内部代码限制的,可以自己改一下,目前是代码里的常量控制的。    

Spring Boot Actuator未授权访问漏洞【原理扫描】,海豚在漏扫时要怎么解决这个漏洞呢?    

不需要用的话不开放就行,配置在 application.yaml 中的 management.endpoints.web.

exposure。    

我有几个使用上的小建议,看有机会优化么:

1.工作流无法直接看到最近工作流运行状态,比如是否报错,快速点进去查看分析等。这个地方如果能看到,就能快速判断具体的工作流是否有异常。

2.工作流不能暂停,有些时候业务上知道某些依赖的资源条件不具备,希望暂停,甚至批量暂停,准备好后开启,即使过了定时也能立即触发调度执行。

3.无法从报错的工作流中,clear某个失败的task重跑。

4.无法点到某个工作流实例中强制失败的task为成功。

1、这个应该不会支持,使用逻辑不一样,你可以去工作流实力根据定义名称查询,实现的效果是一样的,如果天工作流也只会有一个实例。
2、是支持的,下线工作流调度即可。
3、3.2.0将会支持。
4、这个不支持。    

DolphinScheduler 2.0.6版本,假如因网络闪断,worker节点跟zk、master失去了联系,导致同一时间提交的任务状态只是提交成功,但是任务不会运行,即使是worker节点网络恢复后任务也不会执行,状态也不会变,这种情况有没有解决方案?    

可以升级 2.0.9 看看,修复了部分类似的问题。    

DolphinScheduler在调度SeaTunnel的时候,调度成功了,但是任务并没有真正的执行,这个是什么问题?    

3.1.7版本我们修复了SeaTunnel部分功能,目前可以运行起来,但是 kill 任务还有待改进。    

为什么shell里写中文会乱码?    

操作系统编码和数据库编码需要 UTF-8。    

在执行Fink任务,选择local模式时,能不能通过什么设置由DolphinScheduler自己启动Flink,结束后关闭Flink?    

你可以前后增加一个 shell 任务自己做启动和关闭。    

生产环境上DS,除了按照官网部署以外,还建议额外做些什么高可用相关的考量么?    

搞好监控,比如 Prometheus 监控异常,服务日志里的异常。    

关于Flink 流式任务支持遇到的问题:
1.提交后的 Flink 任务实例很快就结束了,但是实际上任务在 Yarn 上还在正常运行,是设计成这样的吗?
2.无法停止 Flink 实时任务。遇到这些情况怎么办?    

查看下 worker 的运行日志,Flink 流任务正常是可以用的状态,有问题可以提个 issue。    

DolphinScheduler链接一个工作流可以共用一个,不用多次配置,是否可以一个项目就能共用?    

dev 已经支持项目级别参数,7月底-8月初 3.2.0版本发布时会支持。    

引用资源中心的资源只能用系统相对路径吗?脚本中存在cd 命令,可能会冲突,有好的使用经验吗?    

源码里改一下就可以用绝对路径了。    



参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

用一杯星巴克的钱,训练自己私有化的ChatGPT

【第十期】Apache DolphinScheduler 每周 FAQ 集锦

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

Committer 迎新!这次是来自阿里云的同学

助力长城汽车数据管道平台连接“数据孤岛”,加强数据一元化,Apache DolphinScheduler 的角色定位



我知道你在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论