暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 14 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-07-15
879




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





7月8日-7月14日




DolphinScheduler 3.1.7补数时,如何补小时任务?默认都是补的天任务?

尝试下配置定时到小时级别crontab,然后执行补数。

在工作流实例和工作流定义的列表界面,输入搜索的内容,点进去调度之后点返回,再次展示列表界面搜索的内容没有了,直接是显示的是全部列表,是否可以点返回的时候返回点进调度之前的搜索列表以及对应的页码?

这个问题目前已经在开发流程了,预计3.2.0即可修复。

3.2.0 新增的很多数据源,当前有没有考虑添加Doris和Starrock数据源?

目前不会添加StarRocks和Doris的数据源,因为这两个数据库都是兼容Mysql协议的,不需要再去浪费开发成本,如果有需要的话,可以向社区提个issue来扩展DataX对于Mysql协议抽取写入的支持。

首页的任务状态统计和流程状态统计的颜色想自己选择颜色,当前颜色成功是灰色的,不喜欢。

可以自行更改前端code打包,前端开发请参考https://DolphinScheduler.apache.org/zh-cn/docs/3.1.7/contribute/frontend-development。

创建SeaTunnel任务并使用SeaTunnel自身的引擎执行,停止任务后海豚界面已经看不到在执行,但是发现还在实时的往里面写入数据,无法停止SeaTunnel引擎上面的任务。

目前确实是kill不了SeaTunnel 的任务,得重新适配下SeaTunnel的kill逻辑。

工作实例的暂停功能对于提交到Yarn的任务是不是没什么作用【暂停不了Yarn任务】?

暂停是不停止已经提交的任务的,停止才会立即 kill 当前任务。

DolphinScheduler向Yarn集群提交Flink任务,Yarn集群所在的机子上不需要部署Flink吗?

不需要,DolphinScheduler 调的 Flink 客户端 api,能访问到 Yarn 就行。

DolphinScheduler中环境管理的功能是什么?

就是系统环境变量的管理,可以用来export hadoop hive的环境变量,任务执行前会source。

DolphinScheduler有没有元数据管理能力?比如元数据展示,数据简单查询,避免用命令行黑窗口开发?

元数据管理不在DolphinScheduler的职责范围内,数据简单查询可以借助其他工具,DolphinSchedulers的定位是大数据工作流平台,但是sql task中提供ide。

想请问下DolphinScheduler3.1.7如何让任务不要一次性全部派发完?同时调起的任务超过worker的exec-threaDolphinScheduler之后就会一顿派发到各个worker,但是由于并不知道哪个worker执行的任务时间短,可能多个运行时间长的任务都集中到一个worker上,导致一直处于派发状态,影响部分批量的时效性。改master的exec-threaDolphinScheduler没啥用,pre-exec-threaDolphinScheduler和fetch-command-num默认10看着也不影响,worker的task-execute-threaDolphinScheduler-full-policy也是默认REJECT的。请问可以采取什么措施让它不要一次性全部把任务派发完? 

目前DolphinScheduler仅支持资源饱和时优先执行高优先级的task和flow。

Standalone模式如何配置 supervisor?

DolphinScheduler standalone 启动教程,你可以结合本地启动命令配置 supervisor:https://dolphinscheduler.apache.org/en-us/docs/3.1.7/guide/installation/standalone

DolphinScheduler 3.2.0版本预计什么时候发版?

预计下个月。

DolphinScheduler当前版本有哪些BUG能在哪里看?

一般想要查看BUG可以在Issue中查看各个用户提出的问题。

DolphinScheduler跨工作流依赖,例如A工作流-B任务   被C工作流-D任务依赖,同时被 E工作流的-F任务依赖,现在B任务逻辑有错需要重跑补数,有办法补B任务时候连带D ,F任务及所有下游任务一起补数吗?而不是先手动补B任务,再手动分别补D,F任务。

目前是不支持的,根据不同用户的案例,有的用户改了depend task 使前置flow执行失败,后续等待, 目前是不支持追溯重启。

DolphinScheduler可以不依赖zookeeper么?

可以,配置文件里有说明。

DolphinScheduler支持kyuubi数据源大约会在哪个版本发布?

3.2.0版本。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。


< 🐬🐬 >
更多精彩推荐

7 月 18 日 19:00-20:30,本月 Meetup 继续为大家带来精彩的用户一线实践分享,共享行业应用 Apache DolphinScheduler 的生产实践,规避使用过程中容易陷入的低效错误做法,学习同行应用改造中“多快好省”的方法和技巧,欢迎大家关注即将到来的 Apache DolphinScheduler 用户分享 Meetup!

本次将有 AWS 解决方案架构师分享如何在 AWS 上部署无服务器的 DolphinScheduler 集群,以及来自 自如调度平台负责人 讲述DolphinScheduler在自如的演进过程,感兴趣的同学不要错过!

赶快预约报名!🔽🔽



欢迎点赞在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论