暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 23 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-09-18
568




点击蓝字 关注我们




答疑人 | 张柏强 钟嘉杰

问题收集整理 | Debra Chen


摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





9月9日-9月15日




dolphinscheduler 运行python任务的时候,所依赖的module要怎么解决?是要在worker节点上提前安装好相关module吗?有不用登录worker节点,就可以完成依赖module安装的办法吗?

Dolphinscheduler执行时将任务封装成相应的命令去执行,按你的说法,如果你不想再每台worker安装module有两种选择,1. 单独指定一个worker组来进行Python任务的执行,仅需要再该worker组安装module,之后每次执行py任务都使用该worker组,2. 修改源码,每当一天ds worker启动时可以获取当前pip环境看module是否安装。

在DolphinScheduler上面可以用Doris自定义函数吗?

如果你已经在fe注册创建了函数,就可以使用。

日志中没法看到子节点的日志信息吗?

subprocess 需要到对应的工作流实例中查看日志信息。

DolphinScheduler 3.1.X 运行一段时间后,历史的任务实例记录达到4K多页,长期下去会有更多积累不易于维护。该如何对历史运行记录执行完整的清理操作?

需要根据自己的需求来,一般情况下建议保留1-3个月,我们目前保留在2个月,历史的将数据加载到数据仓库中,方便溯源分析。

dolphinscheduler版本2.0.3,工作流节点的状态始为派发,如何删除这个状态,还有如何删除停止运行的工作流实例呢?

删除按钮即可删除停止的工作流实例,如果是始终为派发可能是状态丢失了,在元数据中将该状态的instance删除就行。

DolphinScheduler 3.1.7 资源中心为什么找不到更新文件的入口?

3.1.x 没有重新上传功能,只能直接修改或者重新上传 3.2.0 重构了资源中心,恢复了此功能。

DolphinScheduler怎么实现任务自依赖?自依赖是指一个工作流一天跑多批,每批拉起依赖前一批结束,可以避免一个工作流同时拉起多个实例。

这个目前来看没有,欢迎提个ISSUE来具体描述业务场景,通用性,如果通用性足够开发人员会考虑去实现。

3.1.4版本,更改日志存储目录后,查看日志报错timeout 10000Roll view log error: wait response on the channel 。

该问题优先从元数据找到你这个task Insatance里面有logpath,你去看下是否存在,这个问题更像是日志过大获取超时。

Dolphinscheduler 3.1.2 -release版本下载下来的源码,整体打包编译后生成的jar包都是以3.1.3-SNAPSHOT结尾。如何对3.1.2-release版本源码进行二开,整体编译后,能否直接替换3.1.2二进制版本中的jar?

可以,名称可以在pom.xml中设置即可,编译时注意选择profile。和下面问题一样,checkout tag 而不是分支。

生产环境是拿3.1.2二进制文件使用伪集群模式部署的。如果对3.1.2-release 源码中 dolphinscheduler-api服务做二开后,部署到生产环境,是否只需要将编译后的jar包名称重命名成 dolphinscheduler-api-3.1.2.jar,替换到dolphinscheduler/api-server/libs路径下即可? 如果对前端二开的话,是否只需要将编译后的dist文件夹下的所有文件,替换到/dolphinscheduler/api-server/ui 即可?

并不是,主要看你二开的是哪个后端模块,根据你二开的模块打包成相应的jar,切勿打包fat-jar,避免造成类冲突,之后将相同名称的jar包替换重启服务即可,前端如你所说,npm build之后将其替换就行。另外建议使用tag来checkout源码并且二开,而不是分支。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



如果想参与贡献,添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。

< 🐬🐬 >
更多精彩推荐

恭喜社区 Committer 阵营又添一员!

实操教程 | 触发器实现 Apache DolphinScheduler 失败钉钉自动告警

又一轮优秀用户案例有奖征集,快来投稿!

去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论