点击蓝字 关注我们

答疑人 | 张柏强 钟嘉杰
问题收集整理 | Debra Chen
摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。
关于本栏目的要点:
本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。
所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:
关于 Apache DolphinScheduler 的使用问题和技术性问题;
在实际应用中遇到的瓶颈问题;
参与社区贡献遇到的困难;
关于社区发展的疑问。
资源有限,请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)
在社群里已经提问的问题,请勿在文档中重复提问,节约资源。
本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
9月9日-9月15日
问
dolphinscheduler 运行python任务的时候,所依赖的module要怎么解决?是要在worker节点上提前安装好相关module吗?有不用登录worker节点,就可以完成依赖module安装的办法吗?
答
Dolphinscheduler执行时将任务封装成相应的命令去执行,按你的说法,如果你不想再每台worker安装module有两种选择,1. 单独指定一个worker组来进行Python任务的执行,仅需要再该worker组安装module,之后每次执行py任务都使用该worker组,2. 修改源码,每当一天ds worker启动时可以获取当前pip环境看module是否安装。
问
在DolphinScheduler上面可以用Doris自定义函数吗?
答
如果你已经在fe注册创建了函数,就可以使用。
问
日志中没法看到子节点的日志信息吗?
答
subprocess 需要到对应的工作流实例中查看日志信息。
问
DolphinScheduler 3.1.X 运行一段时间后,历史的任务实例记录达到4K多页,长期下去会有更多积累不易于维护。该如何对历史运行记录执行完整的清理操作?
答
需要根据自己的需求来,一般情况下建议保留1-3个月,我们目前保留在2个月,历史的将数据加载到数据仓库中,方便溯源分析。
问
dolphinscheduler版本2.0.3,工作流节点的状态始为派发,如何删除这个状态,还有如何删除停止运行的工作流实例呢?
答
删除按钮即可删除停止的工作流实例,如果是始终为派发可能是状态丢失了,在元数据中将该状态的instance删除就行。
问
DolphinScheduler 3.1.7 资源中心为什么找不到更新文件的入口?
答
3.1.x 没有重新上传功能,只能直接修改或者重新上传 3.2.0 重构了资源中心,恢复了此功能。
问
DolphinScheduler怎么实现任务自依赖?自依赖是指一个工作流一天跑多批,每批拉起依赖前一批结束,可以避免一个工作流同时拉起多个实例。
答
这个目前来看没有,欢迎提个ISSUE来具体描述业务场景,通用性,如果通用性足够开发人员会考虑去实现。
问
3.1.4版本,更改日志存储目录后,查看日志报错timeout 10000Roll view log error: wait response on the channel 。
答
该问题优先从元数据找到你这个task Insatance里面有logpath,你去看下是否存在,这个问题更像是日志过大获取超时。
问
Dolphinscheduler 3.1.2 -release版本下载下来的源码,整体打包编译后生成的jar包都是以3.1.3-SNAPSHOT结尾。如何对3.1.2-release版本源码进行二开,整体编译后,能否直接替换3.1.2二进制版本中的jar?
答
可以,名称可以在pom.xml中设置即可,编译时注意选择profile。和下面问题一样,checkout tag 而不是分支。
问
生产环境是拿3.1.2二进制文件使用伪集群模式部署的。如果对3.1.2-release 源码中 dolphinscheduler-api服务做二开后,部署到生产环境,是否只需要将编译后的jar包名称重命名成 dolphinscheduler-api-3.1.2.jar,替换到dolphinscheduler/api-server/libs路径下即可? 如果对前端二开的话,是否只需要将编译后的dist文件夹下的所有文件,替换到/dolphinscheduler/api-server/ui 即可?
答
并不是,主要看你二开的是哪个后端模块,根据你二开的模块打包成相应的jar,切勿打包fat-jar,避免造成类冲突,之后将相同名称的jar包替换重启服务即可,前端如你所说,npm build之后将其替换就行。另外建议使用tag来checkout源码并且二开,而不是分支。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份)
如果想参与贡献,添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。





