点击蓝字 关注我们

摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。
关于本栏目的要点:
本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。
所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:
关于 Apache DolphinScheduler 的使用问题和技术性问题;
在实际应用中遇到的瓶颈问题;
参与社区贡献遇到的困难;
关于社区发展的疑问。
资源有限,请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)
在社群里已经提问的问题,请勿在文档中重复提问,节约资源。
本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
9月23日-9月28日
问
3.1.7版本,定义任务节点时,当不在自定义参数里定义参数,而是直接在任务内容(如shell编辑框、datax的json)直接使用$[yyyyMMdd]参数,当进行任务补数据使用历史时间时,$[yyyyMMdd]是不会根据调度时间变化的,也就是这种情况下$[yyyyMMdd]一直都是当前系统时间,不知道这个是否是个bug?
答
不是个 bug,DS 里目前没有业务日期的概念,这个在商业版 WhaleScheduler 里实现了。欢迎加小助手Leonard-ds咨询。
问
日志没报错,海豚显示的状态是失败,海豚的成功或失败,是有什么判断逻辑吗?1.x的最后一个版本。
答
任务退出码,非 0 的都不正常,如果是 yarn 任务还看 yarn 任务结果。1.x 社区已经停止维护。
问
DolphinScheduler调度java jar 只能通过将jar上传到服务器 再shell调度的方式,能否借助资源中心hdfs避免操作服务器?
答
可以,参考官网文档,上传jar包操作下。
问
版本3.1.8,修改数据源后报错Caused by: java.sql.SQLNonTransientConnection
Exception: Unsupported command
(Change user),重跑又可以执行,什么原因,怎么解决?
答
链接数据源是通过链接池的,我们需要在修改数据源的时候将链接池释放,这个在dev已经修复了。
问
DolphinScheduler 集成 flink 是通过把flink 的安装包放到/opt/soft/flink 目录下,请问这个实现的原理是什么?另外,通过控制台查看日志的功能看到的日志跟flink中看的日志有所不同(flink的日志更多更准确一些),日志这块是怎么设计的?
答
通过调用 flink 的二进制包完成任务的提交和状态跟踪,你可以模仿下ds 提交的命令在命令行运行,应该可以得到一样的日志。
问
DolphinScheduler 资源中心上传文件,文件大小是否有默认限制?有的话怎么修改?
答
没有大小的限制,但是有上传接口超时限制,详见https://github.com/apache/dolphin
scheduler/pull/14268
问
DolphinScheduler 通过api接口启动工作流实例,是否可以传递动态参数?
场景:api启动实例是传递分区日期,工作流实例可以根据传递的参数执行对应的任务。
答
DolphinScheduler有一下 startup parameter ,尝试下应该能帮你解决问题。
问
DolphinScheduler各个任务节点之间的数据输入输出流转在上下文对象中是如何获取的,通过类似map的key去存储吗?
答
通过字符串序列化和反序列化存储和获取的,转成map然后获取。具体可以追踪代码中的 ProcessInstance 和 TaskInstance 的 varpool。
问
DolphinScheduler能否支持数组参数或列表参数,拆分后循环执行任务?
答
3.2.0版本可能有你需要的功能,可以期待一下 https://github.com/apache/
dolphinscheduler/pull/14127
问
DolphinScheduler支持kafka组件吗?怎么在DS上使用kafka?
答
不支持原生的,但是我们支持jar包,可以尝试用java 包装一下,然后运行。
问
在本地windows单机部署,租户的配置应该怎么配置?
答
不支持 windows 上运行,可以考虑 Docker,Ubuntu 等 Linux 环境。
问
DolphinScheduler 3.1.7版本,资源中心配置的是hdfs文件,只有创建文件夹的用户才能创建文件吗?其他用户创建文件就报无权限,请问如何设置呢?
答
因为存储的路径是在对应用户的租户里面的,所以想要同时操作文件夹,需要:
1、两个用户同一个租户;
2、不同租户下第二个租户有权限操作第一个租户的文件。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份)
如果想参与贡献,添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
☞Apache DolphinScheduler在中国信通院“2023 OSCAR开源尖峰案例”评选中荣获「尖峰开源项目奖」!





