暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第17期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-08-07
682




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





7月29日-8月4日




使用Shell任务提交Spark-sql任务时,如spark-sql --name myjob -f mysql.sql,能提交到yarn上面,运行状态也是成功的。但是没有数据写到目标表中。单独在机器上执行spark-sql --name myjob -f mysql.sql命令时,能提交到yarn上,运行状态也是成功的,也有数据往目标表中写。为什么会这样,怎么解决(dolphinscheduler3.1.7)

模拟一下对应的工作流的租户,看看是不是租户的问题。

3.1.8正式版本大概什么时候发布?

3.1.8 正在投票了,应该很快就发出来了。

Version 3.1.7/架构设计/任务结构中,在DolphinScheduler中创建的所有任务都保存在t_ds_process_definition 表中,其中process_definition_json 字段为核心字段,但是在新版本中这个字段没有了,是被拆解了么,最新的文档中没更新,请问下能说明下么?

2.X进行了一次性能优化,请参考https://dolphinscheduler.apache.org/

zh-cn/blog/dolphinscheduler_json。

DolphinScheduler资源中心,上传文件,15s 固定超时,这个是前端控制的么?还是后端?

前端,我们最新版本已经调整了超时时间了,但是还没有发版,如果着急用可以自行 cherry pick 然后build ui https://github.com/apache/

dolphinscheduler/pull/14268。

海豚调度部署适配ARM架构的机器吗?集群部署几台合适,对国产操作系统(麒麟)适配咋样?

Arm支持,我们有基于Arm的Docker镜像,机器的台数和你所需的规模相关,麒麟操作系统商业版WhaleScheduler支持了,开源需要自行适配。

DolphinScheduler Shell相关的操作必须需要sudo权限吗?如果是必须,  后续有改造成不需要sudo吗?  公司对sudo权限的管控起来越严了。

在 common.properties 里有个默认配置 sudo.enable=true ,如果想不使用 sudo ,设置为 false 即可。

DolphinSchedulerr 2.0的任务迁移到3.0版本上,有什么工具吗?

我们提供了 update-schema.sh 工具,建议先升级到 2.0.x 最新版本,然后再升级到 3.0.x 的版本 https://dolphinscheduler.apache.org/

en-us/docs/3.1.7/guide/upgrade/upgrade。

未来DolphinScheduler有支持API数据源和API任务节点的计划吗?

API 创建任务节点目前已经有了,将会在未来 3.2.0 发版,数据源还没有,有意向可以贡献一下。

如何限制普通用户配置数据源,由管理员用户统一配置并授权给普通用户使用,普通用户只能使用查看,不能进行编辑删除操作?

在开源版本中,为了更方便地使用,我们不会加太多权限方面的功能,如有有需要可以自行开发。

工作流任务能单独执行吗?或是任务不需要提交,能单独执行任务?比如我不想提交,只是想执行测试验证下是否执行正常。  因为一旦提交,就会把生产正在调度的工作流改变了,新工作流生效了, 就影响生产任务了。

开源版本目前没有这个功能,商业版本有,如果是迫切的需求可以切换到商业版本。如果不迫切可以等等,我们会在未来的某个大版本中将商业版这个功能放到开源。

版本3.1.4,使用sql计算出来数值作为出参,数值大小超过1000万时,下游任务参数依赖时变成科学计数法了,怎么回事? 

SQL任务参数的出参数类型设置成string 尝试下是否可以成功。

DolphinScheduler + SeaTunnel 有没有整库迁移的方案?

DolphinScheduler 是调度系统,DS 提供了 SeaTunnel 的调度服务,但整库同步是 SeaTunnel 项目的范围,具体请加入 SeaTunnel 社区群助手:seatunnel1 入用户群咨询。

DolphinScheduler的PythonGateway 有什么作用?

通过 Python sdk 创建和管理工作流。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 


添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

如何用 Apache DolphinScheduler 实现自动配置自定义变量?

非代码贡献者新晋 Committer!

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

助力长城汽车数据管道平台连接“数据孤岛”,加强数据一元化,Apache DolphinScheduler 的角色定位

使用 Apache DolphinScheduler 进行 EMR 任务调度



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论