暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第三期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-04-23
365




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





4月15日-4月21日




有openEuler + DolphinScheduler的镜像吗?    

没有,DolphinScheduler发布的官方镜像都是基于 Debian 的。

有没有DolphinScheduler资源管理的示例?    

可参考Apache DolphinScheduler使用规范与使用技巧分享,或者看看官方文档,https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/resource/file-manage

创建海豚调度数据源测试连接连接不上,但是在服务器上面telnet可以通,这是怎么回事呢?    

请确定你填的用户名密码、可选配置是正确的,例如 MySQL 的 ssl 是否开启等。

采用本地文件(file:///)管理,是否有上传文件的大小限制?        

没有大小限制,但是太大可以会导致上传的时候超时。    

已经有用户了, 为什么还要有租户的概念? 租户对应 Linux 用户的意义是什么? 如果设置了sudo.enable=false, 是不是就相当于不能用多租户了?    

用户->对应ds web操作系统,租户 -> 任务或者资源操作的用户,为了做资源隔离。

DolphinScheduler 3.1.5版本支持Trino sql的任务类型配置吗?    

3.1.5 不支持 Trino,Trino 的支持待发版。    

工作流实例页面中展示的结束时间和数据库中的end_time差了13个小时,时间不一致是怎么回事?    

需要MySQL与Sprintboot的时区保持一致。  

DolphinScheduler调度只能使用python2.7环境吗?新版python3,可以直接调用吗?    

可以用Python3,但需要改datax.py脚本。   

流都是SQL,作业流上线后,后端怎么直接调用作业流呢?在DolphinScheduler里面好想没有看到调用的,是不是框架里面用DolphinScheduler的API进行调度的呢?  

如果是指工作流都是SQL任务,触发工作流可以通过页面,或者API接口调用。

DolphinScheduler最大可支持提交多少任务?单节点最大并发可以达到多少个?   

可参考:最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍    

替换Airflow为DolphinScheduler的优势和具体方案是什么?    

DolphinScheduler本土开发,操作更符合国人习惯,且在性能、功能上都有优势,可参考性能对比文章查看:最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍
迁移案例:从 Airflow 到 Apache DolphinScheduler,有赞大数据开发平台的调度系统演进
迁移工具:迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler    

两个Python节点中间如何传递数据?现在只能开nas共享写文件,感觉非常不方便。    

目前只能这样做,3.2.0将会有更加好的方法 https://github.com/apache/dolphins

cheduler/pull/12552  

DolphinScheduler 2.x版本 MySQL 和主机上task记录太多100万以上,自动清理方式是什么?    

日志建议写 corntab 清理。   


< 🐬🐬 >
往期回顾

【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问

【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问




参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。


点击阅读原文,点亮Star支持我们哟

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论