暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 19 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-08-22
499




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





8月12日-8月18日




DolphinScheduler work 能做双活容灾吗?比如配两个一样的任务,两个集群,当一个集群挂掉了,自动切换另外一个集群工作。

开源版本不支持,有需求的可以了解一下商业解决方案,可添加小助手微信17743592110咨询。如果开源版本要做的话就要涉及到源码改造,或者自己去写脚本。

目前有个需求,需要从 DolphinScheduler 的任务元信息中,获取同步任务中的数据来源去向,即数据血缘,这个信息可以从 DolphinScheduler 业务库的哪张表的哪个字段获取,或者,我看它也有open-api服务,是否也可以通过某个api来获取?

任务元数据信息获取请看

    t_ds_task_definition 
    t_ds_task_definition_log
    t_ds_process_task_relation
    t_ds_process_task_relation_log

    最新版的DolphinScheduler 数据源是否可以支持Doris 数据源?

    一直支持,Doris是根据Mysql协议来进行支持的。

    DolphinSchduler 支持 tencent cos 吗?

    支持。

    DolphinScheduler能不能配置数据源GaussDB?

    暂时不支持,欢迎贡献。

    有没有DolphinScheduler的chatops工具?

    商业版有。

    DolphinScheduler Docker部署支持鲲鹏服务器吗?

    DolphinScheduler提供了Arm 和AMD 镜像。Docker是一个沙箱,如果鲲鹏支持Docker 那就是支持。

    请问下部署DS集群完成后能正常登录使用DS,过段时间再次登录DS系统的时候页面提示服务器未发送数据,查看发现DS集群服务都停止了,不知道什么原因也不知道什么时候停止的,部署路径下的日志文件都是空的,这个应该怎么排查解决呢?服务日志都是空的。

    这个应该和DolphinScheduler关系不大,看看是否有什么自动化服务终止了, 或者是否服务器重启了。

    3.2.0-prepare版本中,创建任务节点的时候“缓存执行”,以及工作流实例中的清除缓存有什么作用?

    缓存部分任务信息,详见 https://github.com/apache/

    dolphinscheduler/pull/13194

    3.2.0-prepare版本中,源中心多了一个数据源定义(测试数据源、上线数据源)。这个作用是什么?在任务定义那边SQL任务并不能选择测试数据源。

    这个应该已经删除了,建议拉一下最新的代码看看。

    DolphinScheduler怎么调k8s任务?

    请访问 https://dolphinscheduler.apache.org

    /en-us/docs/3.1.8/guide/task/kube

    rnetes。

    DolphinScheduler能够支持Windows powershell吗?

    目前不支持,除非powershell支持完整的bash语法。

    DolphinScheduler3.1.1版本,配置了Kerberos认证,每隔7天后Kerberos认证就失效,需要重启才可以,已经配置了定时脚本定时认证,但是还是没用,怎么回事?

    有一个已知的问题,因为刷新状态的服务是一个单例,导致会存在刷新的问题。

    DolphinScheduler3.0.0版本配置了批量的定时工作流,服务刚启动的一段时间时定时的工作流都可以正常调度执行,但是运行一段时间后发现,部分定时任务没有调起来,没调起来的都在t_ds_command表里积压,定时时也考虑到了并发而进行时间错峰,请问大概是什么原因导致的定时工作流没有执行呢?

    具体你看下master的日志是否正常。

    DolphinScheduler 1.3.1 版本,特定的项目特定的工作流,会出现保存工作流失败的问题。具体表现:当一个工作流中的第一个shell任务以某些特定的shell命令字符开始时,工作流无法正常保存,当我以 ls, cd, rm 这类常用shell命令作为任务的首个字符时,保存操作都失败了。但如果加一个换行或者其他非shell命令的字符,则可以正常保存。我的问题与github上一个issue 很相似:https://github.com/apache/

    dolphinscheduler/issues/13617。我看这个问题被标记为bug好像还没有解决。比较好奇的是为什么会在特定的项目出现这种情况。

    这个issue我试了下没任何问题,可能是操作系统的问题,如果你这边还有问题,请开一个issue提问,并标注使用版本以及操作系统以及执行 ulimit -n。

    DolphinScheduler3.1.7版本,使用任务类型http调用restful的api接口,参数有时间传递,如:http://localhost:8081/a/b/callback?id=1&date=2023-08-15 21:51:30  会出现报错,如何处理这种日期的参数?

      ?date='2023-08-15 21:51:30' or ?date=2023-
      08-15%2021%3A51%3A30

      参与贡献


      随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


      参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


      贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


      社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


      非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


      如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


      来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


      参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

      添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



      如果想参与贡献,添加小助手微信时请说明想参与贡献。


      来吧,开源社区非常期待您的参与。



      < 🐬🐬 >
      活动推荐
      想要了解最新的金融科技进展吗?

      渴望与其他技术爱好者交流,并扩展您在金融科技行业中的人脉关系吗?

      那么请参加我们即将举行的 Meetup,本次活动由 Apache DolphinScheduler 社区和 OceanBase 技术社区共同举办,聚焦金融科技进展,线上&线下同步,欢迎关注并预约直播。在新加坡的朋友也可以赴线下活动现场,与行业大佬和同行交流切磋~



      • 线下

      ⏰ 时间:2023 年 8月21日,晚上6点至8点(新加坡时间)
      🌐 地点:新加坡,Lazada one 4th Floor
      💬 语言:英语
      🍕我们为您提供免费的披萨和小吃,包括素食和清真食品。

      • 线上

      📺 视频号预约:



      📺 YouTube在线链接:https://lnkd.in/gZXkNWTg

      不要错过这个机会!

      现在就注册报名活动吧:https://lnkd.in/gv6zwEfp



      欢迎点赞在看

      文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

      评论