暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

重磅预告!Apache DolphinScheduler 3.2.0 新功能“剧透”

海豚调度 2023-07-11
242



点击蓝字 关注我们




近期,Apache DolphinScheduler 将迎来 3.2.0 版本的到来。本次发版为大版本发布,将会带来众多大家期待已久的新功能和新改进。为了让用户提前感知到新版本的变化,社区特意提前“剧透”新版本的重要 feature。


01


添加默认租户


  • 在之前的版本中,用户部署完毕后必须手动添加租户。3.2.0 版本中添加了默认租户,方便大家更直接地使用 Apache DolphinScheduler。



02


新增多种数据源


  • 新增了多个数据源,如 Snowflake、Databend、Kyuubi、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena,并且更新了部分数据源,如 Redshift 增加 Access key。


03


新增任务类型

  • 新增了多个任务类型,如
    • 通用模块中,增加 Remote-shell 组件
    • Cloud 模块中,新增 Amazon DMS、Azure Datafactory,增强与各种云的互联互通

    • 机器学习模块中,新增 Kubeflow 组件(基于云原生构建的机器学习任务工具大合集)

    • 其他模块中,增加 Amazon Datasync、Apache Linkis
  • 更新了部分任务,如 DataX 支持 Presto,http任务增加output 参数传递,运行批量同时 kill 多个 Yarn 任务
  • Dependent 支持依赖自己
  • Zeppelin 鉴权
  • 任务支持了缓存
  • Sqoop 日志支持隐藏密码
  • SQL 任务支持默认切割符



04


重跑任务时指定工作流向前、向后运行


  • 之前在任务执行失败后,用户只能通过工作流重跑。新版本中,我们可以指定当前工作流向前、向后执行,更加灵活地对失败后的任务进行处理。



05


远程日志


  • 增加了远程日志功能,并同时支持了 Google Cloud Storage、Amazon S3、阿里云 OSS 日志存储,大家可以通过编辑配置文件,把日志存储到云端。



06


参数

  • 调整参数优先级,启动参数最高。
  • 增加了内置参数计算规则
  • 增加了文件类型的参数


07


资源中心


  • 增加了Alibaba Cloud OSS的支持,重构资源中心并设计默认使用本地作为存储介质,重新支持了 re-upload。
  • 资源中心容许覆盖上传,优化文件路径,显示文件的全部路径。另外,之前版本中资源中心已经上传的同类型文件只能删除后重新上传,新版本中对本功能进行了优化,可以点击上传按钮进行上传。



08


增强页面易用性


  • 增加页面易用性和便利性,如增加 workflow instance 跳转到当前工作流、复制工作流名称、调整列宽等操作
  • 默认情况下会有 default 租户和本地资源中心,安装后就能使用
  • 允许在 workflow instance 中重新运行任务,更加明确的任务运行日志
  • json 导出可阅读性更强


09


云原生相关


  • 支持 KEDA 做 worker 自动扩缩容
  • 支持 Terraform 部署到 AWS
  • zk 和 pg 支持多架构
  • 提交 spark 任务到 Kubernetes
  • 获取 pod 实时日志
  • 自定义 k8s 任务标签



10


API


  • 增加了部分 Restful API,包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation
  • API 触发工作流运行可以获得instance ID


11


注册中心


  • 增加 ETCD、JDBC 注册中心


12


架构


  • Alert 支持 HA
  • 单线程更新 Kerberos
  • Worker server 移除了 dao 依赖
  • 接管 task instance 失败的任务
  • 增加动态任务组配置
  • 重构了逻辑任务和远程命令
  • 资源限制(cpu 内存)从原来绝对值改成百分比
  • 支持了 SSO
正式版本发布流程正在准备中,敬请关注官网和 GitHub,获取最新消息!

参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
活动推荐
本月 Meetup 继续为大家带来精彩的用户一线实践分享,共享行业应用 Apache DolphinScheduler 的生产实践,规避使用过程中容易陷入的低效错误做法,学习同行应用改造中“多快好省”的方法和技巧,欢迎大家关注即将到来的 Apache DolphinScheduler 用户分享 Meetup!

本次将有 AWS 解决方案架构师分享如何在 AWS 上部署无服务器的 DolphinScheduler 集群,以及来自 自如调度平台负责人 讲述DolphinScheduler在自如的演进过程,感兴趣的同学不要错过!

赶快预约报名!🔽🔽




欢迎点赞在看

最后修改时间:2023-07-11 11:28:02
文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论