点击蓝字 关注我们

01
添加默认租户
在之前的版本中,用户部署完毕后必须手动添加租户。3.2.0 版本中添加了默认租户,方便大家更直接地使用 Apache DolphinScheduler。
02
新增多种数据源
新增了多个数据源,如 Snowflake、Databend、Kyuubi、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena,并且更新了部分数据源,如 Redshift 增加 Access key。
03
新增任务类型
新增了多个任务类型,如 通用模块中,增加 Remote-shell 组件 Cloud 模块中,新增 Amazon DMS、Azure Datafactory,增强与各种云的互联互通
机器学习模块中,新增 Kubeflow 组件(基于云原生构建的机器学习任务工具大合集)
其他模块中,增加 Amazon Datasync、Apache Linkis 更新了部分任务,如 DataX 支持 Presto,http任务增加output 参数传递,运行批量同时 kill 多个 Yarn 任务 Dependent 支持依赖自己 Zeppelin 鉴权 任务支持了缓存 Sqoop 日志支持隐藏密码 SQL 任务支持默认切割符
04
重跑任务时指定工作流向前、向后运行
之前在任务执行失败后,用户只能通过工作流重跑。新版本中,我们可以指定当前工作流向前、向后执行,更加灵活地对失败后的任务进行处理。
05
远程日志
增加了远程日志功能,并同时支持了 Google Cloud Storage、Amazon S3、阿里云 OSS 日志存储,大家可以通过编辑配置文件,把日志存储到云端。
06
参数
调整参数优先级,启动参数最高。 增加了内置参数计算规则 增加了文件类型的参数
07
资源中心
增加了Alibaba Cloud OSS的支持,重构资源中心并设计默认使用本地作为存储介质,重新支持了 re-upload。 资源中心容许覆盖上传,优化文件路径,显示文件的全部路径。另外,之前版本中资源中心已经上传的同类型文件只能删除后重新上传,新版本中对本功能进行了优化,可以点击上传按钮进行上传。
08
增强页面易用性
增加页面易用性和便利性,如增加 workflow instance 跳转到当前工作流、复制工作流名称、调整列宽等操作 默认情况下会有 default 租户和本地资源中心,安装后就能使用 允许在 workflow instance 中重新运行任务,更加明确的任务运行日志 json 导出可阅读性更强
09
云原生相关
支持 KEDA 做 worker 自动扩缩容 支持 Terraform 部署到 AWS zk 和 pg 支持多架构 提交 spark 任务到 Kubernetes 获取 pod 实时日志 自定义 k8s 任务标签
10
API
增加了部分 Restful API,包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation API 触发工作流运行可以获得instance ID
11
注册中心
增加 ETCD、JDBC 注册中心
12
架构
Alert 支持 HA 单线程更新 Kerberos Worker server 移除了 dao 依赖 接管 task instance 失败的任务 增加动态任务组配置 重构了逻辑任务和远程命令 资源限制(cpu 内存)从原来绝对值改成百分比 支持了 SSO
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份)
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。





