[#1497] 通过 API 创建的工作流在前端展示时自动调整布局。 [#747] Worker server 运行日志脱敏。 [#1635] 配置文件适当合并。 [#1547] 节点内容编辑支持全屏缩放。
[#184] 被工作流引用的 worker 不能被删除。 [#1441] 可创建包含 "." 的用户名。 [#839] 可切换 Spark 版本。 [#1511] 前后端编译文件合并。 [#1509] 去除 Master 和 Worker 监听端口(5566,7788)。 [#1575] 去除 kazoo ,简化部署。 [#1300] 邮件内容可右对齐。 [#1599] 增加前端部署的 nginx 配置文件。 支持 Mac 进行开发和 debug。
特定情况下弹出框不能关闭。 [#1399] 日志信息中字段顺序错误。 [#1379] sql 任务节点日期转换错误。 [#1477] 特定情况下,数据库延迟的时候,任务会一直执行。
[#1514] 队列关联用户后修改队列信息,新修改的队列信息未保存到数据库。
[#1768] 用户管理分页错误。
[#1770] 用户取消租户关联后,仍能使用原租户 hdfs 的资源。 [#1779] 子进程失败后仍显示成功。 [#1789] 通过任务实例页面查看任务执行历史显示错误。 [#1810] 特定情况下,依赖节点不显示具体依赖。 [#1816] 添加多个依赖后,再添加新的依赖时,依赖列表读取错误。 [#1828] UDF 授权后,UDF 文件路径授权错误。
更多发布信息可移步:
近期社区也收到了来自社区贡献者的诸多新特性贡献,比如 DataX , Sqoop 数据同步、条件判断任务类型; DolphinScheduler 的 Ambari 插件化部署等等新功能,预计不久后就会发布。
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load,memory,cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化
在线 DEMO 试用: http://106.75.43.194:8888/
系统部分截图







在用公司(部分统计,Wanted: who's using DolphinScheduler)
已经有大量知名企业和科研机构在使用 Apache DolphinScheduler,来处理各类调度和定时任务:





