暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / Apache DolphinScheduler 3.2.2版本正式发布！

Apache DolphinScheduler 3.2.2版本正式发布！

海豚调度 2024-07-23
714

点击蓝字，关注我们

近日，Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复，新增若干特性，并进行了众多改进和 Bug 修复，以及文档修复等。
📥3.2.2版本下载：https://dolphinscheduler.apache.org/zh-cn/download/3.2.2
⚙️Release Note：https://github.com/apache/dolphinscheduler/releases/tag/3.2.2




主要更新




1

增加参数类型

为了更有效地提升用户体验，本版本针对工作流启动参数、全局参数等参数类型进行拓展，把原有的固定 VARCHAR 数据值类型参数，拓展成为用户能够自行选择的多种类型。

2

作业数量统计

增加 Master&Worker  的忙碌状态，且增加 alert-server 服务监控，对页面 UI 显示进行优化，便于用户更为直观地监控核心服务状态。另外，增加工作流启动命令和失败命令的展示页面，方便用户直观地掌握工作流启动命令执行情况。

3

其他重要问题修复

  • 完善了remote shell文档
  • 对工作流操作增加依赖提示
  • 页面交互优化（项目偏好设置）
  • 替换云环境中Java任务依赖环境为jdk
  • 对文件操作的全路径检测
  • 增加记录项目参数的操作详情
  • 优化告警服务启动时加载bean范围
  • 修复参数丢失问题
  • 分页查询时总页数错误问题
  • 修复任务终止后异常调度问题
  • 修复普通用户授权项目问题
  • 修复任务组执行异常导致OOM问题
  • 优化Switch节点检查分支是否存在



新增Feature





  • [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
  • [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
  • 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas



Improvement




  • 将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586)@zhongjiajie
  • [Improvement][API] 添加 PageInfo UT ( #15622)@Gallardot
  • [Improvement-15603][API] 删除、修改工作流时，系统可以检查是否有任何任务依赖于它。（#15681）@calvinjiang
  • [Improvement-15694][UI] 保存任务表单后，任务节点使用错误的背景颜色。( #15695 )@calvinjiang
  • [Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang
  • [Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang
  • [Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang
  • [CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS
  • [Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas
  • [Improvement] 添加资源全路径检查 ( #15786)@caishunfeng
  • [Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc
  • 从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality （#15791）@ruanwenjun
  • [Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong
  • [Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli
  • [Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli
  • [Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867)@xxzuo
  • 添加 DSIP 模板（#15871）@ruanwenjun
  • [DSIP-28] 不要扫描类路径下的整个目录 bean（#15874）@ruanwenjun
  • [DSIP-31] 减少 hikari 的连接池大小 ( #15890)@ruanwenjun
  • [Improvement] 修复警报代码坏味道 ( #15892 )@qingwli
  • 使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao
  • [Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc
  • [Improvement-15910][UI] 使用并行执行模式时，应为自定义并行度提供默认值。( #15912 )@calvinjiang
  • 优化 RPC 基类的范围（#15946）@ruanwenjun
  • [DSIP-35][Alert] 重构警报线程模型 ( #15932)@ruanwenjun
  • [Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers
  • 添加注册模块统一集成测试 ( #15981 )@ruanwenjun
  • [Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888
  • [Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli
  • 弃用 2.0.9/3.0.6 升级测试（#16012）@ruanwenjun
  • [Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord
  • [Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas
  • [Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015




Bugfix





  • 修复恢复暂停工作流实例可能会生成故障转移任务实例问题（#15611）@ruanwenjun
  • [FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli
  • 修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun
  • [Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot
  • 修复 Hive jdbc url（#15627）@xxzuo
  • [Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu
  • [Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652)@ruanwenjun
  • [Bug] 修复即使任务已被终止也可能会被调度的问题（#15662）@ruanwenjun
  • [Bug] [Worker] 修复：创建具有主目录的 Linux 用户 ( #15670 )@zero-element
  • [Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua
  • [Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua
  • [Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689)@ZhongJinHacker
  • [bug][插件]修复 readme.md 中的单词拼写错误 ( #15716)@ZhongJinHacker
  • 修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 ( #15677 )@wustlz
  • [CI] 修复 UI 构建错误 ( #15732 )@SbloodyS
  • [Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736)@arlendp
  • [CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS
  • [Bug] 当特定工作流版本下存在未完成的工作流实例时，禁止删除该版本（#15730）@ruanwenjun
  • [Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751)@ruanwenjun
  • [Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755)@ruanwenjun
  • [Fix] 添加资源全名检查 ( #15757 )@caishunfeng
  • [Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian
  • [bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776)@whhe
  • [Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773)@ruanwenjun
  • [Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu
  • [Bug] [Common] 修复 common.properties 上的拼写错误（#15806）@pegasas
  • 修复无法构造 StreamingTaskTriggerResponse 实例的问题（#15816）@atjiucheng
  • [Improvement] 异常字符检查 ( #15824 )@pinkfloyds
  • [Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds
  • [Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi
  • 修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun
  • 绑定 processId 来构造 CodeGenerator ( #15848)@ruanwenjun
  • 禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun
  • [Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun
  • 将 ssh 心跳类型更改为 IGNORE（#15858）@ruanwenjun
  • [FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking
  • 修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun
  • 修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun
  • 修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909)@ruanwenjun
  • 修复 java 任务中 jar 路径不正确的问题 ( #15906)@ruanwenjun
  • [修复] 已完成的任务无法在工作流实例中重新执行（#15884）@privking
  • [Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand（#15956）@stoplyy
  • [fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96
  • [Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot
  • EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun
  • 文档：修复拼写错误（#15996）@jbampton
  • 修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995)@ruanwenjun
  • [Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index（#15993）@coldestlin
  • 修复由于 varpool 中的重复键导致工作流实例重新启动失败问题（#16001）@ruanwenjun
  • 在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun
  • 修复并发操作导致的 rpc channel 泄漏 ( #16021)@ruanwenjun
  • 修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun
  • [Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031)@rickchengx
  • [Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038)@ruanwenjun
  • [Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog
  • [helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot
  • 恢复“[Improvement] 异常字符检查”（#16102）@ruanwenjun
  • 修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun
  • 修复切换任务下的任务节点不会被跳过 ( #16108)@ruanwenjun
  • [Bug] 修复条件任务会导致工作流实例失败 ( #16152)@ruanwenjun
  • [Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink
  • [Fix-16174] 集群安装指南不正确。（#16208）@SbloodyS
  • [Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221)@ruanwenjun
  • [Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务（#16238）@lanxing2
  • [Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252)@ruanwenjun
  • [Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275)@wangbowen1024
  • [CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun
  • [Fix-16191] 修复任务无法使用工作流的环境 ( #16199)@ruanwenjun
  • [Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot




文档修复





  • [DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun
  • [Doc] 修复 CNCF logo（#15634）@Gallardot
  • [Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660)@pegasas
  • [Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS
  • [Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6
  • 文档：修复 contribute.md 中的类型（#16022）@jxbwhe




Chore





  • Chore：修改一些 CODEOWNERS（#15654）@zhongjiajie
  • [HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS
  • [Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214)@SbloodyS
  • [Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284)@SbloodyS
  • [Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215)@SbloodyS
  • [Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun




致谢贡献者




感谢本次发版人@wangxj3 主导本次发版工作，@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导，以及以下 Contributor 的支持（排名不分先后）：

DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015
< 🐬🐬 >
精彩推荐


用户实践案例
奇富科技  蜀海供应链 联通数科 拈花云科
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 生鲜电商 联通医疗 联想
新网银行 消费金融  腾讯音乐 自如
有赞 伊利 当贝大数据
联想 传智教育 Bigo
通信行业  作业帮

迁移实践
Azkaban   Ooize   
Airflow （有赞案例） Air2phin（迁移工具）
Airflow迁移实践
Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

新手入门
选择Apache DolphinScheduler的10个理由
Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？
Apache DolphinScheduler-3.1.3 版本安装部署详细教程
Apache DolphinScheduler 在大数据环境中的应用与调优
< 🐬🐬 >
参与社区
参与Apache DolphinScheduler 社区有非常多的参与贡献的方式，包括：


贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?
q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献：https://dolphinscheduler.apache.org/zh-cn/community

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的！


我知道你在看哟

apache工作流
文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论