【第七期】Apache DolphinScheduler 每周 FAQ 集锦

DS 3.1.5 调度平台关闭了一段时间，启动之后会把这一段时间内没有跑的批次全部跑一遍，是否可以配置不进行补数？有时候就是为了停机维护。    

在停止之前下线全部工作流，下次启动再上线即可。    

Docker部署的dp能使用Docker部署DataX吗（两个容器），如果可以，请问怎么操作（相同IP和不同IP）？    

需要修改docker 镜像，https://dolphinscheduler.apache.org/zh-cn/docs/3.1.6/contribute/development-environment-setup 将你需要DataX打包进去。

CDH启用kerberos之后，海豚的资源中心脚本无法查看和编辑了，要改什么配置？    

改keytab 和 krb5 相关的配置：https://dolphinscheduler.apache.org/zh-cn/docs/3.1.6/architecture/configuration。  

之前低版本支持文件重新上传功能，3.1.5为什么不支持呢？数据团队中同一个项目有多人协作开发的时候，打包是同一个名字，之后如果修改只能重新打包上传，但是只能删除后再次上传，这样其他的工作流只要是跟这个包名一样的就都会报错，有解决办法吗？    

3.1.x 不支持了，3.2.0 将有新的资源中心，不会用。    

3.1.4版本，使用shell脚本执行jdk17的java程序，报了不兼容，有没有暂时替代的解决方案？（不降级java jdk，添加--add-opens java.base/java.lang=ALL-UNNAMED 不好使）    

目前最高 JDK 测试支持的版本是 11。    

3.1.5版本，使用shell脚本执行hive EOF命令，实际执行命令中间过程有error和failed，但最后hive返回状态也是0，导致shell节点执行成功，但实际作业执行失败。后续依赖也调度起来了。这是什么原因？    

Shell 任务只要运行的命令不是exit 0 都是成功的， 可以尝试用 Hive cli 任务。    

2.0.1版本DS工作流一个单独的任务A有其他流中的任务依赖,用了依赖组件,如果这个依赖的这个流B没有运行成功或者这个依赖的任务C没有运行成功,A的依赖组件都会运行失败,导致A任务运行失败。这个问题怎么处理？

2.0.x 的如果使用dependent 组件的话，建议升级到最新的的 2.0.8 版本。

DS的局部变量怎么传入给子流程呢?是不是需要在shell脚本里面设置setvalue这个函数呢？我直接在out里面的value写了值好像不起作用。    

本地参数的 out 和 setValue 应该都是可用的。    

DS进行项目级别的发布或者新工作流的发布生产有比较好的方法吗？目前对于工作流内subprocess任务和dependent任务迁移，会丢失依赖的任务ID，需要大量修改，是否有比较好的解决方法？    

一般通过 json 导入导出的方式就能解决问题，如果 subprocess 和 dependent 有问题就是你的依赖有别的项目的，这个时候要手动分析依赖，将父依赖先导进去。    

A工作流作为B工作流和C工作流的子任务。如果A工作流设置串行等待，在B工作流和C工作流同时调用A工作流的时候，A工作流是并发执行的。好像是个BUG吧？    

按照目前的设计方式是正确的，子工作流是被引用了，工作流的运行策略是跟父工作流一致。    

sql 任务是将替换的参数使用 ? 占位符的形式替换的（例如 select * from a where b = '${b_value}' 会变成 select * from a where b = ?），除了防止sql注入外，为什么要这样做呢？默认会把外面的引号干掉，并且在手动运行工作流的时候填入启动参数，又会将这些参数默认设置成varchar格式。感觉这样逻辑不太对？

替换逻辑是走的参数替换，目前识别的关键字就是 '${name}' 的方式，这是一个约定的关键字。目前启动参数确实没有办法配置类型。     

每次进行代码风格检查命令后，很多java类莫名丢失依赖，导致打包不成功，无限在手动导入类，这怎么解决呢？    

应该是使用了 import * 或者被禁用的 module 了。    

创建DataX任务时，诸如sr数据库写入时，需要增加loadUrl等参数，这个还需要支持么？  

可以使用自定义的DataX 配置。    

任务调度中报警模块，只有在延时报警的时候才会发送邮件，但是在报错或者成功都不会发送邮件，配置中已经配置告警组并且通知策略也已经配置成功或失败都发，并且在日志中没有sendEmail 失败的报错，是什么原因？       

成功失败的告警时在执行工作流的时候配置的，尝试下线定时，然后手动执行工作流，配置都发送告警是否成功，如果不成功且是 3.1.x 的版本的话就创建一个 github issue 具体看看。    

DS是否可以提供循环节点？       

DAG 是有向无环图。    

3.1.3版本UI优化建议：添加denpend节点时，无法搜索目标依赖，要手动拉，一个个翻过去，几百个工作流一个个找过去，难找，效率低。    

3.1.6版本已解决。