
点击蓝字,关注我们

DolphinScheduler集群环境有多台worker(worker1, worker2, worker3),多个任务节点串行执行时,因为worker在不同服务器上,执行调度任务需要的文件需要每个worker上传非常麻烦/后面执行的任务读取不到前面任务执行后生成的文件/数据,怎么办?
用shell节点执行shell脚本时,中间某个命令执行报错但没有中断退出,而是继续执行,最后一行命令执行成功后整个节点的执行状态也是成功,导致节点任务状态与预期不符怎么办?
set -xeuo pipefail
日志出现乱码怎么办?
-Dfile.encoding=utf-8执行
echo $LANG检查系统编码是否为
zh_CN.UTF-8,如不是则修改LANG环境变量为该值。
DolphinSchedulr worker的日志太多太大了,磁盘经常警告空间不足,怎样配置实现自动清理日志?
logback-spring.xml可以配置日志清理策略,根据需要自行配置。
<configuration>
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${LOG_FILE}</file>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!--日志文件输出的文件名-->
<fileNamePattern>${LOG_FILE}-%d{yyyy-MM-dd}.%i.gz</fileNamePattern>
<!--单个日志文件的最大体积-->
<maxFileSize>100MB</maxFileSize>
<!--日志保留时长 30天-->
<maxHistory>30</maxHistory>
<!-- 所有归档日志文件的总大小 -->
<totalSizeCap>20GB</totalSizeCap>
<!-- 是否在应用启动的时候删除历史日志 -->
<cleanHistoryOnStart>true</cleanHistoryOnStart>
</rollingPolicy>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-4relative [%thread] %-5level %logger{35} - %msg%n</pattern>
<charset>utf8</charset>
</encoder>
</appender>
<root level="DEBUG">
<appender-ref ref="FILE" >
</root>
<configuration>
DolphinScheduler任务插件太复杂/不会用/版本更新导致潜在的不兼容问题,怎么处理?
插件里的内容不方便做版本对比,怎么处理?

我知道你在看哟
文章转载自大数据技能圈,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




