暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 码住！DolphinScheduler 常见故障 “急救指南”，一文解决服务、调度、连接等难题

码住！DolphinScheduler 常见故障 “急救指南”，一文解决服务、调度、连接等难题

海豚调度 2025-09-12
1055

点击蓝字，关注我们

1

概述

Apache DolphinScheduler作为现代化的数据编排平台，在实际部署和使用过程中可能会遇到各种故障和问题。本文将从架构层面深入分析常见故障类型，提供详细的排查思路和解决方案，帮助运维人员和开发者快速定位并解决问题。


2

系统架构与核心组件


在开始故障排查前，首先需要了解DolphinScheduler的核心架构：


3

常见故障分类与排查

1. 服务启动失败

症状描述

  • 服务无法正常启动
  • 启动后立即退出
  • 端口被占用

排查步骤

解决方案

  1. 端口冲突：修改对应服务的端口配置
    # Master服务端口
    server.port=5678
    # API服务端口  
    server.port=12345
    properties
    1. 内存不足：调整JVM参数
      # 在启动脚本中增加内存参数
      export JAVA_OPTS="-Xms2g -Xmx4g"
      1. 依赖服务未启动：确保Zookeeper和数据库服务正常运行

      2. UI无法登录或访问异常

      症状描述

      • 登录页面无法打开
      • 登录后跳转异常
      • 页面显示空白或错误

      排查表格

      详细排查流程

      1. 检查API服务连通性
        curl http://localhost:12345/dolphinscheduler/users/get-user-info
        1. 验证Session配置
          # 检查application.properties配置
          server.servlet.session.timeout=3600
          server.context-path=/dolphinscheduler
          properties
          1. 前端资源检查
            # 确认静态资源文件存在
            ls -la path/to/ui/static/


            4

            任务调度异常


            症状描述

            • 任务无法正常调度
            • 任务状态卡在"提交中"
            • 工作流实例无法生成

            故障排查矩阵

            具体解决方案

            1. MasterServer检查
              # 检查Master服务状态
              jps | grep MasterServer
              # 查看ZK注册状态
              echo stat | nc localhost 2181
              1. WorkerServer资源监控
                # 调整Worker资源配置
                worker.max.cpuload.avg=10
                worker.reserved.memory=0.3
                properties
                1. ZK连接优化
                  增加ZK超时时间
                  zookeeper.session.timeout=60000
                  zookeeper.connection.timeout=30000
                  properties


                  5

                  数据库连接问题

                  症状描述

                  • 数据库连接超时
                  • 连接池耗尽
                  • SQL执行异常

                  性能优化配置

                    # 数据库连接池配置
                    spring.datasource.druid.initialSize=5
                    spring.datasource.druid.minIdle=5
                    spring.datasource.druid.maxActive=20
                    spring.datasource.druid.maxWait=60000
                    spring.datasource.druid.timeBetweenEvictionRunsMillis=60000
                    spring.datasource.druid.minEvictableIdleTimeMillis=300000
                    properties

                    排查步骤

                    1. 连接池监控
                      -- 查看数据库连接数
                      SHOW PROCESSLIST;
                      -- 查看最大连接数配置
                      SHOW VARIABLES LIKE 'max_connections';
                      1. 慢查询分析
                        -- 启用慢查询日志
                        SET GLOBAL slow_query_log = 'ON';
                        SET GLOBAL long_query_time = 2;
                        1. 索引优化
                          -- 分析常用查询的索引情况
                          EXPLAIN SELECT * FROM t_ds_process_instance WHERE state = 1;


                          6

                          网络与IP地址问题

                          症状描述

                          • 服务注册IP错误
                          • 跨节点通信失败
                          • 网络延迟导致超时

                          IP地址配置策略

                          DolphinScheduler支持多种IP获取策略：

                          配置示例：

                            # 网络IP获取优先级策略
                            dolphin.scheduler.network.priority.strategy=default
                            # 指定网卡获取IP
                            dolphin.scheduler.network.interface.preferred=eth0
                            properties

                            网络连通性测试

                              # 测试节点间网络连通性
                              ping worker-node-ip
                              telnet worker-node-ip 12345
                              # 检查防火墙设置
                              iptables -L -n


                              7

                              资源管理与调度优化

                              • 资源不足问题
                              • 配置参数优化
                                # Master并发控制
                                master.exec.threads=100
                                master.exec.task.number=20
                                # Worker并发控制  
                                worker.exec.threads=100
                                # 资源预留配置
                                master.reserved.memory=0.1
                                worker.reserved.memory=0.1
                                properties


                                8

                                日志分析与监控

                                关键日志文件位置

                                日志分析技巧

                                1. 错误模式识别
                                  # 查找ERROR级别的日志
                                  grep "ERROR" logs/master-server.log
                                  # 查找特定时间段的日志
                                  sed -n '/2024-01-15 10:00:00/,/2024-01-15 11:00:00/p' logs/*.log
                                  1. 性能监控指标
                                    # 监控服务CPU和内存使用
                                    top -p $(pgrep -f MasterServer)
                                    # 监控数据库连接数
                                    watch -n 5 "netstat -an | grep 3306 | wc -l"


                                    9

                                    高可用与故障转移


                                    • 集群故障处理流程
                                    • 故障转移配置
                                      # Zookeeper集群配置
                                      zookeeper.quorum=zk1:2181,zk2:2181,zk3:2181
                                      # 服务检测间隔
                                      master.heartbeat.interval=10
                                      worker.heartbeat.interval=10
                                      properties


                                      10

                                      总结

                                      通过系统化的故障排查方法，可以快速定位和解决DolphinScheduler运行中的各种问题。关键要点包括：

                                      1. 预防优于治疗：建立完善的监控体系，提前发现潜在问题
                                      2. 日志为王：熟练掌握日志分析技巧，快速定位问题根源
                                      3. 资源配置：根据实际业务需求合理配置系统资源
                                      4. 高可用设计：采用集群部署确保系统稳定性
                                      5. 定期维护：建立定期检查和维护机制

                                      遵循这些最佳实践，可以显著提高DolphinScheduler的稳定性和可靠性，确保数据工作流的高效运行。

                                      原文链接：https://blog.csdn.net/gitblog_00253/article/details/151215102





                                      用户案例



                                      天翼云Zoom网易邮箱 
                                      每日互动 惠生工程  作业帮 
                                      博世智驾 蔚来汽车 长城汽车
                                      集度长安汽车思科网讯
                                      食行生鲜联通医疗联想
                                      新网银行唯品富邦消费金融 
                                      自如有赞伊利当贝大数据
                                      珍岛集团传智教育Bigo
                                      YY直播  拈花云科太美医疗
                                      Cisco Webex兴业证券




                                      迁移实战



                                      Azkaban   Ooize（当贝迁移案例）
                                      Airflow （有赞迁移案例）
                                      Air2phin（迁移工具）
                                      Airflow迁移实践



                                      发版消息




                                      Apache DolphinScheduler 3.2.2版本正式发布！
                                      Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级
                                      Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！




                                      加入社区



                                      关注社区的方式有很多：

                                      • GitHub: https://github.com/apache/dolphinscheduler
                                      • 官网：https://dolphinscheduler.apache.org/en-us
                                      • 订阅开发者邮件：dev@dolphinscheduler@apache.org
                                      • X.com：@DolphinSchedule
                                      • YouTube：https://www.youtube.com/@apachedolphinscheduler
                                      • Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

                                      同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。

                                      📂非代码方式包括：

                                      完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。

                                      👩‍💻代码方式包括：

                                      查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。

                                      贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

                                      社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

                                      优先级问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

                                      如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

                                      如果你❤️小海豚，就来为我点亮Star吧！

                                      https://github.com/apache/dolphinscheduler


                                      你的好友秀秀子拍了拍你

                                      并请你帮她点一下“分享”

                                      apachehttps
                                      文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

                                      评论