暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / DolphinScheduler+Sqoop 入门避坑：一文搞定数据同步常见异常

DolphinScheduler+Sqoop 入门避坑：一文搞定数据同步常见异常

海豚调度 2025-07-10
111

点击蓝字，关注我们

❓1️⃣ 在DolphinScheduler中假如遇到创建租户时，报错，错误日志显示权限不足：

可以使用下面的语句去开启权限：

hdfs dfs -chmod 777

❓2️⃣ 遇见下面的错误：

检查 DolphinScheduler 如何整合 Sqoop 呢？

按照上边的图片里的路径和文档在最后边添加下边的代码：

export SQOOP_HOME=/opt/installs/sqoop

export PATH=$SQOOP_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH

然后重启一下DolphinScheduler：

查看ds状态：bash ./bin/dolphinscheduler-daemon.sh status standalone-server

关闭ds：bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

开启ds：bash ./bin/dolphinscheduler-daemon.sh start standalone-server

❓3️⃣ 若出现下边的错误：


    Caused by: java.lang.ClassNotFoundException: Class QueryResult not found
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2571)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2665)
        ... 12 more 

解决方案就是：拷贝一个 QueryResult.jar
 到 sqoop 的 lib
 下 【临时解决方案】

[INFO] 2024-09-25 06:19:16.083 +0000 -  -> 注: tmp/sqoop-root/compile/46c0c4b3def5aba0c202ae9664234de6/QueryResult.java使用或覆盖了已过时的 API。
    注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。

通过日志看到一个位置：
cd tmp/sqoop-root/compile/46c0c4b3def5aba0c202ae9664234de6

将此jar包拷贝
cp tmp/sqoop-root/compile/46c0c4b3def5aba0c202ae9664234de6/QueryResult.jar  /opt/installs/sqoop/lib/

永久解决方案：

在 DolphinScheduler的配置文件中添加一句话：

在文档的最下边添加下边的代码

 export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

配置完成后，重启 DolphinScheduler。

查看ds状态：bash ./bin/dolphinscheduler-daemon.sh status standalone-server

关闭ds：bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

开启ds：bash ./bin/dolphinscheduler-daemon.sh start standalone-server

❓4️⃣ 如果报错如下：


[INFO] 2024-09-25 06:27:53.628 +0000 -  -> 2024-09-25 14:27:52,757 INFO  [main] sqoop.Sqoop (Sqoop.java:<init>(96)) - Running Sqoop version: 1.4.7
	2024-09-25 14:27:52,824 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(333)) - Error parsing arguments for import:
	2024-09-25 14:27:52,825 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: dt
	2024-09-25 14:27:52,829 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: 2024-09-24
	2024-09-25 14:27:52,829 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: -m
	2024-09-25 14:27:52,829 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: 1
	2024-09-25 14:27:52,829 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: --connect
	2024-09-25 14:27:52,829 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: jdbc:mysql://192.168.233.131:3306/jrxd?allowLoadLocalInfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false
	2024-09-25 14:27:52,830 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: --username
	2024-09-25 14:27:52,830 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: root
	2024-09-25 14:27:52,830 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(336)) - Unrecognized argument: --password

通过以上可以大概猜到，是 sqoop 命令写错了。

出现这个错误说明是 DolphinScheduler 工作流中的sqoop 语句出错了。

[INFO] 2024-09-25 06:34:34.639 +0000 -  -> 2024-09-25 14:34:33,636 INFO  [main] sqoop.Sqoop (Sqoop.java:<init>(96)) - Running Sqoop version: 1.4.7
    2024-09-25 14:34:33,674 WARN  [main] tool.BaseSqoopTool (BaseSqoopTool.java:applyCredentialsOptions(1120)) - Setting your password on the command-line is insecure. Consider using -P instead.
    Must specify destination with --target-dir. 
    Try --help for usage instructions.
[INFO] 2024-09-25 06:34:34.640 +0000 - FINALIZE_SESSION 

再出现错误，则按照下边的格式进行修改 ：

如果出现以下语法错误：

     2024-09-25 14:36:53,044 ERROR [main] manager.SqlManager (LoggingUtils.java:logAll(43)) - Error executing statement: java.sql.SQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '%Y-%m-%d) = 2024-09-24 AND  (1 = 0)' at line 1
    java.sql.SQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '%Y-%m-%d) = 2024-09-24 AND  (1 = 0)' at line 1
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120)

则应该将双引号变单引号。

❓5️⃣ 如果出现以下错误：


Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 45:21 cannot recognize input near ';' '<EOF>' '<EOF>' in expression specification
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:335)
    at org.apache.hive.service.cli.operation.SQLOperation.prepare(SQLOperation.java:199)

解决方式：使用 sql 模块，不要添加分号；。

原文链接：https://blog.csdn.net/m0_51350088/article/details/148723463





用户案例



网易邮箱 每日互动 惠生工程  作业帮 
博世智驾 蔚来汽车 长城汽车集度长安汽车
思科网讯食行生鲜联通医疗联想
新网银行唯品富邦消费金融 
自如有赞伊利当贝大数据
珍岛集团传智教育Bigo
YY直播  三合一太美医疗
Cisco Webex兴业证券




迁移实战



Azkaban   Ooize（当贝迁移案例）
Airflow （有赞迁移案例）
Air2phin（迁移工具）
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布！
Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级
Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！




加入社区



关注社区的方式有很多：

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网：https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件：dev@dolphinscheduler@apache.org
  • X.com：@DolphinSchedule
  • YouTube：https://www.youtube.com/@apachedolphinscheduler
  • Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。

📂非代码方式包括：

完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。

👩‍💻代码方式包括：

查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚，就来为我点亮Star吧！

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”

binsqoop
文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论