暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 让海豚替你跑SQL！DolphinScheduler高效配置三步曲

让海豚替你跑SQL！DolphinScheduler高效配置三步曲

海豚调度 2025-03-18
603

点击蓝字



关注我们


今天，让我们来深入探讨DolphinScheduler中一种常见的任务类型：SQL任务。
SQL任务是DolphinScheduler中非常重要的一种任务类型，它允许用户在调度系统中运行SQL语句，通常用于数据处理、数据分析等场景。下面我分别以为MySQL和Hive为例，详细介绍如何在DolphinScheduler中创建和配置SQL任务。

1

源中心



首先要在源中心增加MySQL和Hive实例。
  • MySQL：填好ip，端口，用户名，密码，数据库名称

  • Hive：选中HIVE/IMPALA数据源类型，填好IP，端口是 10000，用户名，密码（有些用户没有密码可以不填），数据库名

2

MySQL SQL任务



在DolphinScheduler的Web界面中，选择相应的项目和工作流，点击“新建任务”按钮，在任务类型中选择“SQL”，填写任务名称和描述等基本信息，然后点击“提交”按钮即可创建一个SQL任务。
  • 配置SQL任务
    在SQL任务的配置页面中，我们需要设置以下几个关键参数：
    • 数据源：选择MySQL。数据源实例：选择刚才新增的MySQL实例
    • 查询：

  • 非查询

3

Hive SQL任务


  • 日志

通过本文的介绍，我们深入了解了DolphinScheduler海豚调度中的SQL任务，掌握了创建和配置SQL任务的方法。SQL任务作为DolphinScheduler中的重要功能之一，为用户提供了强大的数据处理和管理能力，帮助用户更高效地完成数据处理任务。希望本文能够对大家理解和使用DolphinScheduler中的SQL任务有所帮助，也欢迎大家在实践中进一步探索和应用，发挥出SQL任务的更多潜力。
原文链接：https://blog.csdn.net/weixin_44586883/article/details/136326326




活动推荐



点击卡片了解活动详情 🔽


一定不要错过这场精彩的线上用户交流会！在这里，你将有机会深入了解网易邮箱关于Apache DolphinScheduler平台的实际应用案例，汲取大厂的前沿实践经验，并有机会与行业专家实现面对面的交流，更有精彩好礼等你来拿！🎁🎁
📅 直播时间：2025年3月25日14:00
📹 预约直播：点击下方卡片一键预约！





用户案例



每日互动 惠生工程  作业帮 博世智驾 
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 食行生鲜 联通医疗 联想
新网银行 唯品富邦消费金融  
自如 有赞 伊利 当贝大数据
珍岛集团 传智教育 Bigo
YY直播  三合一 太美医疗
Cisco Webex 兴业证券




迁移实战



Azkaban   Ooize（当贝迁移案例）   
Airflow （有赞迁移案例） 
Air2phin（迁移工具）
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布！
Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级
Apache DolphinScheduler 3.1.9 版本发布：提升系统的稳定性和性能




加入社区



关注社区的方式有很多：

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网：https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件：dev@dolphinscheduler@apache.org
  • X.com：@DolphinSchedule
  • YouTube：https://www.youtube.com/@apachedolphinscheduler
  • Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。

📂非代码方式包括：

完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。

👩‍💻代码方式包括：

查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚，就来为我点亮Star吧！

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”

apachehttpssql数据库sqlhive
文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论