重磅更新！DolphinScheduler 3.3.1 原生支持 DolphinDB

近日，Apache DolphinScheduler 3.3.1 版本上线，正式原生集成 DolphinDB 数据源！用户能够直接在 DolphinScheduler 中连接并调度 DolphinDB 任务，进一步提升数据处理与分析效率！

作为顶尖的分布式大数据工作流调度系统，Apache DolphinScheduler 以直观的 DAG（有向无环图）方式组织任务，帮助用户解决数据研发中 ETL 流程依赖复杂、任务状态难以监控的问题，在企业级场景中广受欢迎。

DolphinScheduler 可以实现定时任务管理，满足用户每天、每小时等周期性的从数据源提取、转换到加载数据的需求。同时，它支持历史任务回溯计算，只需设置起止时间即可处理任意时间段的数据。在多任务并行处理场景中，系统能够同时执行多表或多分区任务，提升效率。

对于复杂业务流程，DolphinScheduler 可以灵活编排任务依赖，确保上游与下游任务按逻辑顺序执行。用户可以在图形化界面中灵活定义和管理任务，实时监控任务执行情况，并支持失败重试、指定节点恢复、任务暂停与恢复等操作，保障任务执行的稳定性与可控性。

DolphinDB 作为一款基于高性能时序数据库、支持复杂分析与流处理的实时计算平台，具备存储、检索、建模、回测等一站式能力，可高效支撑 PB 级海量数据处理。

不过，在实际生产环境中，源数据下载、数据处理、数据入库、数据校验、指标计算等任务之间存在先后关系和条件关系。如果在 DolphinDB 脚本中编写相关的逻辑关系代码，会造成与实际任务不相关的脚本冗余。而且一旦业务变动，就需要增加或删减部分任务，相互依赖的任务之间的关系代码也需要变动，更新迭代效率较低。

随着 DolphinScheduler 3.3.1 原生支持 DolphinDB，这一问题迎刃而解！

用户可以在 DolphinDB 中编写相关任务代码模块，在 DolphinScheduler 上将这些任务按照逻辑编排调度。这样的解耦方式不仅能够减少冗余脚本，降低维护复杂度，还能实现跨团队、跨系统的高效协作，整个调度过程透明可控，极大降低了运维风险。

DolphinScheduler 原生支持 DolphinDB 的价值不仅仅停留在提效层面，更在于对业务的深度赋能。DolphinDB 官方文档提供了一个典型的 ETL 场景案例，展示了如何将 DolphinScheduler 引入 DolphinDB 的高可用集群，并利用其调度能力管理 DolphinDB 的数据作业。通过这一方式，任务执行过程更加有序可靠，用户也能专注于业务本身而非繁琐的流程管理。

典例工作流示意图

大家可前往以下网址详细了解：

https://docs.dolphindb.cn/zh/tutorials/dolphinscheduler_integration.html

DolphinDB 一直致力于丰富生态圈，优化用户的使用体验。除了与 DolphinScheduler 深度集成外，DolphinDB 还与国内外众多知名中间件和 BI 工具建立了合作，例如 Grafana、CDC、DataX 以及 Airflow。

在云端部署方面，DolphinDB 提供了包括 Kubernetes 容器化在内的多种方案，覆盖公有云和私有云，并已入驻 AWS、微软 Azure、阿里云、腾讯云、华为云等主流 Marketplace，方便用户快速获取和部署。

DolphinDB 的行业生态圈也在不断扩展，已和国内外大部分知名数据供应商及服务商达成合作，例如华泰 Insight、华锐 AMD、通联数据、彭博、ICE 等。

此外，DolphinDB 插件市场还为用户提供了涵盖行情接入、数据存取、消息队列、数值计算、机器学习等方面的数十种功能插件，为用户带来高效便捷的开发体验。

DolphinDB 插件市场：

https://marketplace.dolphindb.cn/

DolphinDB 的生态发展离不开每一位伙伴的支持。无论您是行业专家、高校团队、软件厂商，还是开发者或渠道伙伴，我们都期待与您携手，共同推动数据技术的创新与落地。您可通过邮箱（partners@dolphindb.com）详细咨询合作事宜，或扫码添加 DolphinDB 小助手，我们期待您的加入！

扫码添加 DolphinDB 小助手，