暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!

SeaTunnel 2025-06-04
253

点击蓝字

关注我们

我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在稳定性、易用性、连接器生态、数据转换能力以及引擎层面都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。




功能更新 Highlights




新增连接器与功能增强

  • HTTP Sink 支持批量写入:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。

  • 支持多表写入功能

    • ClickHouse:新增支持多表写入功能,提升了数据同步的灵活性。
    • TDengine:新增支持多表写入功能,增强了数据处理能力。
    • DataHub:新增支持多表写入功能,扩展了数据集成场景。
    • GraphQL Connector:新增支持 GraphQL 连接器,丰富了数据源类型
    • Elasticsearch Source 支持 PIT(Point-in-Time):增强了 Elasticsearch 数据源的查询能力。
    • 支持 CSV 文件中不同列顺序的提取:提升了文件数据处理的灵活性。
    • 新增 Apache Cloudberry 支持:扩展了数据源的多样性。
    • 新增 Aerospike Sink Connector:丰富了数据写入目标。
    • 新增 Helm 测试用例:增强了部署测试能力。

配置与参数优化

  • 新增end_timestamp
    参数:在时间戳起始模式中添加了end_timestamp参数,增强了数据读取的灵活性。
  • 支持占位符替换:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。
  • 新增远程主机验证选项:FTP 数据通道新增远程主机验证选项,增强了安全性。
  • 优化变量处理的健壮性:改进了stop-seatunnel-cluster.sh脚本中变量处理的健壮性。
  • 移除无用配置项:删除了 Iceberg Sink 中无用的iceberg.table.config配置项。
  • 优化 JDBC 方言选择逻辑:提升了 JDBC 连接器的兼容性。
  • 支持定义 Sink 列类型:Transform 支持定义 Sink 列类型,增强了数据转换能力。
  • 支持 SQL Transform 中的布尔类型:提升了 SQL 转换的表达能力。
  • 支持 Iceberg Source 中的过滤条件:增强了数据读取的灵活性。
  • 支持源/汇状态类的 serialVersionUID 检查脚本:提升了状态管理的可靠性。
  • 支持 Web UI 的基本认证:增强了 Web UI 的安全性。
  • 支持 Rest-API v2 的 HTTPS 协议:提升了 API 通信的安全性。
  • 新增任务运行管理页面的异常信息格式化:优化了异常信息的展示。
  • 优化 JDBC 的字符集分割算法:提升了数据读取的准确性。
  • 新增 row_delimiter
     选项:Text File Sink 新增 row_delimiter 选项,增强了文件写入的灵活性。




Bug修复




    • 修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。

    • 修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。

    • 修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。

    • 修复 Hive 客户端线程不安全的问题:提升了多线程环境下的可靠性。

    • 修复 OceanBase MySQL JDBC Sink 创建语句错误的问题:增强了兼容性。

    • 修复 Kafka 枚举器分配分片时的空指针异常:提升了数据读取的稳定性。

    • 修复 JSON 输出中科学计数法表示的十进制数问题:确保了数据的准确性。

    • 修复 Parquet Int32 转换错误的问题:提升了数据类型处理的准确性。

    • 修复 CSV 格式分隔符的问题:增强了文件解析的稳定性。

    • 修复 MaxCompute Sink 写入日期小于实际日期的问题:确保了数据写入的准确性。

    • 修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题:提升了数据类型兼容性。

    • 修复 Elasticsearch 添加列事件的问题:增强了数据同步的稳定性。

    • 修复 SQL Server 在数据库名称包含点时创建表的问题:提升了数据库兼容性。

    • 修复 DateUtils 无法解析带本地时区的日期时间字符串的问题:确保了时间解析的准确性。

    • 修复 JDBC 默认连接参数无效的问题:增强了连接配置的可靠性。

    • 修复 Redis 写入失败但任务未失败的问题:提升了错误处理的准确性。




      文档更新




      • 新增中文文档

        • MySQL-CDC Connector
        • MongoDB-CDC Connector
        • HiveJdbc Connector
        • Jira Connector
        • Cloudberry Connector
        • GitHub Connector
      • 文档格式与内容优化

        • 修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。
        • 调整了 explode
            trim
           系列 SQL 函数的描述,提升了文档的准确性。
        • 更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。
        • 修复了死链接,提升了文档的可用性。




      致谢贡献者




      感谢@zhangshenghang对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):

      也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!




      获取方式




      • 镜像下载:https://seatunnel.apache.org/download
      • GitHub Release 页面:https://github.com/apache/seatunnel/releases/tag/2.3.11
      • Maven 依赖更新:https://search.maven.org/search?q=org.apache.seatunnel

      Apache SeaTunnel

      Apache SeaTunnel是一个云原生的高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。




      同步Demo

      MySQL→Doris | MySQLCDC | MySQL→Hive | HTTP → Doris  | HTTP → MySQL | MySQL→StarRocks|MySQL→Elasticsearch |Kafka→ClickHouse

      新手入门

      SeaTunnel 让数据集成变得 So easy!3 分钟入门指南
       0 到 1 快速入门 /初探/深入理解 
        分布式集群部署 | CDC数据同步管道 | Oracle-CDC

      最佳实践

      OPPO | 清风|天翼云|马蜂窝|孩子王|哔哩哔哩|唯品会|众安保险|兆原数通 | 亚信科技|映客|翼康济世|信也科技|华润置地|Shopee|京东科技|58同城|互联网银行|JPMorgan

      测试报告

      SeaTunnel VS GLUE |  VS Airbyte |  VS DataX|SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

      源码解析

      Zeta引擎源码解析(一) |(二) |(三)| API 源码解析 |2.1.1源码解析|封装 Flink 连接数据库解析



      Apache SeaTunnel





      Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台

      仓库地址: 
      https://github.com/apache/seatunnel
      网址:
      https://seatunnel.apache.org/
      Apache SeaTunnel 下载地址:
      https://seatunnel.apache.org/download
      衷心欢迎更多人加入!
      我们相信,在Community Over Code(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
      我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
      提交问题和建议:
      https://github.com/apache/seatunnel/issues
      贡献代码:
      https://github.com/apache/seatunnel/pulls
      订阅社区开发邮件列表 : 
      dev-subscribe@seatunnel.apache.org
      开发邮件列表:
      dev@seatunnel.apache.org
      加入 Slack:
      https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
      关注 Twitter: 
      https://twitter.com/ASFSeaTunnel


      文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

      评论