SeaTunnel 社区月报
2025-03期
“ 各位热爱 Apache SeaTunnel 的小伙伴们,SeaTunnel 社区3月份月报来啦!”
刚加入社区的小伙伴们注意了!Apache SeaTunnel 正在迅猛发展,加入我们一起参与贡献,这将有利于提升数据同步的高可扩展性、高性能及高可靠性。
SeaTunnel Monthly Merge Stars
感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):

主仓库修复和改进
修复内容
apache/seatunnel
fix
【[Doc][Fix]】修复 DB2.md 中“数据类型映射”部分的 Markdown 格式问题 #9062 @MyeoungDev 【[Fix][Connector-Redis]】Redis 写入失败但任务未报错的问题修复 #9055 @lm-ylj 【[Fix][Connector-V2]】为 KafkaSource 读取器缓存队列指定大小 #9041 @JesseAtSZ 【[Fix]】修复失效链接 #9023 @Hisoka-X 【[Fix][Paimon]】自动建表时 nullable 和 comment 属性丢失的问题修复 #9020 @hawk9821 【[Fix][Doc]】修复文档中死链 #9016 @mattheliu 【[Hotfix][Jdbc]】修复 MySQL 中 tinyint(1) 类型的映射问题 #9012 @hailin0 【[Fix][CI]】变更日志中忽略提交链接的死链检测 #9001 @Hisoka-X 【[Fix][Connector-V2]】修复 MaxCompute Sink 写入日期比实际日期小的问题 #8999 @Hisoka-X 【[Fix][Core]】修复取消 pending 状态任务的问题 #8993 @zhangshenghang 【[Fix][Connector-V2]】修复 StarRocksCatalogTest#testCatalog() 空指针异常 #8987 @xiaochen-zhou 【[Fix][Connector-JDBC]】修复数据源连接时 JDBC 驱动选择问题 #8986 @jinkachy 【[Fix][Connector-V2]】修复文本文件读取分隔符问题 #8970 @corgy-w 【[Fix][CI]】更新 known-dependencies.txt 修复 CI #8947 @Hisoka-X 【[Fix][Doc]】修复 JDBC 文档中的参数错误 #8943 @souraOP 【[Fix][Command]】修复 Windows 上启用 fileAppender 时日志文件未生成的问题 #8938 @FrommyMind 【[Fix][Connector-V2]】MilvusSourceReader 状态加载检查支持分区级别状态 #8937 @xiaochen-zhou 【[Fix][Doc]】修复 S3 文件文档与代码不一致的问题 #8926 @litiliu 【[Fix][File]】改为使用 common-csv 读取 CSV 文件 #8919 @litiliu 【[Fix][Clickhouse]】并行处理导致数据重复问题修复 #8916 @FrommyMind 【[Fix][Connector-V2]】修复 MaxCompute 读取时使用分区规范的问题 #8896 @Hisoka-X 【[Fix][Connector-V2]】修复某些场景下错误设置 S3 key 的问题 #8885 @Hisoka-X 【[Fix]】更新 reload4j 版本到 1.7.36 #8883 @litiliu 【[hotfix][redis]】修复 Redis host 参数为 null 时引发的空指针异常 #8881 @fcb-xiaobo 【[Fix][Core]】修复 seatunnel-cluster.cmd 中 --role 参数不生效问题 #8877 @xiaochen-zhou 【[Fix][Mongo-cdc]】当 resume token 过期时回退为 timestamp 启动模式 #8754 @jw-itq 【[Fix][JDBC]】修复 JDBC 默认连接参数无效的问题 #8185 @Carl-Zhou-CN
improve
【[Improve][Checkpoint]】在 Sink 状态类中使用固定的 serialVersionUID #9079 @hailin0
【[Improve][Sql]】支持在 case-when 条件中使用布尔字段 #9073 @hailin0
【[Feature][File]】支持提取字段顺序不同的 CSV 文件 #9064 @litiliu
【[Feature]】版本更新:从 2.3.10 升级至 2.3.11 #9058 @zhangshenghang
【[Improve][Doc]】优化 changelog 生成工具,忽略无效提交 #9035 @Hisoka-X
【[Revert]】回滚“[improve]更新 localfile connector 配置” #9018 @hailin0
【[Improve][File]】Text 文件 Sink 支持 row_delimiter 选项 #9017 @hailin0
【[Improve][Jdbc]】将 sap-hana 驱动从 2.14.7 升级到 2.23.10 #9013 @hailin0
【[Feature][Zeta]】支持为 REST API V2 启用 HTTPS 协议 #9010 @zhangshenghang
【[Feature][E2E]】新增 Helm 测试用例 #9006 @prclin
【[improve]】更新 Web3j connector 的配置项说明 #9005 @akulabs8
【[Improve][Zeta]】每分钟检查一次日志文件句柄是否关闭 #9003 @hailin0
【[Feature][Jdbc]】新增基于字符集的字符串字段分片算法 #9002 @jinkachy
【[Improve]】更新 Node.js 版本以修复 CI 问题 #8991 @Hisoka-X
【[Improve]】重构文件枚举器,避免重复添加分片任务 #8989 @Hisoka-X
【Improve】【Zeta】移除任务取消时产生的误导性异常日志#8988 @Hisoka-X
【Feature】【Connector】新增对 Apache Cloudberry 的支持#8985 @jinkachy
【Improve】优化 Email Connector 配置项#8983 @xdu-chenrj
【Improve】更新 core label 的 label-scope-conf.yml 配置#8979 @Hisoka-X
【Improve】【Core】支持将带引号内容解析为 key#8975 @Hisoka-X
【Improve】优化 HTTP Connector 配置项#8969 @liunaijie
【Improve】优化 Iceberg 配置项]#8967 @liunaijie
【Improve】优化 InfluxDB 配置项#8966 @liunaijie
【Improve】优化 IoTDB 配置项#8965 @liunaijie
【Feature】【Connector-V2】Paimon 支持 BETWEEN 条件下推#8962 @xiaochen-zhou
【Improve】【Shade】统一 Shade 模块的命名#8960 @joyCurry30
【Improve】【Connector-V2】保证 FTP Connector 在目录操作时的稳定性#8959 @corgy-w
【Improve】【Deploy】优化 Helm Chart 配置#8954 @prclin
【Improve】优化 Hudi 配置项#8952 @liunaijie
【Improve】优化 EasySearch 配置项#8951 @liunaijie
【Improve】优化 Fake Source 配置项#8950 @liunaijie
【Improve】【Doc】新增 Connector 提交历史文档自动生成功能#8948 @Hisoka-X
【Improve】【Doc】翻译与 FtpFile 相关的中文文档#8944 @GoldWaterFall
【Feature】【JDBC】支持 SQLServer 的 Sink 端 DDL 功能 #8936 @Aiden-Rose
【Improve】【E2E】【Connector-V2】【CDC Oracle】OracleContainer 支持 ARM 架构镜像#8925 @screnwei
【Improve】优化 HBase 配置项#8923 @liunaijie
【Improve】优化 Google Sheets 配置项#8922 @liunaijie
【Improve】优化 FileStore 配置项#8921 @liunaijie
【Improve】【Oracle-CDC】支持 ReadOnlyLogWriterFlushStrategy#8912 @hailin0
【Improve】【CDC】在快照阶段过滤 DDL 语句#8911 @hailin0
【Improve】【CDC】提取重复代码#8906 @hailin0
【Improve】【Connector-V2】支持随机选择可连接的 StarRocks FE 地址#8898 @xiaochen-zhou
【Feature】【Elasticsearch-Connector】支持 Elasticsearch SQL Source#8895 @CosmosNi
【Feature】【Paimon】支持自定义 Hadoop 用户#8888 @hawk9821
【Improve】MongoDB Sink 支持 schema 非必需#8887 @uniding
【Feature】【Connector-V2】Paimon Connector 支持 Time 类型#8880 @xiaochen-zhou
【Improve】【Connector-File-Base】优化多表文件源子任务的分配算法#8878 @JeremyXin
【Improve】【Connector-Hive】优化 Hive 文件分配算法#8876 @JeremyXin
【Improve】优化 TaskLocation/TaskLocationGroup 信息结构#8862 @liunaijie
【Improve】【Connector-V2】RocketMQ Source 新增消息 Tag 配置#8825 @wuchunfu
【Feature】【Connector-V2】新增 Aerospike Sink Connector#8821 @zax1314157
【Feature】【Connector-V2】支持多个 StarRocks Source#8789 @xiaochen-zhou
【Improve】更新 LocalFile Connector 配置#8765 @misi1987107
【Feature】【Kafka】支持以原生格式读写 Kafka Record#8724 @CosmosNi
Others
【Doc】更新 Changelog#9071 @zhangshenghang 【Doc】修复中文文档中 classloader-cache-mode 默认值描述错误的问题 #9068 @haocheni 【Doc】修复失效链接#9053 @kartikkudada 【Doc】修复示例错误#8905 @hailin0
apache/seatunnel-website
Fix
【Fix】【Doc】配置中需包含 columnName 选项#365 @Shlpeng
Improve
【Improve】更新 Connector 变更日志的发布指南#366 @Hisoka-X
Others
【Release】【2.3.10】更新网站文档内容#371 @zhangshenghang 【Docs】移除 Algolia,新增本地搜索插件#365 @baicie

活动推荐

本次Meetup分享基于Apache SeaTunnel的二次开发,重点针对复杂数据处理场景中的功能短板进行了系统性增强,在保持原有架构优势的基础上,深度优化了数据处理全链路能力。
Apache SeaTunnel
Apache SeaTunnel是一个云原生的高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。
同步Demo
新手入门

最佳实践

测试报

源码解析
Apache SeaTunnel




