暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Apache SeaTunnel 2025年3月份社区月度报告新鲜出炉!

SeaTunnel 2025-04-22
214

SeaTunnel 社区月报

2025-03期

“ 各位热爱 Apache SeaTunnel 的小伙伴们,SeaTunnel 社区3月份月报来啦!”

刚加入社区的小伙伴们注意了!Apache SeaTunnel 正在迅猛发展,加入我们一起参与贡献,这将有利于提升数据同步的高可扩展性、高性能及高可靠性。

SeaTunnel Monthly Merge Stars

感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):

@prclin
@CosmosNi
@JeremyXin
@hawk9821
@MyeoungDev
@JesseAtSZ
@fcb-xiaobo
@souraOP
@hailin0
@litiliu
@misi1987107
@akulabs8
@GoldWaterFall
@Shlpeng
@liunaijie
@xdu-chenrj
@Carl-Zhou-CN
@Hisoka-X
@corgy-w
@lm-ylj
@zhangshenghang
@kartikkudada
@FrommyMind
@jinkachy
@uniding
@jw-itq
@screnwei
@haocheni
@baicie
@wuchunfu
@zax1314157
@Aiden-Rose
@mattheliu
@xiaochen-zhou
@joyCurry30

主仓库修复和改进

修复内容

apache/seatunnel

fix

  • 【[Doc][Fix]】修复 DB2.md 中“数据类型映射”部分的 Markdown 格式问题 #9062 @MyeoungDev
  • 【[Fix][Connector-Redis]】Redis 写入失败但任务未报错的问题修复 #9055 @lm-ylj
  • 【[Fix][Connector-V2]】为 KafkaSource 读取器缓存队列指定大小 #9041 @JesseAtSZ
  • 【[Fix]】修复失效链接 #9023 @Hisoka-X
  • 【[Fix][Paimon]】自动建表时 nullable 和 comment 属性丢失的问题修复 #9020 @hawk9821
  • 【[Fix][Doc]】修复文档中死链 #9016 @mattheliu
  • 【[Hotfix][Jdbc]】修复 MySQL 中 tinyint(1) 类型的映射问题 #9012 @hailin0
  • 【[Fix][CI]】变更日志中忽略提交链接的死链检测 #9001 @Hisoka-X
  • 【[Fix][Connector-V2]】修复 MaxCompute Sink 写入日期比实际日期小的问题 #8999 @Hisoka-X
  • 【[Fix][Core]】修复取消 pending 状态任务的问题 #8993 @zhangshenghang
  • 【[Fix][Connector-V2]】修复 StarRocksCatalogTest#testCatalog() 空指针异常 #8987 @xiaochen-zhou
  • 【[Fix][Connector-JDBC]】修复数据源连接时 JDBC 驱动选择问题 #8986 @jinkachy
  • 【[Fix][Connector-V2]】修复文本文件读取分隔符问题 #8970 @corgy-w
  • 【[Fix][CI]】更新 known-dependencies.txt 修复 CI #8947 @Hisoka-X
  • 【[Fix][Doc]】修复 JDBC 文档中的参数错误 #8943 @souraOP
  • 【[Fix][Command]】修复 Windows 上启用 fileAppender 时日志文件未生成的问题 #8938 @FrommyMind
  • 【[Fix][Connector-V2]】MilvusSourceReader 状态加载检查支持分区级别状态 #8937 @xiaochen-zhou
  • 【[Fix][Doc]】修复 S3 文件文档与代码不一致的问题 #8926 @litiliu
  • 【[Fix][File]】改为使用 common-csv 读取 CSV 文件 #8919 @litiliu
  • 【[Fix][Clickhouse]】并行处理导致数据重复问题修复 #8916 @FrommyMind
  • 【[Fix][Connector-V2]】修复 MaxCompute 读取时使用分区规范的问题 #8896 @Hisoka-X
  • 【[Fix][Connector-V2]】修复某些场景下错误设置 S3 key 的问题 #8885 @Hisoka-X
  • 【[Fix]】更新 reload4j 版本到 1.7.36 #8883 @litiliu
  • 【[hotfix][redis]】修复 Redis host 参数为 null 时引发的空指针异常 #8881 @fcb-xiaobo
  • 【[Fix][Core]】修复 seatunnel-cluster.cmd 中 --role 参数不生效问题 #8877 @xiaochen-zhou
  • 【[Fix][Mongo-cdc]】当 resume token 过期时回退为 timestamp 启动模式 #8754 @jw-itq
  • 【[Fix][JDBC]】修复 JDBC 默认连接参数无效的问题 #8185 @Carl-Zhou-CN

improve

  • 【[Improve][Checkpoint]】在 Sink 状态类中使用固定的 serialVersionUID #9079 @hailin0

  • 【[Improve][Sql]】支持在 case-when 条件中使用布尔字段 #9073 @hailin0

  • 【[Feature][File]】支持提取字段顺序不同的 CSV 文件 #9064 @litiliu

  • 【[Feature]】版本更新:从 2.3.10 升级至 2.3.11 #9058 @zhangshenghang

  • 【[Improve][Doc]】优化 changelog 生成工具,忽略无效提交 #9035 @Hisoka-X

  • 【[Revert]】回滚“[improve]更新 localfile connector 配置” #9018 @hailin0

  • 【[Improve][File]】Text 文件 Sink 支持 row_delimiter 选项 #9017 @hailin0

  • 【[Improve][Jdbc]】将 sap-hana 驱动从 2.14.7 升级到 2.23.10 #9013 @hailin0

  • 【[Feature][Zeta]】支持为 REST API V2 启用 HTTPS 协议 #9010 @zhangshenghang

  • 【[Feature][E2E]】新增 Helm 测试用例 #9006 @prclin

  • 【[improve]】更新 Web3j connector 的配置项说明 #9005 @akulabs8

  • 【[Improve][Zeta]】每分钟检查一次日志文件句柄是否关闭 #9003 @hailin0

  • 【[Feature][Jdbc]】新增基于字符集的字符串字段分片算法 #9002 @jinkachy

  • 【[Improve]】更新 Node.js 版本以修复 CI 问题 #8991 @Hisoka-X

  • 【[Improve]】重构文件枚举器,避免重复添加分片任务 #8989 @Hisoka-X

  • 【Improve】【Zeta】移除任务取消时产生的误导性异常日志#8988 @Hisoka-X

  • 【Feature】【Connector】新增对 Apache Cloudberry 的支持#8985 @jinkachy

  • 【Improve】优化 Email Connector 配置项#8983 @xdu-chenrj

  • 【Improve】更新 core label 的 label-scope-conf.yml 配置#8979 @Hisoka-X

  • 【Improve】【Core】支持将带引号内容解析为 key#8975 @Hisoka-X

  • 【Improve】优化 HTTP Connector 配置项#8969 @liunaijie

  • 【Improve】优化 Iceberg 配置项]#8967 @liunaijie

  • 【Improve】优化 InfluxDB 配置项#8966 @liunaijie

  • 【Improve】优化 IoTDB 配置项#8965 @liunaijie

  • 【Feature】【Connector-V2】Paimon 支持 BETWEEN 条件下推#8962 @xiaochen-zhou

  • 【Improve】【Shade】统一 Shade 模块的命名#8960 @joyCurry30

  • 【Improve】【Connector-V2】保证 FTP Connector 在目录操作时的稳定性#8959 @corgy-w

  • 【Improve】【Deploy】优化 Helm Chart 配置#8954 @prclin

  • 【Improve】优化 Hudi 配置项#8952 @liunaijie

  • 【Improve】优化 EasySearch 配置项#8951 @liunaijie

  • 【Improve】优化 Fake Source 配置项#8950 @liunaijie

  • 【Improve】【Doc】新增 Connector 提交历史文档自动生成功能#8948 @Hisoka-X

  • 【Improve】【Doc】翻译与 FtpFile 相关的中文文档#8944 @GoldWaterFall

  • 【Feature】【JDBC】支持 SQLServer 的 Sink 端 DDL 功能 #8936 @Aiden-Rose

  • 【Improve】【E2E】【Connector-V2】【CDC Oracle】OracleContainer 支持 ARM 架构镜像#8925 @screnwei

  • 【Improve】优化 HBase 配置项#8923 @liunaijie

  • 【Improve】优化 Google Sheets 配置项#8922 @liunaijie

  • 【Improve】优化 FileStore 配置项#8921 @liunaijie

  • 【Improve】【Oracle-CDC】支持 ReadOnlyLogWriterFlushStrategy#8912 @hailin0

  • 【Improve】【CDC】在快照阶段过滤 DDL 语句#8911 @hailin0

  • 【Improve】【CDC】提取重复代码#8906 @hailin0

  • 【Improve】【Connector-V2】支持随机选择可连接的 StarRocks FE 地址#8898 @xiaochen-zhou

  • 【Feature】【Elasticsearch-Connector】支持 Elasticsearch SQL Source#8895 @CosmosNi

  • 【Feature】【Paimon】支持自定义 Hadoop 用户#8888 @hawk9821

  • 【Improve】MongoDB Sink 支持 schema 非必需#8887 @uniding

  • 【Feature】【Connector-V2】Paimon Connector 支持 Time 类型#8880 @xiaochen-zhou

  • 【Improve】【Connector-File-Base】优化多表文件源子任务的分配算法#8878 @JeremyXin

  • 【Improve】【Connector-Hive】优化 Hive 文件分配算法#8876 @JeremyXin

  • 【Improve】优化 TaskLocation/TaskLocationGroup 信息结构#8862 @liunaijie

  • 【Improve】【Connector-V2】RocketMQ Source 新增消息 Tag 配置#8825 @wuchunfu

  • 【Feature】【Connector-V2】新增 Aerospike Sink Connector#8821 @zax1314157

  • 【Feature】【Connector-V2】支持多个 StarRocks Source#8789 @xiaochen-zhou

  • 【Improve】更新 LocalFile Connector 配置#8765 @misi1987107

  • 【Feature】【Kafka】支持以原生格式读写 Kafka Record#8724 @CosmosNi

Others

  • 【Doc】更新 Changelog#9071 @zhangshenghang
  • 【Doc】修复中文文档中 classloader-cache-mode 默认值描述错误的问题 #9068 @haocheni
  • 【Doc】修复失效链接#9053 @kartikkudada
  • 【Doc】修复示例错误#8905 @hailin0

apache/seatunnel-website

Fix

  • 【Fix】【Doc】配置中需包含 columnName 选项#365 @Shlpeng

Improve

  • 【Improve】更新 Connector 变更日志的发布指南#366 @Hisoka-X

Others

  • 【Release】【2.3.10】更新网站文档内容#371 @zhangshenghang
  • 【Docs】移除 Algolia,新增本地搜索插件#365 @baicie

活动推荐

本次Meetup分享基于Apache SeaTunnel的二次开发,重点针对复杂数据处理场景中的功能短板进行了系统性增强,在保持原有架构优势的基础上,深度优化了数据处理全链路能力。



Apache SeaTunnel

Apache SeaTunnel是一个云原生的高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。




同步Demo

MySQL→Doris | MySQLCDC | MySQL→Hive | HTTP → Doris  | HTTP → MySQL | MySQL→StarRocks|MySQL→Elasticsearch |Kafka→ClickHouse


新手入门

SeaTunnel 让数据集成变得 So easy!3 分钟入门指南
 0 到 1 快速入门 /初探/深入理解 
  分布式集群部署 | CDC数据同步管道 | Oracle-CDC

最佳实践

OPPO | 清风|天翼云|马蜂窝|孩子王|哔哩哔哩|唯品会|众安保险|兆原数通 | 亚信科技|映客|翼康济世|信也科技|华润置地|Shopee|京东科技|58同城|互联网银行|JPMorgan

测试报

SeaTunnel VS GLUE |  VS Airbyte |  VS DataX|SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

源码解析

Zeta引擎源码解析(一) |(二) |(三)| API 源码解析 |2.1.1源码解析|封装 Flink 连接数据库解析



Apache SeaTunnel





Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台

仓库地址: 
https://github.com/apache/seatunnel
网址:
https://seatunnel.apache.org/
Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在Community Over Code(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
提交问题和建议:
https://github.com/apache/seatunnel/issues
贡献代码:
https://github.com/apache/seatunnel/pulls
订阅社区开发邮件列表 : 
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
关注 Twitter: 
https://twitter.com/ASFSeaTunnel

文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论