暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

11月 | Apache SeaTunnel月度进展总结

SeaTunnel 2024-12-05
144

点击蓝字

关注我们

各位热爱 Apache SeaTunnel 的小伙伴们,社区10月份月报更新啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!


1




月度Merge之星

感谢以下小伙伴 11 月份为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):


2




apache/seatunnel仓库


fix


  • [Fix][Doc]修复备份计数配置 @corgy-w

  • [Fix][Doc]修复了无法访问的链接 @corgy-w

  • [hotfix][gbase]修复gbase驱动链接 @zhangshenghang

  • [fix]修复获取作业指标时出现的NPE问题 @liunaijie

  • [Hotfix][Transforms-v2]动态编译插件兼容性修复 @hawk9821

  • [Fix][CI]耗时的模块优化 @hawk9821

  • [Hotfix][Docs]修正FAQ文档中的错误 @davidzollo

  • [hotfix][connector-v2][hive]修复Hive3端到端依赖项 @zhangshenghang

  • [Bug][connectors-v2]修复 MongoDB BSON 转换异常 @hawk9821

  • [Fix][API]修复列长度不能过长的问题 @Hisoka-X

  • [Fix][CI]修复计划测试被取消的功能 @Hisoka-X

  • [Hotfix][E2E]修复OracleCDCIT编译错误 @hailin0

  • [Fix][Connecotr-V2]修复 ClickHouse Sink 不支持复合主键的问题 @eyys

  • [Fix][Doc]修复 Redis 中文文档中 key 描述错误 @lm-ylj

  • [Hotfix][Zeta]修复hadoop-aws和hive-exec中guava的依赖冲突 @dailai

  • [Fix][Zeta]移除重复的 LIFECYCLE_WRITER_CLOSE 事件 @Hisoka-X

  • [Fix][Zeta]修复作业客户端即使作业已完成也会打印错误消息的问题 @Hisoka-X

  • [Fix][Doc]修复 Klaviyo 文档中的 404 链接问题 @YOMO-Lee

  • [Fix][Zeta]修复在恢复一个管道时再次应用资源以用于另一个管道的问题 @zhangshenghang

  • [Bug][Connector-v2]MongoDB CDC 设置 SeatunnelRow 的 tableId @hawk9821

  • [Fix][Kafka]在Kafka流模式下,无法读取增量数据。关于Apache SeaTunnel的特定修复和功能,请保持原样:- Fix in kafka streaming mode cannot read incremental data @Carl-Zhou-CN


improve

  • [Improve][Connector-V2]保存数据时,如果模式保存模式创建了新表,则执行数据保存操作。 @zhangshenghang
  • [Improve]删除未使用的代码 @hailin0
  • [Improve][Connector-V2]在多表Sink错误时添加表信息。 @Hisoka-X
  • [improve][connector-v2][kafka-connector]添加Kafka Kerberos认证的端到端代码 @zhangshenghang
  • [Improve][Jdbc]改进DDL写验证 @hailin0
  • [Improve][Connector-V2]添加表启用CDC的预检查 @Hisoka-X
  • [Improve][Connector-V2]减少Iceberg加载表的请求数量 @Hisoka-X
  • [Improve][Kafka]支持自定义主题以兼容 Debezium 格式 @hailin0
  • [Improve][doc]添加文档名称检查 @zhangshenghang
  • [Improve][dist]添加阴影检查规则 @hawk9821
  • [Improve][Jdbc]重构DDL更改 @hailin0
  • [Feature][Jdbc]添加Jdbc默认方言以支持所有没有方言的JDBC系列数据库。 @sunxiaojian
  • [Improve][Excel]支持读取空字符串并自动类型转换 @hailin0
  • [Feature][File]支持文本文件读取的配置为空格式 @hailin0
  • [Feature][E2E][Kerberos]端到端支持Kerberos @zhangshenghang
  • [Improve][API]统一tables_configs和table_list @hawk9821
  • [Improve]允许SeaTunnelRowType转换为Column时可以为null @hailin0
  • [Feature][Iceberg]支持为 sink savemode 自定义删除 SQL @hailin0
  • [Improve][Doc]在客户端配置JVM选项方式修改@Hisoka-X
  • [Improve][Connector-V2]修复 SqlServer cdc 内存泄漏 @Hisoka-X
  • [Improve][E2E]改进Druid端到端案例 @hawk9821
  • [Improve][Zeta]修复了与CI期间日志删除相关的问题。 @corgy-w
  • [Feature][Core]将 result_table_name/source_table_name 重命名为 plugin_input/plugin_output @hailin0
  • [Improve][Transform]优化转换结构 @corgy-w
  • [Improve][Zeta]移除默认的JVM内存选项 @Hisoka-X
  • [Improve][POM]将maven-shade-plugin的版本升级到3.4.1 @dailai
  • [Improve]改进 AlterTableSchemaEventHandler@hailin0
  • [Feature][Connector-v2]支持Paimon连接器的S3文件系统 @dailai
  • [Feature][E2E]添加端到端测试案例时间分析 @hawk9821
  • [Feature][Connectors]本地文件支持读取.gz文件。 @zhdech
  • [Improve][Connector-V2]改进 MySQL-JDBC 中的列插入后的模式演化 @jw-itq
  • [Feature][Transform]SQL转换支持数组和分割函数。 @CosmosNi
  • [Feature][E2E]添加Hive3端到端测试案例 @zhangshenghang
  • [Feature][RestAPI]支持使用 SeaTunnel 风格的 HOCON 格式配置提交作业。 @CosmosNi
  • [Improve][CI]优化持续集成的时间成本 @Hisoka-X
  • [Improve][Connector-V2]RocketMQ Sink 添加消息标签配置 @wengys
  • [Feature] [Connector-Redis]Redis连接器支持删除数据。 @lm-ylj
  • [Feature][Zeta]在作业提交到master时增加jar路径预检查。 @zhangshenghang
  • [Feature][transform]转换支持爆炸 @CosmosNi
  • [Feature][Connector-v2]支持Oracle连接器的模式演变 @dailai
  • [Feature][Transform-v2]添加元数据转换功能 @hawk9821
  • [Feature][Connector-V2]Jdbc 分块拆分添加快照拆分列配置 #7794 @XenosK
  • [Feature][Zeta]支持定期删除日志 @corgy-w
  • [Improve][Transform]自动使用 JSONPath 转换标记列长度 @hailin0
  • [Feature][Transform-V2]支持多表转换 @Hisoka-X
  • [Feature][Core]支持zeta的cdc任务DDL恢复功能 @hailin0


others

  • [doc][connector][hive]添加Hive中文文档 @zhangshenghang
  • [Doc][Format]添加protobuf文档 @zhangshenghang


3




apache/seatunnel-website仓库


improve

  • [Improve]将公告栏更改为添加星号 @Hisoka-X


others

  • 修复关于.md中的翻译错误 @XuyiK
  • 更新 jdbc-mysql.md @a110q


4




apache/seatunnel-web仓库


fix

  • [Bug] [Seatunnel-web]未找到配置设置键 'where_c…ondition' 的配置。 @arshadmohammad
  • [Addendum][Bug] [Seatunnel-web]当条件列未在SE中使用时出现错误 @BilwaST
  • [Bug] [Seatunnel-web]当条件列未在SE...中使用时出现错误 @BilwaST
  • [Bug][Seatunnel-web]修复Oracle JDBC获取表字段的问题 @shashwatsai

讲师招募中!


📣📣Apache SeaTunnel社区Meetup招募讲师进行中!欢迎来SeaTunnel社区组织的线上或线下活动分享你的经验,获得精美礼品和讲师证书!


🔮🔮速戳链接或扫码报名:http://whaleops.mikecrm.com/nnueRr0




Apache SeaTunnel





Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台

仓库地址: 
https://github.com/apache/seatunnel

网址:
https://seatunnel.apache.org/

Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
 
衷心欢迎更多人加入!

我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!

提交问题和建议:
https://github.com/apache/seatunnel/issues

贡献代码:
https://github.com/apache/seatunnel/pulls

订阅社区开发邮件列表 : 
dev-subscribe@seatunnel.apache.org

开发邮件列表:
dev@seatunnel.apache.org

加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ

关注 Twitter: 
https://twitter.com/ASFSeaTunnel

精彩推荐




高效处理日均5000亿+数据:58集团基于SeaTunnel的数据集成平台架构优化




讲师招募 | Apache SeaTunnel Meetup 等你来秀!




VTS:基于Apache SeaTunnel的开源向量数据迁移工具



点击阅读原文了解更多⭐️!

文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论