暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 7-8月月报 | Apache SeaTunnel社区进展一览

7-8月月报 | Apache SeaTunnel社区进展一览

SeaTunnel 2024-09-04
168

点击蓝字

关注我们

各位热爱 Apache SeaTunnel 的小伙伴们，社区 7-8 月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。


1




Merge Star


感谢以下小伙伴上两个月为 Apache SeaTunnel 项目和社区发展所做的精彩贡献（排名不分先后）：

@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike2000,@loustler,@Carl-Zhou-CN,@wuchunfu,@Gxinge,@cl0924,@alextinng,@chl-wxp,@chenqianwen,@jackyyyyyssss,@yujian225,@virvle,@kevinjmh,@corgy-w,@baicie,@liunaijie,@hawk9821,@Anush008,@zhilinli123,@OswinWu,@zhangm365,@ISADBA,@luzongzhu,@tcodehuber,@liugddx,@litiliu,@dependabot[bot],@Thomas-HuWei,@Xuzhengz,@Wudadada,@MRYOG,@latch890727,@jw-itq,@BruceWong96,@panpan2019,@XIAOKUOAIyang,@cloud456,@hailin0,@Vonng,@zhangshenghang,@whhe,@dailai,@zqr10159,@SachinS10-lab,@EricJoy2048,@XenosK,@Asura7969,@zhouhoo,@chaos-cn,@FlechazoW,@asapekia,@BilwaST,@bingquanzhao,@FuYouJ,@Hisoka-X


2




apache/seatunnel仓库

修复

  • [Fix][E2E]将gbase驱动程序版本更改为解决证书过期问题 @hawk9821
  • [Hotfix][Connector-V2]修复了Paimon目标中decimal数据类型的小数精度问题 @dailai
  • [Fix][doc]修复失效链接 @corgy-w
  • [Hotfix][Connector-V2]修复ES中未插入null的问题 @corgy-w
  • [Fix][Core]修复当配置值为null时出现的NPE @hawk9821
  • [Fix][Connector-V2]修复jdbc查询sql无法获取表路径 @corgy-w
  • [Fix][Zeta]在多节点环境下，资源隔离的修复未起作用。 @chenqianwen
  • [Hotfix][Metrics]修复间歇性的多指标持续集成 @corgy-w
  • [Fixbug]Doris自定义SQL工作 @zhangshenghang
  • [Fix]修复seatunnel连接器列表URL中的死链 @Hisoka-X
  • [FIX][E2E]将OceanBase测试用例更新到最新的imageChange image @xxsc0529
  • [Fix][Seatunnel-core]修复Windows执行脚本中的语法错误 @cl0924
  • [Hotfix][MySQL-CDC]修正包名拼写错误 @ISADBA
  • [ Revert "[Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题("#7377") ]( https://github.com/apache/seatunnel/pull/7402 " Revert "[Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题("#7377") ") @Hisoka-X
  • [Hotfix][MySQL-CDC]修复MySQL二进制日志读取时的ArrayIndexOutOfBoundsException @hailin0
  • [Bugfix][Doris-connector]修复Json序列化问题，空值导致数据错误。 @liugddx
  • [Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题 @Hisoka-X
  • [Hotfix][Connector]修复JDBC编译错误 @hailin0
  • [Fix][Zeta]修复任务无法结束，原因可能是锁定度量失败 @Hisoka-X
  • [Fix]修复http e2e案例 @jackyyyyyssss
  • [Fix]修复Oracle示例数据中列错误 @Hisoka-X
  • [FIX][SFTP]修复sftp sink文档中的用户名参数错误 @wuchunfu
  • [Fix][Doris]修复CDC场景中数据删除的异常问题。 @liugddx
  • [Hotfix][Connector]修复Kafka消费者下一次启动时的日志偏移量 @hailin0
  • [Fix][Connector-V2][OceanBase]移除OceanBase目录对mysql驱动的依赖 @xxsc0529
  • [Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
  • [Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X
  • [Hotfix][Zeta]当系统繁忙时，无法停止修复任务 @hailin0
  • [Hotfix][Zeta]当系统繁忙时，无法停止修复任务 @hailin0
  • [Fix][Connector-V2]修复Doris TRANSFER_ENCODING头部错误 @liugddx
  • [Fix][Dist]在发布包中移除aws jar依赖 @Hisoka-X
  • [Hotfix][Zeta]修复任务组失败日志丢失 @EricJoy2048
  • [Fix][Zeta]修复发布槽资源两次 @Hisoka-X
  • [Fix][Zeta]在初始化时，混合部署模式无法获取工作节点 @Hisoka-X
  • [Fix][Connector kafka]修复Kafka消费者在TM节点重启后停止获取数据的问题 @litiliu
  • [Fix][E2E]修复类加载器数量 @jackyyyyyssss
  • [HotFix] [Remote Debug]描述 当远程调试启用时，Seatunel 服务器的5801端口未能正确监听 @hawk9821
  • [Fix][Connector-V2][Maxcompute]修复Maxcompute 沉淀无法映射字段的问题 @panpan2019
  • [Fix][Connector-V2]修复Hana类型转换器的十进制小数位数为0时转换为整数错误 @Hisoka-X
  • [Bugfix][RestApi]修复hazelcast/rest/maps/submit-job返回错误的jobId @liugddx
  • [hotfix][connector-v2-hbase]修复并优化HBase源问题 @zhangshenghang
  • [Fix][Connector-V2]修复Kafka批处理模式无法读取所有消息 @Hisoka-X
  • [Fix][Connector-V2][Elasticsearch]修复DROP_DATA数据sink配置 @Wudadada
  • [bugFix][Connector-V2][CDC]Apache SeaTunnelRowDebeziumDeserializationConverters NPE @Asura7969
  • [Hotfix][connector-v2-rabbit]修复Rabbit检查点异常在Flink模式下 @zhangshenghang
  • [Hotfix][Zeta]修复批量任务在重试后无法停止 @hailin0
  • [Hotfix][Hive Connector]修复Hive的hdfs-site.xml和hive-site.xml文件，以解决加载错误 @EricJoy2048
  • [Fix][Flink-starter]Apache SeaTunnel的Flink检查点默认值的热修复 @zhangshenghang
  • [Fix][Zeta]修复env jars在zeta上无法运行 @Hisoka-X
  • [fix] [connector-tdengine]在连接到Taos并读取数据时，解决SQL异常和并发修改异常 @alextinng

优化

  • [Improve][Connector-v2]在JDBC的executeBatch执行过程中发生异常时，即使在closeStatements中释放资源。 @dailai
  • [Improve][Connector-v2]支持MySQL 8.1/8.2/8.3的JDBC @dailai
  • [Feature][Core]为批处理开始和停止添加了rest-api @zhangshenghang
  • [Improve][Test]移除S3Utils中的无用代码。 @FlechazoW
  • [Improve][Document]修复paimon.apache.org死链 @FuYouJ
  • [Improve][Connector-V2]仿冒支持列配置 @corgy-w
  • [Feature][Core]为所有连接器添加事件通知 @zhangshenghang
  • [Improve][Connector-V2]移除硬编码的Iceberg表格式版本 @Hisoka-X
  • [Improve]更新Docker文档并构建标签 @Hisoka-X
  • [Feature][Connector-V2][Tablestore]支持Tablestore的Source连接器 #7448 @cloud456
  • [Improve]改进一些连接器，准备检查错误消息 @zhangshenghang
  • [Feature][Connector-V2]在jdbc中添加decimal_type_narrowing
    选项 @Hisoka-X
  • [Improve]添加了OSSFileCatalog及其工厂 @loustler
  • [Improve]重构S3FileCatalog及其工厂 @loustler
  • [Feature][Connector-V2]支持Typesense连接器 @zhangshenghang
  • [Improve][Connector-V2]更新向量类型 @corgy-w
  • [Improve][API]添加 IGNORE savemode 类型 @jw-itq
  • [Improve][API]将catalog open移动到SaveModeHandler @Hisoka-X
  • [Improve]将快照版本更新到2.3.8 @wuchunfu
  • [Feature][Connector-V2]支持opengauss-cdc @dailai
  • [Improve][Doc]更新文档结构 @Hisoka-X
  • [Feature][Connector-V2]假源支持生成向量数据 @corgy-w
  • [Improve][Connector-V2]移除系统表限制 @Hisoka-X
  • [Improve][Connector-V2]使用完毕后关闭所有ResultSet @Hisoka-X
  • [Improve][Document]更新指南并添加示例 @yujian225
  • [Improve]更新pull请求模板和github动作指南 @Hisoka-X
  • [Feature][Connector-V2][OceanBase]OceanBase上的支持向量类型 @xxsc0529
  • [Improve]在安装插件时，跳过下载传递依赖项 @kevinjmh
  • [Improve][Connector-V2]支持多表sink特性用于邮件 @corgy-w
  • [Improve][Document]在setup.md中更改废弃的连接器名称 @Hisoka-X
  • [Feature][Rabbitmq]允许配置队列持久性和删除策略 @zqr10159
  • [Feature][connector-v2]添加Kafka Protobuf数据解析支持 @zhangshenghang
  • [Improve][Connector]添加多表sink选项检查 @hailin0
  • [Improve][API]在发送到下游之前，请检查目录表字段名称是否合法 @Hisoka-X
  • [Improve][Connector-V2][Console]将现有规则添加到optionRule中 @chaos-cn
  • [Feature][Connector-V2]添加阿里云SLS连接器 #3733 @XenosK
  • [Feature]添加Dockerfile @liunaijie
  • [Improve][Connector-V2]优化 Doris 错误消息 @Hisoka-X
  • [Improve][Connector-V2]在StarRocksCatalog中重用连接 @Hisoka-X
  • [Feature][Zeta]增加了多表的其他度量信息 @corgy-w
  • [Improve][Connector-V2][Jdbc]移除JdbcDialect中的MysqlType引用 @whhe
  • [Improve][E2E]支持Paimon的端到端（e2e）中的Windows @hawk9821
  • [Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
  • [Improve][Jdbc]在创建表时合并用户配置主键 @hailin0
  • [Improve]将快照版本更新至2.3.7 @Hisoka-X
  • [Feature][Transform]添加LLM转换 @Hisoka-X
  • [Feature][Connector-V2]支持Qdrant沉淀和源连接器 @Anush008
  • [Improve][SQL-Transform]从输出字段中移除转义标识符 @hailin0
  • [Improvement]JDBC支持方言名称，用于选择方言。 @liunaijie
  • [Improve][Jdbc]在自动创建表时，跳过所有索引以提高写入性能 @dailai
  • [Feature][Transforms]SQL中将支持的cast到字节函数 @hailin0
  • [Feature][Spark]支持多表读取和写入 @Carl-Zhou-CN
  • [Improve]优化doris jar中的thrift shade包 @luzongzhu
  • [Improve][Core]基于插件名称改进查找策略基础 @corgy-w
  • [Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
  • [Feature][Jdbc]支持Hive兼容模式添加Inceptor方言 @Xuzhengz
  • [Improve][Connector-v2]优化数据库和表的存在性检查方式 @dailai
  • [Improve][API]确保TablePath中的表名不为null @Hisoka-X
  • [Feature] [Activemq]添加了activemq 沉淀 @asapekia
  • [Improve][Connector-v2]优化jdbc-oracle和oracle-cdc的计数表行 @dailai
  • [Improve][Zeta]处理用户隐私当提交任务打印配置日志时 @hawk9821
  • [Feature][Connector-V2][Iceberg]支持Iceberg Kerberos @luzongzhu
  • [Improve][Core]将MultiTableSink移至seatunnel-api模块 @Hisoka-X
  • [Improve][Connector-V2]为paimon字段添加可为空属性 @hawk9821
  • [Improve][Doris Connector]统一序列化方法，使用RowToJsonConverter和TextSerializationSchema @liugddx
  • [Feature]将转换拆分并移入连接器目录的jar包 @liunaijie
  • [Feature][Zeta]在多表模式下添加了表统计的度量信息 @hawk9821
  • [Improve][Hive]在出现异常时关闭资源 @hailin0
  • [Improve][Restapi]在监控信息中添加ip和端口 @liugddx
  • [Improve][CI]将milvus添加到标签 @Hisoka-X
  • [Improve]在无法解析datetime值时，改进错误消息 @Hisoka-X
  • [Feature][Connector-V2]支持选择在HTTP分页中开始的页面 @Gxinge
  • [Improve][Jdbc]在catalog-table选项中移除用户信息 @hailin0
  • [Improve][CI]添加自动标签动作 @Hisoka-X
  • [Feature][RestAPI]概览支持标签筛选 @liunaijie
  • [Feature][Transform]动态编译添加转换 @jackyyyyyssss
  • [Feature][Connector-V2]支持HBase的多表sink特性 @BruceWong96
  • [Improve][Jdbc]支持将Unicode文本写入SQLServer @hailin0
  • [Feature][Connector-V2][Milvus]支持Milvus数据源与sink @Thomas-HuWei
  • [Improve][connector-v2-jdbc-mysql]为MySQL 8.4添加支持 @wuchunfu
  • [Feature][Connector-V2][Clickhouse]将clickhouse.config添加到源连接器 @loustler
  • [Improve][Jdbc]将catalog table log更改为debug级别 @Hisoka-X
  • [Feature][Core]支持在sink选项中使用上游表占位符，并自动替换 @hailin0
  • [Feature][Core]为动态自定义参数添加一个测试案例 @liugddx
  • [feature][connector-v2-hbase-sink]支持Connector v2 HBasesink的TTL数据写入 @zhangshenghang
  • [Improve][Document]在Postgre-CDC.md文件中将Postgre修复为PostgreSQL @Vonng
  • [Improve]修复plugin_config
     @hailin0
  • [Feature] [Github CI]模块反复运行 @hawk9821
  • [Improve][Redis]关于Apache SeaTunnel的Redis读取器使用scan命令而非keys，单模式的读写支持批量操作。 @FuYouJ
  • [feature][connector-file-local]为localfile添加保存模式功能 @chl-wxp
  • [Improve][E2E][Doris]为连接器-doris-e2e添加无模式测试用例 @bingquanzhao
  • [Improve][Doc]优化钉钉文档 @MRYOG
  • [Improve][Zeta]在资源管理器上请求槽位时添加重试 @Hisoka-X
  • [Improve][Doc]将IMap OSS配置JAR文件添加到文档中 @zhouhoo
  • [ [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ]( https://github.com/apache/seatunnel/pull/7021 " [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ") @Hisoka-X
  • [Feature][Connector-V2]支持jdbc hana目录和类型转换器 @Hisoka-X
  • [Feature][Zeta]在Apache SeaTunnel中添加Master和Worker的分裂模式部署 @EricJoy2048
  • [Improve][Connector-V2]支持MySQL-CDC和MySQL-JDBC的模式演化 @dailai
  • [Improve][hbase]指定的列写入指定的列族 @zhilinli123
  • [Feature][connector][kafka]支持从kafka读取Maxwell格式消息 #4415 @zhilinli123
  • [Feature][Connector-V2] [Hudi]添加Hudi Sink连接器 @liugddx

其他事项

  • [Document]移除一个fs.oss.credentials.provider
    选项 @loustler
  • [Hotifx][Jdbc]修复MySQL不支持'ZEROFILL'列类型 @hailin0
  • [ASF]添加新合作者 @Hisoka-X
  • [Core][Flink]优化方法名称 @TyrantLucifer
  • [Core][Flink]重构 Flink 代理源/汇 @TyrantLucifer
  • [DOC][Oss]在选择oss作为检查点基础时，修正了文档配置的错误 @Carl-Zhou-CN
  • [E2E]启用JdbcPostgresIdentifierIT @hailin0
  • [E2E]启用Spark/Flink的fakesource端到端（E2E）功能 @hailin0
  • [E2E]移除未使用的代码 @hailin0
  • 将org.apache.activemq:activemq-client从5.14.5升级到5.15.16在/seatunnel-connectors-v2/connector-activemq中 @dependabot[bot]
  • 更新Oracle-CDC.md @virvle
  • [Docs]事件监听器文档翻译成中文 @OswinWu
  • [Chore][NOTICE]在NOTICE文件中更正年份 @wuchunfu
  • [Docs]更新与引擎相关的文档信息 @tcodehuber
  • [Doc]HDFS文件文档校正 @liunaijie
  • [E2E]修复Iceberg全链路图像标签 @hailin0
  • [Docs]更新贡献和readme相关的文档信息 @tcodehuber
  • [Docs]更新关于transform和faq相关文档信息 @tcodehuber
  • [Docs]更新概念相关的文档信息 @tcodehuber
  • [Docs]更新与快速启动v2相关的文档信息 @tcodehuber
  • 将org.xerial.snappy:snappy-java从1.1.8.3升级到1.1.10.4在/seatunnel-connectors-v2/connector-hudi中 @dependabot[bot]
  • [CI]修复k8s引擎，当仅更改测试用例时无法运行 @Hisoka-X
  • [Docs]更新rest-api文档 @liunaijie
  • [Chore]删除无用代码 @TyrantLucifer
  • [CI][Test]修复engine-k8s-it失败 @Hisoka-X
  • [typo]关于Apache SeaTunnel的提示：错误的拼写，保存模式执行位置 @liunaijie
  • [Doc]修正文档 @liunaijie
  • [Docs][connector-sink]添加 Docs 连接器 v2 沉淀 @zhangshenghang
  • [Docs]将clickhousefile,phoenix,rabbitmq,starrocks sink文档翻译成中文 @latch890727


3




apache/seatunnel-website仓库

修复

  • [Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
  • [Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X

其他

  • 新增提交者 @liunaijie
  • 添加发布文档2.3.7修复 @wuchunfu
  • 添加版本文档2.3.7 @wuchunfu
  • 还原旧版本文档 @Hisoka-X
  • 修复版本脚本 @baicie
  • 添加版本文档2.3.6 @Hisoka-X
  • 修复：同步图像 @baicie


4




apache/seatunnel-web仓库

修复

  • [Bug] [Seatunnel-web]Apache SeaTunnel的/seatunnel/api/v1/job/executor/resource API并未使用已登录用户。 @arshadmohammad
  • [Bug] [Seatunnel-web]当作业执行初始化失败时，作业执行状态保持不变。 @arshadmohammad
  • [Bug] [Seatunnel-web]如果不存在，则创建日志目录。 @arshadmohammad
  • [Bug] [Seatunnel-web]验证消息错误 @arshadmohammad
  • [Fix]修复运行时间计算，以考虑缺失的天数。 @XIAOKUOAIyang
  • [Bug][Seatunnel-web]JWT算法是硬编码的。使用配置的j... @BilwaST
  • [Bug] [Seatunnel-web]Apache SeaTunnel的seatunnel-web启动脚本和插件下载脚本默认没有执行权限 @arshadmohammad
  • [Bug] [Seatunnel-web]Seatunnel-web始终要求集群名称为seatunnel @arshadmohammad
  • [Bug] [Seatunnel-web]在logs目录之外创建了gc.log，nohup.out @arshadmohammad
  • [Improve][feature][Bug]在任务定义中添加提示框，并修复设计问题。 @SachinS10-lab

优化

  • [Improvement] [Seatunnel-web]改进DatasourceServiceImpl和SeaTunnelEngineMetricsExtractor等代码。 @arshadmohammad
  • [Improvement] [Seatunnel-web]添加API以获取和更新作业定义。 @arshadmohammad
  • [Improvement] [Seatunnel-web]添加API以获取作业执行状态。 @arshadmohammad
  • [Improvement] [Seatunnel-web]增加支持以提供作业失败的原因 @arshadmohammad
  • [Feature] [Seatunnel-web]通过API支持使用参数执行作业。 @arshadmohammad
  • [Improvement] [Seatunnel-web]将seatunnel版本从2.3.6升级到2.3.7 @arshadmohammad
  • [Feature][Seatunnel-web]增加对使用单一API创建作业的支持 @arshadmohammad
  • [Improvement][Seatunnel-web]执行作业REST API 应该是POST类型，而不是GET类型。 @arshadmohammad
  • [Improvement][Seatunnel-web]为seatunnel-web REST API添加端到端执行支持 @arshadmohammad
  • [Improvement][Seatunnel-web]将frontend-maven-plugin从1.11.3升级到1.15.0，同时将slf4j.version从1.7.25升级到1.7.36。 @arshadmohammad
  • [Feature][Seatunnel-web]将FakeSource和Console数据源添加到seatunnel-web中 @arshadmohammad
  • [Improve] [Seatunnel-Web]在Seatunnel-Web中添加对Seatunnel 2.3.6的支持 @arshadmohammad

其他事项

  • [Chore]代码整洁 @ZhangWeike2000
  • [Build]将快照版本更新至1.0.2 @Hisoka-X
  • [ 撤销"为修复seatunnel.sh命令更新README.md" ]( https://github.com/apache/seatunnel-web/pull/175 " 撤销"为修复seatunnel.sh命令更新README.md" ") @Hisoka-X
  • 更新.asf.yaml @Hisoka-X
  • 更新README.md以修复seatunnel.sh命令 @zhangm365
  • 添加图标 @liunaijie

Attention！


📣📣Apache SeaTunnel 社区Meetup招募讲师进行中！欢迎来SeaTunnel社区组织的线上或线下活动分享你的经验，获得精美礼品和讲师证书！


🔮🔮速戳链接或扫码报名：http://whaleops.mikecrm.com/nnueRr0




Apache SeaTunnel





Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

仓库地址： 
https://github.com/apache/seatunnel

网址：
https://seatunnel.apache.org/

Apache SeaTunnel 下载地址：
https://seatunnel.apache.org/download
 
衷心欢迎更多人加入！

我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！


我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：
https://github.com/apache/seatunnel/issues

贡献代码：
https://github.com/apache/seatunnel/pulls

订阅社区开发邮件列表 : 
dev-subscribe@seatunnel.apache.org

开发邮件列表：
dev@seatunnel.apache.org

加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ

关注 Twitter: 
https://twitter.com/ASFSeaTunnel

精彩推荐




Apache SeaTunnel 2.3.7发布：全新支持大型语言模型数据转换




精彩回顾 | Apache SeaTunnel技术架构演进及在AI领域的应用




Apache SeaTunnel数据处理引擎适配的演进和规划



点击阅读原文了解更多⭐️！

dorisapacheweb技术jdbc
文章转载自SeaTunnel，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论