海量数据同步首选 SeaTunnel Zeta 引擎正式发布！

 点亮 ⭐️ Star · 照亮开源之路

Zeta Engine 是一个专门为数据同步场景设计和开发的数据同步引擎，更快、更稳定、更省资源也更加易用，在全球多种开源同步引擎测试比对情况下，Zeta 性能都遥遥领先。SeaTunnel Zeta 引擎，经历了数个研发版本，于 2022 年十月发布 beta 版本，经过社区讨论决定，将其命名为 Zeta（宇宙中最快的星，社区同学认为这充分体现了该引擎的特性），在社区用户贡献者的努力下，我们今天正式发布 Zeta Engine 生产可用版本，其特性包括：

1. 简单易用，新的引擎尽量减小第三方服务的依赖，可以不依赖 Zookeeper、HDFS 等大数据组件实现集群管理、快照存储和集群 HA 功能。这对于那些没有大数据平台或者不愿意依赖大数据平台进行数据同步的用户非常有用。
2. 更省资源，在  CPU 层面，Zeta Engine 内部使用 Dynamic Thread Sharing（动态线程共享）技术 ，在实时同步的场景下，如果表的数量很多但每张表的数据量又很小，Zeta Engine 会将这些同步任务在共享线程中运行，这种方式可以减少不必要的线程创建，节省系统资源。在读取和数据写入端，Zeta Engine 的设计目标是尽量减少 JDBC 连接的数量。在 CDC 场景下，Zeta Engine 会尽量复用日志读取解析资源。
3. 更稳定，在此版本中，Zeta Engine 将数据同步的任务以 Pipeline 作为 Checkpoint 和容错的最小粒度，一个 task 的失败只会影响到和它有上下游关系的 task，尽量避免 task 失败造成整个 Job 失败或回滚。同时，对于源端数据有存储时间限制的场景，Zeta Engine 支持开启数据 Cache，自动缓存从源端读取的数据，再由下游任务读取缓存数据并写入目标端。此场景下，即使目标端出现故障导致数据无法写入，也不会影响源端的正常读取，防止源端数据过期被删除。
4. 更快速，Zeta Engine 的执行计划优化器会以减小数据可能的网络传输为目标来做执行计划的优化，从而降低数据序列化和反序列化带来的整体同步性能的损耗，更快地完成数据同步操作。当然，它还支持速度限制，让同步作业以一个合理的速度进行。
5. 全场景数据同步支持。SeaTunnel 的目标是支持离线批量同步下的全量同步和增量同步，支持实时同步以及 CDC。

• 支持基础的 CDC
• 支持无锁并行快照历史数据 

• 支持日志心跳检测和动态加表
• 支持分库分表和多结构表读取
• 支持 Schema evolution

• [Core] [Log] 集成 slf4j 和 log4j2 统一管理日志 #3025
• [Core] [Connector-V2] [Exception] 统一 Connector 异常格式 #3045
• [Core] [Shade] [Hadoop] 添加 hadoop-shade 包 #3755

• [Connector-V2] [Elasticsearch] 新增 Source
  Connector #2821
• [Connector-V2] [AmazondynamoDB] 新增 AmazondynamoDB Source & Sink Connector #3166
• [Connector-V2] [StarRocks] Add StarRocks Sink Connector #3164
• [Connector-V2] [DB2] 新增 DB2 source & sink connector #2410
• [Connector-V2] [Transform] 新增 transform-v2 API #3145
• [Connector-V2] [InfluxDB] 新增 influxDB Sink Connector #3174
• [Connector-V2] [Cassandra] 新增 Cassandra Source & Sink Connector #3229
• [Connector-V2] [MyHours] 新增 MyHours Source Connector #3228
• [Connector-V2] [Lemlist] 新增 Lemlist Source Connector #3346
• [Connector-V2] [CDC] [MySql] 新增 MySql CDC Source Connector #3455
• [Connector-V2] [CDC] [SqlServer] 新增 SqlServer CDC Source Connector #3686
• [Connector-V2] [Klaviyo] 新增 Klaviyo Source Connector #3443
• [Connector-V2] [OneSingal] 新增 OneSingal Source Connector #3454
• [Connector-V2] [Slack] 新增 Slack Sink Connector #3226
• [Connector-V2] [Jira] 新增 Jira Source Connector #3473
• [Connector-V2] [Sqlite] 新增 Sqlite Source & Sink Connector #3089
• [Connector-V2] [OpenMldb] 新增 OpenMldb Source Connector #3313
• [Connector-V2] [Teradata] 新增 Teradata Source & Sink Connector #3362
• [Connector-V2] [Doris] 新增 Doris Source & Sink Connector #3586
• [Connector-V2] [MaxCompute] 新增 MaxCompute Source & Sink Connector #3640
• [Connector-V2] [Doris] [Streamload] 新增 Doris streamload Sink Connector #3631
• [Connector-V2] [Redshift] 新增 Redshift Source & Sink Connector #3615
• [Connector-V2] [Notion] 新增 Notion Source Connector #3470
• [Connector-V2] [File] [Oss-Jindo] 新增 OSS Jindo Source & Sink Connector #3456
  

• 作业完成时支持打印作业指标 #3691
• 添加 Metris 信息统计 #3621
• 支持 IMap 文件存储 (包括 本地文件、HDFS、S3)#3418 #3675
• 支持保存作业重启状态信息 #3637
  

• [E2E] [Http] 添加 http 类型 Connector e2e 测试用例 #3340
• [E2E] [File] [Local] 添加 本地文件 Connector e2e 测试用例 #3221
  

• [Connector-V2] [Jdbc] 修复 Jdbc Source 批处理模式下无法停止 #3220、
• [Connector-V2] [Jdbc] 修复 Jdbc 连接重置错误 #3670
  
• [Connector-V2] [Jdbc] 修复 Jdbc connector exactly-once 中出现的 NPE #3730
• [Connector-V2] [Hive] 修复 Hive 数据写入过程中出现 NPE #3258
• [Connector-V2] [File] 修复 File Connector 获取 FileSystem 时出现的 NPE #3506
• [Connector-V2] [File] 修复 File Connector 用户未配置 fileNameExpression 时抛出的 NPE #3706
• [Connector-V2] [Hudi] 修复 Hudi Connector 的 split owner 可能为负的 Bug #3184
  
• [Connector-V2] [Jdbc] 修复 Jdbc Connector 执行完成后未关闭资源的错误 #3358
  
  Zeta 引擎
  
  
• [ST-Engine] 修复使用 Zeta 引擎时数据文件名称重复的问题 #3717
  
• [ST-Engine] 修复节点失败从 Imap 持久化无法正常读取数据的问题 #3722
  
• [ST-Engine] 修复 Zeta 引擎 Checkpoint #3213
  
• [ST-Engine] 修复 Zeta 引擎 Checkpoint 失败的 Bug #3769