一文看懂 SeaTunnel Zeta Engine 任务调度流程

Zeta Engine 是一个专门为数据同步场景设计和开发的数据同步引擎，更快、更稳定、更省资源也更加易用。Zeta Engine 是一个专门为数据同步场景设计和开发的数据同步引擎，更快、更稳定、更省资源也更加易用，在全球多种开源同步引擎测试比对情况下，Zeta 性能都遥遥领先。SeaTunnel Zeta 引擎，经历了数个研发版本，于 2022 年十月发布 beta 版本，经过社区讨论决定，将其命名为 Zeta（宇宙中最快的星，社区同学认为这充分体现了该引擎的特性），其特性包括：

1. 简单易用，新的引擎尽量减小第三方服务的依赖，可以不依赖 Zookeeper、HDFS 等大数据组件实现集群管理、快照存储和集群 HA 功能。这对于那些没有大数据平台或者不愿意依赖大数据平台进行数据同步的用户非常有用。
2. 更省资源，在 CPU 层面，Zeta Engine 内部使用 Dynamic Thread Sharing（动态线程共享）技术 ，在实时同步的场景下，如果表的数量很多但每张表的数据量又很小，Zeta Engine 会将这些同步任务在共享线程中运行，这种方式可以减少不必要的线程创建，节省系统资源。在读取和数据写入端，Zeta Engine 的设计目标是尽量减少 JDBC 连接的数量。在 CDC 场景下，Zeta Engine 会尽量复用日志读取解析资源。
3. 更稳定，在此版本中，Zeta Engine 将数据同步的任务以 Pipeline 作为 Checkpoint 和容错的最小粒度，一个 task 的失败只会影响到和它有上下游关系的 task，尽量避免 task 失败造成整个 Job 失败或回滚。同时，对于源端数据有存储时间限制的场景，Zeta Engine 支持开启数据 Cache，自动缓存从源端读取的数据，再由下游任务读取缓存数据并写入目标端。此场景下，即使目标端出现故障导致数据无法写入，也不会影响源端的正常读取，防止源端数据过期被删除。
4. 更快速，Zeta Engine 的执行计划优化器会以减小数据可能的网络传输为目标来做执行计划的优化，从而降低数据序列化和反序列化带来的整体同步性能的损耗，更快地完成数据同步操作。当然，它还支持速度限制，让同步作业以一个合理的速度进行。
5. 全场景数据同步支持，SeaTunnel 的目标是支持离线批量同步下的全量同步和增量同步，支持实时同步以及 CDC。

第一步：jobconf转换为LogicDag

public interface Action extends Serializable {
@NonNull String getName();


void setName(@NonNull String name);


@NonNull List<Action> getUpstream();


void addUpstream(@NonNull Action action);


int getParallelism();


void setParallelism(int parallelism);


long getId();


Set<URL> getJarUrls();
}

第二步：LogicPlan转换成PhysicalPlan

• 逻辑计划

• 执行计划
  
  

• 物理计划

• physicalPlan：用户提交的job被解析成可以运行的执行计划。
• pipeline：在pipeline中的任务只有pipeline的上游和下游算子，不同pipeline没有相关联的算子。
• taskGroup：每一个执行计划顶点将会创建一个taskGroup,一个taskGroup包含一个或者多个task，每一个taskGroup需要一个单位的计算资源。taskGroup是任务分配和执行的最小单位。如下：

TaskGroup#1:{
    task#1: {source->transformation#1->transformation#2->queue1},
    task#2: {queue1->sink}
}