社区新贡献：X2SeaTunnel 助你无缝迁移到 SeaTunnel！

源工具配置(DataX json) → 解析 → 统一模型 → 映射转换 → 生成 SeaTunnel 配置

# 基本用法
sh bin/x2seatunnel.sh -t datax -i path/to/config.json -o path/to/output.conf
# 指定工具类型、输入输出和格式
sh bin/x2seatunnel.sh -t datax -i input.json -o output.conf -f hocon
# 批量转换
sh bin/x2seatunnel.sh -t datax -d input/dir/ -o output/dir/

# 使用YAML配置文件
sh bin/x2seatunnel.sh --config conversion.yaml

# X2SeaTunnel配置文件
metadata:
  # 配置文件格式版本
  configVersion: "1.0"
  # 描述（可选）
  description: "DataX到SeaTunnel转换配置"
# 工具配置
tool:
  # 源工具类型：datax, sqoop等
  sourceType: "datax"
  sourceVersion: "2.1.2"
  # 目标SeaTunnel版本
  targetVersion: "2.3.11"
# 输入配置
input:
  # 源配置路径（文件或目录）
  path: "/path/to/configs"
  # 是否递归处理子目录
  recursive: true
  # 文件匹配模式
  pattern: "*.json"
# 输出配置
output:
  # 输出路径
  path: "/path/to/output"
  # 输出格式：hocon或json
  format: "hocon" 
  # 文件名转换规则
  namePattern: "${filename}_seatunnel.conf"
# 映射配置
mapping:
  # 自定义映射规则路径（可选）
  rulesPath: "/path/to/custom/rules.json"
# 验证配置
validation:
  # 是否启用验证
  enabled: true
  # 验证失败行为：warn, error, ignore
# 日志配置
logging:
  # 日志级别：debug, info, warn, error
  level: "info"
  # 日志输出路径
  path: "./logs"
  # 日志文件名模式
  filePattern: "x2seatunnel-%d{yyyy-MM-dd}.log"
  # 是否同时输出到控制台
  console: true

// 创建特定工具转换器
X2SeaTunnelConverter converter = X2SeaTunnelFactory.createConverter("datax");
// 配置转换选项
ConversionOptions options = new ConversionOptions.Builder()
    .outputFormat("hocon")
    .targetVersion("2.3.11")
    .build();
// 执行转换
String seatunnelConfig = converter.convert(sourceConfigContent, options);

DataXConfig dataX = JsonUtils.parse(jsonStr, DataXConfig.class);
SeaTunnelConfig st = converter.convert(dataX);
String stJson = JsonUtils.toString(st);

// 遍历源配置中的每个字段
for (String srcPath : mappingRules.keySet()) {
    String targetPath = mappingRules.get(srcPath);
    Object value = JsonPath.read(sourceJson, srcPath);
    JsonPath.set(targetJson, targetPath, value);
}

// 遍历目标模板中需要的每个字段
for (TemplateField field : targetTemplate.getFields()) {
    String sourcePath = field.getSourcePath();
    Object value = sourcePath != null ? 
        JsonPath.read(sourceJson, sourcePath) : field.getDefault();
    targetJson.put(field.getName(), value);
}

# 模板驱动的映射配置
seatunnel_mysql_source:
  required_fields:
    url:
      source_path: "job.content[0].reader.parameter.connection[0].jdbcUrl[0]"

Apache SeaTunnel

Apache SeaTunnel是一个云原生的高性能海量数据集成工具。北京时间 2023 年 6 月1 日，全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前，SeaTunnel在GitHub上Star数量已达8k+，社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步，支持CDC、DDL变更、整库同步等功能，更是可以和大模型打通，让大模型链接企业内部的数据。