几种主流数据同步 ETL工具的比较(TurboDX、Oracle OGG、Kettle、DataX、Informatica.pdf
免费下载
TurboDX Oracle Goldengate Kettle DataX Informatica
适用场景
异构数据库实时复制同步、备份、读写分
离(支持视图增量)、实时ETL/ELT、数据汇
聚、数据分发、文件同步分发、WS/REST
服务对接、大数据MPP/NoSQL加载、数
据跨节点安全传输
主要用于数据库复制、备份、
容灾，不支持视图
面向数据仓库建模传统ETL工具
面向数据仓库建模传统
ETL工具
面向数据仓库建模传统ETL
工具
产品架构
微服务容器架构、内存多线程流式处理、
非侵入性架构、高容错机制设计、完全
web界面任务配置和监控管理；简单易用
、适应变化、灵活性高，可无缝升级为高
可用性集群
任务的源端读与目标端写进程
分别运行在两个实例进程中，
中间通过TCP网络协议传输私有
文件格式数据；可做集群部
署，规避单点故障，但需依赖
于外部环境，如Oracle RAC等
C/S客户端组件流程设计，批处
理模式，线上生产环境没有管
理界面；主从结构非高可用，
扩展性差，架构容错性低，灵
活性差
脚本方式执行任务，批
处理模式、没有图形开
发界面和监控界面；支
持单机部署和集群部署
两种方式
C/S客户端模式，开发和生
产环境需要独立部署；
schema mapping非自动；
任务可复制性比较差，难于
灵活适应数据需求的变化
使用方式
完全web图形化界面“点击式”任务设计和
监控管理，简单易用，不需要额外的开发
和生产发布；无需在源库端或目标库端部
署代理程序，对源库性能影响几乎为零；
高级版支持多租户SaaS服务平台的使用方
式
没有图形化的界面，操作皆为
命令行方式，可配置能力差。
界面配置管理工具需单独购买
。
C/S客户端模式，开发和生产环
境需要独立部署，任务的编写
、调试、修改都在本地，再发
布到生产环境，线上生产环境
没有界面，需要通过日志来调
试、debug，效率低，费时费力
DataX是以脚本的方式
执行任务的，需要完全
吃透源码才可以调用，
学习成本高，没有图形
化开发配置和监控管理
界面，运维成本相高
C/S客户端模式，开发和生
产环境需要独立部署，任务
的编写、调试、修改都在本
地，需要发布到生产环境；
学习成本较高，一般需要受
过专业培训的工程师才能使
用
元数据目录
及智能分析
支持。具有字段识别、关系分析、主数据
梳理等智能元数据分析功能，交换任务基
于元数据厍配置。
无 无 无 需另购数据目录产品
任务类型
支持：1.全量任务；2.实时增量任务(日志
CDC)；3. 全量+增量任务(源库不停服模
式)； 4. 动态复制任务(DDL+DML); 5. 表、
视图增量交换整合任务（增量触发方式可
选：CDC触发、标识位、时间戳、触发器
、全量比对)；6. 自定义SQL-EL任务; 7. 文
件交换任务；8. 数据文件加载任务; 9.
WS/REST服务对接任务
只支持CDC增量(日志模式)的复
制同步任务，不支持全量任
务；按表交换整合的任务(ETL)
需另购ODI产品；不支持二进制
文件的复制同步任务，不支持
数据文件加载数据库/仓库的任
务场景；不支持WS/REST服务
对接;没有数据比对的功能
支持批处理的任务(ETL)，不支
持日志模式的CDC增量复制同
步任务；不支持二进制文件的
复制同步任务场景; 不支持
WS/REST服务对接; 没有数据比
对的任务功能
支持批处理的任务
(ETL)，不支持日志模式
的CDC增量复制同步任
务；不支持二进制文件
的复制同步任务场景; 不
支持WS/REST服务对接;
没有数据比对的任务功
能
支持批处理的任务(ETL)，支
持日志模式的CDC增量复制
同步需另购CDC产品模块；
不支持二进制文件的复制同
步任务场景; 不支持
WS/REST服务对接; 没有数
据比对的任务功能
主流数据同步/ETL工具的比较
比较维度/产品
设
计
及
架
构
TurboDX Oracle Goldengate Kettle DataX Informatica
主流数据同步/ETL工具的比较
比较维度/产品
CDC机制
事务增量CDC基于无侵入的日志模式(如
Oracle redo、Mysql binlog），按表/视图
增量支持CDC触发、标识位、时间戮、触
发器、自增序列、全量比对等多种方式可
选
主要是基于日志 基于时间戳、触发器等 离线批处理
基于日志、基于时间戳和自
增序列等多种方式可选；日
志CDC需另购CDC产品模块
对数据库的
影响
基于日志的采集方式无需在源库端部署任
务代理程序(Agent)及建任何表，对源数据
库无侵入和影响压力
源端数据库需要预留额外的缓
存空间
对数据库表结构有要求，存在
一定侵入性
通过sql select 采集数
据，对数据源有压力
基于日志的采集方式对数据
库无侵入性，但需另购CDC
产品模块
自动断点续
传
所有任务类型均支持断点续传；且集群版
中任务转移后，任务在新节点会自动从断
点续传
支持 不支持 不支持
不支持，依赖ETL设计的合
理性（例如T-1），指定续
读某个时间点的数据，非自
动
异构转换映
射
图形界面化、自动化的schema mapping
和智能化的异构数据类型匹配；支持
schema级、表级、字段级的映射和记录
级的函数处理
需手动配置异构数据间的映射
手动配置schema mapping及代
码逻辑处理
通过编写json脚本进行
schema mapping映射及
代码函数处理
手动配置schema
mapping，通过编写脚本进
行映射及函数处理
数据过滤、
数据审核清
洗、数据脱
敏、函数处
理
支持数据过滤，支持按规则数据审核和清
洗。支持银行级别的数据脱敏和自定义函
数处理，支持源和目标数据比对及回补
轻量清洗
围绕数据仓库的数据需求进行
建模计算，清洗功能相对复
杂，需要手动编程
需要根据自身清晰规则
编写清洗脚本，进行调
用（DataX3.0 提供的功
能）
支持复杂逻辑的清洗和转化
冲突策略
支持用户勾选：1.以源为主；2. 以目标为
主；3. 自定义策略及智能规则
支持 不支持 不支持 支持
功
能
of 4
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论