1
18、大数据Hadoop之——数据同步工具DataX.docx
10墨值下载
大数据
Hadoop
之——数据同步工具
DataX
一、概述
DataX
是阿里云
DataWorks
数据集成 的开源版本，在阿里巴巴集团内被广泛使用的
离线数据同步工具
/
平台。
DataX
实现了包括
MySQL
、
Oracle
、
OceanBase
、
SqlServer
、
Postgre
、
HDFS
、
Hive
、
ADS
、
HB
ase
、
TableStore(OTS)
、
MaxCompute(ODPS)
、
Hologres
、
DRDS
等各种异构
数据源之间高效的数据同步功能。
Gitee
：
https://github.com/alibaba/DataX
GitHub
地址：
https://github.com/alibaba/DataX
文档：
https://github.com/alibaba/DataX/blob/master/introduction.md
DataX
是一个异构数据源离线同步工具，致力于实现包括关系型数据库
(MySQL
、
Oracle
等
)
、
HDFS
、
Hive
、
ODPS
、
HBase
、
FTP
等各种异构数据源之间
稳定高效的数据同步功能。
为了解决异构数据源同步问题，
DataX
将复杂的网状的同步链路变成了星
型数据链路，
DataX
作为中间传输载体负责连接各种数据源。当需要接入
一个新的数据源的时候，只需要将此数据源对接到
DataX
，便能跟已有的
数据源做到无缝数据同步。
DataX
在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，
并已持续稳定运行了
6
年之久。目前每天完成同步
8w
多道作业，每日传
输数据量超过
300TB
。
二、
DataX3.0
框架设计
DataX
本身作为离线数据同步框架，采用
Framework + plugin
架构构建。将数据源
读取和写入抽象成为
Reader/Writer
插件，纳入到整个同步框架中。
Reader
：
Reader
为数据采集模块，负责采集数据源的数据，将数据发
送给
Framework
。
Writer
：
Writer
为数据写入模块，负责不断向
Framework
取数据，
并将数据写入到目的端。
Framework
：
Framework
用于连接
reader
和
writer
，作为两者的数
据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
三、
DataX3.0
架构
DataX 3.0
开源版本支持单机多线程模式完成同步作业运行，本小节按一个
DataX
作
业生命周期的时序图，从整体架构设计非常简要说明
DataX
各个模块相互关系。
1
）核心模块介绍
DataX
完成单个数据同步的作业，我们称之为
Job
，
DataX
接受到一个
Job
之后，将启动一个进程来完成整个作业同步过程。
DataX Job
模块是
单个作业的中枢管理节点，承担了数据清理、子任务切分
(
将单一作业计算
转化为多个子
Task)
、
TaskGroup
管理等功能。
DataXJob
启动后，会根据不同的源端切分策略，将
Job
切分成多个小的
Task(
子任务
)
，以便于并发执行。
Task
便是
DataX
作业的最小单元，每
一个
Task
都会负责一部分数据的同步工作。
切分多个
Task
之后，
DataX Job
会调用
Scheduler
模块，根据配置的并
发数据量，将拆分成的
Task
重新组合，组装成
TaskGroup(
任务组
)
。每
一个
TaskGroup
负责以一定的并发运行完毕分配好的所有
Task
，默认单
个任务组的并发数量为
5
。
每一个
Task
都由
TaskGroup
负责启动，
Task
启动后，会固定启动
Reader—>Channel—>Writer
的线程来完成任务同步工作。
DataX
作业运行起来之后，
Job
监控并等待多个
TaskGroup
模块任务完
成，等待所有
TaskGroup
任务完成后
Job
成功退出。否则，异常退出，进
程退出值非
0
of 51
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论