1
Kettle集群详解
5墨值下载
- 1 -
Kettle 中的集群
目录
KETTL E 中的集群 ................................................................................................................................................1
1 设计 ...................................................................................................................................................................2
1.1
定义
Cluster schema .........................................................................................................................2
1.2 定义转换 ...................................................... 5
2 执行转换 ..........................................................................................................................................................7
2.1 启动子服务器................................................... 7
2.1.1
脚本启动
........................................................................................................................................7
2.1.2
程序启动
........................................................................................................................................9
2.1.3
子服务器内幕
............................................................................................................................ 10
2.2 运行转换 ..................................................... 12
2.2.1
在
spoon
中运行
........................................................................................................................ 12
2.2.2
编程运行
..................................................................................................................................... 13
2.2.3
运行内幕
..................................................................................................................................... 13
Kettle 是一款开源的 ETL 工具，以其高效和可扩展性而闻名于业内。其高效的一个重
要原因就是其多线程和集群功能。
Kettle 的多线程采用的是一种流水线并发的机制，我们在另外的文章中专门有介绍。这里
主要介绍的是 kettle 的集群。
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用 kettle 集群时，首先
需要定义的是 Cluster schema。所谓的 Cluster schema 就是一系列的子服务器的集合。在
- 2 -
一个集群中，它包含一个主服务器（Master）和多个从属服务器服务器(slave)。如下图所
示。
子服务器（Slave servers）允许你在远程服务器上执行转换。建立一个子服务器需要你
在远程服务器上建立一个叫做“Carte”的 web 服务器，该服务器可以从 Spoon(远程或者集
群执行)或者转换任务中接受输入。
在以后的描述中，如果我们提到的是子服务器，则包括集群中的主服务器和从属服务器；
否则我们会以主服务器和从属服务器来进行特别指定。
1 设计
要让转换是以集群方式执行，首先需要在 Spoon 中进行图形化的设计工作。定义一个以
集群方式运行的转换，主要包括定义 cluster schema 和定义转换两个步骤。
1.1 定义 Cluster schema
of 17
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论