暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Kettle工具的简单使用

小岛弥音 2019-01-12
955

全文共:3979 字    预计阅读时间: 10 分钟


Kettle在ETL中用得还比较多,其中ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环也是工作量较大的一块。Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。


Kettle 中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。



因为主要在Windows平台上实施,所有以下问题均在Windows 服务上操作。

一、安装及配置

1、 下载Kettle

Kettle可以在http://kettle.pentaho.org/网站下载,【下载地址】

http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download



2、本地安装jdk:1.8或以上版本

【下载地址】

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html



3、配置java环境变量


3.1 、环境变量配置地址

打开我的电脑--属性--高级--环境变量


3.2 、新建系统变量JAVA_HOME和CLASSPATH

变量名:JAVA_HOME

变量值:C:Program FilesJavajdk1.8.0_191 [具体路径以自己本机安装目录为准]

变量名:CLASSPATH

变量值:.;%JAVA_HOME%libdt.jar;%JAVA_HOME%lib ools.jar;


3.3 、修改变量路径

选择“系统变量”中变量名为“Path”的环境变量,双击该变量,把JDK安装路径中bin目录的绝对路径,添加到Path变量的值中,并使用半角的分号和已有的路径进行分隔。

变量名:Path

变量值:%JAVA_HOME%bin;%JAVA_HOME%jrein;


3.4 、配置kettle环境变量

在系统的环境变量中添加KETTLE_HOME变量,目录指向kettle的安装目录: E:pdi-ce-7.1.0.0-12data-integration

说明:安装完成,可启动程序:Spoon.bat  路径为:E:pdi-ce-7.1.0.0-12data-integration

二、操作步骤

1.  步骤说明:

此工具的用于两个数据库数据同步;故需在目标库中建立与源数据库需同步相同的数据表:

I、先将对应的交易表数据对应同步过来;

II、再将同步后的交易表中BAID转换成社保系统账户对应DXID:T_zj_balist_2018;


1. 银行账户对应关系映射


1.1 创建映射表

在社保系统执行下列语句创建社保系统与省公司系统银行账户dxid映射关系。、

1
最后修改时间:2020-03-14 14:32:38
文章转载自小岛弥音,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论