暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

如何 部署 及 使用 etl crontab 和 etl engine

原创 威哥 2024-12-30
104
	如何部署及使用etl_crontab和etl_engine

内容详细,适合新人上手

1、前置条件

  获取到以下文件列表
code.bin     		(授权文件,必须)
    code.key		(授权文件,必须)
conf.cron		(调度配置文件,使用etl_crontab必须)
sys.properties		(环境配置文件,使用etl_crontab必须)
etllog_mysql.sql        (日志表结构文件,使用etl_crontab必须)
etl_crontab.exe		(管理端,用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)
etl_engine.exe		(ETL引擎,用于解析执行ETL任务,必须)
readme_v1.2.7.txt	(说明文件,非必须)
etl-engine.pdf		(说明文件,非必须)

2、准备用于存储日志的数据库

   将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中,如数据库名称是db1

3、修改配置文件

  • conf.cron
    该文件配置了etl-engine引擎文件位置,每个etl任务在什么时刻执行,及日志输出级别,http服务端口号等信息,
    各参数可根据实际情况进行修改,具体参数可参看etl_engine.pdf文件或其它资料。
    如:下面两个配置要根据实际情况进行修改。
    engineFile 引擎文件存放位置(默认配置 d:/etl_crontab/etl_engine.exe)
    confDir etl任务配置文件所在目录(默认配置d:/etl_crontab/config)
  • sys.properties
    该文件是日志输出数据源配置(当前配置默认支持输出到mysql),和etl设计器登录等配置。

4、启动etl_crontab(管理端)

  执行以下命令:     
  etl_crontab.exe -fileUrl conf.cron 
  etl_crontab.exe运行后,默认会启动一个11100的http端口,用于和etl后台管理进行交互。
  http://127.0.0.1:11100/etl_designer
  用户名称:admin
  口令:123456
  默认会启动11101端口,用于向前端推送控制台日志信息(取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置)。

5、执行etl_engine(根据实际情况使用)

  1)由etl_crontab调度负责调用etl_engine执行,不需要人为干预。
  2)独立执行etl_engine
     执行以下命令:
 etl_engine.exe -fileUrl d:/example.grf  -logLevel info 

6、查看相关日志(均可通过管理端查看)

1)读写成功与失败的日志信息存储在数据库中
2)etl_engine执行过程中的日志输出到etl_engine.log文件中
3)etl_crontab执行过程中的日志输出到etl_crontab.log文件中
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论