暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

ETL工具Kettle访问浏览器

IT那活儿 2024-08-05
219

点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享,不管IT什么活儿,干就完了!!!


HTTP client介绍

Kettle 中 HTTP client 组件,可实现通过HTTP网络协议,访问指定的URL地址,获取所需要的页面内容,其中HTTP client 组件所使用的请求方式为“Get”形式。


开发流程

本开发流程其目的为访问指定Http地址,并返回页面内容用txt文件输出,涉及组件有:自定义常量数据、HTTP client、文本文件输出。

2.1 自定义常量数据
用来设置访问http地址常量,在元数据中给该常量命名为url,并设置其类型为string,在数据标签页中输入需要访问的url地址,如下图所示。

2.2 HTTP client
URL一栏可以填写具体的URL路径,也可以勾选下方的“从字段中获取URL”即可以获取上一步的自定义常量数据中的url地址,编码方式选择“UTF-8”;
  • Connection timeout:为链接超时时间,默认为10000毫秒,也可以进行修改,本案例中修改为10000000毫秒,以防访问超时而执行失败;
  • Socket timeout:等待链接超时时间,默认为10000毫秒,同上也可以进行修改;
  • Connection close wait time:客户端链接关闭等待时间,默认为 -1;
  • 结果字段名:用来存储返回的数据,这里命名为result。

2.3 文本文件输出
输出访问的页面内容,需要填写输出地址、文件名,以及上述命名的结果字段名result。
输出结果:
result
"{""rspCode"":""0"",""rspMsg"":""成功""}"


END


本文作者:杨华倩(上海新炬中北团队)

本文来源:“IT那活儿”公众号

文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论