ETL工程师要求仅能 .txt
免费下载
优秀的 ETL 工程师一般都具有这样一些素质，熟悉 sql 语言；会简单脚本（shell）编程，
会使用一种 ETL 数据抽取工具(kettle)；会使用一种 ETL 作业自动化排程工具(taskctl)；
熟练使用增删改查、会添加主键索引，熟练使用时间格式转换，会行转列列转行，会 update 数据更新，会写
sql 存储过程。
作者：联科数据
链接：https://www.zhihu.com/question/423474423/answer/1878596107
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
熟悉 sql 语言；会简单脚本（shell）编程，会使用一种 ETL 数据抽取工具(kettle)；
会使用一种 ETL 作业自动化排程工具(taskctl)；
熟练使用增删改查、会添加主键索引，熟练使用时间格式转换，
会行转列列转行，会 update 数据更新，会写 sql 存储过程。
ETL 工程师
ETL 是三个单词的首字母，中文意思是抽取、转换、加载
从开始的图中也能看出，ETL 工程师是对接业务和数据的交接点，所以需要处理上下游的关系
对于上游，需要经常跟业务系统的人打交道，所以要对业务系统比较熟悉。比如它们存在各种接口，不管是
API 级别还是数据库接口，这都需要 ETL 工程师非常了解。 其次是其下游，这意味着你要跟许多数据开发工
程师师、数据科学家打交道。比如将准备好的数据（数据的清洗、整理、融合），交给下游的数据开发和数据
科学家。
需要重点掌握的技能
语言：Java/Python（会基础）
Shell 脚本（需要对 shell 较为熟悉）
Linux（会用基本命令）
Kettle（需要掌握）
Sqoop（会用）
Flume（会用）
MySQL（熟悉）
Hive（熟悉）
HDFS（熟悉）
Oozie（任务调度框架会用其中一个即可，其他如 azkaban，airflow）
of 1
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论