1
Sqoop将Hadoop数据导出到RDBMS.docx
免费下载
一、
sqoop
简介及安装
1
．
sqoop
介绍
Apache Sqoop
是在
Hadoop
生态体系和
RDBMS
体系之间传送数据
的一种工具。来自于
Apache
软件基金会提供。
Sqoop
工作机制是将导入或导出命令翻译成
mapreduce
程序来实现。在
翻译出的
mapreduce
中主要是对
inputformat
和
outputformat
进行定制。
Hadoop
生态系统包括：
HDFS
、
Hive
、
Hbase
等
RDBMS
体系包括：
Mysql
、
Oracle
、
DB2
等
Sqoop
可以理解为：“
SQL
到
Hadoop
和
Hadoop
到
SQL”
。
站在
Apache
立场看待数据流转问题，可以分为数据的导入导出
:
Import
：数据导入。
RDBMS----->Hadoop
Export
：数据导出。
Hadoop---->RDBMS
2
．
sqoop
安装
安装
sqoop
的前提是已经具备
java
和
hadoop
的环境。
最新稳定版：
1.4.6
将
Sqoop
解压 到 安装 目 录
tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /server
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
配置文件修改：
cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
export HADOOP_COMMON_HOME= /servers/hadoop-2.7.5
export HADOOP_MAPRED_HOME= /servers/hadoop-2.7.5
export HBASE_HOME=/server/hbase-1.4.9
export HIVE_HOME= /servers/hive
拷贝
mysql
驱动
jdbc
驱动包到
$SQOOP HOME / lib
下
cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/
验证查看版本
#sqoop version
2021-03-29 16:12:56,827 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
of 20
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论