业务数据采集（四）Sqoop安装配置以及采集数据到HDFS

[qiusheng@node01 conf]$ mv sqoop-env-template.sh sqoop-env.sh

#hadoop1.x需要配置这两个环境变量，
#但是2.x以上配置HADOOP_HOME的环境变量就OK了
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.4
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.4


#sqoop可以把数据直接导入到hive里面
export HIVE_HOME=/opt/module/hive


#sqoop配置zk_home和dir
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf


#set the path to where bin/hbase is available
#export HBASE_HOME=

cp mysql-connector-java-5.1.48.jar opt/module/sqoop1.4.7/lib/

[qiusheng@node01 sqoop-1.4.7]$ bin/sqoop help

[qiusheng@node01 sqoop-1.4.7]$ 
bin/sqoop list-databases --connect jdbc:mysql://node01:3306/ --username root -P

#import是mysql等导入到HDFS
#export则是HDFS导出到mysql等
./bin/sqoop import \
#使用jdbc链接数据库，需要URL、用户名、密码
--connect jdbc:mysql://node01:3306/gmall \
--username root \
--password XXXXX \
#哪张表？哪些字段
--table user_info \
--columns id,login_name,nick_name \
#哪些数据？条件是什么？
--where "id >= 10 and id <= 100" \
#导入到HDFS集群路径
--target-dir gmall_data/db/test01 \
--delete-target-dir \
#分隔符\t
--fields-terminated-by '\t' \
#分配mapper
--num-mappers 2 \
#根据id分割
--split-by id \

导入单表数据成功后，我们尝试导入所有业务表到HDFS。这里使用脚本来完成，由于脚本文件比较长，现在分段简析一下脚本文件。

#用户可以传入的格式是:mysql_to_hdfs.sh 2021-05-01
if [ -n "$1" ] ;then
    do_date=$1
#传入时间为空，即没有传入时间mysql_to_hdfs.sh,给他系统时间 -1day
else
    do_date=`date -d '-1 day' +%F`
fi

#支持lzo压缩
--compress \
--compression-codec lzop \


#mysql to hdfs空值处理
--null-string '\\N' \
--null-non-string '\\N'


#添加lzo索引
hadoop jar opt/module/hadoop-3.1.4/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer origin_data/$APP/db/$1/$do_date
}

import_order_info(){
  import_data order_info "select
                            id, 
                            final_total_amount, 
                            order_status, 
                            user_id, 
                            out_trade_no, 
                            create_time, 
                            operate_time,
                            province_id,
                            benefit_reduce_amount,
                            original_total_amount,
                            feight_fee      
                        from order_info
                        where (date_format(create_time,'%Y-%m-%d')='$do_date' 
                        or date_format(operate_time,'%Y-%m-%d')='$do_date')"
}

case $1 in
  "order_info")
     import_order_info
;;
  "base_category1")
     import_base_category1
;;

case $1 in


"first")
   import_base_category1
   import_order_info

case $1 in
"all")
   import_base_category1
   import_base_category2