sqoop安装与使用

• 1、上传解压

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/

• 2、修改配置文件
  切换到sqoop配置文件目录

cd /usr/local/soft/sqoop-1.4.7/conf

复制配置文件并重命名

cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

编辑配置文件，并加入以下内容

export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-3.1.2
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-3.1.2/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-2.2.7
export HIVE_HOME=/usr/local/soft/hive-3.1.2
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.5.7/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7

切换到bin目录

cd /usr/local/soft/sqoop-1.4.6/bin

修改配置文件，注释掉没用的内容

vim configure-sqoop

• 3、修改环境变量

vim /etc/profile

source /etc/profile

• 4、添加MySQL连接驱动
  从HIVE中复制MySQL连接驱动到$SQOOP_HOME/lib

cp /usr/local/soft/hive-3.1.2/lib/mysql-connector-java-8.0.29.jar /usr/local/soft/sqoop-1.4.7/lib/

• 5、测试

sqoop version

配置成功

测试MySQL连通性

sqoop list-databases -connect jdbc:mysql://master:3306/ -username root -password 123456

• 案例

将MySQL中表的数据导入到HDFS中
方式一：命令行

sqoop import \
--append \
--connect jdbc:mysql://master:3306/bigdata \
--username root \
--password 123456 \
--table students \
--m 1 \
--split-by id \
--target-dir /wll/data/ \
--fields-terminated-by ','

方式二：编写脚本执行脚本

import
--append
--connect
jdbc:mysql://master:3306/bigdata
--username
root
--password
123456
--table
student
--m
1
--split-by
id
--target-dir
/wll/data/
--fields-terminated-by
','