介绍
Apache Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的强大工具。它提供了一种高效的方式，让用户能够将结构化数据从关系型数据库导入到Hadoop的分布式文件系统（HDFS）中，并支持反向操作，将数据从Hadoop导出到关系型数据库。
Sqoop的主要功能包括数据导入和导出，以及与各种关系型数据库系统的集成。在数据湖或数据仓库的构建过程中，Sqoop是一个不可或缺的工具，可以方便地进行大规模数据的传输和同步。
环境准备
在开始Sqoop的安装之前，请确保您已经满足以下基本要求：
• Hadoop集群安装配置：Sqoop需要在Hadoop环境中运行，因此确保您的Hadoop集群已经正确安装和配置。
• 关系型数据库：准备好用于数据传输的关系型数据库，如MySQL、Oracle等，并记录下数据库的连接信息。
安装部署
1、解压
从官网下载所需版本的安装包，将其上传到虚拟机中并解压
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
2、配置环境变量
vi /etc/profile
export SQOOP_HOME=/opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SQOOP_HOME/bin
# 刷新环境变量
source /etc/profile
3、修改配置文件
在sqoop根目录下的conf目录中:重命名配置文件
cd /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
# hadoop安装路径根据自己的情况进行修改
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
4、拷贝jdbc驱动到sqoop安装目录的lib目录下
cp mysql-connector-java-5.1.37-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/
5、验证sqoop
cd /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin
# 当前路径下执行
./sqoop help
执行结果如下：
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
6、测试sqoop是否能成功连接数据库
# 以下命令根据自身情况自行修改
bin/sqoop list-databases --connect jdbc:mysql://bigdata1:3306/ --username root --password 123456
输出结果如下：
information_schema
metastore
mysql
oozie
performance_schema