1、安装sqoop
我的版本
jdk1.8
hadoop3.1.3
sqoop1.4.6
基本上就安装这个版本都没问题,如果是执行连接数据库命令时报错:java.lang.NoClassDefFoundError;报错,在lib下再放一个commons-lang-2.6.jar即可,
sqoop安装:Index of /dist/sqoop (apache.org)
commons-lang-2.6.jar下载:commons-lang-2.6.jar下载及Maven、Gradle引入代码,pom文件及包内class -时代Java (nowjava.com)
2、配置文件修改(改成你自己的)
cd $SQOOP_HOME/conf mv sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh export HADOOP_COMMON_HOME= /export/servers/hadoop-3.1.3 export HADOOP_MAPRED_HOME= /export/servers/hadoop-3.1.3 export HIVE_HOME= /export/servers/hive
加入mysql的jdbc驱动包
cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME
3、验证启动
bin/sqoop list-databases \ --connect jdbc:mysql://localhost:3306/ \ --username root --password hadoop
4、这里只使用导出到mysql
(建议有时间看看导入,当然我不是)
bin/sqoop export \ --connect jdbc:mysql://你的hadoop地址:3306/数据库名 \ --username 名称 \ --password 密码 \ --table 表名 \ --num-mappers 1 \ --export-表的url --input-fields-terminated-by ","
关于查看url,可以使用
show create table
5、进入mysql查看是否导入
注意是虚拟机的mysql
6、可视化工具navicat建立连接
连接成功就完成了,可以可视化看到数据
标签:--,sqoop,jar,Hive,export,mysql,HOME From: https://www.cnblogs.com/gbrr/p/17725163.html