【Sqoop篇】----Sqoop从搭建到应用案例

标签：HDFS sqoop -- Sqoop hive ---- mysql dir 搭建

=========================================================

声明：由于不同平台阅读格式不一致(尤其源码部分)，所以获取更多阅读体验！！

个人网站地址：​​http://www.lhworldblog.com/​​

==========================================================

一、前述

今天开始讲解Sqoo的用法搭建和使用。Sqoop其实功能非常简单。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

二、 配置

flume配置很简单：

第一步：将flume-env.sh.template模板文件改名为flume-env.sh文件

第二步 ：更改里面的JAVA_HOME

第三步：配置环境变量

三、 使用

官方参考手册：​​http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_connecting_to_a_database_server​​

举几个简单例子：

导入：

案例一（步骤是Mysql---HDFS)的顺序）：

import
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123
--as-textfile
--columns
id,name,msg
--table
psn
--delete-target-dir
--target-dir
/sqoop/data
-m
1
可以将上述命令定义在一个脚本里面：

使用如下命令：
sqoop --options-file sqoop1

 案例二（步骤是Mysql---Hive)的顺序）：实际上就是Mysql-HDFS-Hive里面

 

import
--connect
jdbc:mysql://node3/test
--username
root
--password
123
--as-textfile
--query
'select id, name, msg from psn where id like "1%" and $CONDITIONS'
--delete-target-dir
--target-dir
/sqoop/tmp  
-m
1
--hive-home
/home/hive-1.2.1
--hive-import
--create-hive-table
--hive-table
t_test

 PS：先导入到hdfs上的一个临时目录，然后再导入到Hive的数据管理目录/home/hive-1.2.1。

and $CONDITIONS是一个查询规则，必须加上。

 

 

导出：
案例一。将HDFS上的数据导出到Mysql中去
export
--connect
jdbc:mysql://node3/test
--username
root
--password
123
-m
1
--columns
id,name,msg
--export-dir
/sqoop/data
--table
h_psn

 

标签：HDFS,sqoop,--,Sqoop,hive,----,mysql,dir,搭建
From： https://blog.51cto.com/u_11936913/5980856