首页 > 其他分享 >(转）使用Sqoop导入数据到HDFS及一些设置

(转）使用Sqoop导入数据到HDFS及一些设置

时间：2022-10-11 22:45:59浏览次数：46  
标签：HDFS sqoop -- my Sqoop hadoop 导入 user root

原文：https://www.cnblogs.com/weiyiming007/p/10820932.html

一、导数据

1、import和export

复制代码 
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，
提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：

1、业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，
这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析。

2、对大规模的数据在Hadoop平台上进行分析以后，可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要
将Hadoop平台分析后的数据导出（export）到关系数据库。


[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop help import


[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop help export

复制代码


 


2、import参数


复制代码

##sqoop通用参数
    --connect <jdbc-uri>：指定JDBC连接字符串。
    --connection-manager <class-name>：指定要使用的连接管理器类。
    --driver <class-name>：手动指定要使用的JDBC驱动程序类。
    --hadoop-mapred-home <dir>：覆盖$ HADOOP_MAPRED_HOME。
    --help：打印使用说明。
    --password-file：为包含认证密码的文件设置路径。
    -P：从控制台读取密码。
    --password <password>：设置验证密码。
    --username <username>：设置验证用户名。
    --verbose：在运行时打印更多信息。
    --connection-param-file <filename>：提供连接参数的可选属性文件。
    --relaxed-isolation：将mapper的连接事务隔离设置为只读。



##import参数
    --append    将数据追加到HDFS上一个已存在的数据集上
    --as-avrodatafile    将数据导入到Avro数据文件
    --as-sequencefile    将数据导入到SequenceFile
    --as-textfile    将数据导入到普通文本文件（默认）
    --boundary-query <statement>    边界查询，用于创建分片（InputSplit）
    --columns <col,col,col…>    从表中导出指定的一组列的数据
    --delete-target-dir    如果指定目录存在，则先删除掉
    --direct    使用直接导入模式（优化导入速度）
    --direct-split-size <n>    分割输入stream的字节大小（在直接导入模式下）
    --fetch-size <n>    从数据库中批量读取记录数
    --inline-lob-limit <n>    设置内联的LOB对象的大小
    -m,--num-mappers <n>    使用n个map任务并行导入数据
    -e,--query <statement>    导入的查询语句
    --split-by <column-name>    指定按照哪个列去分割数据
    --table <table-name>    导入的源表表名
    --target-dir <dir>    导入HDFS的目标路径
    --warehouse-dir <dir>    HDFS存放表的根路径
    --where <where clause>    指定导出时所使用的查询条件
    -z,--compress    启用压缩
    --compression-codec <c>    指定Hadoop的codec方式（默认gzip）
    --null-string <null-string>    果指定列为字符串类型，使用指定字符串替换值为null的该类列的值
    --null-non-string <null-string>    如果指定列为非字符串类型，使用指定字符串替换值为null的该类列的值

复制代码


 


3、在MySQL中准备一些数据


复制代码

mysql> use test;
Database changed

mysql> CREATE TABLE `my_user` (
    ->   `id` tinyint(4) NOT NULL AUTO_INCREMENT,
    ->   `account` varchar(255) DEFAULT NULL,
    ->   `passwd` varchar(255) DEFAULT NULL,
    ->   PRIMARY KEY (`id`)
    -> );
Query OK, 0 rows affected (0.01 sec)

mysql> INSERT INTO `my_user` VALUES ('1', 'admin', 'admin');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('2', 'pu', '12345');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('3', 'system', 'system');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('4', 'zxh', 'zxh');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('5', 'test', 'test');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('6', 'pudong', 'pudong');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `my_user` VALUES ('7', 'qiqi', 'qiqi');
Query OK, 1 row affected (0.00 sec)

复制代码


 


4、将mysql表导出到hdfs


复制代码

##这里没有指定存到hdfs哪里，会默认存储hdfs用户主目录下以表名为目录存储
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user


##默认存储，默认用了4个map
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root
19/05/06 15:55:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x   - root supergroup          0 2019-05-06 15:53 /user/root/my_user
-rw-r--r--   1 root supergroup          0 2019-05-06 15:53 /user/root/my_user/_SUCCESS
-rw-r--r--   1 root supergroup         25 2019-05-06 15:53 /user/root/my_user/part-m-00000
-rw-r--r--   1 root supergroup         26 2019-05-06 15:53 /user/root/my_user/part-m-00001
-rw-r--r--   1 root supergroup         12 2019-05-06 15:53 /user/root/my_user/part-m-00002
-rw-r--r--   1 root supergroup         28 2019-05-06 15:53 /user/root/my_user/part-m-00003

复制代码


 


指定存储目录，设置用1个map：


复制代码

##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_user \
--num-mappers 1


##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop
19/05/06 16:01:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x   - root supergroup          0 2019-05-06 16:01 /user/root/sqoop/imp_my_user
-rw-r--r--   1 root supergroup          0 2019-05-06 16:01 /user/root/sqoop/imp_my_user/_SUCCESS
-rw-r--r--   1 root supergroup         91 2019-05-06 16:01 /user/root/sqoop/imp_my_user/part-m-00000

复制代码


 


二、执行流程


sqoop 底层的实现就是MapReduce，对import来说，仅仅运行Map Task


 


三、设置数据存储格式为parquet


1、先把mysql的数据导出到hdfs


复制代码

##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_user_parquet \
--fields-terminated-by ',' \
--num-mappers 1 \
--as-parquetfile

复制代码


 


2、再将数据从hdfs导入到hive


复制代码

##在hive中先创建一张表
drop table if exists default.hive_user_orc ;
create table default.hive_user_orc(
id int,
username string,
password string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS parquet ;


##导入数据
hive (default)> load data inpath '/user/root/sqoop/imp_my_user_parquet' into table default.hive_user_orc ;


#查询，此时数据都为空，格式为parquet文件，这是sqoop1.4.5的一个bug，1.4.6已经修复；
hive (default)> select * from default.hive_user_orc ;

复制代码


 


四、导入数据使用query


1、选择导出所需的列


复制代码

##只导出 id和account这两列
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_user_column \
--num-mappers 1 \
--columns id,account


##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -text /user/root/sqoop/imp_my_user_column/part-m-00000
19/05/06 16:39:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1,admin
2,pu
3,system
4,zxh
5,test
6,pudong
7,qiqi

复制代码


 


2、query



* 在实际的项目中，要处理的数据，需要进行初步清洗和过滤
    * 某些字段过滤
    * 条件
    * join



 


复制代码

##--query参数，直接写一条select语句
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--query 'select id, account from my_user where $CONDITIONS' \
--target-dir /user/root/sqoop/imp_my_user_query \
--num-mappers 1



##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -text /user/root/sqoop/imp_my_user_query/part-m-00000
19/05/06 16:58:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1,admin
2,pu
3,system
4,zxh
5,test
6,pudong
7,qiqi

复制代码


 


五、import hdfs设置数据压缩为sanppy


1、设置hadoop支持sanppy压缩


复制代码

[root@hadoop-senior cdh]# tar zxf cdh5.3.6-snappy-lib-natirve.tar.gz

[root@hadoop-senior lib]# rm -rf /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/lib/native

[root@hadoop-senior lib]# cp -r native/ /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/lib/


##查看是否已经支持
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hadoop checknative
19/05/06 17:13:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/05/06 17:13:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/lib/native/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1

复制代码


 


2、


复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_sannpy \
--delete-target-dir \                                        
--num-mappers 1 \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec



#--delete-target-dir      目标目录存在则删除
#--compress    启用压缩

复制代码



标签：HDFS,sqoop,--,my,Sqoop,hadoop,导入,user,root	

From： https://www.cnblogs.com/liujiacai/p/16782913.html
      

      




      

      

        
相关文章

        

          
    
 
  • Excel文件导入导出
    依赖包为apach的poi包	<dependency>	<groupId>org.apache.poi</groupId>	<artifactId>poi</artifactId>	<version>3.16</version>	</dependency>	<d......
     
  • lightdb lt_bulkload，比copy更高效的导入方式以及jdbc copy实现
    https://www.cnblogs.com/liuyuanyuanGOGO/archive/2013/05/08/3066646.htmlhttps://jdbc.postgresql.org/documentation/publicapi/org/postgresql/copy/package-summary......
     
  • neo4j图形数据库数据迁移（导入导出）
    1.准备在导入导出（迁移备份）数据库之前，首先需要关闭相应neo4j./neo4jstop2.数据导出进入$NEO4J_HOME/bin目录执行如下数据库导出命令：neo4j-admindump--database......
     
  • MongoDB 数据导入和导出、备份和恢复
    注：mongoexport和mongoimport针对库中的表，用于数据导入和导出，mongodump和mongorestore针对于库，用于备份和恢复。一、mongodb导出1、导出/导入数据时，连接mongodb服务器参数......
     
  • 从rap2数据导入yapi中
    复制教程: https://www.jianshu.com/p/4bd2ec5cb5e7主要 Rap2导出swagger2格式json:原理采用曲线救国的方式，rap2=》 swagger.json=>导入yapi。输入rap2某个项目......
     
  • 传输数据库/导入导出数据库
    您可以使用完整的可传输 export/import功能将整个数据库从一个Oracle数据库实例复制到另一个实例。为Oracle数据库迁移数据的导出/导入优势使用导出/导入升级Orac......
     
  • IIS服务器如何导入中间证书或根证书？
    许多客户在IIS服务器上绑定SSL证书时提示“证书链的一个或多个中间证书丢失。要解决此问题，请确保安装了所有的中间证书。”，绑定后访问https页面也会提示该证书不是由信任机......
     
  • IIS服务器如何导入中间证书或根证书？
    许多客户在IIS服务器上绑定SSL证书时提示“证书链的一个或多个中间证书丢失。要解决此问题，请确保安装了所有的中间证书。”，绑定后访问https页面也会提示该证书不是由信任机......
     
  • wireshark网络封包抓包工具导入/导出pcap文件
    1、Wireshark导入文件打开Wiresharkwiki，点击SampleCaptures，可以看到Wireshark官方上传的一些pcap文件。点击SampleCaptures后，可以看到文件后缀名有cap，pcap，pcapng，pc......
     
  • 数据导入失败处理方法
    用记事本的方式编辑打开sql先ctrl+H查找COLLATEutf8mb4_0900_ai_ci替换为  utf8_general_ci在替换 utf8mb4为 utf8 将sql文件保存即可 技术贡献者:......
     
    •            
          

        

      

    

    

      
赞助商

      




      

      
阅读排行

      

        
      

    

  





  
 
    
网站主页关于我们联系我们网站地图 

    
本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。 

    
Copyright © 2020-2023  IPS99  版权所有 IPS99