首页 > 数据库 >使用sqoop export命令将hive数据导入mysql

使用sqoop export命令将hive数据导入mysql

时间:2023-09-24 09:00:20浏览次数:47  
标签:-- sqoop hive 导入 export mysql

描述一下

因为我前两天的测试里面,用的是另外一种方法,所以今天想要尝试一下sqoop export的方法,这个方法我之前也试过,但是一直报错,但是!我又来啦!!!

相关步骤

自己设置一个数量不多的csv文件:

然后按照之前的步骤:上传,导入数据库:

然后在mysql里面同时创建一个与hive数据库中结构一致的表:

执行hive导入mysql的操作:

家人们!他进来啦!

看来就是我之前的语句的问题!!!

下面来解析一下各行语句的具体含义(避免我自己忘了):

bin/sqoop export \
--connect jdbc:mysql://node1:3306/transport \
--username root \
--password hadoop \
--table text \
--num-mappers 1 \
--export-dir /user/hive/warehouse/sss.db/text \
--input-fields-terminated-by ","

首先,这个代码是在sqoop的下载目录下运行的,然后在这里:

调用的bin目录;

然后connect是,node1--虚拟机的主机名称;transport--在mysql里面定义的数据库的名称;

之后username和password,都是进入虚拟机的mysql的用户名和密码;

然后table,也是mysql的transport数据库下面的表的名称;

num-mappers直接照抄;

export-dir是,进入到hive的webUI界面:

就能够找到我们在hive里面存储数据的那张表;

最后一行,显示的是我们的数据的分隔符;

完成!

标签:--,sqoop,hive,导入,export,mysql
From: https://www.cnblogs.com/liuzijin/p/17725580.html

相关文章

  • hive的一些操作(防忘)
    createdatabasetest_1;创建数据库 dropdatabasetest_1; 删除数据库 showdatabases;查看数据库 ......
  • 关于Hadoop和hive启动关闭的一些命令
    Hadoop启动/关闭:start-all.sh/stop-all.sh HDFS:start-dfs.sh/stop-dfs.sh YARN:start-yarn.sh/stop-yarn.shhive启动metastore服务:前台启动/export/server/apache-3.1.2-bin/bin/hive--servicemetastore 后台启动nohup/export/server/apache-hive-3.1.2-bin/bin/hi......
  • Hive的使用以及如何利用echarts实现可视化在前端页面展示(四)---连接idea使用echarts
    说来惭愧,我的javaweb烂得一批,其他步骤我还是很顺利地,这个最简单的,我遇到了一系列问题。只能说,有时候失败也是一种成功吧这一步其实就是正常的jdbc,没什么可说明的,但是关于使用echarts我还是遇到了一些困难,如果有高手能指正一二,感激不尽echarts获取前端数据要使用Ajax,我不会这个语......
  • Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导
    1、安装sqoop我的版本jdk1.8hadoop3.1.3sqoop1.4.6基本上就安装这个版本都没问题,如果是执行连接数据库命令时报错:java.lang.NoClassDefFoundError;报错,在lib下再放一个commons-lang-2.6.jar即可,sqoop安装:Indexof/dist/sqoop(apache.org)commons-lang-2.6.jar下载:commo......
  • Hive的使用以及如何利用echarts实现可视化在前端页面展示(二)---hive部分的实现
    1、利用远程连接器上传csv文件2、进入hive创建表结构:创建一个Hive表的SQL语句:这个表名为 "sales",包含了五个列:day_id、sale_nbr、buy_nbr、cnt 和 round。此表的数据格式为逗号分隔的文本文件,每一行都用逗号分隔字段。createtablesales(day_idstring,sale_nbrstring,b......
  • Hive
    Hive简介Hive是一种大数据处理工具,使用类SQL的HiveQL语言实现数据查询,它底层封装了Hadoop,所有Hive的数据都存储在Hadoop兼容的HDFS中。更官方的描述:Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模......
  • Hive学习3(数据库操作DML、join、hive函数)
    1.对数据库操作数据定义语言(DataDefinitionLanguage,DDL),是SQL语言集中对数据库内部的对象结构进行创建,删除,修改等的操作语言,这些数据库对象包括database、table等。DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内部数据的操作。1.1创建数据库created......
  • mysql 月份差_MySQL时间差返回月个数
    Sql代码selectPERIOD_DIFF(date_format(now(),'%Y%m'),date_format('2010-11-30','%Y%m'))1.MySQL为日期增加一个时间间隔:date_add()Sql代码set@dt=now();selectdate_add(@dt,interval1day);--add1dayselectdate_add(@dt,int......
  • MyBatis MySQL limit分页含运算动态语句
    MySQL基本的分页语句select*fromtablelimitoffset,pageSize正常情况下是没问题的,如果offset是动态的select*fromtablelimit(pageNum-1)*pageSize,pageSize这样就无法执行了。具体原因可以在MySQL中直接执行这种含运算符的语句试下就知道了。现在给出两种解决方案使用MySQ......
  • Mysql计算月份差
    hiredate是数据库当中的时间now()获取的是当前时间DATE_FORMAT()对时间进行格式化SELECT*,PERIOD_DIFF(DATE_FORMAT(now(),'%Y%m'),DATE_FORMAT(hiredate,'%Y%m'))hiredate是数据库当中的时间now()获取的是当前时间DATE_FORMAT()对时间进行格式化SELECT*,PERIOD_DIFF(DAT......