首页 > 数据库 >Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里

Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里

时间:2023-09-23 22:01:40浏览次数:123  
标签:-- sqoop jar Hive export mysql HOME

1、安装sqoop

我的版本

jdk1.8

hadoop3.1.3

sqoop1.4.6

基本上就安装这个版本都没问题,如果是执行连接数据库命令时报错:java.lang.NoClassDefFoundError;报错,在lib下再放一个commons-lang-2.6.jar即可,

sqoop安装:Index of /dist/sqoop (apache.org)

commons-lang-2.6.jar下载:commons-lang-2.6.jar下载及Maven、Gradle引入代码,pom文件及包内class -时代Java (nowjava.com)

2、配置文件修改(改成你自己的)

cd $SQOOP_HOME/conf

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

export HADOOP_COMMON_HOME= /export/servers/hadoop-3.1.3

export HADOOP_MAPRED_HOME= /export/servers/hadoop-3.1.3

export HIVE_HOME= /export/servers/hive

加入mysql的jdbc驱动包

 

cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME

 

3、验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://localhost:3306/ \
 --username root --password hadoop

4、这里只使用导出到mysql

(建议有时间看看导入,当然我不是)

bin/sqoop export \
--connect jdbc:mysql://你的hadoop地址:3306/数据库名 \
--username 名称 \
--password 密码 \
--table 表名 \
--num-mappers 1 \
--export-表的url
--input-fields-terminated-by ","

关于查看url,可以使用

show create table

5、进入mysql查看是否导入

注意是虚拟机的mysql

6、可视化工具navicat建立连接

 

 连接成功就完成了,可以可视化看到数据

 

标签:--,sqoop,jar,Hive,export,mysql,HOME
From: https://www.cnblogs.com/gbrr/p/17725163.html

相关文章

  • Hive的使用以及如何利用echarts实现可视化在前端页面展示(二)---hive部分的实现
    1、利用远程连接器上传csv文件2、进入hive创建表结构:创建一个Hive表的SQL语句:这个表名为 "sales",包含了五个列:day_id、sale_nbr、buy_nbr、cnt 和 round。此表的数据格式为逗号分隔的文本文件,每一行都用逗号分隔字段。createtablesales(day_idstring,sale_nbrstring,b......
  • Hive
    Hive简介Hive是一种大数据处理工具,使用类SQL的HiveQL语言实现数据查询,它底层封装了Hadoop,所有Hive的数据都存储在Hadoop兼容的HDFS中。更官方的描述:Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模......
  • Hive学习3(数据库操作DML、join、hive函数)
    1.对数据库操作数据定义语言(DataDefinitionLanguage,DDL),是SQL语言集中对数据库内部的对象结构进行创建,删除,修改等的操作语言,这些数据库对象包括database、table等。DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内部数据的操作。1.1创建数据库created......
  • mysql 月份差_MySQL时间差返回月个数
    Sql代码selectPERIOD_DIFF(date_format(now(),'%Y%m'),date_format('2010-11-30','%Y%m'))1.MySQL为日期增加一个时间间隔:date_add()Sql代码set@dt=now();selectdate_add(@dt,interval1day);--add1dayselectdate_add(@dt,int......
  • MyBatis MySQL limit分页含运算动态语句
    MySQL基本的分页语句select*fromtablelimitoffset,pageSize正常情况下是没问题的,如果offset是动态的select*fromtablelimit(pageNum-1)*pageSize,pageSize这样就无法执行了。具体原因可以在MySQL中直接执行这种含运算符的语句试下就知道了。现在给出两种解决方案使用MySQ......
  • Mysql计算月份差
    hiredate是数据库当中的时间now()获取的是当前时间DATE_FORMAT()对时间进行格式化SELECT*,PERIOD_DIFF(DATE_FORMAT(now(),'%Y%m'),DATE_FORMAT(hiredate,'%Y%m'))hiredate是数据库当中的时间now()获取的是当前时间DATE_FORMAT()对时间进行格式化SELECT*,PERIOD_DIFF(DAT......
  • mysql 月份差_MySQL时间差返回月个数
    Sql代码selectPERIOD_DIFF(date_format(now(),'%Y%m'),date_format('2010-11-30','%Y%m'))1.MySQL为日期增加一个时间间隔:date_add()Sql代码set@dt=now();selectdate_add(@dt,interval1day);--add1dayselectdate_add(@dt,int......
  • 告警日志出现"which is different from the number of indexes 4 defined in the MySQ
    问题描述:告警日志出现"whichisdifferentfromthenumberofindexes4definedintheMySQL"报错,如下所示:数据库:MySQL5.7.211、告警日志########################################ErrorDetail########################################23092121:30:00[ERROR]Tablet......
  • HIVE数据分析-处理结果入库
    1、navicat远程连接Hive数据库1、打开navicat里的mysql连接2、使用SSH隧道出现上面这个显示连接就是成功3、设置常规连接显示成功后点击确定,navicat远程连接Hive数据库成功问题4、处理结果入库:将上述统计分析的结果数据保存到mySQL数据库中。1、通过Navicat创建表......
  • Hive学习2(hive部署启动,DataGrip连接hiveserver2)
    1.Hive部署:hive部署:09-Apachehive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apachehive安装部署--配置文件修改编辑_哔哩哔哩_bilibili2.Hive启动hadoop启动后。node1上:nohup/export/server/apache-hive-3.1.2-bin/bin/hive--servicemetastore&noh......