首页 > 其他分享 >HIVE数据分析-处理结果入库

HIVE数据分析-处理结果入库

时间:2023-09-23 18:23:00浏览次数:36  
标签:数据分析 varchar -- HIVE int export table 处理结果 255

1、navicat远程连接Hive数据库

1、打开navicat里的mysql连接

2、使用SSH隧道

出现上面这个显示连接就是成功

3、设置常规连接

显示成功后点击确定,navicat远程连接Hive数据库成功

问题 4、处理结果入库:

将上述统计分析的结果数据保存到mySQL数据库中。

1、通过Navicat创建表格

create table jichang(
  day_id varchar(255),
  sale_nbr varchar(255),
  cnt varchar(255),
  round varchar(255)
)
create table dailishang(
  day_id varchar(255),
  sale_nbr varchar(255),
  cnt varchar(255),
  round varchar(255)
)
create table dailishang_h(
day_id varchar(255),
sale_nbr varchar(255),
Sale_number int
)


create table daili(
 day_id varchar(255),
 sale_nbr varchar(255),
 incnt int,
 inround int,
 outcnt int,
 outround int,
 lirun int
)

2、通过sqoop将hive的数据导入导mysql

bin/sqoop export \
--connect jdbc:mysql://node1:3306/hive1 \
--username root \
--password 20204112 \
--table jichang \
--num-mappers 1 \
--export-dir /user/hive/warehouse/jichang \
--input-fields-terminated-by ","

bin/sqoop export \
--connect jdbc:mysql://node1:3306/hive1 \
--username root \
--password 20204112 \
--table daili \
--num-mappers 1 \
--export-dir /user/hive/warehouse/daili \
--input-fields-terminated-by ","

bin/sqoop export \
--connect jdbc:mysql://node1:3306/hive1 \
--username root \
--password 20204112 \
--table dailishang \
--num-mappers 1 \
--export-dir /user/hive/warehouse/dailishang \
--input-fields-terminated-by ","

bin/sqoop export \
--connect jdbc:mysql://node1:3306/hive1 \
--username root \
--password 20204112 \
--table dailishang_h \
--num-mappers 1 \
--export-dir /user/hive/warehouse/dailishang_h \
--input-fields-terminated-by ","

3、显示导入成功


参考戈瑾的博客园,感谢紫诺学姐

标签:数据分析,varchar,--,HIVE,int,export,table,处理结果,255
From: https://www.cnblogs.com/yzx-sir/p/17724854.html

相关文章

  • Hive学习2(hive部署启动,DataGrip连接hiveserver2)
    1.Hive部署:hive部署:09-Apachehive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apachehive安装部署--配置文件修改编辑_哔哩哔哩_bilibili2.Hive启动hadoop启动后。node1上:nohup/export/server/apache-hive-3.1.2-bin/bin/hive--servicemetastore&noh......
  • HIVE数据分析-数据清洗
    题目:2、数据清洗:要求将day_id一列中的数值清洗为真实的日期格式,可用字符串表示。数据1对应日期2023-09-01,依次类推,15对应日期2023-09-15二、数据清洗(2)创建表格存放清洗后的数据:createtablesales_y(day_idstring,sale_nbrstring,buy_nbrstring,cntstring,roundstring)......
  • navicat链接虚拟机上hive环境下的MySQL
    一:启动虚拟机二,finallshell上进入hive,(具体进入参照上一个博客)三,进入成功后,打开Navicat 点击左上角链接选择MySQL按照上面的步骤:1.起一个名字,能分辨就行2.这里非常重要,必须要填IP地址,IP地址不知道的同学打开虚拟机中hive的服务端(就是你finallshell上运行hive的那个主机),在......
  • Hive学习1(数据仓库及Hive基础学习)
    1.数据仓库1.1什么是数据仓库数据仓库(英语:DataWarehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库本身并不“生产”任何数据,其数据来源于不同外部系统;同时数据仓库自身也不“消费”任何的数据,其结果开放给各个外部应用使用;数据仓库是为了分析数据的。......
  • datagrip链接hive
    首先在官网下载datagrip直接点击安装选择30天免费试用直接进项下一步,进去之后,新建project 起个名字完成即可: 右上角或左边有一个database点击】点击加号选择Apachehive  ......
  • HIVe的启动以及datagrip配置
    之前已经被治好所需要的HIVe环境,治理需要启动他,才可以进行下面的链接datagrip操作首先进到finallshell里面然后启动zookeeper然后再启动hadoop:start-all.sh启动完成之后看上一个博客先关闭防火墙;根据黑马教程中提到的有两种方式启动HIVe:一,先启动metastore,然后在启动hive二......
  • HIVE数据分析-导入数据库
    首先,启动hadoop以及hive出现以上进程,显示成功将改名后的文件上传到虚拟机在hive里面的defaul数据库创建表格usedefault;showtables;loaddatalocalinpath'/export/server/apache-hive-3.1.2-bin'intotablesales;将表格数据导入到表格中createtablesales(d......
  • 将hive数据库中的数据导入到mysql数据库中时需要注意到的问题
    在hive中使用jdbc将hive与mysql连接起来时一定要注意到每个数据库不同的字段个数,在打算直接复制时,不能只是修改表的名称和字段名称,还要记得修改几个?那里,个数要与字段名称保持一致!!!不然就会报错(比如我);......
  • SQL数据分析 | 经验分享淘宝用户分析!
    SQL也能做分析?当然!常见的数据清洗,预处理,数据分类,数据筛选,分类汇总,以及数据透视等操作,用SQL一样可以实现(除了可视化,需要放到Excel里呈现)。SQL不仅可以从数据库中读取数据,还能通过不同的SQL函数语句直接返回所需要的结果,从而大大提高了自己在客户端应用程序中计算的效率。但是,这个过......
  • Cannot initiate the connection to cn.archive.ubuntu.com:80 (2403:2c80:5::6). - c
     版本:ubuntu22.04 Cannotinitiatetheconnectiontocn.archive.ubuntu.com:80(2403:2c80:5::6).-connect(101:Networkisunreachable) 嗯,被墙了。找到/etc/apt/source.list替换里面的源为清华源 ubuntu|镜像站使用帮助|清华大学开源软件镜像站|Tsinghu......