首页 > 其他分享 >hive的搭建

hive的搭建

时间:2024-11-08 23:41:23浏览次数:3  
标签:3.1 hive log4j mysql local 目录 搭建

apache Hive官网下载 apache-hive-3.1.2-bin.tar.gz
华为镜像站下载MySQL mysql-connector-java-8.0.29.jar
/usr/local/soft/jars 上传到该目录下

1、解压

该目录下解压 到上一个目录下 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../

2.重命名

[root@master soft]# mv apache-hive-3.1.2-bin hive-3.1.2 修改名字

3、配置环境变量

vim /etc/profile

4、在最后增加配置

export HIVE_HOME=/usr/local/soft/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

5、使环境变量剩下

source /etc/profile

修改配置文件

1.进入hive所在目录配置文件
cd /usr/local/soft/hive-3.1.2/conf
创建 hive-site.xml配置文件
[root@master conf]# cp hive-default.xml.template hive-site.xml

点击查看
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true&amp;characterEncoding=utf8&amp;useUnicode=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
  </property>
  <property>
	<name>hive.server2.enable.doAs</name>
	<value>false</value>
  </property>
    
<property>
<name>hive.querylog.location</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.exec.local.scratchdir</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.downloaded.resources.dir</name>
<value/>
</property>
</configuration>

3214行的描述删掉
3、创建log4j.properties配置文件 # 将日志级别改成WARN,避免执行sql出现很多日志 log4j.rootLogger=WARN,CA log4j.appender.CA=org.apache.log4j.ConsoleAppender log4j.appender.CA.layout=org.apache.log4j.PatternLayout log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n%

3、上传mysql驱动

将mysql驱动包上传到hive的lib目录下

mysql-connector-java-8.0.29.jar
[root@master lib]# cp /usr/local/soft/jars/mysql-connector-java-8.0.29.jar ./
4、初始化hive元数据库
2、初始化hive的元数据(表结构)到mysql中
schematool -dbType mysql -initSchema
默认会在MySQL创建数据库创建一系列表

5、启动hive元数据服务

hive --service metastore
元数据将启动日志追加到这个目录下
nohup hive --service metastore >> /usr/local/soft/hive-3.1.2/startlogs/metastore-service.log &


启动Hadoop
start-all.sh
启动hive
安全模式:启动时会读快照文件和日志文件,用户不能做增删改操作,只能做查询,无法创建日志

启动hive默认会有一个default数据库在DBS表中

6、进入hive命令行

进入hive

hive

测试

1、创建表

hive> create table text1
> (
> id bigint,
> name string
> )
> ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
OK
Time taken: 0.673 seconds
hive> show databases;
OK
default
Time taken: 0.027 seconds, Fetched: 1 row(s)
hive> show tables;
OK
student
text1
Time taken: 0.063 seconds, Fetched: 2 row(s)
hive> select * from text1;
OK
Time taken: 0.31 seconds
hive>

2、执行sql查询数据

select clazz,count(1) as num from student group by clazz;

/user/hive/warehouse/ 该目录对应的就是default数据库
text1在hdfs中是以文件夹的形式 ,一个文件是一个目录,文件中的数据
将hdfs上面的目录映射成数据库,一张表也是一个目录,目录里的文件是一张表的数据

标签:3.1,hive,log4j,mysql,local,目录,搭建
From: https://www.cnblogs.com/wangxiaojian-lina/p/18535951

相关文章

  • hive-3.1.2搭建
    1、下载安装包下载hivehttps://archive.apache.org/dist/hive/下载MySQL驱动包https://mirrors.huaweicloud.com/mysql/Downloads/Connector-J/2、上传到Linux并解压tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../3、重命名mvapache-hive-3.1.2-binhive-3.1......
  • Hive的搭建
    一、上传解压配置环境变量1.解压tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../2.配置环境变量vim/etc/profile3、重命名mvapache-hive-3.1.2-binhive-3.1.24.使环境变量生效source/etc/profile二、修改配置文件1.拷贝一份文件cphive-default.xml.templatehi......
  • hive基础知识分享(三)
    写在前面今天继续学习hive部分的知识。Hive中如何实现行列转换一行变多行可以对表使用LATERALVIEWEXPLODE(),也可以直接使用EXPLAIN()函数来处理一行数据。SELECTname,col1FROMtestarray2LATERALVIEWEXPLODE(weight)t1AScol1;多行变一行使用GROUPBY+......
  • 大数据学习11之Hive优化篇
    1.Hive压缩1.1概述    当前的大数据环境下,机器性能好,节点更多,但并不代表我们无条件直接对数据进行处理,在某些情况下,我们依旧需要对数据进行压缩处理,压缩处理能有效减少存储系统的字节读取数,提高网络带宽和磁盘空间的效率。    Hive相当于Hadoop的客户端,Hive......
  • 【Unity生存游戏开发插件】STP Survival Template PRO(STP)快速搭建生存游戏的核心机制
    STPSurvivalTemplatePRO(STP)是Unity平台上专为生存类游戏开发的模板插件。它帮助开发者快速搭建生存游戏的核心机制,包含许多生存类游戏常见的功能模块,从而让开发者能集中精力于内容创作而非重复的基础架构搭建。以下是STPSurvivalTemplatePRO的主要功能和特点:1. 核心生......
  • Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决
    hive-3.1.2分布式搭建文档1、下载,上传,解压,配置环境变量#1、解压(解压到上级目录)tar-zxvfapache-hive-3.1.2-bin.tar.gz-C..#2、重名名mvapache-hive-3.1.2-binhive-3.1.2#3、配置环境变量vim/etc/profile#4、在最后增加配置exportHIVE_HOME=/usr/local/......
  • 智谱BigModel研习社|搭建 AI 搜索引擎 - 使用免费的Web-Search-Pro+脑图Agent智能体
    作者:Cartman文章:多智能体AI搜索引擎点击链接,更多实践案例等你探索~ #智谱BigModel研习社是专业的大模型开发者交流平台,欢迎在评论区与我们互动! 传统搜索引擎如今的问题在于输出很多不相关结果(大量垃圾信息+SEO操纵的标题党内容),大模型也面临着幻觉问题。在网......
  • 「Mac玩转仓颉内测版1」入门篇1 - Cangjie环境的搭建
    本篇详细介绍在Mac系统上快速搭建Cangjie开发环境的步骤,涵盖VSCode的下载与安装、Cangjie插件的离线安装、工具链的配置及验证。通过这些步骤,确保开发环境配置完成,为Cangjie项目开发提供稳定的基础支持。关键词Cangjie开发环境搭建VSCode安装指南Cangjie插件离线安装MacC......
  • windows搭建syncthing中继服务器和发现服务器
    软件准备1.stdiscosrv:发现服务器,下载地址https://github.com/syncthing/discosrv/releases2.strelaysrv:中继服务器,下载地址 https://github.com/syncthing/relaysrv/releases3.syncthing:文件同步程序,下载地址 https://syncthing.net/downloads根据自身需要下载相应系统相应......
  • 矩阵系统源码搭建之剪辑功能开发,支持OEM
    一、引言在矩阵系统中,剪辑功能是一项关键的特性,它可以满足用户对于视频内容的编辑和处理需求。无论是用于社交媒体推广、内容创作还是其他领域,一个优秀的剪辑功能能够大大提高矩阵系统的实用性和吸引力。本文将详细介绍矩阵系统源码中剪辑功能的开发过程。二、技术选型(一......