首页 > 其他分享 >Hive的搭建

Hive的搭建

时间:2024-11-08 21:30:07浏览次数:3  
标签:3524755 hive blog Hive mysql com log4j 搭建

一、上传解压配置环境变量

1.解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../

2.配置环境变量

vim /etc/profile

3、重命名

mv apache-hive-3.1.2-bin hive-3.1.2

4.使环境变量生效

source /etc/profile

二、修改配置文件

1.拷贝一份文件

cp hive-default.xml.template hive-site.xml

2.将其下载并且在本地进行修改

第一个修改的地方
javax.jdo.option.ConnectionDriverName
com.mysql.cj.jdbc.Driver

第二个修改的地方
javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?useSSL=false&createDatabaseIfNotExist=true&characterEncoding=utf8&useUnicode=true

    <name>javax.jdo.optio``n.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
  </property>
  <property>
	<name>hive.server2.enable.doAs</name>
	<value>false</value>
  </property>
    
<property>
<name>hive.querylog.location</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.exec.local.scratchdir</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.downloaded.resources.dir</name>
<value/>
</property>
</configuration>```

最后我们需要将3214行的注释删除
![](/i/l/?n=24&i=blog/3524755/202411/3524755-20241108195934274-2056066291.png)
图片是已经删除过的了


#三、创建日志文件
vim og4j.properties
将日志级别改成WARN,避免执行sql出现很多日志
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n%
![](/i/l/?n=24&i=blog/3524755/202411/3524755-20241108200048263-1543792886.png)

#四、上传mysql驱动
## 将nysql驱动包上传到hive的lib目录下
mysql-connector-java-8.0.29.jar
![](/i/l/?n=24&i=blog/3524755/202411/3524755-20241108200639816-309273082.png)

#五、初始化hive元数据库
初始化hive的元数据(表结构)到mysql中
schematool -dbType mysql -initSchema
![](/i/l/?n=24&i=blog/3524755/202411/3524755-20241108201210482-2129714550.png)

#六、启动hive元数据服务
nohup hive --service metastore >> /usr/local/soft/hive-3.1.2/startlogs/metastore-service.log &
可以编辑一个shell脚本,在bin目录下
![](/i/l/?n=24&i=blog/3524755/202411/3524755-20241108213623076-144572963.png)

#七、进入hive命令行
hive

标签:3524755,hive,blog,Hive,mysql,com,log4j,搭建
From: https://www.cnblogs.com/ndmtzwdx/p/18535972

相关文章

  • hive基础知识分享(三)
    写在前面今天继续学习hive部分的知识。Hive中如何实现行列转换一行变多行可以对表使用LATERALVIEWEXPLODE(),也可以直接使用EXPLAIN()函数来处理一行数据。SELECTname,col1FROMtestarray2LATERALVIEWEXPLODE(weight)t1AScol1;多行变一行使用GROUPBY+......
  • 大数据学习11之Hive优化篇
    1.Hive压缩1.1概述    当前的大数据环境下,机器性能好,节点更多,但并不代表我们无条件直接对数据进行处理,在某些情况下,我们依旧需要对数据进行压缩处理,压缩处理能有效减少存储系统的字节读取数,提高网络带宽和磁盘空间的效率。    Hive相当于Hadoop的客户端,Hive......
  • 【Unity生存游戏开发插件】STP Survival Template PRO(STP)快速搭建生存游戏的核心机制
    STPSurvivalTemplatePRO(STP)是Unity平台上专为生存类游戏开发的模板插件。它帮助开发者快速搭建生存游戏的核心机制,包含许多生存类游戏常见的功能模块,从而让开发者能集中精力于内容创作而非重复的基础架构搭建。以下是STPSurvivalTemplatePRO的主要功能和特点:1. 核心生......
  • Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决
    hive-3.1.2分布式搭建文档1、下载,上传,解压,配置环境变量#1、解压(解压到上级目录)tar-zxvfapache-hive-3.1.2-bin.tar.gz-C..#2、重名名mvapache-hive-3.1.2-binhive-3.1.2#3、配置环境变量vim/etc/profile#4、在最后增加配置exportHIVE_HOME=/usr/local/......
  • 智谱BigModel研习社|搭建 AI 搜索引擎 - 使用免费的Web-Search-Pro+脑图Agent智能体
    作者:Cartman文章:多智能体AI搜索引擎点击链接,更多实践案例等你探索~ #智谱BigModel研习社是专业的大模型开发者交流平台,欢迎在评论区与我们互动! 传统搜索引擎如今的问题在于输出很多不相关结果(大量垃圾信息+SEO操纵的标题党内容),大模型也面临着幻觉问题。在网......
  • 「Mac玩转仓颉内测版1」入门篇1 - Cangjie环境的搭建
    本篇详细介绍在Mac系统上快速搭建Cangjie开发环境的步骤,涵盖VSCode的下载与安装、Cangjie插件的离线安装、工具链的配置及验证。通过这些步骤,确保开发环境配置完成,为Cangjie项目开发提供稳定的基础支持。关键词Cangjie开发环境搭建VSCode安装指南Cangjie插件离线安装MacC......
  • windows搭建syncthing中继服务器和发现服务器
    软件准备1.stdiscosrv:发现服务器,下载地址https://github.com/syncthing/discosrv/releases2.strelaysrv:中继服务器,下载地址 https://github.com/syncthing/relaysrv/releases3.syncthing:文件同步程序,下载地址 https://syncthing.net/downloads根据自身需要下载相应系统相应......
  • 矩阵系统源码搭建之剪辑功能开发,支持OEM
    一、引言在矩阵系统中,剪辑功能是一项关键的特性,它可以满足用户对于视频内容的编辑和处理需求。无论是用于社交媒体推广、内容创作还是其他领域,一个优秀的剪辑功能能够大大提高矩阵系统的实用性和吸引力。本文将详细介绍矩阵系统源码中剪辑功能的开发过程。二、技术选型(一......
  • Hive高级篇
    1.分区/分桶数据模型讲Hive分区之前,我们先来说一下Hive的数据模型,Hive的数据模型主要有以下四种:​在大数据中,最常见的一种思想就是分治,我们可以把大文件切割成一个个的小文件,这样每次操作小文件时就会容易许多。同样的道理,在Hive中也是支持的,我们可以把大的数据......
  • kafka+zookeeper的搭建
            kafka从2.8版本开始,就可以不用配置zookeeper了,但是也可以继续配置。我目前使用的kafka版本是kafka_2.12-3.0.0.tgz,其中前面的2.12表示是使用该版本的scala语言进行编写的,而后面的3.00才是kafka当前的版本。通过百度网盘分享的文件:apache-zookeeper-3.6.4-bin.......