首页 > 其他分享 >hive-3.1.2搭建

hive-3.1.2搭建

时间:2024-11-08 21:46:52浏览次数:1  
标签:3.1 hive javax mysql apache log4j 搭建

  • 1、下载安装包

下载hive
https://archive.apache.org/dist/hive/
下载MySQL驱动包
https://mirrors.huaweicloud.com/mysql/Downloads/Connector-J/

  • 2、上传到Linux并解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../

  • 3、重命名

mv apache-hive-3.1.2-bin hive-3.1.2

  • 4、配置环境变量

vim /etc/profile

添加下面内容

export HIVE_HOME=/usr/local/soft/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin
  • 5、加载环境变量

source /etc/profile

  • 6、修改配置文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true&amp;characterEncoding=utf8&amp;useUnicode=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
  </property>
  <property>
	<name>hive.server2.enable.doAs</name>
	<value>false</value>
  </property>
    
<property>
<name>hive.querylog.location</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.exec.local.scratchdir</name>
<value/>
</property>

 

(同上)
<property>
<name>hive.downloaded.resources.dir</name>
<value/>
</property>
</configuration>

3214行的描述删掉

  • 7、创建log4j.properties配置文件

编辑文件添加下面内容

# 将日志级别改成WARN,避免执行sql出现很多日志
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n%
  • 8、将nysql驱动包上传到hive的lib目录下

  • 9、初始化hive元数据库

初始化hive的元数据(表结构)到mysql中
schematool -dbType mysql -initSchema

  • 10、后台启动元数据服务

nohup hive --service metastore >> /usr/local/soft/hive-3.1.2/startlogs/metastore-service.log &

  • 11、进入hive命令行

hive

  • 12、测试

查看数据库
show databases;

标签:3.1,hive,javax,mysql,apache,log4j,搭建
From: https://www.cnblogs.com/w-ll/p/18535988

相关文章

  • Hive的搭建
    一、上传解压配置环境变量1.解压tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../2.配置环境变量vim/etc/profile3、重命名mvapache-hive-3.1.2-binhive-3.1.24.使环境变量生效source/etc/profile二、修改配置文件1.拷贝一份文件cphive-default.xml.templatehi......
  • hive基础知识分享(三)
    写在前面今天继续学习hive部分的知识。Hive中如何实现行列转换一行变多行可以对表使用LATERALVIEWEXPLODE(),也可以直接使用EXPLAIN()函数来处理一行数据。SELECTname,col1FROMtestarray2LATERALVIEWEXPLODE(weight)t1AScol1;多行变一行使用GROUPBY+......
  • 大数据学习11之Hive优化篇
    1.Hive压缩1.1概述    当前的大数据环境下,机器性能好,节点更多,但并不代表我们无条件直接对数据进行处理,在某些情况下,我们依旧需要对数据进行压缩处理,压缩处理能有效减少存储系统的字节读取数,提高网络带宽和磁盘空间的效率。    Hive相当于Hadoop的客户端,Hive......
  • 【Unity生存游戏开发插件】STP Survival Template PRO(STP)快速搭建生存游戏的核心机制
    STPSurvivalTemplatePRO(STP)是Unity平台上专为生存类游戏开发的模板插件。它帮助开发者快速搭建生存游戏的核心机制,包含许多生存类游戏常见的功能模块,从而让开发者能集中精力于内容创作而非重复的基础架构搭建。以下是STPSurvivalTemplatePRO的主要功能和特点:1. 核心生......
  • Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决
    hive-3.1.2分布式搭建文档1、下载,上传,解压,配置环境变量#1、解压(解压到上级目录)tar-zxvfapache-hive-3.1.2-bin.tar.gz-C..#2、重名名mvapache-hive-3.1.2-binhive-3.1.2#3、配置环境变量vim/etc/profile#4、在最后增加配置exportHIVE_HOME=/usr/local/......
  • 智谱BigModel研习社|搭建 AI 搜索引擎 - 使用免费的Web-Search-Pro+脑图Agent智能体
    作者:Cartman文章:多智能体AI搜索引擎点击链接,更多实践案例等你探索~ #智谱BigModel研习社是专业的大模型开发者交流平台,欢迎在评论区与我们互动! 传统搜索引擎如今的问题在于输出很多不相关结果(大量垃圾信息+SEO操纵的标题党内容),大模型也面临着幻觉问题。在网......
  • 「Mac玩转仓颉内测版1」入门篇1 - Cangjie环境的搭建
    本篇详细介绍在Mac系统上快速搭建Cangjie开发环境的步骤,涵盖VSCode的下载与安装、Cangjie插件的离线安装、工具链的配置及验证。通过这些步骤,确保开发环境配置完成,为Cangjie项目开发提供稳定的基础支持。关键词Cangjie开发环境搭建VSCode安装指南Cangjie插件离线安装MacC......
  • windows搭建syncthing中继服务器和发现服务器
    软件准备1.stdiscosrv:发现服务器,下载地址https://github.com/syncthing/discosrv/releases2.strelaysrv:中继服务器,下载地址 https://github.com/syncthing/relaysrv/releases3.syncthing:文件同步程序,下载地址 https://syncthing.net/downloads根据自身需要下载相应系统相应......
  • 矩阵系统源码搭建之剪辑功能开发,支持OEM
    一、引言在矩阵系统中,剪辑功能是一项关键的特性,它可以满足用户对于视频内容的编辑和处理需求。无论是用于社交媒体推广、内容创作还是其他领域,一个优秀的剪辑功能能够大大提高矩阵系统的实用性和吸引力。本文将详细介绍矩阵系统源码中剪辑功能的开发过程。二、技术选型(一......
  • Hive高级篇
    1.分区/分桶数据模型讲Hive分区之前,我们先来说一下Hive的数据模型,Hive的数据模型主要有以下四种:​在大数据中,最常见的一种思想就是分治,我们可以把大文件切割成一个个的小文件,这样每次操作小文件时就会容易许多。同样的道理,在Hive中也是支持的,我们可以把大的数据......