首页 > 其他分享 >【分布式数据仓库Hive】Hive的安装配置及测试

【分布式数据仓库Hive】Hive的安装配置及测试

时间:2024-07-01 23:59:09浏览次数:17  
标签:自定义 数据库 数据仓库 hive Hive MySQL 安装 分布式

目录

一、数据库MySQL安装

1. 检查操作系统是否有MySQL安装残留

2. 删除残留的MySQL安装(使用yum)

3. 安装MySQL依赖包、客户端和服务器

4. MySQL登录账户root设置密码,密码值自定义,这里是‘abc1234’

5. 启动MySQL服务

6. 登录MySQL,进入数据库操作提示符

7. 授权Hive远程登录账户,“账户”和“密码”自定义

8. 创建Hive元数据数据库hive_1(可自命名,符合命名规则即可)

二、Hive安装配置(使用hadoop用户)

1. 上传压缩包apache-hive-3.1.2-bin.tar.gz到hadoop01(或者其他虚拟机)

2. 在安装目标文件夹内解压缩安装包

3. 编辑hive配置文件hive-site.xml

4. 解压并导入MySQL依赖包

5. 手动初始化元数据库(Hive2以上版本需要)

6. 配置hive启动的环境变量


一、数据库MySQL安装

使用root账户

1. 检查操作系统是否有MySQL安装残留

2. 删除残留的MySQL安装(使用yum)

3. 安装MySQL依赖包、客户端和服务器

4. MySQL登录账户root设置密码,密码值自定义,这里是‘abc1234

5. 启动MySQL服务

6. 登录MySQL,进入数据库操作提示符

7. 授权Hive远程登录账户,“账户”和“密码”自定义

8. 创建Hive元数据数据库hive_1(可自命名,符合命名规则即可)

二、Hive安装配置(使用hadoop用户

1. 上传压缩包apache-hive-3.1.2-bin.tar.gz到hadoop01(或者其他虚拟机)

2. 在安装目标文件夹内解压缩安装包

3. 编辑hive配置文件hive-site.xml

(路径在hive安装目录的conf下)

第1步,先删除hive-site.xml中的大部分内容,删除后的内容如下图所示:

第2步:在<configuration>标签对中添加以下内容:

4. 解压并导入MySQL依赖包

5. 手动初始化元数据库(Hive2以上版本需要)

6. 配置hive启动的环境变量

7. 启动hive

标签:自定义,数据库,数据仓库,hive,Hive,MySQL,安装,分布式
From: https://blog.csdn.net/m0_67830223/article/details/140088247

相关文章

  • 分布式锁
    /***设置redis分布式锁**@paramkeyType分布式锁类型*@paramhKey分布式锁键值*@return对象列表*/publicbooleangetRedisTempLock(finalStringkeyType,finalStringhKey,longtempValue){Stringkey=keyT......
  • Hive基础及安装
    Hive基础了解HiveHive就像一个超级聪明的图书管理员,它住在一个很大的图书馆里(这个图书馆就是Hadoop),能帮助人们找到他们想要的信息。它用一种特别的语言(HiveSQL)来理解人们的问题,然后帮他们找到答案。但是,Hive不擅长做那些需要立刻回答的问题,它更喜欢帮助人们处理很多信息,然......
  • Hive 实操案例六:统计上传视频最多的用户 Top10 以及他们上传的视频观看次数在前 20 的
    一、数据表结构视频表t_video字段注释描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整数天category视频类别(Array<String>)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度vie......
  • Hive 实操案例五:统计每个类别中 Top10 的视频热度
    一、数据表结构视频表t_video字段注释描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整数天category视频类别(Array<String>)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度vie......
  • 关于锁的使用,千万不要踩这个坑!(附带Synchronized详解和ZooKeeper、Redis等分布式锁详解
    1、分布式锁在分布式系统中,我们经常会使用各种锁来保证数据的一致性和并发安全。一些常见的分布式锁实现包括:基于ZooKeeper的分布式锁:使用ZooKeeper节点的特性来实现分布式锁。基于Redis的分布式锁:利用Redis的原子性操作和过期时间特性来实现分布式锁。Redlock算法:由......
  • 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【13】压力压测JMeter-性能监控jv
    持续学习&持续更新中…守破离【雷丰阳-谷粒商城】【分布式高级篇-微服务架构篇】【13】压力压测JMeter-性能监控jvisualvm压力测试概述性能指标JMeter基本使用添加线程组添加HTTP请求添加监听器启动压测&查看分析结果JMeterAddressAlreadyinuse错误解决性......
  • 深入理解单一应用架构、垂直应用架构和分布式服务架构
    什么是单一应用架构?单一应用架构(MonolithicArchitecture)是一种传统的软件架构模式,其中所有的功能模块被构建成一个独立的可部署单元。简单来说,整个应用程序作为一个整体被打包和部署。单一应用架构的特点集中管理:所有的功能模块都在一个代码库中进行管理。统一部署:整个......
  • 【2024最新精简版】分布式事物面试篇
    文章目录在你的项目中哪些模块使用了分布式事务控制?能否举例说明?说一说SeatAT模式的工作原理?说一说SeatXA模式的工作原理?说一说SeatTCC模式的工作原理?什么是TCC模式的业务悬挂和空回滚?如何解决业务悬挂和空回滚?更多相关内容可查看在你的项目......
  • Hadoop+Hive超全笔记 一站式搞定!!
    Hadoophadoop集群的组成hadoop常用端口HDFS常用shell命令HDFS的原理、机制块和副本edits和fsimage文件HDFS的三大机制HDFS数据上传、写入原理(写流程)【重点】HDFS数据读取(读流程)【重点】原数据存储流程【重点】安全模式归档机制(小文件)垃圾桶机制MapReduce底层原......
  • Spark SQL与Hive的整合
    在大数据时代,处理和分析海量数据集的能力变得至关重要。ApacheSpark和Hive作为两个强大的数据处理工具,在数据仓库和分析领域有着广泛的应用。本文将探讨如何将SparkSQL与Hive整合,以及如何利用这一整合来提高数据处理的效率和灵活性。SparkSQL简介SparkSQL是ApacheSpark的一......