首页 > 其他分享 >hive笔记

hive笔记

时间:2024-06-14 23:22:22浏览次数:13  
标签:sudo 笔记 命令 hive mysql MySQL rpm

hive环境搭建

基础环境准备

由于centos7系统自带的mariadb数据库会和mysql冲突,所以首先要将它删掉。
使用rpm命令 sudo rpm -qa | grep -i mariadb查看是否还有mariadb数据库。如下图就是存在:
tu0
根据显示的版本将对应mariadb数据库删除。
仍是使用rpm的命令 sudo rpm -e --nodeps mariadb数据库版本
然后再次查看:
tu1
可以看到已经没有该数据库了。

注:此处的删除无需三个节点同步删除。

MySQL的安装

MySQL插件的准备

由于hive是需要以MySQL为基础来搭建的所以这里先配置MySQL。
MySQL的使用需要用到libaio.so.1、net-tools、perl三个插件,在配置MySQL前先下载插件。

1.libaio.so.1的安装

使用命令sudo yum -y install libaio.so.1*来下载libaio,如下图结果即为成功。
tu2
当然,有时会出现如下图的结果:
tu3
这个表示你的系统里面已经有该插件了,若害怕不够保险,可以按照前面删除mariadb数据库的方式删除该插件,然后再安装。如下图示:
首先查看版本:tu4

命令为sudo rpm -qa | grep -i libaio

然后按照版本删除:
tu5
最后再安装即可。

2.net-tools的安装

使用命令sudo yum -y install net-tool下载net-tool。
成功结果如下图:
tu6

3.perl的安装

使用命令sudo yum -y install perl下载perl。
看到如下图的完成即为成功安装。
tu7

MySQL的配置

MySQL解压

一切准备工作做完,我们来到保存解压文件的目录,查看是否有我们需要的MySQL压缩包。
tu8
然后新建一个目录:
tu9
可知我们的MySQL压缩包是tar类型,所以这里使用命令sudo tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql将MySQL解压到新创建的目录下。
tu10
查看是否有缺失文件:
tu11

MySQL的安装

首先使用命令sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm安装MySQL的公共服务。
tu12
然后使用命令sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm安装MySQL的依赖库。
tu13
在之后使用命令sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm安装MySQL的客户端。
tu14
最后安装MySQL的服务端:
tu15

MySQL的启动及密码修改

在启动之前,首先要将MySQL的服务启动,使用命令sudo systemctl status mysqld.service查看mysql服务状态
tu16
如上图为关闭状态,使用命令sudo systemctl start mysqld.service启动MySQL服务。随后再次查看状态:
tu17
如上图即为启动状态,说明启动成功。
下面进行密码的修改。
首先查看MySQL的临时密码,使用命令sudo grep "temporary password" /var/log/mysqld.log查看MySQL临时密码。
tu18
如上图中,最后一行冒号后的内容即为临时密码。
使用命令mysql -u root -p登录MySQL,然后粘贴刚刚查看的临时密码,登录成功后如下图:
tu19
但是登录成功后会发现不能正常使用sql命令,连查看有什么数据库都会报错,如下图:
tu20
这个报错是告诉我们必须重新设置一个密码才能正常使用,所以现在重设一个密码。
鉴于MySQL有默认的密码长度要求,不按要求来就给你报错,所以为方便我们降低MySQL的安全指数为0。
使用sql命令set global validate_password_policy=0;降低MySQL安全指数为零。
tu21
但是只是将安全指数降低,设置密码时它还是会叫你至少输入八位,所以将最小密码长度设置为1。
使用命令set global validate_password_length=1;将最小密码长度设置为1。
tu22
下面进行修改密码操作
使用命令set password for root@localhost=password('123456');此命令中的123456为设置的密码,如有需求改成对应的密码就好。
tu23
然后使用命令flush privileges;刷新,使刚刚设置的密码生效。
tu24
最后退出MySQL再次登录,这次使用新密码登录,如下图:
tu25

MySQL的远程服务配置

在数据开发过程中,需要远程访问MySQL,但MySQL的远程访问服务是关闭的,现在我们把它打开。
首先执行用户更新命令update mysql.user set host=('%') where user='root';
tu26
随后删除mysql.session和mysql.sys两个用户,命令为:
delete from mysql.user where user='mysql.session';
delete from mysql.user where user='mysql.sys';
tu27
远程访问配置结束,现在刷新并退出MySQL即可,准备进行测试。
打开navicat新建一个连接
tu28
连接名自己随便设定就好,主机名为配置了MySQL的那个节点的名称(一般为主节点名,同时该节点需要在本地设置过,可在Linux笔记中见。)用户名和密码为在节点中设定的MySQL的用户名和密码。
tu29
随后双击刚刚新建的mysql连接,若超时表示远程连接失败,若连接成功,那当然就是连接成功了哈哈哈。成功如下图示:
tu30
至此,MySQL的配置结束,接下来是hive的时间。

hive环境的配置

首先来到存放压缩包的目录下查看是否有需要的压缩包。
tu31
可以看到第一个就是需要的hive压缩包,由于它的压缩类型为tar.gz,所以我们使用命令:tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/将文件解压到存放配置文件的目录中。
接下来查看是否解压成功
tu32
使用mv命令将文件改名为hive-3.1.2,便于配置文件。命令为mv apache-hive-3.1.2-bin hive-3.1.2
tu33
然后进入hive目录中使用pwd命令获取当前路径,复制下来配置环境变量。
tu34
使用命令vi /etc/profile打开环境变量配置文件。并将如下内容放入该文件最后。
export HIVE_HOME=hive路径
export PATH=$PATH:$HIVE_HOME/bin
tu35
保存退出后使用命令source /etc/profile使环境变量生效。
打开notepad++连接上配置hive的主节点。随后打开opt/module/hive-3.1.2/conf,找到第一个要修改的文件hive-env.sh.template并将其更名为hive-env.sh
打开文件,在第48行找到如下内容:
tu36
随后更改为如下状态:
tu37
如上图中第四十八行原本在前面的#务必删除,否则视为被注释状态,配置的内容会失效。
而HADOOP_HOME后的内容为Hadoop在Linux系统中的路径。
随后找到第五十一行的如下内容:
tu38
更改至如下状态:
tu39
此处原本在前面的#仍然需要删除,同前面一样。而此处等号后的路径为hive路径。

标签:sudo,笔记,命令,hive,mysql,MySQL,rpm
From: https://www.cnblogs.com/fengjiandao/p/18241555

相关文章

  • 计算机组成原理:408考研|王道|学习笔记(持续更新~)
    系列目录目录系列目录第一章计算机系统概述1.1计算机的发展(不考)1.2计算机硬件的基本组成1.2.1计算机硬件组成1.2.2各个硬件的工作原理......
  • 《操作系统原理》读书笔记
    信息《操作系统原理(第4版)》庞丽萍华中科技大学出版社摘录绪论存储程序式计算机冯·诺依曼计算机体系结构从20世纪40年代至今,计算机体系结构不断地发展变化,但冯·诺依曼计算机体系结构定义的一个存储程序式计算机的家族,几乎是当代所有计算机系统的构成基础(除专门设计......
  • 《读书与做人》读书笔记
    信息《读书与做人》季羡林国际文化出版公司摘录除了马克思主义以外,古今中外一些所谓唯心主义哲学家的著作,他们的思维方式和推理方式,也要认真学习。百分之百的唯物主义哲学家和百分之百的唯心主义哲学家,都是没有的。“智者千虑,必有一失”。我们千万不要像过去那样把十分复杂......
  • 《如何有效阅读一本书》读书笔记
    信息《如何有效阅读一本书》奥野宣之江西人民出版社摘录读书笔记的作用:随想笔记、购书清单、各种报道的剪报、读书笔记过程中基本上是用不到笔记本的,读书时只需要画出重点做好记号,日后只需要确认想要落实的内容,记在读书笔记里就好读书的过程:选书、购书、读书、笔记、活用......
  • 【学习笔记】透视HTTP协议(六):发起请求后,处理流程是怎么样子的?
      本文是一篇学习笔记,学习的课程是极客时间的《透视HTTP协议》。透视HTTP协议_HTTP_HTTPS-极客时间(geekbang.org)本文主要描述发起请求后,具体的处理过程。目录一、简述浏览器HTTP请求过程二、详述浏览器HTTP请求过程一、简述浏览器HTTP请求过程示例:在Chrome浏览......
  • java多线程学习笔记——“并发提高效率”
    java的内存分配与管理如果要学习多线程,我们必须先对java的内存分配和管理有一定的了解java的分区包括:程序计数器、Java虚拟机栈、本地方法栈、Java堆、方法区、运行时常量池这几个部分。栈区栈区有以下几个特点:1、线程私有,每个线程都会拥有自己的栈2、每个方法在被调用......
  • JDBC学习笔记
    本质由于每一个数据库的底层实现都是不同的,有不同的实现方法,使用起来会比较麻烦。于是就有了SUN公司开发的这一套jdbc的问世。简而言之,jbdc(Java连接数据库)的本质就是接口,让程序员不用关心数据库的具体实现类,只需要针对该接口进行开发即可,接口存在的目的就是解耦合,提高程序的......
  • 计网笔记-第四章:网络层
    第四章重点五类IP地址划分的表格(Ctrl+F查找wiki)例题1:子网划分(查找1111)例题2:子网划分与CIDR(查找2222)链路状态路由(全局路由):Dijkstra(查找Dijkstra)距离向量路由(分布式路由算法):DV(查找4.5.2)第四章复习大纲路由器的结构IP协议(重点)IP报文格式IPv4寻址ICMPDHCP......
  • 04《android studio开发实战(第三版)》第七到十章阅读笔记
    第七章:持久化存储本章介绍了SharedPreferences的使用方法,它是一种轻量级的存储方案,用于保存简单的键值对数据,如用户设置和配置。 学习了如何创建SharedPreferences对象,使用getSharedPreferences()方法读取和写入数据,以及如何使用apply()和commit()提交修改。了解了如何在Andro......
  • 硬件开发笔记(十八):核心板与底板之间的连接方式介绍说明:板对板连接器
    前言  核心板与底板之间的连接方式至少就有四种以上,包括且不限于:DIP直插、板对板连接器、邮票孔和金手指。 常用连方式介绍DIP直插  DIP就是以前的元器件封装,直接DIP插入焊接,宿便找了个,如下图:    可以定制自己的,一般来说,没有高速电路问题不大,但是这种方......