首页 > 系统相关 >Ubuntu实现Hive与HBase的安装与配置(单机)

Ubuntu实现Hive与HBase的安装与配置(单机)

时间:2024-03-26 17:01:47浏览次数:27  
标签:xml hive usr Ubuntu Hive HBase local hbase

(一)Hive的安装与配置

 Hive下载链接:

https://mirrors.bfsu.edu.cn/apache/hive/

(1)将下载好的Hive文件(版本:3.1.2)解压到/usr/local目录下

sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local

(2)切换至目录 /usr/local,将文件夹名改为hive,并且修改文件权限给本账户

cd /usr/local/

sudo mv apache-hive-1.2.1-bin hive

sudo chown -R yy:yy hive #自己的用户名

配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HIVE_HOME=/usr/local/hive #自己的hive安装路径

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_HOME=/usr/local/hadoop #自己的hadoop安装路径

保存退出后,使用以下命令使配置生效:

source ~/.bashrc

(3)修改/usr/local/hive/conf下的配置文件:

首先将hive-default.xml.template重命名为hive-default.xml,命令:

cd /usr/local/hive/conf

mv hive-default.xml.template hive-default.xml

使用vim编辑器新建一个配置文件hive-site.xml,命令如下:

vim hive-site.xml

在hive-site.xml中添加如下配置信息:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

    <description>JDBC connect string for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

    <description>username to use against metastore database</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hive</value>

    <description>password to use against metastore database</description>

  </property>

</configuration>

(4)进入/usr/local/hive/bin路径下,输入命令./hive,(注:一定要先启动hadoop,在hadoop路径下启动命令:sbin/start-dfs.sh)启动成功。

(二)HBase的安装与配置

(1)下载HBase

HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容

参考官网的配置信息:
https://hbase.apache.org/book.html#hadoop

查看我的hadoop版本:

查阅官方文档,HBase-2.3.x可以与Hadoop3.3.1兼容

Hbase下载链接:
https://archive.apache.org/dist/hbase/

将压缩包解压并重命名:

sudo tar -zxvf ./hbase-2.3.1-bin.tar.gz -C /usr/local

cd /usr/local/

sudo mv hbase-2.3.1 hbase

sudo chown -R yy:yy hbase 

(2)由于HBase依赖JAVA_HOME环境变量,所以要导入Java环境变量,编辑conf/hbase-env.sh文件,并取消注释以#export JAVA_HOME =开头的行,然后将其设置为Java安装路径

(3)配置环境,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HBASE_HOME=/usr/local/hbase #安装目录

export PATH=$HBASE_HOME/bin:$PATH

(4)通过指令查看hbase是否安装成功同时也是查看HBase版本代码。出现一下信息即为成功。

(5)编辑hbase-env.sh文件,配置JAVA环境变量

vim /usr/local/hbase/conf/hbase-env.sh

在hbase-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #自己的jdk安装目录

export HBASE_MANAGES_ZK=true

(6)编辑hbase-site.xml

vim /usr/local/hbase/conf/hbase-site.xml

将以下代码添加到<configuration>。

<property>

       <name>hbase.rootdir</name>

       <value>file:///usr/local/hbase/hbase-tmp</value>

</property>

(7)测试是否配置成功

cd /usr/local/hbase

bin/start-hbase.sh

bin/hbase shell

注:

如果启动hbase时报以下错误

启动hbase时报错: 2024-03-26 16:02:40,278 ERROR [main] conf.Configuration: error parsing conf hbase-site.xml com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs. at [row,col,system-id]: [2,5,"file:/usr/local/hbase/conf/hbase-site.xml"]

解决方法:把hbase-site.xml中的红框部分删掉即可

参考博客:Hive&HBase部署

HBase单机配置

标签:xml,hive,usr,Ubuntu,Hive,HBase,local,hbase
From: https://blog.csdn.net/m0_72272610/article/details/137045520

相关文章

  • windows10挂载ubuntu18.04虚拟机
    一、安装samba1、安装sudoapt-getinstallsamba2、验证安装结果,出现版本信息则安装成功。samba二、修改samba配置文件1、备份配置文件sudocp/etc/samba/smb.conf/etc/samba/smb.conf.bak2、查看备份结果 ls/etc/samba/3、修改配置文件sudovi/etc/samb......
  • 实时数仓之Flink消费kafka消息队列数据入hbase
    一、流程架构图 二、开源框架及本版选择    本次项目中用到的相关服务有:hadoop、zookeeper、kafka、maxwell、hbase、phoenix、flink   三、服务部署完成后,开发Flink主程序  3.1结构图如下:      3.2代码详细内容  3.2.1pom文件<?xml......
  • Ubuntu 无法播放MP4
    今天用ubuntu打开mp4发现无法播放,然后我以为文件损坏了,就传到手机上面,发现还是可以播放的,然后就查了一下相关资料,发现有人让我安装这个 sudosnapinstallffmpeg 安装了,发现还是不行,然后就找了另外一个方法又安装了一个播放器mpv就解决了。 sudoapt installmpv 然后找......
  • Hive-技术补充-ANTLR语法编写
    一、导读我们学习一门语言,或外语或编程语言,是不是都是要先学语法,想想这些语言有哪些相同点    1、中文、英语、日语......是不是都有主谓宾的规则    2、c、java、python、js......是不是都有数据类型、循环等语法或数据结构虽然人们在过去的几十年里......
  • hive 、spark 、flink之想一想
    hive1:hive是怎么产生的?2:hive的框架是怎么样的?3:hive执行流程是什么?4:hivesql是如何把sql语句一步一步到最后执行的?5:hivesql任务常用参数调优做过什么?spark6:spark是怎么产生的?7:spark框架是怎么样的?8:spark的DAG是什么?9:spark中的app,job,stage,task是什么?有什么好处?......
  • conda 安装 (Rocky9 和 Ubuntu20.04)
    Conda官方网址:https://www.anaconda.com/Rocky9环境dnfupdate-ydnfinstallvimwgetlsofgccgcc-c++tarbzip2firewalldopenssl-develmlocatemakechronydocker-ybashAnaconda3-2024.02-1-Linux-x86_64.sh-p/opt/anaconda3vim/etc/profile文件末添加下面一行......
  • wsl2 ubuntu子系统安装显卡驱动与cuda
    wsl2安装参考文档:http://t.csdnimg.cn/ClwJ9演示安装ubuntu22列出可安装的子系统命令:wsl--list--onlinePSC:\Users\linyu>wsl--list--online以下是可安装的有效分发的列表。使用'wsl.exe--install<Distro>'安装。NAMEF......
  • ubuntu连接蓝牙耳机
    适用于我的win11+Ubuntu22.04双系统安装依赖包sudoaptinstallwireplumberlibspa-0.2-bluetoothwireplumber-doc重启wireplumbersystemctl--userrestartwireplumber重新连接sonywh-1000xm4耳机,看最后返回successful➜bluetoothctlAgentreg......
  • ubuntu修改登录信息(本机和SSH登录)
    1.MOTD1.1什么是MOTDmotd是messageoftheday的缩写,意思是“当天的提示信息”,通常在用户成功登录到Linux后出现,该信息可以从/etc/motd文本文件中找到。提示:UNIX/Linux系统管理员也通常会把一些重要的信息写到 /etc/motd里面,以方便其他人或自己下次成功登录时需要注意什么和......
  • 第九章 Ubuntu 操作系统设置与基本操作
    实验案例:Ubuntu操作系统的基本操作1、实验环境    公司的管理员为小王购买了一台预装了Ubuntu操作系统的笔记本式计算机,要求小王尽快熟悉Ubuntu操作系统的用户界面.并掌握图形界面和命令行界面中的一些基本操作。2、需求描述为第一块网卡设置静态IP地址.并能够与同网......