Hive安装部署

引言

Apache Hive 是一款建立在 Hadoop 生态系统之上的数据仓库工具，它提供了一种 SQL 类似的查询语言（HiveQL）来查询和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。Hive 的设计目标是让用户可以在大规模数据集上执行复杂的查询，而无需深入了解 MapReduce 编程。

在这篇文章中，我们将讨论如何安装和部署 Hive，包括下载、配置、初始化 Hive 元数据库等步骤。

环境准备

• Java
• Hadoop
• Mysql

以上是一些建议的先决条件和环境准备步骤。确保在开始 Hive 安装和配置之前，你已经完成了这些操作，以确保 Hive 的正常运行和与其他组件的良好集成。

Hive安装配置

1、下载和解压Hive

首先，需要从 Apache Hive 的官方网站下载安装包，并上传到集群并解压

 tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /opt/

2、配置环境变量

[root@master ~]# vi /etc/profile

#HIVE_HOME
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

# 刷新环境变量
[root@master ~]# source /etc/profile

3、添加所依赖包，将 MySQL 数据库作为 Hive 元数据库

找到jar包存放位置，将其复制到hive/lib下

[root@master software]# cp mysql-connector-java-5.1.48-bin.jar /opt/hive/lib/

4、配置hive

修改hive-site.xml文件(没有该文件名，将hive-default.xml.template复制并改名为hive-site.xml)

[root@master conf]# cp hive-default.xml.template hive-site.xml
[root@master conf]# vi hive-site.xml      #:3,$d(删除第三行（包含）以后所有)

<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
4、初始化mysql元数据库
<value>/usr/hive_remote/warehouse</value> #若/usr/hive_remote/warehouse路径
没有，则自行创建
</property>
<!--需要登录MySQL数据库，创建一个 hive 数据库备用-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?
createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<!--安装MySQL数据库的驱动类-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--安装MySQL数据库的名称-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--安装MySQL数据库的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>

5、初始化mysql元数据库

[root@master hive]# bin/schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-
2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4jlog4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL: jdbc:mysql://master:3306/hive?
createDatabaseIfNotExist=true&useSSL=false
Metastore Connection Driver : com.mysql.jdbc.Driver
Metastore connection User: root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

6、启动hive

[root@master hive]# bin/hive
hive>
#查看数据库，测试启动是否成功
hive (default)> show databases;
OK
database_name
default
Time taken: 6.924 seconds, Fetched: 1 row(s)
hive (default)>

♣ Summary

以上是一个简单的 Hive 安装和部署过程。具体的配置和部署可能因你的需求和环境而有所不同。在生产环境中，可能还需要更复杂的配置和集成，例如安全性、高可用性等。请参考 Apache Hive 的官方文档和相关资源以获取更详细的信息。