Hive的安装和部署

（一）安装前提

(1) 安装JDK1.8及以上版本

(2) 已经安装MySQL

本文不再介绍。

（二）安装Hive

1．下载并解压Hive安装包

tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local

cd /usr/local/

mv apache-hive-3.1.2-bin hive       

chown -R hadoop:hadoop hive            

2．配置环境变量

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

3．修改hive-env.sh

cd /usr/local/hive/conf

cp hive-env.sh.template hive-env.sh   

vim hive-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_271

export HADOOP_HOME=/home/Hadoop

export HIVE_CONF_DIR=/home/hive/conf

4．修改hive-site.xml

cd /usr/local/hive/conf

mv hive-default.xml.template hive-site.xml

vim hive-site.xml

<configuration>

<property>

<name>system:java.io.tmpdir</name>

<value>/user/hive/warehouse</value>

</property>

<property>

<name>system:user.name</name>

<value>${user.name}</value>

</property>

<property>

<name>hive.metastore.db.type</name>

<value>mysql</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://cancer01:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>Root@1234</value>

</property>

<property>

<name>datanucleus.schema.autoCreateAll</name>

<value>true</value>

</property>

<property>

<name>hive.metastore.schema.verification</name>

<value>false</value>

</property>

</configuration>

5．修改hdfs目录

$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp

$HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

$HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

6．配置日志

配置日志，复制一个模板

cp hive-log4j2.properties.template hive-log4j2.properties

vim hive-log4j2.properties

配置property.hive.log.dir

property.hive.log.dir = /usr/local/hive/logs

mkdir /usr/local/hive/logs

7．配置mysql 驱动包

tar -zxvf mysql-connector-java-5.1.48.tar.gz

#将mysql驱动包拷贝到/usr/local/hive/lib下

cp mysql-connector-java-5.1.48-bin.jar   /usr/local/hive/lib

（三）启动hive

1．启动Hive

（1）初始化hive数据库

cd /usr/local/hive/bin

schematool -dbType mysql -initSchema

（2）开启metastore（&表示后台进程）

./hive --service metastore &

（3）启动hiveserver2服务

./hive --service hiveserver2 &

（4）通过命令：jps可以看到有两个RunJar的进程。

（5）通过如下命令可以看到下面两个端口有监听进程。

ss -nalp | grep 9083 （metastore进程端口）

ss -nalp | grep 10000（hiveserver2进程端口）

2．beeline客户端连接

（1）默认配置需要使用用户名和密码连接，需要修改hadoop的配置文件core-site.xml命令：

vi /usr/local/hadoop/etc/hadoop/core-site.xml

增加属性如下：

<property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

</property>

将该配置文件分发到所有节点。

注：重启hadoop后，再进行连接

stop-all.sh && start-all.sh

（2）启动beeline

/opt/hive/bin/beeline

!connect jdbc:hive2://master:10000