hive-3.1.2分布式搭建文档

1、下载，上传，解压，配置环境变量

# 1、解压（解压到上级目录）
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C..

# 2、重名名
mv apache-hive-3.1.2-bin hive-3.1.2

# 3、配置环境变量
vim /etc/profile

# 4、在最后增加配置
export HIVE_HOME=/usr/local/soft/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

# 5、使环境变量剩下
source /etc/profile

2、修改配置文件

1、进入hive配置文件所在目录

cd /usr/local/soft/hive-3.1.2/conf

2、创建hive-site.xml配置文件(将hive-default.xml.template下载到桌面重命名为hive-site.xml，修改后上传到linux系统)

vim hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
 
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true&amp;characterEncoding=utf8&amp;useUnicode=true</value>
  </property>
 
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  
    <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
  </property>
  
    <property>
	<name>hive.server2.enable.doAs</name>
	<value>false</value>
  </property>

    
<property>
<name>hive.querylog.location</name>
<value/>
</property>

 

<property>
<name>hive.exec.local.scratchdir</name>
<value/>
</property>

 

<property>
<name>hive.downloaded.resources.dir</name>
<value/>
</property>
</configuration>

3214行的描述删掉

3、创建log4j.properties配置文件

touch log4j.properties


# 将日志级别改成WARN，避免执行sql出现很多日志
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n%

3、上传mysql驱动

# 将nysql驱动包上传到hive的lib目录下
mysql-connector-java-8.0.29.jar

4、初始化hive元数据库

# 2、初始化hive的元数据(表结构)到mysql中
schematool -dbType mysql -initSchema

5、启动hive元数据服务

hive --service metastore


# 后台启动元数据服务
nohup hive --service metastore 


建议使用这个命令（在哪里启动哪里就会有元数据的日志文件）每次都在固定位置启动，注意自己的路径
可以将命令写成脚本，以后直接运行脚本即可，具体操作如下图
nohup hive --service metastore >> /usr/local/soft/hive-3.1.2/startlogs/metastore-service.log &

#增加执行权限
chmod +x 文件名

6、进入hive命令行

# 进入hive
hive

# 测试
# 1、创建表
CREATE EXTERNAL TABLE IF NOT EXISTS student(
    id string ,
    `name` string ,
    age string  ,
    gender string  ,
    clazz string 
) 
ROW FORMAT DELIMITED 
    FIELDS TERMINATED BY ',' 
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'  
location '/data/student'; 

# 2、执行sql查询数据
select clazz,count(1) as num from student group by clazz;

解决 log4j 兼容性问题(使用客户端连接hive时无法访问问题)

警告信息，不影响使用
LF4J: Class path contains multiple SLF4J bindings.

cd /usr/local/soft/hive-3.1.2/lib

# hive 与 Hadoop 在运行时会出现 log4j 兼容性问题，这是因为 hive 的 log4j 版本与 Hadoop 的产生了冲突，我们这里将 hive 的 log4j 设置为备份。
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

hadoop的etc/hadoop/core-site.xml
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

hive常见问题

1、hadoop未启动，就开始执行hive命令

解决方案：启动hadoop

2、hadoop处于安全模式

解决方案：

1、等着，等hadoop日志和快照数据恢复完毕，自动离开安全模式

2、使用命令强制离开

3、元数据服务没开，操作不了sql语句

解决方案：nohup hive --service metastore &