首页 > 其他分享 >Hive下载安装配置

Hive下载安装配置

时间:2023-04-06 18:46:38浏览次数:39  
标签:java 配置 hadoop hive Hive 下载安装 apache org

0 准备工作

下载安装jdk:https://www.cnblogs.com/lgjb/p/17292890.html
搭建Hadoop完全分布式集群:https://www.cnblogs.com/lgjb/p/17292835.html
下载安装MySQL:https://www.cnblogs.com/lgjb/p/17293154.html

1 下载Hive

Hive官网:https://hive.apache.org/general/downloads/

1.1 找到适配自己Hadoop版本的Hive:
image

1.2 找到后进入下载站下载

Hive下载:https://dlcdn.apache.org/hive/

image
image

2 安装Hive

2.1 将下载好的包使用xftp或其他工具上传

2.2 进入上传的hive包目录,安装Hive

tar -zxvf apache-hive-3.1.3-bin.tar.gz

2.3 为了方便,可以对Hive目录重命名

mv apache-hive-3.1.3-bin hive

2.4 Hive环境变量配置
编辑profile配置文件

vim /etc/profile

将环境变量写入

# Hive环境变量
export HIVE_HOM=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

重新加载profile配置文件

source /etc/profile

查看Hive版本,看是否配置成功

hive --version

3 配置Hive

进入Hive配置文件目录

cd $HIVE_HOME/conf/

拷贝并重命名Hive配置文件

cp hive-default.xml.template hive-site.xml

修改配置文件,除了前两行全删掉

vim hive-site.xml

将配置项黏贴进去

<configuration>
        <!-- 使用JDBC连接指定的数据库存储Hive元数据 -->
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <!-- 不加上useSSL=false可能会出发大量警告 -->
                <value>jdbc:mysql://hadoop1:3306/hive?useSSL=false</value>
        </property>
        <!-- 用于元存储数据库的驱动名 -->
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <!-- 用于元存储数据库的用户名 -->
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <!-- 用于元存储数据库的密码 -->
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>12345678</value>
        </property>
</configuration>

image

4 配置Hive元数据存储库。

登录MySQL

mysql -u root -p

创建Hive元数据存储库

create database hive character set "utf8";

给与root用户远程登录权限

set global validate_password_policy=0;
set global validate_password_length=1;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '12345678' WITH GRANT OPTION;
flush privileges;

退出

exit;

拷贝驱动到$HIVE_HOME/lib目录下
没有mysql驱动的可去mysql官网下载:https://downloads.mysql.com/archives/c-j/

cp mysql-connector-java-5.1.49.jar $HIVE_HOME/lib/

5 初始化Hive

cd $HIVE_HOME/bin
./schematool -dbType mysql -initSchema

这时报错:

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
	at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
	at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
	at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
	at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5144)
	at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5107)
	at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
	at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决:https://www.cnblogs.com/syq816/p/12632028.html
再次初始化,成功

./schematool -dbType mysql -initSchema

6 启动Hive

hive

尝试创建数据库

create database abc;

标签:java,配置,hadoop,hive,Hive,下载安装,apache,org
From: https://www.cnblogs.com/lgjb/p/17293591.html

相关文章

  • 恒创科技:如何正确配置美国网络服务器?
    在使用美国网络服务器时,充分注意其配置对于确保服务器和网络的性能、稳定性和安全性至关重要。网络服务器配置是指设置和配置网络服务器的硬件和软件以使其启动和运行的过程。它涉及多个步骤,包括配置操作系统、网络协议、安全设置、用户访问、共享资源和网络服务。配置美......
  • hive 数据仓库分层
    1:为什么要分层 大多数情况下,我们完成的数据体系却是依赖复杂、层级混乱的。如下图,在不知不觉的情况下,我们可能会做出一套表依赖结构混乱,甚至出现循环依赖的数据体系我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序,这就是谈到的数据分层。数据分层并不能解......
  • 工具 | Source Insight的配置及使用参考
    工具|SourceInsight的配置及使用参考需要理解代码?SourceInsight是一个功能强大的面向项目的编程编辑器、代码浏览器和分析器,可帮助您在工作和计划时理解代码。SourceInsight具有针对C/C++、C#、Java、Objective-C等的内置动态分析。1.SourceInsight护眼色配置在Options-......
  • 痞子衡嵌入式:利用i.MXRT1xxx系列ROM集成的DCD功能可轻松配置指定外设
    大家好,我是痞子衡,是正经搞技术的痞子。今天痞子衡给大家介绍的是利用i.MXRT1xxx系列ROM集成的DCD功能可轻松配置指定外设。关于i.MXRT1xxx系列芯片BootROM中集成的DCD功能这个话题,痞子衡早就想写了,但是一直没有动笔,毕竟这个话题比较生涩,单独讲会比较枯燥。最近痞......
  • vue.config.js 配置
    const{defineConfig}=require('@vue/cli-service')  //按需引入  //constAutoImport=require('');constAutoImport=require('unplugin-auto-import/webpack')constComponents=require('unplugin-vue-components/webpac......
  • Spark on Yarn配置
    1、SparkonYarn配置1.)在搭建好的Spark上修改spark-env.sh文件:#vim$SPARK_HOME/conf/spark-env.sh添加以下配置:exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexportYARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop2.)在搭建好的Spark上修改spark-defaults.conf文......
  • 通过 Homebrew 在 Mac OS X 上安装和配置 Redis
    通过使用Homebrew,可以大大降低在MacOSX上设置和配置开发环境的成本。让我们安装Redis。$brewinstallredis安装后,我们将看到一些有关配置注意事项的通知。离开它并继续关注本文中的一些任务。开机自启动Redis$ln-sfv/usr/local/Cellar/redis/7.0.10/*.plist......
  • 性能工具之Jmeter扩展配置元件插件
    背景Jmeter有很多的配置元件可以定义变量值在测试过程中使用比如最常见的两个:用户自定义变量CSV数据文件设置配置元件主要是用于测试前配置,将配置转换为变量设置到Jmetercontext中。而Jmeter默认并没有配置文件(.properties)读取器,但由于Jmeter是开源的,我们自己可以自定义一个配置......
  • HomeBrew 安装 Maven 及其 IDEA 配置
    Brew安装Mavenbrewsearchmaven#使用搜索工具去搜索maven包brewinfomaven#使用info查看maven包当前的信息情况,包括版本依赖描述等brewinstallmaven安装过程很顺利,这时候brew就已经帮我们做好了环境变量了。很多教程在这一步后会手动去生命maven的目录情况,我看了......
  • 犀牛7.16三维建模软件下载安装教程
    犀牛RHINO是一款三维建模工具。它可以广泛地应用于三维动画制作、工业制造、科学研究以及机械设计等领域。它能轻易整合多个软件的模型功能部分,对要求精细、弹性与复杂的模型,有点石成金的效能。能输出各种不同的格式,并适用于几乎所有三维软件,尤其对增加整个三维工作团队的模型生产......