首页 > 其他分享 >hive-1.1.0-cdh5.9.0安装

hive-1.1.0-cdh5.9.0安装

时间:2022-10-12 10:33:21浏览次数:77  
标签:1.1 cdh5.9 hive usr mysql 安装

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

1.安装前提

hive必须在已经安装了hadoop、jdk才能安装,由于hive作为hadoop的一个客户端,运行方式并不分为单机模式、伪分布模式、完全分布模式,所以不管hadoop的方式是单机模式还是完全分布模式,安装hive的方式只有一种。

安装hive的步骤分为以下两步:

(1).安装元数据库(已经安装了mysql数据库)

hive的元数据和数据是分开存放的,数据存放在hdfs上,而元数据默认是存在hive自带的Derby数据库,但是由于Derby只支持同时一个用户访问hive,

所以不推荐使用,我们将使用mysql做为hive的元数据库

(2).修改hive配置文件

2.安装hive

tar zxvf hive-1.1.0-cdh5.9.0.tar.gz
mv hive-1.1.0-cdh5.9.0 /usr/local/

3.设置环境变量

vim /etc/profile

export HIVE_HOME=/usr/local/hive-1.1.0-cdh5.9.0
export PATH=$PATH:$HIVE_HOME/bin

使得环境变量生效

source /etc/profile  

hive-1.1.0-cdh5.9.0安装_hive

4.修改hive-site.xml文件

cd /usr/local/hive-1.1.0-cdh5.9.0/conf

vim hive-site.xml

   <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.2.10.200:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>user</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
</configuration>

hive-1.1.0-cdh5.9.0安装_hive_02

5.修改hive-env.sh文件

cp hive-env.sh.template hive-env.sh

vim ​​hive-env.sh​

export JAVA_HOME=/usr/java/jdk1.8.0_65
export HADOOP_HOME=/usr/hadoop

hive-1.1.0-cdh5.9.0安装_mysql_03

6.在hdfs上创建目录

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod g+w /user/hive/warehouse

hive-1.1.0-cdh5.9.0安装_mysql_04

7.在mysql中创建数据库

CREATE DATABASE hive;
GRANT ALL PRIVILEGES ON *.* TO 'user'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
ALTER DATABASE hive CHARACTER SET latin1;

8.手动上传mysql的jdbc库到hive/lib

mysql-connector-java-5.1.38-bin.jar

9.启动hive

cd /usr/local/hive-1.1.0-cdh5.9.0
hive

hive-1.1.0-cdh5.9.0安装_mysql_05

10.查看mysql元数据是否已经初始化

hive-1.1.0-cdh5.9.0安装_hive_06

标签:1.1,cdh5.9,hive,usr,mysql,安装
From: https://blog.51cto.com/u_13753753/5749046

相关文章

  • hive常用命令
    1.创建数据(文本以tab分隔)vimtest1_hive2.创建新表CREATETABLEt_hive(aint,bint,cint)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'|';3.导入数据test1_hive到......
  • task1.1
     #include<stdio.h>intmain(){printf("O\n");printf("<H>\n");printf("II\n");printf("O\n");printf("<H>\n");printf("II\n");return0;} ......
  • hive窗口函数极速入门
    1over()窗口函数1.1语法结构分析函数over(partitionby列名orderby列名rowsbetween开始位置and结束位置)1.2over中的三个函数具体含义orderby:排序的意......
  • Linux中的hive使用小技巧
    Linux中的hive使用小技巧1在hive中可以看出我们在那一层中,而且可以显示表中的字段2配置如下(CDH中):目录如下:在目录汇总添加如下参数(为隐藏文件使用ls-a命令查看即......
  • Hive数据导出的几种方式
     在hive的日常使用中,经常需要将hive表中的数据导出来,虽然hive提供了多种导出方式,但是面对不同的数据量、不同的需求,如果随意就使用某种导出方式,可能会导致导出时间过长,导......
  • 在k8s(kubernetes)上安装 ingress V1.1.3
    介绍Ingress公开了从集群外部到集群内服务的HTTP和HTTPS路由。流量路由由Ingress资源上定义的规则控制。下面是一个将所有流量都发送到同一Service的简单Ingres......
  • 支持 Java 8/11/17/19 的框架,Solon v1.10.5 版本发布
    Java轻量级应用开发框架。可用来快速开发Java应用项目,主框架仅0.1MB。相对于SpringBoot和SpringCloud的项目:启动快5~10倍。(更快)qps高2~3倍。(更高)......
  • 1.12 安装java环境
    如何在在Linux文字界面安装java环境连接xshellLinux系统中联网后(ipa)命令查看地址进入xshell填写地址与用户连接先上传软件包jdk、hadoop两种方式上传......
  • 148-《大数据架构师》Flink-1.14 集群启动源码分析:JobManager 和 T_ev
                ......
  • YII框架的自定义布局(嵌套式布局,版本是1.1.20)
    0x01创建控制器0x02创建文件夹,之后创建视图文件0x03浏览器访问cxy/index控制器,验证以上就是使用默认的布局,非常简单,那么如果我不想用YII框架默认的布局呢,我想用自定义的......