首页 > 其他分享 >华为云耀云服务器L实例-大数据学习-Hive的部署-1

华为云耀云服务器L实例-大数据学习-Hive的部署-1

时间:2023-12-29 18:26:07浏览次数:47  
标签:云耀云 Hive 华为 bash mysql MySQL 服务器 ###

 华为云耀云服务器L实例-大数据学习-Hive的部署-1

 

 

产品官网:https://www.huaweicloud.com/product/hecs-light.html

 

 

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,介绍Hive的部署

 

Hive 是建立在 Hadoop 上的一个数据仓库和查询系统。它提供了类似 SQL 的查询语言(称为 HiveQL)来查询和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。Hive 的设计目标是使非技术用户能够通过类似于 SQL 的语言来查询和分析大规模数据集,而无需深入了解复杂的编程模型。

 

以下是 Hive 的一些主要特点和概念:

 

1. HiveQL语言: Hive 提供了 Hive 查询语言(HiveQL),这是一种类似于 SQL 的语言,允许用户执行查询、过滤和聚合等操作。HiveQL查询会被转化为一系列的 MapReduce 作业,从而在底层利用 Hadoop 进行分布式计算。

 

2. 元数据存储: Hive 使用元数据存储来存储表模式和统计信息。默认情况下,它使用嵌入式的 Derby 数据库,但也可以配置为使用其他数据库,如 MySQL 或 PostgreSQL。

 

3. 表和分区: Hive中的数据组织为表,表可以分为分区以提高查询性能。分区允许根据表中的某些列将数据划分为更小的部分,以便更有效地执行查询。

 

4. UDF(用户定义函数): Hive 支持用户定义的函数,这允许用户编写自定义的处理逻辑,并将其嵌入到 HiveQL 查询中。

 

5. 可扩展性: Hive 可以与 Hadoop 生态系统中的其他工具集成,包括 HBase、Spark、Tez 等,以便更灵活地处理不同类型的数据和查询。

 

6. 批处理: Hive 通常用于大规模批处理,适用于处理大量的静态数据。对于需要实时性能的场景,可能需要考虑其他工具,如 Apache Spark。

 

Hive 的使用场景主要涉及数据仓库和数据分析,特别是当数据规模很大,而且对实时性能没有过高要求时。通过使用 HiveQL,用户可以利用 SQL 风格的查询语言来分析和挖掘庞大的分布式数据集。

 

以下是在华为云耀云服务器L实例配置Hive的中文步骤。请确保已经按照前文教程在服务器上配置好Hadoop。在 node1 节点在线安装 MySQL5.7 版本。

 

### 1. 安装 MySQL 服务器

 

```bash

sudo apt update

sudo apt install mysql-server

```

### 2. 启动 MySQL 服务

 

```bash

sudo systemctl start mysql

```

### 3. 配置 MySQL 安全性

 

```bash

sudo mysql_secure_installation

```

根据提示,设置 MySQL root 用户密码,禁用匿名用户登录,删除测试数据库,并限制 root 用户只能本地登录。

 

### 4. 登录到 MySQL 服务器

 

```bash

mysql -u root -p

```

输入之前设置的 root 密码,第一次使用,只需直接回车

 

### 5. 创建新的 MySQL 用户和数据库

 

```sql

CREATE DATABASE vhr;

CREATE USER 'root'@'localhost' IDENTIFIED BY 'StrongPassword123';

GRANT ALL PRIVILEGES ON vhr.* TO 'root'@'localhost';

FLUSH PRIVILEGES;

```

替换 `your_database_name`、`your_username` 和 `your_password` 为你自己的数据库名称、用户名和密码。

 

### 6. 退出 MySQL

 

```sql

exit;

```

### 7. 配置 MySQL 远程访问

 

如果需要从远程主机访问 MySQL 服务器,需要修改 MySQL 配置文件。

 

```bash

sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

```

 

找到 `bind-address` 行,将其改为0.0.0.0

 

```conf

# bind-address = 127.0.0.1

```

保存并退出。

 

### 8. 重启 MySQL 服务

 

```bash

sudo systemctl restart mysql

```

### 9. 防火墙配置

 

如果使用防火墙,确保打开 MySQL 端口(默认为 3306)。

 

```bash

sudo ufw allow 3306

```

### 10. 测试连接

 

从远程主机使用 MySQL 客户端工具测试连接。

 

```bash

mysql -u your_username -h your_server_ip -p

```

输入密码,确认能够成功连接。

 

至此,我们已经具备在华为云耀云服务器L实例上部署hive的基础。

 

标签:云耀云,Hive,华为,bash,mysql,MySQL,服务器,###
From: https://www.cnblogs.com/jishuseng/p/17935476.html

相关文章

  • 华为云耀云服务器L实例--Hive的部署
     华为云耀云服务器L实例--Hive的部署  产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,继续Hive的部署 Hive 是建立在 Hadoop 上的一个......
  • 华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署
      华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署 产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,介绍MapReduce 和 YARN(Yet Ano......
  • 行业灯塔,华为Mate X5指明折叠屏进化方向
    2023年是智能手机的转折年。过去几年智能手机处于低迷期,用户换机热情不高。这一年中,折叠屏手机是市场最大的亮点和热点,是唯一增长的细分市场,同时也是创新最为集中的领域。折叠屏手机的热销,代表着用户对高端市场的认可,更代表用户对创新的渴望。用户到底渴望什么样的创新?还是要从今......
  • 华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操
     华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操  产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,继续介绍MapReduce和YARN的实操......
  • 华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
     华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单台服务器配......
  • 华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录
     华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录  产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单台服......
  • 华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署
     华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署  产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单台服务器配置伪分......
  • 华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系
     华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置  产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实......
  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-RabbitMQ配置
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-RabbitMQ配置   产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理......
  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-项目本地配置
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-项目本地配置   产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理......