首页 > 系统相关 >华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置

华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置

时间:2023-12-29 17:55:06浏览次数:42  
标签:SElinux 云耀云 Hadoop 防火墙 hadoop 集群 数据 bash

 华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置

 

 

产品官网:https://www.huaweicloud.com/product/hecs-light.html

 

 

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单台服务器模拟配置hadoop集群的基础:防火墙、 SElinux 、时间同步等系统设置

产品官网:https://www.huaweicloud.com/product/hecs-light.html

 

Hadoop 是一个开源的分布式存储和计算框架,旨在处理大规模数据集。它是 Apache 软件基金会的一个顶级项目,为用户提供了一种可靠、可扩展且高效处理大数据的方式。

 

1. Hadoop Distributed File System(HDFS): HDFS 是 Hadoop 的分布式文件系统,设计用于存储大规模数据集。它将数据划分为块(block)并分布存储在多台机器上,提供了高容错性和可靠性。

 

2. MapReduce: MapReduce 是 Hadoop 的计算模型,用于并行处理大规模数据集。它将计算任务分解为 Map 和 Reduce 阶段,通过在分布式环境中执行这些任务来实现数据处理。

 

3. YARN(Yet Another Resource Negotiator): YARN 是 Hadoop 的资源管理器,负责集群资源的管理和调度。它允许多个应用程序共享同一集群,从而更有效地利用集群资源。

 

4. Hadoop生态系统: Hadoop 生态系统包含许多其他工具和框架,如 Hive、Pig、HBase、Spark 等,用于支持不同类型的数据处理和分析需求。

 

5. 扩展性: Hadoop 具有良好的可扩展性,可以轻松地在集群中添加新的节点以处理不断增长的数据量。它支持在普通硬件上搭建集群,使得大规模数据处理变得更加经济高效。

 

6. 开源和社区支持: Hadoop 是开源软件,由全球的开发者社区维护和支持。它拥有庞大的用户社群和活跃的开发者社区,不断推动框架的发展和改进。

 

Hadoop 被广泛应用于处理大规模数据,包括数据存储、数据分析、机器学习等各种场景。它的设计理念使得它适用于在常规硬件上搭建的大规模集群,并为用户提供了一种可靠、高效、可扩展的大数据处理解决方案。

 

 

### 步骤1 :关闭防火墙

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙。

 

```bash

systemctl stop firewalld

systemctl disable firewalld

```

 

### 步骤2 :关闭 SELinux

Linux 有一个安全模块: SELinux ,用以限制用户和程序的相关权限,来确保系统的安全稳定。关闭 SELinux 功能,避免导致后面的软件运行出现问题

```bash

vim /etc/sysconfig/selinux

 

SELINUX=disabled

```

 

 

### 步骤3 :修改时区并配置自动时间同步

1. 安装 ntp 软件

```bash

sudo apt-get update

sudo apt-get install -y ntp

apt install ntpdate

```

2. 更新时区

```bash

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

```

 

3. 同步时间

```bash

ntpdate -u ntp.aliyun.com

```

 

 

至此,我们已经成功完成了大数据hadoop所需的所有基础配置,接下来,我们开始正式安装部署hadoop

标签:SElinux,云耀云,Hadoop,防火墙,hadoop,集群,数据,bash
From: https://www.cnblogs.com/jishuseng/p/17935444.html

相关文章

  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-RabbitMQ配置
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-RabbitMQ配置   产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理......
  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-项目本地配置
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-项目本地配置   产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理......
  • 华为云耀云服务器L实例-深度学习环境配置-鸢尾花分类的识别
     华为云耀云服务器L实例-深度学习环境配置-鸢尾花分类的识别   产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,介绍配置使用 Scikit-lear......
  • 华为云耀云服务器L实例-深度学习环境配置-鸢尾花分类的识别【进阶】
     华为云耀云服务器L实例-深度学习环境配置-鸢尾花分类的识别【进阶】   产品官网:https://www.huaweicloud.com/product/hecs-light.html  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,我们将在华为云耀......
  • 华为云耀云服务器L实例-tilas教学管理系统后端配置-3
     华为云耀云服务器L实例-tilas教学管理系统后端配置-3  产品官网:https://www.huaweicloud.com/product/hecs-light.html项目源代码地址:https://github.com/JohnYoung5665/spring-boot-web01/tree/master  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更......
  • 华为云耀云服务器L实例-tilas教学管理系统后端配置-4
     华为云耀云服务器L实例-tilas教学管理系统后端配置-4  产品官网:https://www.huaweicloud.com/product/hecs-light.html项目源代码地址:https://github.com/JohnYoung5665/spring-boot-web01/tree/master  今天我们继续采用可靠更安全、智能不卡顿、价优随心用、上......
  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-mysql配置vhr数据库准备
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-mysql配置vhr数据库准备  产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简......
  • 华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-Redis配置
     华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-Redis配置   产品官网:https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址:https://github.com/lenve/vhr  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特......
  • 华为云耀云服务器L实例-tilas教学管理系统前端配置
     华为云耀云服务器L实例-tilas教学管理系统前端配置  产品官网:https://www.huaweicloud.com/product/hecs-light.html项目源代码地址:https://github.com/JohnYoung5665/spring-boot-web01/tree/master  今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简......
  • Selinux 调试
    背景知识就不介绍了,主要列几个实用的点: 一、编译相关如果新增加了sepolicy目录,需要编译到系统中,那么就需要使用系统中相关的宏BOARD_SEPOLICY_DIRS  编译到了vendor分区中BOARD_PLAT_PUBLIC_SEPOLICY_DIR、BOARD_PLAT_PRIVATE_SEPOLICY_DIR 编译到system分区中 ......