Hadoop-3.3.6分布式集群搭建步骤

1.下载JDK8

Linux 安装Openjdk

2.下载Hadoop3.3.6

Hadoop 安装及环境变量配置

3.创建hadoop数据存储的目录

mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name

4.配置hostname和host文件

hostnamectl set-hostname {hostName}
vim /etc/hosts

192.168.58.130  {hostName}
192.168.58.131  {hostName}
192.168.58.132  {hostName}

5.分布式集群搭建

1.集群部署规划

注意：

• NameNode和SecondaryNameNode不要安装在用一台服务器上

• ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台服务器上。

2.配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

1.默认配置文件

2.自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。