一、准备工作

三台虚拟机：

master、node1、node2

时间同步
关闭防火墙：

systemctl stop firewalld

查看防火墙状态：

systemctl status firewalld

取消防火墙自启：

systemctl disable firewalld

修改主机名

三台分别执行 vim /etc/hostname 并将内容指定为对应的主机
名

静态IP配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

关闭NetworkManager，并取消开机自启

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

免密登录

1、生成密钥
ssh-keygen -t rsa
2、配置免密登录
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
3、测试免密登录
ssh node1

配置好映射文件：

vim /etc/hosts
192.168.6.101 master
192.168.6.102 node1
192.168.6.103 node2

配置jdk

java -version

二、hadoop-3.1.1分布式搭建

1、上传解压配置环境变量

• 解压

tar -zxvf hadoop-3.1.2.tar.gz

• 配置环境变量

vim /etc/profile

• 使环境变量生效

source /etc/profile

2、修改配置文件

• 1、进入hadoop配置文件所在位置，修改hadoop配置文件

cd /usr/local/soft/hadoop-3.1.2/etc/hadoop

• 2、修改core-site.xml配置文件,在configuration中间增加配置

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/soft/hadoop-3.1.2/tmp</value>
</property>
<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>
</configuration>

• 3、修改hdfs-site.xml配置文件，在configuration中间增加配置

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
</configuration>

• 4、修改yarn-site.xml配置文件，在configuration中间增加配置

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

• 5、修改mapred-site.xml配置文件，在configuration中间增加配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

• 6、修改hadoop-env.sh配置文件

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

• 7、修改 workers 配置文件

node1
node2

• 8、初始化hdfs

hdfs namenode -format

• 9、启动hadoop

start-all.sh

master

node1

node2

• 10、停止hadoop

stop-all.sh

三、格式化集群

• 1、关闭集群

stop-all.sh

• 2、删除每个节点的hadoop根目录下的tmp目录

rm -rf tmp/

• 3、重新格式化 在hadoop的bin目录下执行

hdfs namenode -format

• 4、重新启动

start-all.sh