保姆式 Hadoop集群搭建（三）

二、安装JDK和Hadoop

1.安装JDK

        （这步的前提是已经配置好了ssh远程登录）

1.1打开Xftp 8，上传JDK文件

1.打开左上角的“+”号，新建会话；

2.按照步骤新建会话属性，注意“主机”=“IP”，不要用默认的哦；

3.编辑完会话属性后，直接点“连接”；

4.成功远程控制的界面如下：

5.在本地找到所需对应JDK文件；

6.右键JDK，将它拖至hadoop01中；

1.2创建目录

分别在三台虚拟机上新建目录：

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

1.3解压并修改环境配置

1.解压jdk文件

tar -zxvf /root/jdk-8u202-linux-x64.tar.gz -C /export/servers/

2.vi进入/etc/profile修改环境配置

vi /etc/profile

        进入/etc/profile后，添加以下内容：

export JAVA_HOME=/export/servers/jdk1.8.0_202
export PATH=$JAVA_HOME/bin:$PATH

        使用source /etc/profile命令初始化系统环境变量

        可以使用java -version验证JDK是否安装成功

1.4分发

在hadoop01上分发JDK安装目录

scp -r /export/servers/jdk1.8.0_202 root@hadoop02:/export/servers/
scp -r /export/servers/jdk1.8.0_202 root@hadoop03:/export/servers/ 
scp /etc/profile root@hadoop02:/etc/ 
scp /etc/profile root@hadoop03:/etc/ 

        （注意文件路径中间不能空格）

接下来需到hadoop2和hadoop3上使用source /etc/profile初始化系统环境变量。

2.安装hadoop

2.1上传hadoop压缩包

         按照上传jdk的方式

2.2解压并修改环境变量

1.解压hadoop压缩包

tar -zxvf /root/hadoop-3.3.1.tar.gz -C /export/servers

2.修改环境变量

vi /etc/profile

        vi进入/etc/profile文件，修改内容如下：

export HADOOP_HOME=/export/servers/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

        使用source /etc/profile命令初始化系统环境变量

        可以使用hadoop version验证Hadoop是否安装成功

2.3修改Hadoop配置文件

        切换目录 cd /export/servers/hadoop-3.3.1/etc/hadoop

1.配置Hadooop运行时的环境。

vi hadoop-env.sh

        在文件末，添加以下内容：

export JAVA_HOME=/export/servers/jdk1.8.0_202
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.配置Hadoop：

vi core-site.xml

          进入文件以后(用shift+G到达文件末)，添加以下内容：（注意：要添加在<configuration>和</configuration>之间）

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.1</value>
</property>
<property>
   <name>hadoop.http.staticuser.user</name>
   <value>root</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

3.配置HDFS：

vi hdfs-site.xml

        进入文件以后，添加以下内容：（注意：要添加在<configuration>和</configuration>之间）

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop2:9868</value>
</property>

4.配置MapReduce：

vi mapred-site.xml

        进入文件以后，添加以下内容：（注意：要添加在<configuration>和</configuration>之间）

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.Webapp.address</name>
    <value>hadoop1:19888</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

5.配置YARN：

vi yarn-site.xml

         进入文件以后，添加以下内容：（注意：要添加在<configuration>和</configuration>之间）

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1:19888/jobhistory/logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

6.配置Hadoop从节点运行的服务器：

vi workers

        在文件末添加以下内容：

hadoop2
hadoop3

2.4分发

1.在hadoop1上执行以下操作：

#Hadoop安装目录分发至虚拟机hadoop2中存放安装程序的目录
scp -r /export/servers/hadoop-3.3.1 root@hadoop2:/export/servers/
scp -r /export/servers/hadoop-3.3.1 root@hadoop3:/export/servers/

#将系统环境变量分发至虚拟机hadoop2上
scp /etc/profile root@hadoop2:/etc
scp /etc/profile root@hadoop3:/etc

2.在hadoop2和hadoop3上，执行以下命令初始化系统环境变量

source /etc/profile

3.在hadoop2和hadoop3上，验证Hadoop版本

hadoop version

2.5格式化HDFS

（注：在格式化之前进行快照）

（注：不要格式化太多次，会对文件系统造成损伤）

hdfs namenode -format

         格式化成功后会显示“successfully formatted”

2.6启动Hadoop

        在hadoop1上启动

#第一种方式
start-all.sh

#第二种方式
start-dfs.sh
start-yarn.sh

2.7查看Hadoop运行状态

2.8通过Web UI查看Hadoop的运行状态

1.查看防火墙状态

systemctl stop firewalld

2.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

浏览器打开： http://192.168.1.132即可查看。