Hadoop3_04（重点）

4.2 完全分布式运行模式（开发重点）

分析：

• (1）准备3台客户机（关闭防火墙、静态ip、主机名称）
• (2）安装JDK
• (3）配置环境变量
• (4）安装Hadoop
• (5）配置环境变量
• (6）配置ssh
• (7）配置集群
• (8）单点启动
• (9）群起并测试集群

4.2.1 虚拟机准备

• (1）clone
• (2）修改hostname
• (3）修改ip

远程连接

4.2.2 SSH无密登录配置

• 1.配置ssh

（1）基本语法
ssh另一台电脑的ip地址
（2）ssh连接时出现Host key verification failed的解决方法
​​​ssh hadoop103​​ 出现：

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.

（3）解决方案如下：直接输入yes

• 2.无密钥配置

（1）免密登录原理

（2）生成公钥和私钥：
​​​ssh-keygen -t rsa​​​ 然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

注意：
还需要在hadoop102上采用root账号，配置一下无密登录到​​​hadoop102、hadoop103、hadoop104​​​；
还需要在hadoop103上采用dev1账号配置一下无密登录到​​​hadoop102、hadoop103、hadoop104​​服务器上。

• 3.ssh文件夹下（~/.ssh）的文件功能解释

4.2.3 编写集群分发脚本xsync

• 1.scp（secure copy）安全拷贝

（1）scp定义：
scp可以实现​​​服务器与服务器​​​之间的​​数据拷贝​​。（from server1 to server2）

（2）基本语法
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

（3）案例实操
（3.1）在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到​​​hadoop102​​上。

[dev1@hadoop101 /]$ scp -r /opt/module  root@hadoop102:/opt/module

（3.2）在hadoop103上，将hadoop101服务器上的/opt/module目录下的软件拷贝到hadoop103上。

[dev1@hadoop103 opt]$sudo scp -r dev1@hadoop101:/opt/module root@hadoop103:/opt/module

（3.3）在hadoop103上操作将hadoop101中/opt/module目录下的软件拷贝到​​hadoop104​​上。

[dev1@hadoop103 opt]$ scp -r dev1@hadoop101:/opt/module root@hadoop104:/opt/module

注意：拷贝过来的/opt/module目录，别忘了在hadoop102、hadoop103、hadoop104上修改所有文件的，所有者和所有者组。

sudo chown  dev1:dev1 -R /opt/module

（3.4）将hadoop101中/etc/profile文件拷贝到​​hadoop102​​​的​​/etc/profile​​上。

[dev1@hadoop101 ~]$ sudo scp /etc/profile root@hadoop102:/etc/profile

（3.5）将hadoop101中/etc/profile文件拷贝到hadoop103的​​/etc/profile​​上。

[dev1@hadoop101 ~]$ sudo scp /etc/profile root@hadoop103:/etc/profile

（3.6）将hadoop101中/etc/profile文件拷贝到​​hadoop104​​的/etc/profile上。

[dev1@hadoop101 ~]$ sudo scp /etc/profile root@hadoop104:/etc/profile

注意：拷贝过来的配置文件别忘了​​source​​一下/etc/profile。

• 2.rsync 远程同步工具

rsync主要用于备份和镜像。具有​​速度快、避免复制相同内容和支持符号链接的优点​​。

rsync和scp区别：用​​rsync做文件的复制要比scp的速度快​​​，​​rsync只对差异文件做更新​​​。scp是把所有文件​​都复制过去​​​。
（1）基本语法

rsync    -av       $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

选项参数说明

（2）案例实操
（2.1）把hadoop101机器上的/opt/software目录同步到hadoop102服务器的root用户下的/opt/目录

[dev1@hadoop101 opt]$ rsync -av /opt/software/ hadoop102:/opt/software

3.xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：
（2.1）rsync命令原始拷贝：

rsync  -av     /opt/module  root@hadoop103:/opt/

（2.2）期望脚本：

xsync 要同步的文件名称

（2.3）说明：在​​/home/dev1/bin​​​这个目录下存放的脚本，dev1用户可以在系统任何地方直接执行。
（3）脚本实现
（3.1）在/home/dev1目录下创建bin目录，并在bin目录下创建xsync文件

[dev1@hadoop101 hadoop] cd /bin
[dev1@hadoop101 hadoop] vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

（3.2）修改脚本 xsync 具有执行权限

chmod +x xsync

（3.3）测试脚本
​​​sudo xsync /bin/xsync​​

4.2.4 集群配置

• 1.集群部署规划

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

• 2.配置集群

（2.1）核心配置文件

配置​​core-site.xml​​

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.dev1.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.dev1.groups</name>
        <value>*</value>
    </property>
</configuration>

（2）HDFS配置文件
配置​​​hdfs-site.xml​​​​vim hdfs-site.xml​​ 文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
    <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
  </property>
</configuration>

（3）YARN配置文件
配置​​​yarn-site.xml​​​​vim yarn-site.xml​​ 文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件
配置​​​mapred-site.xml​​​​vim mapred-site.xml​​ 文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• 3．在集群上分发配置好的hadoop

​​xsync /opt/module/hadoop-3.1.3​​

• 4．查看文件分发情况

4.2.5 集群单点启动

（1）如果集群是第一次启动，需要格式化NameNode
​​​hdfs namenode -format​​​ （2）在hadoop102上启动NameNode
​​hdfs --daemon start namenode​​ 完成后执行jps命令，看到如下结果（进程号可能不同）：
3461 NameNode
（3）在​​hadoop102​​、​​hadoop103​​以及​​hadoop104​​上执行如下命令（三台都要执行）
​​hdfs --daemon start datanode​​ （4）思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？
可以使用群启

4.2.6 群起集群

• 1.配置workers

​​vim /opt/module/hadoop-3.1.3/etc/hadoop/workers​​

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾​​不允许有空格​​，文件中不允许有空行。

同步所有节点配置文件
​​​xsync workers​​

• 2.启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
​​​hdfs namenode -format​​​ （2）启动HDFS
​​start-dfs.sh​​ （3）在配置了ResourceManager的节点（hadoop103）启动YARN
​​start-yarn.sh​​

• 3.集群基本测试

（1）上传文件到集群
上传小文件

hadoop fs -mkdir -p /user/dev1/input
hadoop fs -put $HADOOP_HOME/wcinput/wc.input /user/dev1/input

上传大文件

hadoop fs -put  /opt/software/hadoop-3.1.3.tar.gz  /

（2）上传文件后查看文件存放在什么位置
（2.1）查看HDFS文件存储路径

[dev1@hadoop102 subdir0]$ pwd

显示

（2.2）查看HDFS在磁盘存储文件内容

[dev1@hadoop102 subdir0]$ cat blk_1073741825

hadoop yarn
hadoop mapreduce
dev1
dev1
（3）拼接

[dev1@hadoop102 subdir0]$ cat blk_1073741836>>tmp.jar
[dev1@hadoop102 subdir0]$ cat blk_1073741837>>tmp.jar
[dev1@hadoop102 subdir0]$ tar -zxvf tmp.jar

（4）下载

[dev1@hadoop102 hadoop-3.1.3]$ bin/hadoop fs -get
 /hadoop-3.1.3.tar.gz ./

（5）执行wordcount程序

[dev1@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/dev1/input /user/dev1/output

4.2.7 集群启动/停止方式总结

• 1 各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

• 2.各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止HDFS
​​​start-dfs.sh/stop-dfs.sh​​​ （2）整体启动/停止YARN
​​start-yarn.sh/stop-yarn.sh​​

4.2.8 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

• 1.配置mapred-site.xml
  ​​​vi mapred-site.xml​​ 在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

• 2.分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

• 3.在hadoop102启动历史服务器
  ​​​mapred --daemon start historyserver​​
• 4.查看历史服务器是否启动
  ​​​jps​​
• 5.查看JobHistory

http://hadoop102:19888/jobhistory

4.2.9 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以​​​方便的查看​​​到程序运行详情，​​方便开发调试​​​。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：

• 1.配置yarn-site.xml
  ​​​vim yarn-site.xml​​ 在该文件里面增加如下配置。

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>  
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>

• 2.分发配置
  ​​​xsync $HADOOP_HOME/etc/hadoop/yarn-site.xm​​l
• 3关闭NodeManager 、ResourceManager和HistoryServer

在103上执行： stop-yarn.sh
在102上执行： mapred --daemon stop historyserver

• 4.启动NodeManager 、ResourceManager和HistoryServer

在103上执行：start-yarn.sh
在102上执行：mapred --daemon start historyserver

• 5.删除HDFS上已经存在的输出文件

hdfs dfs -rm -R /user/dev1/output

• 6.执行WordCount程序

hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/dev1/input /user/dev1/output

• 7.查看日志

http://hadoop102:19888/jobhistory

4.2.10 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

配置时间同步具体实操：

• 1时间服务器配置（必须root用户）
  （1）在所有节点关闭ntp服务和自启动

sudo systemctl stop ntpd
sudo systemctl disable ntpd

（2）修改ntp配置文件
​​​vim /etc/ntp.conf​​​ 修改内容如下
（2.1）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

（2.2）修改2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（2.3）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改​​/etc/sysconfig/ntpd​​​ 文件
​​​vim /etc/sysconfig/ntpd​​​ 增加内容如下（让硬件时间与系统时间一起同步）
​​SYNC_HWCLOCK=yes​​ Tips:
系统时间: 一般说来就是我们执行 date命令看到的时间，linux系统下所有的时间调用（除了直接访问硬件时间的命令）都是使用的这个时间。

硬件时间: 主板上BIOS中的时间，由主板电池供电来维持运行，系统开机时要读取这个时间，并根据它来设定系统时间（注意：系统启动时根据硬件时间
设定系统时间的过程可能存在时区换算，这要视具体的系统及相关设置而定）
（4）重新启动ntpd服务
​​​systemctl start ntpd​​​ （5）设置ntpd服务开机启动
​​systemctl enable ntpd​​

• 2.其他机器配置（必须root用户）

（1）在其他机器配置10分钟与时间服务器同步一次
​​​crontab -e​​​ 编写定时任务如下：
​​*/10 * * * * /usr/sbin/ntpdate hadoop102​​ （2）修改任意机器时间
​​date -s "2017-9-11 11:11:11"​​ （3）十分钟后查看机器是否与时间服务器同步
​​date​​ 说明：测试的时候可以将10分钟调整为1分钟，节省时间。

5 常见错误及解决方案

• （1）防火墙没关闭、或者没有启动YARN
  INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
• （2）主机名称配置错误
• （3）IP地址配置错误
• （4）ssh没有配置好
• （5）root用户和dev1两个用户启动集群不统一
• （6）配置文件修改不细心
• （7）未编译源码

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

• （8）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：
（1）在/etc/hosts文件中添加192.168.1.102 hadoop102
（2）主机名称不要起hadoop hadoop000等特殊名称

• （9）DataNode和NameNode进程同时只能工作一个。
• （10）执行命令不生效，粘贴word中命令时，遇到​​-​​和​​长–​​没区分开。导致命令失效
  解决办法：​​尽量不要粘贴word中代码​​。
• （11）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。
  原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，
  再重新启动集群。
• （12）jps不生效。
  原因：全局变量hadoop java没有生效。解决办法：需要​​source /etc/profile​​文件。
• （13）8088端口连接不上
  [dev1@hadoop102 桌面]$ ​​cat /etc/hosts​​ 注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop102

6 Hadoop 3.x 和2.x主要区别

• (1)最低Java版本从7升级到8
• (2)​​引入纠删码(Erasure Coding)​​​ 主要解决数据量大到一定程度磁盘空间存储能力不足的问题.
  HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。
  纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自然而然，也是未来的趋势.
• (3)​​重写了Shell脚本​​​ 重写了Shell脚本，修改了之前版本长期存在的一些错误，并提供了一些新功能,在尽可能保证兼容性的前提下，一些新变化仍然可能导致之前的安装出现问题。
  例如:
  所有Hadoop Shell脚本子系统现在都会执行​​hadoop-env.sh​​这个脚本，它允许所有环节变量位于一个位置；

​​守护进程​​​已通过​​*-daemon.sh​​​选项从​​*-daemon.sh​​移动到了bin命令中，在Hadoop3中，我们可以简单的使用守护进程来启动、停止对应的Hadoop系统进程；

• (4)引入了新的API依赖
  之前Hadoop客户端操作的Maven依赖为hadoop-client，这个依赖直接暴露了Hadoop的下级依赖，当用户和Hadoop使用相同依赖的不同版本时，可能造成冲突。
  Hadoop3.0引入了提供了hadoop-client-api 和hadoop-client-runtime依赖将下级依赖隐藏起来，一定程度上来解决依赖冲突的问题
• (5)MapReduce任务的本地化优化
  MapReduce引入了一个NativeMapOutputCollector的本地化(C/C++)实现，对于shuffle密集的任务，可能提高30%或者更高的性能
• (6)​​支持超过两个NN​​ HDFS NameNode高可用性的初始实现为单个Active NameNode 和 单个 Standby NameNode, 将edits复制到三个JournalNode。 该体系结构能够容忍系统中一个NN或者一个JN故障.但是，某些部署需要更高程序的容错能力，Hadoop3.x允许用户运行一个Active NameNode 和 多个 Standby NameNode。
• (7)​​许多服务的默认端口改变了​​ Hadoop3.x之前，多个Hadoop服务的默认端口位于Linux临时端口范围(63768~61000). 这意味着在启动时，由于与另一个应用程序冲突，服务有时无法绑定到端口.
  在Hadoop3.x中，这些可能冲突的端口已移出临时范围，受影响的有NameNode ,SecondaryNamenode , DataNode 和 KMS
• (8)添加对Microsoft Azure Data Lake 和 阿里云对象存储系统的支持
• (9)DataNode内部实现Balancer
  一个DN管理多个磁盘，当正常写入时，多个磁盘是平均分配的。然而当添加新磁盘时，这种机制会造成DN内部严重的倾斜。
  之前的DataNode Balancer只能实现DN之间的数据平衡，Hadoop3.x实现了内部的数据平衡。
• (10)重做的后台和任务堆内存管理
  已实现根据服务器自动配置堆内存，HADOOP_HEAPSIZE变量失效。简化MapTask 和ReduceTask的堆内存配置，现已不必同时在配置中和Java启动选项中指定堆内存大小，旧有配置不会受到影响。
• (11)HDFS实现服务器级别的Federation分流
  对于HDFS Federation， 添加了一个对统一命名空间的RPC路由层 。 和原来的HDFS Federation没有变化，只是目前挂在管理不必在客户端完成，而是放在的服务器，从而简化了HDFS Federation访问。
• (12)Yarn的时间线服务升级到V2
  Yarn的时间线服务是MRJobHistory的升级版，提供了在Yarn上运行第三方程序的历史支持，该服务在Hadoop3.0升级为第二版
• (13)容量调度器实现API级别的配置
  现在容量调度器可以实现通过REST API来改变配置，从而让管理员可以实现调度器自动配置。
• (14)Yarn实现更多种资源类型的管理
  Yarn调度器现已可以通过配置实现用户自定义的资源管理。现在Yarn可以根据CPU和内存意外的资源管理其任务队列

参考:
​​​ https://blog.csdn.net/chj_xc/article/details/54907029​​​ https://www.cnblogs.com/smartloli/p/8827623.html
https://www.cnblogs.com/smartloli/p/9028267.html

7 Hadoop源码编译

7.1 前期准备工作

• (1)CentOS联网
  确保在编译过程中CentOS能连接外网，因为要下载很多依赖的jar包.
  注意：采用root角色编译，减少文件夹权限出现问题
• (2)软件包准备(hadoop源码、JDK8、maven、protobuf、cmake)

（1）hadoop-3.1.3-src.tar.gz
（2）jdk-8u212-linux-x64.tar.gz
（3）apache-maven-3.6.3-bin.tar.gz
（4）protobuf-2.5.0.tar.gz（序列化的框架）
（5）cmake-3.13.1.tar.gz

7.2 软件包安装

• (1)上传软件包到指定的目录 ,例如 /opt/software/hadoop_source

[root@hadoop101 hadoop_source]$ pwd
/opt/software/hadoop_source
[root@hadoop101 hadoop_source]$ ll

• (2)解压软件包指定的目录，例如：
  /opt/module/Hadoop_source

[dev1@hadoop101 hadoop_source]$ tar -zxvf apache-maven-3.6.3-bin.tar.gz -C  /opt/module/hadoop_source/
[dev1@hadoop101 hadoop_source]$ tar -zxvf cmake-3.13.1.tar.gz -C  /opt/module/hadoop_source/
[dev1@hadoop101 hadoop_source]$ tar -zxvf hadoop-3.1.3-src.tar.gz -C  /opt/module/hadoop_source/
[dev1@hadoop101 hadoop_source]$ tar -zxvf protobuf-2.5.0.tar.gz -C  /opt/module/hadoop_source/
[dev1@hadoop204 hadoop_source]$ pwd
/opt/module/hadoop_source

[dev1@hadoop204 hadoop_source]$ ll

• (3)确认Java已安装且配置好环境变量，没安装的安装jdk ，安装完后验证

[dev1@hadoop101 hadoop_source]$ java -version

java version “1.8.0_212”
Java™ SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot™ 64-Bit Server VM (build 25.212-b10, mixed mode)

• (4)配置maven环境变量，maven镜像 , 并验证

》》4.1配置maven的环境变量

[root@hadoop101 hadoop_source]#  vim /etc/profile

配置

#MAVEN_HOME
MAVEN_HOME=/opt/module/hadoop_source/apache-maven-3.6.3
PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

source一下

[root@hadoop101 hadoop_source]#  source /etc/profile

》》4.2修改maven的镜像

[root@hadoop101 apache-maven-3.6.3]# vim conf/settings.xml

在 mirrors节点中添加阿里云镜像

<mirrors>
        <mirror>
                <id>nexus-aliyun</id>
                <mirrorOf>central</mirrorOf>
                <name>Nexus aliyun</name>
                <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
</mirrors>

验证

[root@hadoop101 hadoop_source]# mvn -version 
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)

• （5）安装相关的依赖(注意安装顺序不可乱,可能会出现依赖找不到问题)
  》》1安装gcc make

[root@hadoop101 hadoop_source]# yum install -y gcc* make

》》2安装压缩工具

[root@hadoop101 hadoop_source]# yum -y install snappy*  bzip2* lzo* zlib*  lz4* gzip*

》》3安装一些基本工具

[root@hadoop101 hadoop_source]# yum -y install openssl* svn ncurses* autoconf automake libtool

》》4安装扩展源,才可安装zstd

[root@hadoop101 hadoop_source]# yum -y install epel-release

》》5安装zstd

[root@hadoop101 hadoop_source]# yum -y install *zstd*

• (6)手动安装cmake

》》1.在解压好的cmake目录下,执行 ./bootstrap 进行编译,此过程需一小会时间耐心等待.

[dev1@hadoop101 cmake-3.13.1]$ pwd

/opt/module/hadoop_source/cmake-3.13.1

[dev1@hadoop101 cmake-3.13.1]$ ./bootstrap

》》2.执行安装

[dev1@hadoop101 cmake-3.13.1]$ make $$ make install

》》3.验证安装是否成功

[dev1@hadoop101 cmake-3.13.1]$ cmake -version

cmake version 3.13.1

CMake suite maintained and supported by Kitware (kitware.com/cmake).

• (7) 安装protobuf ，进入到解压后的protobuf目录

[dev1@hadoop101 protobuf-2.5.0]$ pwd

/opt/module/hadoop_source/protobuf-2.5.0

》》1依次执行下列命令 --prefix 指定安装到当前目录

[dev1@hadoop101 protobuf-2.5.0]$ ./configure --prefix=/opt/module/Hadoop_source/protobuf-2.5.0 
[dev1@hadoop101 protobuf-2.5.0]$ make && make install

》》2配置环境变量

[dev1@hadoop101 protobuf-2.5.0]$ vim /etc/profile

添加

PROTOC_HOME=/opt/module/hadoop_source/protobuf-2.5.0
PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PROTOC_HOME/bin

》》3验证

[dev1@hadoop101 protobuf-2.5.0]$ source /etc/profile
[dev1@hadoop101 protobuf-2.5.0]$ protoc --version

libprotoc 2.5.0

• (8)到此，软件包安装配置工作完成。

7.3 编译源码

• (1)进入解压后的hadoop源码目录下

[dev1@hadoop101 hadoop-3.1.3-src]$ pwd

/opt/module/hadoop_source/hadoop-3.1.3-src

》》1 开始编译

[dev1@hadoop101 hadoop-3.1.3-src]$ mvn clean package -DskipTests -Pdist,native -Dtar

等等等……等待，第一次编译需要下载很多依赖jar包，编译时间会很久，预计1小时 左右,最终成功是全部SUCCESS，爽!!!

》》2成功的64位hadoop包在/opt/hadoop-3.1.3-src/hadoop-dist/target下

[root@hadoop101 target]# pwd

/opt/hadoop-3.1.3-src/hadoop-dist/target

编译后的hadoop