Hadoop3.3.6配置历史服务器和日志

一、配置历史服务器

1.增加配置属性

Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。

 <!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>

2.重启

执行stop-dfs.sh、stop-yarn.sh停止然后再执行start-dfs.sh、start-yarn.sh。然后启动history服务。

mapred --daemon start historyserver

二、配置日志

通过vim yarn-site.xml命令在yarn-site.xml文件中增加下面属性。然后重启dfs、yarn和historyserver服务器。

 <!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://0.0.0.0:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

三、测试

使用hadoop下面share目录自带的例子执行单词计数功能。

在/home/Hadoop/hadoop/share/hadoop/mapreduce目录下执行hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output命令。之后就可以在浏览器看到统计结果。

在8088端口可以看到执行记录，点击进去再点history连接就能看到里面的具体job。

再点上面的logs就会看到日志页面。