历史服务器

历史服务器
运行 Flink job 的集群一旦停止，只能去 yarn 或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发生了什么。如果我们还没有 Metrics 监控的话，那么完全就只能通过日志去分析和定位问题了，所以如果能还原之前的 Web UI，我们可以通过 UI 发现和定位一些问题。
Flink提供了历史服务器，用来在相应的 Flink 集群关闭后查询已完成作业的统计信息。我们都知道只有当作业处于运行中的状态，才能够查看到相关的WebUI统计信息。通过 History Server 我们才能查询这些已完成作业的统计信息，无论是正常退出还是异常退出。
此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager 会将已经完成任务的统计信息进行存档，History Server 进程则在任务停止后可以对任务统计信息进行查询。比如：最后一次的 Checkpoint、任务运行时的相关配置。

1）创建存储目录
hadoop fs -mkdir -p /logs/flink-job

2）在 flink-conf.yaml中添加如下配置
jobmanager.archive.fs.dir: hdfs://x:8020/logs/flink-job
historyserver.web.address: x
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://x/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000

3）启动历史服务器
bin/historyserver.sh start

4）停止历史服务器
bin/historyserver.sh stop

5）在浏览器地址栏输入：http://x:8082 查看已经停止的 job 的统计信息