Spark基础入门-第四章：Spark环境搭建-StandAlone-HA

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

一、StandAlone HA 运行原理

导论

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master 单点故障(SPOF)的问题。

高可用HA

如何解决这个单点故障的问题， Spark提供了两种方案：

1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。

2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)--可以用于生产环境。

ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个是Active 的，其他的都是Standby。当Active的Master出现故障时，另外的一个Standby Master会被选举出来。由于集群的信息 ，包括Worker， Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新Job的提交，对 于正在进行的Job没有任何的影响。加入ZooKeeper的集群整体架构如下图所示。

二、基于Zookeeper实现HA

官方文档： ​​http://spark.apache.org/docs/3.1.2/spark-standalone.html#standby-masters-with-zookeeper​​

此时大家可以直接参考部署文档<<spark部署文档.doc>> 中的HA构造方案

查看WebUI

• ​​http://node1:8080/​​
• ​​http://node2:8080/​​

默认情况下，先启动Master就为Active Master，如下截图所示：

如果将node1的Master进程Kill掉， node2的Master在1Min-2Min左右会接替node1的Master作用。 也就是在执行过程中，使用jps查看Active Master进程ID，将其kill，观察Master是否自动切换与应用运行完成结束。(需要等待1-2min)。

三、测试运行

3.1 Wordcount测试

resultRDD = sc.textFile("hdfs://node1:8020/pydata/words.txt") \

.flatMap(lambda line: line.split(" ")) \

.map(lambda x: (x, 1)) \

.reduceByKey(lambda a, b: a + b)

resultRDD .collect()

停止集群： /export/server/spark/sbin/stop-all.sh

3.2 关闭Master验证HA

关闭活跃的Master进程, 等待30秒左右

查看standby是否接管集群.