【大数据篇】Spark运行时架构详解

Apache Spark的运行时架构是设计来高效处理大规模数据的。它包含多个组件，每个组件各司其职，共同协作完成数据处理任务。下面详细介绍这些组件及其职责：

主要组件和进程

1. Driver程序（Driver Program）:
   • Driver程序是Spark应用的心脏，它运行应用的main()函数并且创建SparkContext。
   • 负责将Spark应用转换为作业（jobs），进一步分解为任务（tasks）。
   • 负责任务的调度和分发到各个Executor上执行。
   • 维护Spark作业的执行环境，收集Executor的执行状态和结果。
2. 集群管理器（Cluster Manager）:
   • 负责资源管理和调度，为Spark作业分配所需资源。
   • Spark可以运行在不同的集群管理器上，包括Hadoop YARN、Apache Mesos、Kubernetes或Spark自带的独立集群管理器。
3. Executor进程（Executors）:
   • Executor进程在集群的工作节点上运行，负责执行由Driver程序分发的任务。
   • 每个Executor都有一定数量的核（CPU核心）和内存，用于执行任务。
   • Executor也负责存储计算过程中的数据，比如RDD的分区数据。
   • 每个应用都有其专属的Executor进程。
4. SparkContext:
   • SparkContext是Spark应用的入口点，由Driver程序创建。
   • 它负责初始化Spark应用所需的核心组件，包括对集群管理器的连接。
   • SparkContext也负责RDD的创建和持久化。

任务提交流程

当你提交一个Spark作业时，整个过程大致如下：

1. 启动Driver程序:
   • 用户提交Spark应用时，首先启动Driver程序。Driver会创建SparkContext。
2. 创建SparkContext:
   • SparkContext会与选定的集群管理器通信，请求分配资源用来启动Executor进程。
3. 启动Executor进程:
   • 集群管理器为应用启动Executor进程。Executor的数量和资源大小根据应用提交时的配置决定。
4. 任务分解和调度:
   • Driver程序将应用代码转换成一系列独立的任务，这些任务被组织成一个或多个作业。
   • Driver根据数据的分区信息将任务分发给相应的Executor执行。
5. 任务执行:
   • Executor接收到任务后，开始执行计算。这可能包括读取输入数据、处理数据以及写入输出数据。
   • 如果任务需要读取的数据已经在某个Executor的内存中，它会直接使用这些数据；否则，可能需要从其他Executor或外部存储系统读取数据。
6. 结果汇总:
   • 任务完成后，结果会被发送回Driver程序。如果是行动操作（action），如collect()，结果会被收集在Driver程序中。
   • 如果是转换操作（transformation），结果会以新的RDD形式存在，等待后续的行动操作触发执行。
7. 应用结束:
   • 所有作业完成后，SparkContext会关闭，并且通知集群管理器释放所有Executor进程。
   • Driver程序结束执行。