在实际应用中，大数据处理主要包括以下三个类型：
1.复杂的批量数据处理:
通常时间跨度在数十分钟到数小时之间
2.基于历史数据的交互式查询:
通常时间跨度在数十秒到数分钟之间
3.基于实时数据流的数据处理:
通常时间跨度在数百毫秒到数秒之间
当同时存在以上三种场景时，就需要同时部署三种不同的软件比如:
MapReduce：离线批处理
Impala：交互式查询处理
Storm：实时流处理
这样做难免会带来一些问题：
不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换
不同的软件需要不同的开发和维护团队，带来了较高的使用成本
比较难以对同一个集群中的各个系统进行统一的资源协调和分配
Spark:既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等
Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案
Spark所提供的生态系统足以应对上述三种场景，即同时支持批处理、交互式查询和流数据处理
生态系统组件
Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX 等组件。
应用场景
应用场景 | 时间跨度 | 其他框架 | Spark生态系统组件 |
复杂的批量数据处理 | 小时级 | MapReduce | Hive Spark |
基于历史数据的交互式查询 | 分钟级、秒级 | Impala、Dremel、Drill | Spark SQL |
基于实时数据流的数据处理 | 毫秒、秒级 | Storm、S4 | Spark Streaming |
基于历史数据的数据挖掘 | - | Mahout | MLlib |
图结构数据的处理 | - | Pregel、Hama | GraphX |
Spark执行任务流程图
1、Spark运行架构包括：Master（集群资源管理）、Slaves（运行任务的工作节点）、应用程序的控制节点（Driver）和每个工作节点上负责任务的执行进程（Executor）；
2、Master是集群资源的管理者（Cluster Manager）。支持：Standalone,Yarn,Mesos；
3、Slaves在spark中被称为Worker，工作节点，包括Executor。；
4、Driver Program。该进程运行应用的 main() 方法并且创建了SparkContext。由Cluster Manager分配资源，SparkContext将发送Task到Executor上执行。
5、每个工作节点上负责任务的执行进程（Executor）；
Executor包括cache、分配到Executor上的task任务（task1、task2…tasksN）
标签：常景,节点,路线,交互式,Executor,数据处理,spark,时间跨度,Spark From： https://blog.51cto.com/u_16110904/7469056