Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
问题
工具只在解决了一些问题时才有用，对吧！那么让我们来讨论一下 Spark 能解决的问题。
我们需要（快速获取）答案
在批处理过程中，长时间等待运行作业的结果是意料中的事，在如今的企业中，需要快速（“近实时”）获取答案。大数据的属性（速度、数据量和种类）使得业务问题越来越难获得答案，但快速获取这些答案非常重要。
数据如此之多
数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增加。所有数据都需要经过一定的处理，这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据，以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据，这一点很重要！
A 与 B（以及 C、D 等等）有何关联？
您拥有所有这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而确定哪些数据维至关重要，哪些毫无价值。
我们需要知道（何时）将会发生什么
您拥有所有这些宝贵的历史数据。太棒了！现在您需要分析它们，了解发生了什么和发生的原因，以便能预测接下来会发生什么。重要的是能够分析所有这些数据，以便预测将会发生的业务事件。
Apache Spark 不是什么
我们常常（且很容易）合并解决一组类似问题的两种或更多相关技术，而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误，让我们讨论一下它不是什么。
Hadoop
Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另一方面，Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），而且不会像 Hadoop（通过 Hadoop 分布式文件系统，HDFS）那样处理文件存储本身。
MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆，因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法：读入数据，MapReduce 转换它，然后将数据写回到磁盘。如果需要另一次转换，则会重复这些步骤。另一方面，Spark 在内存中执行所有处理工作（如有必要，还会执行多次迭代），并使用 DAG 确定要执行步骤的最佳顺序。
与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容，所以 Hadoop 和 Spark 可以紧密协作。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。