目录
第04章 Spark SQL常用参数 2
4.1 AQE优化控制 2
4.2 SHUFFLE分区个数控制 3
4.3 SHUFFLE输入大小控制 3
4.4 TASK内存参数 3
4.5 TASK同时运行个数 3
4.6 其它REDUCE阶段相关参数 4
4.7 如何预估每个REDUCE任务处理的数据量 6
第04章 Spark SQL常用参数
4.1 AQE优化控制
通过设置spark.sql.adaptive.enabled参数，可以开启reduce合并功能。比如有500个map，每个map过滤后只有1M数据，每个reduce应该处理128M数据，那么只需要4个reduce就能处理数据，执行速度更快，而且还合并了小文件。
这是开启AQE前
这是开启AQE后，reduce进行了合并。
4.2 SHUFFLE分区个数控制
通过设置spark.sql.shuffle.partitions参数，可以控制shuffle时，reduce的个数。在一些大数据量shuffle时，调大这个参数，可以让每个reduce处理的数据量变小，避免oom产生。
这个值不建议特别大，一般不超过2000。
4.3 SHUFFLE输入大小控制
通过设置spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数，可以控制shuffle时，每个reduce需要处理的数据量，通过减小这个参数，可以减小reduce处理的数据量，增加了reduce的个数，同样能避免oom产生。
注意：前提是spark.sql.adaptive.enabled参数必须设置为true，才会生效。
4.4 TASK内存参数
通过设置task的内存参数，可以优化任务。比如task处理的数据量比较大，那么可以加大内存，从而避免oom。如果task处理的数据量小，那么可以减小内存。通过设置--executor-memory 1G控制堆内内存占用，通过设置—conf spark.executor.memoryOverhead=3G设置堆外内存占用。
4.5 TASK同时运行个数
通过设置task的同时运行个数，能加快任务的产出，能有效减少任务的运行时间。通过spark.dynamicAllocation.maxExecutors或者通过设置--num-executors进行指定。
在占用集群总资源不变的情况下，减小内存配置，加大executor数，可以有效减少任务的运行时间。
这是我们在生产环境优化的一个sql，优化前需要执行5155秒，优化后只需要执行1791秒。
执行时间秒 | |
工作流参数（优化前） | 5155 |
参数优化后 | 1791 |
这是我们的优化参数
旧值 | 新值 | ||
spark.sql.shuffle.partitions | 500 | 5000 | |
spark.dynamicAllocation.maxExecutors | 500 | 1200 | |
spark.executor.memoryOverhead | 1G | 1G | |
executor-memory | 5G | 1.5G |
旧资源总占用=(5G + 1G)* 500 =3000G
新资源总占用=(1.5G+1G)*1200=3000G
可以发现使用的总内存资源是一样的，但是执行时间减少了百分之60。
4.6 其它REDUCE阶段相关参数
在一个大集群中，Spark运行经常会遇到shuffle相关异常，如下参数对于提升SQL任务shuffle稳定有很大帮助。
参数 | 默认值 | 建议值 | 解释 |
spark.reducer.maxReqsInFlight | Int.MaxValue | 50 | 此配置限制在任何给定点获取块的远程请求数。当集群中的主机数量增加时，可能会导致到一个或多个节点的大量入站连接，从而导致worker在负载下失败。通过允许它限制fetch请求的数量，可以缓解这种情况。 |
spark.reducer.maxBlocksInFlightPerAddress | Int.MaxValue | 50 | 此配置限制每个reduce任务从给定主机端口获取 的远程块的数量。当在单个获取中或同时从给定 地址请求大量块时，这可能会使服务 Executor或 NodeManager 崩溃。当启用 External Shuffle 时，这对于减少 NodeManager 上的负载特别有 用。可以通过将其设置为较低的值来缓解此问 题。 |
spark.shuffle.registration.timeout | 5000毫秒 | 15000 | 注册外部shuffle服务的超时时间 |
spark.shuffle.registration.maxAttempts | 3 | 5 | 当我们无法注册到外部shuffle服务时，我们将重试maxAttempts次 |
spark.shuffle.io.retryWait | 5s | 20s | 重试之间等待的时间 |
spark.shuffle.io.maxRetries | 3 | 6 | 重试最大等待次数 |
4.7 如何预估每个REDUCE任务处理的数据量
如何减小每个reduce task处理的数据量,我们可以通过下面的公式预估每个reduce task处理的数据量。
1)、并行度=min(spark.sql.shuffle.partitions,(上一阶段处理的总数据量/spark.sql.adaptive.shuffle.targetPostShuffleInputSize) )
2）、每个reduce task处理的最终数据量=上一阶段处理的总数据量/并行度
通过公式，我们可以知道，要想减少每个reduce task处理的数据量，最终减小oom概率，那么我们可以增加spark.sql.shuffle.partitions参数，或者减小spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数。
在总资源不变情况下，内存和executor数的关系是：
减小内存配置，加大executor数，在消耗总资源不变情况下，减少了任务运行时间。
加大内存配置，减小executor数，在消耗总资源不变情况下，增加了任务稳定性，减少oom概率，增加了任务运行时间。
来自视频：《Spark SQL性能优化》
链接地址：
https://edu.51cto.com/course/34516.html