目录

第04章 Spark SQL常用参数 2

4.1 AQE优化控制 2

4.2 SHUFFLE分区个数控制 3

4.3 SHUFFLE输入大小控制 3

4.4 TASK内存参数 3

4.5 TASK同时运行个数 3

4.6 其它REDUCE阶段相关参数 4

4.7 如何预估每个REDUCE任务处理的数据量 6

第04章 Spark SQL常用参数

4.1 AQE优化控制

通过设置spark.sql.adaptive.enabled参数，可以开启reduce合并功能。比如有500个map，每个map过滤后只有1M数据，每个reduce应该处理128M数据，那么只需要4个reduce就能处理数据，执行速度更快，而且还合并了小文件。

这是开启AQE前

这是开启AQE后，reduce进行了合并。

4.2 SHUFFLE分区个数控制

通过设置spark.sql.shuffle.partitions参数，可以控制shuffle时，reduce的个数。在一些大数据量shuffle时，调大这个参数，可以让每个reduce处理的数据量变小，避免oom产生。

这个值不建议特别大，一般不超过2000。

4.3 SHUFFLE输入大小控制

通过设置spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数，可以控制shuffle时，每个reduce需要处理的数据量，通过减小这个参数，可以减小reduce处理的数据量，增加了reduce的个数，同样能避免oom产生。

注意：前提是spark.sql.adaptive.enabled参数必须设置为true，才会生效。

4.4 TASK内存参数

通过设置task的内存参数，可以优化任务。比如task处理的数据量比较大，那么可以加大内存，从而避免oom。如果task处理的数据量小，那么可以减小内存。通过设置--executor-memory 1G控制堆内内存占用，通过设置—conf spark.executor.memoryOverhead=3G设置堆外内存占用。

4.5 TASK同时运行个数

通过设置task的同时运行个数，能加快任务的产出，能有效减少任务的运行时间。通过spark.dynamicAllocation.maxExecutors或者通过设置--num-executors进行指定。

在占用集群总资源不变的情况下，减小内存配置，加大executor数，可以有效减少任务的运行时间。

这是我们在生产环境优化的一个sql，优化前需要执行5155秒，优化后只需要执行1791秒。

这是我们的优化参数

旧资源总占用=(5G + 1G)* 500 =3000G

新资源总占用=(1.5G+1G)*1200=3000G

可以发现使用的总内存资源是一样的，但是执行时间减少了百分之60。

4.6 其它REDUCE阶段相关参数

在一个大集群中，Spark运行经常会遇到shuffle相关异常，如下参数对于提升SQL任务shuffle稳定有很大帮助。

4.7 如何预估每个REDUCE任务处理的数据量

如何减小每个reduce task处理的数据量,我们可以通过下面的公式预估每个reduce task处理的数据量。

1)、并行度=min(spark.sql.shuffle.partitions,(上一阶段处理的总数据量/spark.sql.adaptive.shuffle.targetPostShuffleInputSize) )

2）、每个reduce task处理的最终数据量=上一阶段处理的总数据量/并行度

通过公式，我们可以知道，要想减少每个reduce task处理的数据量，最终减小oom概率，那么我们可以增加spark.sql.shuffle.partitions参数，或者减小spark.sql.adaptive.shuffle.targetPostShuffleInputSize参数。

在总资源不变情况下，内存和executor数的关系是：

减小内存配置，加大executor数，在消耗总资源不变情况下，减少了任务运行时间。

加大内存配置，减小executor数，在消耗总资源不变情况下，增加了任务稳定性，减少oom概率，增加了任务运行时间。

来自视频：《Spark SQL性能优化》

链接地址：

https://edu.51cto.com/course/34516.html