Spark调优

课程介绍

Spark是大数据工程师的必备技能之一，本套Spark性能调优教程从多个角度详解Spark调优策略，包括资源配置调优、Spark SQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark 3.0新特性详解等。每个角度都提供了多种解决方案参考，并提出了详细的配置参数，剖析了常见的故障排除手法，可解决工作中遇到的各种Spark疑难杂症。

教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自适应查询执行）、DPP（动态分区裁剪）、Hint增强，新增了谓词下推、列剪裁、常量替换、基于CBO的优化等Spark SQL优化手段。教程内容涉及面广、系统性强，将常用的Spark优化手段综合分类，提供了多种解决方案，在讲解常见问题的前提下，更注重培养解决问题的通用思路，让学习者可以触类旁通举一反三。