文章浏览阅读1.4k次。1. 新特性一:动态分区裁剪比如上面的 SQL 查询，假设 t2 表 t2.id < 2 过滤出来的数据比较少，但是由于之前版本的 Spark 无法进行动态计算代价，所以可能会导致 t1 表扫描出大量无效的数据。有了动态分区裁减，可以在运行的时候过滤掉 t1 表无用的数据优化之后:经过这个优化，查询扫描的数据大大减少，性能提升了 33 倍2. 新特性二:自适应优化查询比如下面的查询，基于代价的模型优化不可能准确的评估而有了 AQE 之后，Spark 就可以._升级 spark3 优势