- 链接地址：https://blog.csdn.net/qq_41464008/article/details/122395137
- 链接标题：day75 saprk 调优_conf spark.storage.memoryfraction=0.4-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6189
文章浏览阅读260次。文章目录一、代码优化1、对多次使用的RDD进行缓冲2、使用高性能算子3、广播变量 broadcast4、Kryo优化序列化性能5、数据本地性二、参数调优三、数据倾斜优化1、双重聚合2、将 reduce join 转为 map join3、双重 joinI know, i know地球另一端有你陪我一、代码优化1、对多次使用的RDD进行缓冲使用 cache，注意持久化策略MEMORY_ONLY 和 MEMORY_AND_DISK_SER序列化能够对数据进行压缩，减少数据的占用_conf spark.storage.memoryfraction=0.4
版权声明：本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
