Spark调优总结（代码，参数，数据倾斜调优）_spark 执行计划调优代码-CSDN博客

网友收藏2024-01-22 17:34

链接地址：https://blog.csdn.net/qq_43278189/article/details/121364538
链接标题：Spark调优总结（代码，参数，数据倾斜调优）_spark 执行计划调优代码-CSDN博客
所属网站：blog.csdn.net
被收藏次数：1202

文章浏览阅读406次。文章目录Spark调优代码调优参数调优参数调优模板数据倾斜调优Spark调优代码调优1.避免创建重复的RDD2.尽可能复用同一个RDD3.对多次使用的RDD进行持久化持久化策略选择：默认情况:MEMORY_ONLY（性能最高，前提内存足够，实际生产环境中也不可能把所有的内存提供给你进行持久化，数据量一大就会导致JVM的OOM（out-of-memory:内存溢出）若使用MEMORY_ONLY发生内存溢出，建议尝试MEMORY_ONLY_SER级别，降低了内存占用，比MEMORY_ONLY多_spark 执行计划调优代码

本文地址：https://tebull.com/detail/480222.html

标签：spark 执行计划调优代码