spark调优-shuffle调优_简述通过控制spark reduce缓存调优shuffle-CSDN博客

网友收藏2024-01-25 06:40

链接地址：https://blog.csdn.net/Mark__cao/article/details/62417338
链接标题：spark调优-shuffle调优_简述通过控制spark reduce缓存调优shuffle-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6474

文章浏览阅读583次。基于spark1.6参数可以通过 new sparkContext().set("","")来设置，也可以通过命令的参数设置 --conf spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会..._简述通过控制spark reduce缓存调优shuffle

本文地址：https://tebull.com/detail/580143.html

标签：简述通过控制spark reduce缓存调优shuffle