Spark shuffle的两个调优参数_spark shuffle参数表-CSDN博客

网友收藏2024-01-25 06:40

链接地址：https://blog.csdn.net/weixin_46845300/article/details/122166495
链接标题：Spark shuffle的两个调优参数_spark shuffle参数表-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2032

文章浏览阅读593次。# 文件输出流内存缓冲区大小默认32k 增加可以可以减少创建shuffle文件时候进行磁盘搜索和系统调用次数，建议64kspark.shuffle.file.buffer shuffle# 拉取的数据量大小默认48m 增加可以减少reduce拉取数据的次数建议96mspark.reducer.maxSizeInFilght reducetask ..._spark shuffle参数表

本文地址：https://tebull.com/detail/580149.html

标签：spark shuffle参数表