Spark之Shuffle参数调优解析_spark.shuffle.memoryfraction-CSDN博客

网友收藏2024-01-25 06:42

链接地址：https://blog.csdn.net/zuodaoyong/article/details/107172810
链接标题：Spark之Shuffle参数调优解析_spark.shuffle.memoryfraction-CSDN博客
所属网站：blog.csdn.net
被收藏次数：5639

文章浏览阅读3.3k次。在分布式系统中，数据分布在不同的节点上，每个节点计算一部分数据，后续将各个节点的数据进行汇聚，此时会出现shuffle，shuffle会产生大量的磁盘IO，网络IO，压缩，解压缩，序列化，反序列化等操作，这系列操作对性能都是很大的负担。下面是spark2.2.0版本的shuffle的属性表，http://spark.apache.org/docs/2.2.0/configuration.html一、Shuffle 参数Property Name Default Meaning _spark.shuffle.memoryfraction

本文地址：https://tebull.com/detail/580162.html

标签：spark.shuffle.memoryfraction