spark学习-Spark性能调优手段_使spark更快的主要机制-CSDN博客

网友收藏2024-01-24 07:40

链接地址：https://blog.csdn.net/ymcz1987/article/details/80053182
链接标题：spark学习-Spark性能调优手段_使spark更快的主要机制-CSDN博客
所属网站：blog.csdn.net
被收藏次数：8495

文章浏览阅读849次。Spark性能调优手段：判断内存消耗：设置RDD并行度，将RDD cache到内存，通过BlockManagerMasterActor添加RDD到memory中的日志查看每个partition占了多少内存，最后乘以partition数量，即是RDD内存占用量。1.Shuffle调优（核心）a.consolidation机制，使shuffleMapTask端写磁盘的文件数量减少，resultTask..._使spark更快的主要机制

本文地址：https://tebull.com/detail/544163.html

标签：使spark更快的主要机制