浅析 Spark Shuffle 内存使用（解决Spark Shuffle OOM问题）_shuffle oom怎么处理-CSDN博客

网友收藏2024-01-25 06:41

链接地址：https://blog.csdn.net/qq_26222859/article/details/51221083
链接标题：浅析 Spark Shuffle 内存使用（解决Spark Shuffle OOM问题）_shuffle oom怎么处理-CSDN博客
所属网站：blog.csdn.net
被收藏次数：4690

文章浏览阅读6.1k次。在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢？为此，本文将围绕以上问题梳理 Spark 内存管理和 Shuffle 过程中与内存使用相关的知识；然后，简要分析下在 Spark Shuffl..._shuffle oom怎么处理

本文地址：https://tebull.com/detail/580152.html

标签：shuffle oom怎么处理