Spark 的Shuffle过程详解(待续...)_spark何时进行shuffle-CSDN博客

网友收藏2024-01-25 06:15

链接地址：https://blog.csdn.net/qq_39131779/article/details/83998194
链接标题：Spark 的Shuffle过程详解(待续...)_spark何时进行shuffle-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7333

文章浏览阅读2.4k次，点赞3次，收藏17次。文章目录1.Shuffle的作用是什么?2. Spark中shuffle的运行时机3.Spark目前的ShuffleManage模式及处理机制HashShuffle3.1 HashShuffle3.1.1 shuffle write3.1.2 shuffle read磁盘小文件过多带来的问题？3.2 优化后的HashShuffleManager3.3 两种HashShuffle的磁盘小文件数目的对..._spark何时进行shuffle

本文地址：https://tebull.com/detail/579479.html

标签：spark何时进行shuffle