Spark shuffle --------- MR shuffle-CSDN博客

网友收藏2023-10-10 04:17

链接地址：https://blog.csdn.net/SmallIPPig/article/details/83964265
链接标题：Spark shuffle --------- MR shuffle-CSDN博客
所属网站：blog.csdn.net
被收藏次数：608

1.复习：MR的shuffle在MR中，shuffle分为两个阶段，分别为shuffle write 和 shuffle read在shuffle writer阶段，会有写数据-聚合-排序-写磁盘（产生磁盘小文件）-归并排序，合并成大文件在shuffle read阶段，拉取数据写入内存-排序-溢写-合并分组在MR中，排序的是强制的，为了后续的分组2.Spark shuffle:分为...

本文地址：https://tebull.com/detail/6467.html

标签：Spark shuffle --------- MR shuffle