spark的shuffle有几种方式_suffle方式有几种-CSDN博客

网友收藏2024-01-23 04:29

链接地址：https://zhy0810.blog.csdn.net/article/details/87894771
链接标题：spark的shuffle有几种方式_suffle方式有几种-CSDN博客
所属网站：zhy0810.blog.csdn.net
被收藏次数：2336

文章浏览阅读2.7k次。shuffle过程中分为shuffle write和shuffle read，而且会在不同的stage中进行的在进行一个key对应的values的聚合时，首先，上一个stage的每个map task就必须保证将自己处理的当前分区中的数据相同key写入一个分区文件中，可能会多个不同的分区文件，接着下一个stage的reduce task就必须从上一个stage的所有task所在的节点上，将各个t..._suffle方式有几种

本文地址：https://tebull.com/detail/498706.html

标签：suffle方式有几种