- 链接地址：https://blog.csdn.net/qq_43771096/article/details/107618082
- 链接标题：【MapReduce】浅谈MR Shuffle流程_mr suffle过程-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：4797
文章浏览阅读380次。MapReduce shuffle：Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。在shuffle之前，MapReduce通过InputFormat接口中的getSplit（）方法，对要当前要处理的HDFS块数据进行逻辑上的分片（split）操作，进而确定MapTask的个数// 分片不会超过blockSize的大小，取goalSize和minSize的最大值finalSplitSize=max(minSize,min(goalSize,blockSize)) _mr suffle过程
版权声明：本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签：mr suffle过程
