- 链接地址:https://blog.csdn.net/cm_chenmin/article/details/53117631
- 链接标题:MapReduce Shuffle原理 与 Spark Shuffle原理_去重和排序是用mapreduce还是spark-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:1824
文章浏览阅读1.4k次。MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程?我们都知道MapReduce计算模型一般包括两个重要的阶段:Map是映射_去重和排序是用mapreduce还是spark
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除