特牛生活网

mapreduce的shuffle机制(来自学习笔记)-CSDN博客

网友收藏
文章浏览阅读197次。3. MAPREDUCE原理篇(2)3.1 mapreduce的shuffle机制3.1.1 概述:v mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;vshuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存)v具体来说:就是将ma..._mapreduce的shuffle原理