MR 的shuffle机制_mr的shuffle-CSDN博客

网友收藏2024-01-25 06:42

链接地址：https://blog.csdn.net/qq_25460227/article/details/81322135
链接标题：MR 的shuffle机制_mr的shuffle-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6725

文章浏览阅读1.6k次。mapreduce高级特性及shuffle第一节：shuffle机制1.1 概述mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；shuffle:洗牌、发牌——（核心机制：数据分区，排序，缓存）；具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数..._mr的shuffle

本文地址：https://tebull.com/detail/580177.html

标签：mr的shuffle