Hadoop系列 : 精解MapReduce shuffle_hadoop shuffle的意义-CSDN博客

网友收藏2024-01-22 16:45

链接地址：https://blog.csdn.net/qq_40651717/article/details/85267746
链接标题：Hadoop系列 : 精解MapReduce shuffle_hadoop shuffle的意义-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7561

文章浏览阅读197次。shuffle简介MapReduce的shuffle一般是指Map输出到Reduce输入的整个过程。整个shuffle过程中伴随着大量的磁盘IO , 网络IO 。shuffle性能的高低 , 直接决定了整个程序的性能高低。shuffle的字面意思是洗牌 , 即有序 - 无序的一个过程 , 比如JDK中的shuffle , 它的作用就是随机打乱集合中的元素。但在MapReduce中 ..._hadoop shuffle的意义

本文地址：https://tebull.com/detail/478776.html

标签：hadoop shuffle的意义