- 链接地址:https://blog.csdn.net/SmallIPPig/article/details/83147859
- 链接标题:Mapreduce的原理-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4437
在上图中,有详细的流程以及个部分进行的操作:所以进行补充:shuffle write阶段,当把数据进行分区完后往buffer中写时,一旦写满80M,则会把这80M进行封锁,封锁的目的是为了能进行有效的排序,如果不封锁进行排序,排序的结果是不对的。当进行封锁以后,buffer留出了20M的内存,防止操作的阻塞。相同的问题在shuffler read阶段,相同的分区的数据往内存中写入时,此时内...
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:Mapreduce的原理