特牛网址导航

Mapreduce的原理-CSDN博客

网友收藏
在上图中,有详细的流程以及个部分进行的操作:所以进行补充:shuffle write阶段,当把数据进行分区完后往buffer中写时,一旦写满80M,则会把这80M进行封锁,封锁的目的是为了能进行有效的排序,如果不封锁进行排序,排序的结果是不对的。当进行封锁以后,buffer留出了20M的内存,防止操作的阻塞。相同的问题在shuffler read阶段,相同的分区的数据往内存中写入时,此时内...