mr内部数据处理流程_mr数据处理的流程-CSDN博客

网友收藏2024-01-24 09:54

链接地址：https://blog.csdn.net/LEOZHYD/article/details/107324403
链接标题：mr内部数据处理流程_mr数据处理的流程-CSDN博客
所属网站：blog.csdn.net
被收藏次数：5281

文章浏览阅读611次。内部流程1.处理数据的输入路径计算任务切片(mt个数),根据任务切片的个数启动mapTask.2.MapTask 处理属于自己的任务数据(start(偏移量),length) TextInputFormat就是数据切分,分成若干个split,以便确定MapTask个数,以及对应的split,且里面有一个createRecorder方法,返回一个LineRecordReader 一行一行的读(如果行数比较多,就会产生大量的kv) ..._mr数据处理的流程

本文地址：https://tebull.com/detail/547878.html

标签：mr数据处理的流程