MR过程和Shuffle详解-CSDN博客

网友收藏2024-01-25 06:42

链接地址：https://blog.csdn.net/weixin_44824330/article/details/102497707
链接标题：MR过程和Shuffle详解-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7428

文章浏览阅读1.6k次。一 MR 过程MR框架是使用InputFormat为map所需的数据进行预处理，并为其提供数据。两个功能：切片，封装keyvalue因为InputSplit为逻辑切分而非物理拆分，所以说还需要RecoderReader根据InputSplit中的信息里处理InputSplit中的具体信息，加载数据并转换为合适的Map任务的keyvalue，输入给Map任务Map是自定义的逻辑，根据In..._mr过程

本文地址：https://tebull.com/detail/580188.html

标签：mr过程