- 链接地址：https://blog.csdn.net/yangqian1794/article/details/115907984
- 链接标题：hadoop09-hadoop调优(MR优化)_hadoop mr优化-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：8603
文章浏览阅读209次。hadoop调优MR优化数据输入合并小文件除了CombinTextInputFormat还有什么方法合并？使用CombinTextInputFormat合并小文件Map阶段减少溢写(spill)次数减少合并(merge)次数不影响业务需求下，使用combin处理Reduce阶段合理设置map和reduce个数：，并不一定是128M如果性能足够好，可以多划分map提高并行处理效率(虽然会有跨节点读数据，但是比单个maptask处理效率要高)设置map、_hadoop mr优化
版权声明：本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
标签：hadoop mr优化
