- 链接地址:https://blog.csdn.net/weixin_44757575/article/details/102155801
- 链接标题:10)Hadoop数据压缩_hadoop 数据交换 占用了10g的带宽-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5580
文章浏览阅读122次。概述压缩技术能有效减少底层存储系统(HDFS)的读写字数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时,I/O操作、网络数据传输、Shuffle、Merge要花费大量时间,尤其是=在数据规模很大和工作负载很密集的时候,数据压缩显得非常重要;鉴于磁盘IO和网络带宽是Hadoop的宝贵资源,数据压缩对于节省资源,最小化磁盘I/O和网络传输非常有帮助,可以在任意MapReduce阶段..._hadoop 数据交换 占用了10g的带宽
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除