- 链接地址:https://blog.csdn.net/do_what_you_can_do/article/details/53096205
- 链接标题:hadoop集群调优及MR调优_完成 linux 高级命令编写 hadoop 集群的搭建 mr 统计单词出现次数 mr 优化方-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2141
文章浏览阅读3.5k次。一、操作系统调优1、提高网络连接上限。以增加网络带宽的利用率,即修改内核net.core.somaxcon参数2、关闭swap交换分区。以免内存不足时,数据会溢写到磁盘,读取时再从磁盘读取,增加数据读取时间3、调整预读缓存区的大小。将数据预读,减少磁盘IO时间二、HDFS调优1、配置文件一:core-site.xml1>hadoop.tmp.dir:_完成 linux 高级命令编写 hadoop 集群的搭建 mr 统计单词出现次数 mr 优化方
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除