特牛网址导航

hadoop-HDFS企业中负载均衡_如何保持hadoop集群中各个节点的负载均衡-CSDN博客

网友收藏
文章浏览阅读226次。在进行文件上传的时候会优先选择客户端所在节点,如果习惯性使用同一个客户端会造成客户端所在节 点存储的数据比较多。集群会有一个自动的负载均衡的操作,只不过这个负载均衡的操作比较慢。机器与机器之间磁盘利用率不平衡是HDFS集群非常容易出现的情况,例如:当集群内新增、删除节点,或者某个节点机器内硬盘存储达到饱和值。当数据不平衡时,Map任务可能会分配到没有存储数据 的机器,这将导致网络带宽的消耗,也无法很好的进行本地计算。当HDFS负载不均衡时,需要对HDFS进行数据的负载均衡调整,即对各节点机器上数据的存_如何保持hadoop集群中各个节点的负载均衡