文章浏览阅读425次。无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：1. linux文件句柄linux在整个系统层面和单个进程两个层面对打开的文件句柄进行限制。配置文件/proc/sys/fs/file-max是对整个系统层面对打开的文件句柄最大数进行控制，单个用户或进程能够打开的文件句柄数受此限制。通过ulimit -a查看当前用户或进程能够打开的最大文件数：上述只是默认值，在实际生产环境肯定是不够用的，如果配置过小，有时_文件句柄数和系统进程数优化