文章浏览阅读1.2k次。我们在使用Hive存储时，有时会遇到Hive表的文件大小不大，但是文件数量众多；这是可能会遇到HDFS的储存空间没到阈值，但文件数量超过阈值。如果小文件太多，容易影响整个集群的性能。那么对于小文件多的问题，有以下处理方法：1.输出时减少reduce的数量；但可能会导致job运行变慢2.使用Spark重新读取小文件，修改分区并写入，这里不建议使用repartition()，推荐使用coalesce()repartition()会增加文件的大小，因为要历经shuffle阶段，但coalesce()不会经_hive archive