特牛生活网

hive小文件优化_hive参数调优 小文件-CSDN博客

网友收藏
文章浏览阅读484次。小文件产生的原因直接向表里面插入数据比如我们要往一张表里面写入几行特定的数据,如下,每次运行都会往表里写入一个文件,这种一般生产很少见,因为这种操作一般说在位置的时候采用,如果有也是建议先将所有数据放在一个文件再做batch load的方式,这样就只有一个文件了。insert into table A values('201','2','北京')通过load方式加载数据这种操作一般是将某一个或者一批文件上传到一个表里面,本地的多少个文件映射到hive就有多少个文件,运行语句如下load_hive参数调优 小文件