特牛网址导航

Hive数据导入HBase引起数据膨胀引发的思考_hbase 会导致数据膨胀吗-CSDN博客

网友收藏
文章浏览阅读489次。最近朋友公司在做一些数据的迁移,主要是将一些Hive处理之后的热数据导入到HBase中,但是遇到了一个很奇怪的问题:同样的数据到了HBase中,所占空间竟增长了好几倍!详谈中,笔者建议朋友至少从几点原因入手分析:HBase中的数据相对于Hive中的数据会新增一些附加信息导致磁盘占用的增加,比如布隆过滤器Hive中的数据是否进行过压缩,比如snappy,压缩比还是很高的row key和列族都会占据一定的空间,当数据量较大时,仅二者就会占据很多不必要的空间建议将相同查询场景下的几个常用的_hbase 会导致数据膨胀吗