- 链接地址:https://blog.csdn.net/qq_42164977/article/details/112859281
- 链接标题:Hive常用性能优化方法实践全面总结_hive.optimize.cp-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4806
文章浏览阅读971次。Apache Hive作为处理大数据量的大数据领域数据建设核心工具,数据量往往不是影响Hive执行效率的核心因素,数据倾斜、job数分配的不合理、磁盘或网络I/O过高、MapReduce配置的不合理等等才是影响Hive性能的关键。Hive在执行任务时,通常会将Hive SQL转化为MapReduce job进行处理。因此对Hive的调优,除了对Hive语句本身的优化,也要考虑Hive配置项以及MapReduce相关的优化。从更底层思考如何优化性能,而不是仅仅局限于代码/SQL的层面。列裁剪和分区裁剪H_hive.optimize.cp
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除