hive 的map, reduce数量调试_观察到map任务刚运行时便出现reduce任务同步启动、占用container资源的情况,-CSDN博客

网友收藏2024-01-23 07:35

链接地址：https://blog.csdn.net/u012447842/article/details/111991486
链接标题：hive 的map, reduce数量调试_观察到map任务刚运行时便出现reduce任务同步启动、占用container资源的情况,-CSDN博客
所属网站：blog.csdn.net
被收藏次数：3141

文章浏览阅读474次。场景：执行hive sql，占用的内存资源特别多，如何去减少占用的内存 cpu资源.执行的sql只是做了一下group by操作。步骤1:减少map数量，合并小文件set mapreduce.input.fileinputformat.split.maxsize=1500000000set mapreduce.input.fileinputformat.split.minsize=800000000set mapreduce.input.fileinputformat.sp.._观察到map任务刚运行时便出现reduce任务同步启动、占用container资源的情况,

本文地址：https://tebull.com/detail/504348.html

标签：观察到map任务刚运行时便出现reduce任务同步启动、占用container资源的情况