特牛生活网

电商数仓3.0 数仓搭建之Hive关于Yarn调度器并发度问题解决_hive3.1.0如何让count走yarn?-CSDN博客

网友收藏
文章浏览阅读352次。默认队列defaultYarn默认调度器为Capacity Scheduler(容量调度器),且默认只有一个队列——default。如果队列中执行第一个任务资源不够,就不会再执行第二个任务,一直等到第一个任务执行完毕。解决办法一:增加ApplicationMaster资源比例,进而提高运行app数量。解决办法二:创建多队列,比如增加一个hive队列。// 由于未指定队列,初始化的 spark session 默认占用 defaul 队列,且会一直占用该队列,直到 hive 客户端退出hive (d_hive3.1.0如何让count走yarn?