特牛网址导航

大数据Spark(九):Spark On Yarn两种模式总结_spark yarn模式升级-CSDN博客

网友收藏
文章浏览阅读968次,点赞4次,收藏2次。Spark On Yarn两种模式引入一、当一个MR应用提交运行到Hadoop YARN上时包含两个部分:应用管理者AppMaster和运行应用进程Process(如MapReduce程序MapTask和ReduceTask任务),如下图所示:二、当一个Spark应用提交运行在集群上时应用架构有两部分组成:Driver Program(资源申请和调度Job执行)和Executors(运行Job中Task任务和缓存数据),都是JVM Process进程:而Drive.._spark yarn模式升级