特牛网址导航

Spark源码之任务提交流程_yarncoarsegrainedexecutorbackend-CSDN博客

网友收藏
文章浏览阅读833次,点赞2次,收藏5次。执行脚本提交任务,实际是启动一个 SparkSubmit 的 JVM 进程;SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法;YarnClusterApplication 创建 Yarn 客户端,然后向 Yarn 服务器发送执行指令:bin/java ApplicationMaster;Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster;ApplicationMaster 启动 Driver 线程,执_yarncoarsegrainedexecutorbackend