- 链接地址:https://blog.csdn.net/weixin_46429290/article/details/125126441
- 链接标题:Spark源码之任务提交流程_yarncoarsegrainedexecutorbackend-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8360
文章浏览阅读833次,点赞2次,收藏5次。执行脚本提交任务,实际是启动一个 SparkSubmit 的 JVM 进程;SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法;YarnClusterApplication 创建 Yarn 客户端,然后向 Yarn 服务器发送执行指令:bin/java ApplicationMaster;Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster;ApplicationMaster 启动 Driver 线程,执_yarncoarsegrainedexecutorbackend
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除