Spark on yarn的client、cluster模式提交job流程及区别_spark client和cluster提交区别-CSDN博客

网友收藏2024-01-24 07:22

链接地址：https://blog.csdn.net/penriver/article/details/116132892
链接标题：Spark on yarn的client、cluster模式提交job流程及区别_spark client和cluster提交区别-CSDN博客
所属网站：blog.csdn.net
被收藏次数：490

文章浏览阅读1.3k次，点赞2次，收藏6次。本文描述Spark on yarn的job提交流程1. client模式在YARN Client模式下，Driver在任务提交的本地服务器上运行，流程如下： Driver启动时和ResourceManager通讯，申请启动ApplicationMaster ResourceManager根据资源情况，分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster的功能相当于一个ExecutorLaucher，只_spark client和cluster提交区别

本文地址：https://tebull.com/detail/543672.html

标签：spark client和cluster提交区别