Spark 提交任务流程_spark 申请excutor需要全部申请完driver才能运行main 函数吗-CSDN博客

网友收藏2024-01-24 07:22

链接地址：https://blog.csdn.net/hmyqwe/article/details/120039701
链接标题：Spark 提交任务流程_spark 申请excutor需要全部申请完driver才能运行main 函数吗-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6899

文章浏览阅读474次。Spark 应用程序提交到 Yarn 环境中执行的时候，一般会有两种部署执行的方式：Client 和 Cluster。两种模式主要区别在于：Driver 程序的运行节点位置。Yarn Cluster 模式：Cluster 模式将用于监控和调度的 Driver 模块启动在 Yarn 集群资源中执行，一般用于实际生产环境。（1）任务提交后 Client 会和 ResourceManager 通讯申请启动 ApplicationMaster；（2）ResourceManage r分配 Container_spark 申请excutor需要全部申请完driver才能运行main 函数吗

本文地址：https://tebull.com/detail/543681.html

标签：spark 申请excutor需要全部申请完driver才能运行main 函数吗