Spark-Core之Spark运行模式StandAlone模式和Yarn模式详解_spark on yarn和standalone的区别-CSDN博客

网友收藏2024-01-22 15:52

链接地址：https://blog.csdn.net/Fresh_man888/article/details/110678362
链接标题：Spark-Core之Spark运行模式StandAlone模式和Yarn模式详解_spark on yarn和standalone的区别-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2817

文章浏览阅读887次。1. spark运行在standAlond模式:1.1 standAlone的client模式:(driver运行在sparkSubmit进程中)1.2 运行的流程:1. 客户端向master提交任务2. master根据客户端提交的任务,计算那些worker符合执行任务的条件,找到符合执行条件的worker然后和worker 进行RPC通信,通知worker启动executor,并且会将一些driver端的信息告诉给executor,executor启动之后会想driver端反向注册_spark on yarn和standalone的区别

本文地址：https://tebull.com/detail/477278.html

标签：spark on yarn和standalone的区别