Spark任务的基本运行流程简介_spar 有哪些进程名-CSDN博客

网友收藏2024-01-23 01:47

链接地址：https://blog.csdn.net/weixin_44955363/article/details/107604587
链接标题：Spark任务的基本运行流程简介_spar 有哪些进程名-CSDN博客
所属网站：blog.csdn.net
被收藏次数：279

文章浏览阅读884次。首先我们main方法，SparkContext会构建SparkApplication环境，SparkContext去申请资源（这里可以指 yarn ，mesos,standalone）来运行一个Executor。SparkContext会生成DAG有向无环图，碰到action算子就会执行一个job，按照宽窄依赖划分stage，一个stage里可以有一个或者多个task，多个task组成一个taskset，把这些taskset发送给taskScheduler，然后把任务发送给Executor执行，执行完之后关_spar 有哪些进程名

本文地址：https://tebull.com/detail/494039.html

标签：spar 有哪些进程名