spark的yarn模式总结_spark yarn_生吃小瓜子的博客-CSDN博客

网友收藏2023-10-10 03:37

链接地址：https://blog.csdn.net/weixin_48960305/article/details/120795793
链接标题：spark的yarn模式总结_spark yarn_生吃小瓜子的博客-CSDN博客
所属网站：blog.csdn.net
被收藏次数：357

spark的yarn模式下的client提交步骤1.在client启动driver进程，初始化作业，解析程序，初始化两个调度器DAGScheduler和TasksScheduler --初始化作业：用来判断路径是否正确，权限校验等 --DAGSchefuler会把程序解析成DAG有向无环图，在又宽算子依赖划分stage，每个stage中又会划分tasks，在把task调度给TaskScheduler --TaskSchedular 把Tasks池中的task分配给executor来执行2.Dr_spark yarn

本文地址：https://tebull.com/detail/5040.html

标签：spark yarn