SparkContext初始化流程_初始化sparkcontext-CSDN博客

网友收藏2024-01-23 23:23

链接地址：https://blog.csdn.net/zc19921215/article/details/83934175
链接标题：SparkContext初始化流程_初始化sparkcontext-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2242

文章浏览阅读2.5k次。SparkContext的初始化，包括事件总线(LiveListenerBus)，UI界面，心跳，JobProcessListner，ExecutorAllocationManager(资源动态分配管理)等等等等，总之就是有很多东西，这里我只选取几个自认为是核心的东西介绍一下:DAGScheduler: 负责创建Job，RDD的Stage划分以及提交，还有一些监控数据 TaskSchedul..._初始化sparkcontext

本文地址：https://tebull.com/detail/529776.html

标签：初始化sparkcontext