3，spark源码分析-SparkContext初始化_--conf spark.broadcast.compress=false-CSDN博客

网友收藏2024-01-23 23:22

链接地址：https://blog.csdn.net/chenfeng0829/article/details/120046233
链接标题：3，spark源码分析-SparkContext初始化_--conf spark.broadcast.compress=false-CSDN博客
所属网站：blog.csdn.net
被收藏次数：8059

文章浏览阅读555次。我们在driver中启动用户线程之后，就进入了用户的Main-class。在样例中，我们首先实例化一个SparkSession, 在sparkSession中初始化SparkContext.SparkContext实例化的过程是一个比较复杂的过程，初始化的东西比较多。包括SparkEnv, spark-history, 心跳，状态追踪，广播，资源/任务调度，底层通信。下图是从网友博客找到的SparkContext包含的比较重要的组件，以下我从SparkContext实例化过程中组件初始化的顺序对各个组_--conf spark.broadcast.compress=false

本文地址：https://tebull.com/detail/529771.html

标签：--conf spark.broadcast.compress=false