特牛生活网

Spark源码解读之SparkContext初始化_sparkcontext hadoopconfiguration-CSDN博客

网友收藏
文章浏览阅读8.4k次,点赞2次,收藏7次。SparkContext初始化是Driver应用程序提交执行的前提,这里以local模式来了解SparkContext的初始化过程。本文以val conf = new SparkConf().setAppName("mytest").setMaster("local[2]")val sc = new SparkContext(conf)为例,打开debug模式,然后进行分析。_sparkcontext hadoopconfiguration