Spark启动时的master参数以及Spark的部署方式-CSDN博客

网友收藏2024-01-24 00:23

链接地址：https://blog.csdn.net/weixin_30938149/article/details/97032194
链接标题：Spark启动时的master参数以及Spark的部署方式-CSDN博客
所属网站：blog.csdn.net
被收藏次数：260

文章浏览阅读1.7k次。我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)/bin/spark-submit \ --cluster cluster_name \..._阐述pyspark在启动时,分别采用local、local[*]和 local[k]时,具体有什么区别。

本文地址：https://tebull.com/detail/531370.html

标签：阐述pyspark在启动时 <master url>分别采用local、local[*]和 local[k]时具体有什么区别。