特牛网址导航

转:SparkConf 配置的用法_new sparkconf(false); false 的作用-CSDN博客

网友收藏
文章浏览阅读887次。Spark应用程序的配置,用于将各种Spark参数设置为键值对。大多数情况下,将使用新的SparkConf(),创建一个SparkConf对象,该对象将从您的应用程序中设置的任何spark.*的Java系统属性加载值。 在这种情况下,** 直接在SparkConf对象上设置的参数优先于系统属性 **。对于单元测试,您还可以调用新的SparkConf(false)来跳过加载外部设置,并获得相同的配置,无论系统属性如何。此类中的所有setter方法都支持链式调用。new Spark..._new sparkconf(false); false 的作用