特牛网址导航

Spark编程基础总结-CSDN博客

网友收藏
文章浏览阅读871次。初始化Spark// 创建spark配置val conf = new SparkConf().setAppName(appName).setMaster(master)// SparkContext上下文对象new SparkContext(conf)RDDSSpark 核心的概念是 Resilient Distributed Dataset (RDD):一个可并行操作的有容错机制的数据集合。有 2 种方式创建 RDDs:第一种是在你的驱动程序中并行化一个已经存在的集合;另外一种