特牛生活网

Spark2.x学习笔记:7、Spark应用程序设计_val nums = sc.parallelize(list(1, 2, 3)) 2) val sq-CSDN博客

网友收藏
文章浏览阅读1.4k次。第7章 Spark应用程序设计7.1 基本流程1.创建SparkContext对象每个Spark应用程序有且仅有一个SparkContext对象,封装了Spark执行环境信息2.创建RDD可以冲Scala集合或者Hadoop数据集上创建3.在RDD之上进行转换和ActionMapReduce只提供了map和reduce两种操作,而Spark提供了多种转换和action函数4.返回结果保存到H_val nums = sc.parallelize(list(1, 2, 3)) 2) val squares =nums.map(x =>x*