特牛生活网

Spark Transformation转换算子-CSDN博客

网友收藏
文章浏览阅读479次。RDD转换算子整体上分为:Value类型、双Value类型和Key-Value类型一.Value类型顾名思义是对单个value值进行运算的算子类型。下面主要从函数签名、功能、案例+图解三个方法介绍这几类算子。1.map():映射1)函数签名:def map[U: ClassTag](f: T => U): RDD[U]2)功能说明参数f是一个函数,它可以接收一个参数。当某个RDD执行map方法时,会遍历该RDD中的每一个数据项,并依次应用f函数,从而产生一个新的RDD。即,这个新RD