spark1.6.1入门api实现单词计数_针对mapreduce实验的数据,使用spark实现单词计数。-CSDN博客

网友收藏2024-01-24 08:08

链接地址：https://blog.csdn.net/young_so_nice/article/details/51581507
链接标题：spark1.6.1入门api实现单词计数_针对mapreduce实验的数据,使用spark实现单词计数。-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6721

文章浏览阅读1.7k次。刚刚学习spark，所以写个简单案列，来提升自己。 spark也会有类似于hadoop的mapreduce过程，用于数据的处理。准备工作：先将一个写有单词的文本传上到hdfs。函数解释： 1，flatMap： flatmap与map类似，区别是原RDD中的元素经map处理后只能生成一个元素，而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。返_针对mapreduce实验的数据,使用spark实现单词计数。

本文地址：https://tebull.com/detail/544952.html

标签：针对mapreduce实验的数据使用spark实现单词计数。