RDD相关概念_rdd是hdfs中的概念吗-CSDN博客

网友收藏2024-01-24 08:09

链接地址：https://blog.csdn.net/weixin_42201566/article/details/86175274
链接标题：RDD相关概念_rdd是hdfs中的概念吗-CSDN博客
所属网站：blog.csdn.net
被收藏次数：3321

文章浏览阅读549次。RDD概念：RDD 定义为弹性分布式数据集，包含了只读的、分区的、分布式计算的概念；RDD是个类1、一个数据分区的列表（hdfs的所有数据块的位置信息，保存在RDD类成员变量Array中）2、保存了数据块上面的计算方法，这个计算方法会应用到每一个数据块3、一个对其他RDD的依赖，是一个集合，spark就是通过这种依赖关系，像流水一样处理我们的数据当分区的数据计算失败，只需要根据流..._rdd是hdfs中的概念吗

本文地址：https://tebull.com/detail/545034.html

标签：rdd是hdfs中的概念吗