Spark学习-窄依赖和宽依赖的概念_spark主要概念在依赖和宽依赖-CSDN博客

网友收藏2024-01-24 07:40

链接地址：https://blog.csdn.net/ymcz1987/article/details/79444203
链接标题：Spark学习-窄依赖和宽依赖的概念_spark主要概念在依赖和宽依赖-CSDN博客
所属网站：blog.csdn.net
被收藏次数：9650

文章浏览阅读428次。窄依赖：Narrow Dependency，父RDD和子RDD的partition之间的对应关系是一对一的。RDD的每个partition，仅仅依赖父RDD中的一个partition。宽依赖：Shuffle Dependency，每一个父RDD的partition中的数据，都可能会传输一部分到下一个RDD的每个partition中。他们之间发生的操作就是shuffle。二者的特性主要基于以下两点：..._spark主要概念在依赖和宽依赖

本文地址：https://tebull.com/detail/544176.html

标签：spark主要概念在依赖和宽依赖