- 链接地址：https://blog.csdn.net/ymcz1987/article/details/79469276
- 链接标题：spark学习-DAGScheduler的stage划分算法_求解最小链划分-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：7291
文章浏览阅读270次。DAGScheduler的stage划分算法：1.从触发action操作的那个RDD开始往前倒推，为最后一个RDD创建一个stage。2.往前倒推时，如果发现对某个RDD是宽依赖，就将宽依赖的RDD创建一个stage，该RDD就是新stage的最后一个RDD。3.依次类推，使用递归，最后优先提交父stage。（注：ReduceByKey为例，shuffle操作对应3个RDD，MapPartitio..._求解最小链划分
版权声明：本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
标签：求解最小链划分
