- 链接地址:https://blog.csdn.net/CyAurora/article/details/119653344
- 链接标题:Spark Core之Stage、Tank&Job划分_spark job划分-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:6548
文章浏览阅读605次。目录 《RDD的依赖关系》一、RDD的Job划分二、RRD的Job生成和提交的四给阶段三、Stage的划分四、Task划分五、WebUI中查看Stage和TaskStage的划分那么要想清楚RDD的依赖关系,可点击下面了解 《RDD的依赖关系》窄依赖,父RDD的分区最多只会被子RDD的一个分区使用, 宽依赖,父RDD的一个分区会被子RDD的多个分区使用(宽依赖指子RDD的每个分区都要依赖于父RDD的所有分区,这是shuffle类操作)一、RDD的Job划分..._spark job划分
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:spark job划分