特牛网址导航

Spark Core之Stage、Tank&Job划分_spark job划分-CSDN博客

网友收藏
文章浏览阅读605次。目录 《RDD的依赖关系》一、RDD的Job划分二、RRD的Job生成和提交的四给阶段三、Stage的划分四、Task划分五、WebUI中查看Stage和TaskStage的划分那么要想清楚RDD的依赖关系,可点击下面了解 《RDD的依赖关系》窄依赖,父RDD的分区最多只会被子RDD的一个分区使用, 宽依赖,父RDD的一个分区会被子RDD的多个分区使用(宽依赖指子RDD的每个分区都要依赖于父RDD的所有分区,这是shuffle类操作)一、RDD的Job划分..._spark job划分
标签:spark job划分