- 链接地址：https://blog.csdn.net/weixin_48960305/article/details/121021039
- 链接标题：spark-shuffle阶段详细描述_shuffle中的段-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：991
文章浏览阅读612次。spark的shuffle流程1.shuffle发生在宽依赖算子划分阶段的时候，但是宽依赖算子不一定发生shuffle2.shuffle分为两个阶段，一个是shuffle-write，另一个是shuffle-read3.在shuffle-执行write时，我们要可以选择一个分区器，比如有hashpartition、rangepartition，还有用户自定义的分区器4.在write时，还会生成一个write对象 -- unsafeshufflewrite对象 -- bypassMergesh_shuffle中的段
版权声明：本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签：shuffle中的段
