Spark Shuffle（二）Executor、Driver之间Shuffle结果消息传递、追踪_driver executor shuffle-CSDN博客

网友收藏2024-01-25 06:42

链接地址：https://blog.csdn.net/weixin_42073629/article/details/118588361
链接标题：Spark Shuffle（二）Executor、Driver之间Shuffle结果消息传递、追踪_driver executor shuffle-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2823

文章浏览阅读441次。1. 前言前文中讲了shuffleMapTask如何运行，输出Shuffle结果到Shuffle_shuffleId_mapId_0.data数据文件中，每个executor需要向Driver汇报当前节点的Shuffle结果状态，Driver保存结果信息进行下个Task的调度。2. StatusUpdate消息当Executor运行完Task的时候需要向Driver汇报StatusUpdate的消息override def statusUpdate(taskId: Long, state:_driver executor shuffle

本文地址：https://tebull.com/detail/580164.html

标签：driver executor shuffle