- 链接地址:https://blog.csdn.net/xwc35047/article/details/78636924
- 链接标题:spark 机制原理自问自答_spark spill memory和spill disk-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2994
文章浏览阅读2.8k次,点赞3次,收藏6次。本文主要收录spark学习和工作中思考的问题。1、当Spark task failed,什么情况下task重计算,什么情况下stage重计算?答:如果task失败是因为shuffle output files lost,则DAGScheduler会对stage重提交计算;如果不是因为shuffle file lost,则选择resubmit task。这是因为shuffle output file_spark spill memory和spill disk
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除