文章浏览阅读1k次，点赞2次，收藏2次。Spark job中，一个stage什么时候完成，取决于stage下最后一个task的完成时间。task的完成时间也被很多因素影响，比如partition的分配，executor的资源使用情况，host的运行状态，集群网络等等。很多情况下因为运行环境导致的task跑的过慢，或者直接卡死，让task可以重新跑起来是可以缓解这个问题的，也就是Spark中的推测执行机制（speculation）。--conf spark.speculation=true--conf spark.speculation_推测机制