- 链接地址:https://blog.csdn.net/a799581229/article/details/113812945
- 链接标题:spark的master、worker、exeuctor容错机制_spark 有一台worker挂了怎么办-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4472
文章浏览阅读562次。我们看下spark是怎么针对master、worker、executor的异常情况做处理的。容错机制-exeuctor退出首先可以假设worker中的executor执行任务时,发送了莫名其妙的异常或者错误,然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是:executor由backend进程包着,如果抛异常,他会感知到,并调用executorRunner.exitStatus(), 通知worker看下通知worker之后发生了什么:worker会通知master,mas_spark 有一台worker挂了怎么办
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除