特牛网址导航

spark 基于ZooKeeper实现HA高可用性以及自动主备切换_利用zookeeperha切换-CSDN博客

网友收藏
文章浏览阅读1.9k次。北风网spark学习笔记默认情况下,standalone cluster manager对于worker节点的失败是具有容错性的(迄今为止,Spark自身而言对于丢失部分计算工作是有容错性的,它会将丢失的计算工作迁移到其他worker节点上执行)。然而,调度器是依托于master进程来做出调度决策的,这就会造成单点故障:如果master挂掉了,就没法提交新的应用程序了。为了解决这个问题,spar..._利用zookeeperha切换