基于Zookeeper的Spark HA配置说明_spark 使用zookeeper 配置ha模式-CSDN博客

网友收藏2024-01-24 06:11

链接地址：https://blog.csdn.net/sun7545526/article/details/52302397
链接标题：基于Zookeeper的Spark HA配置说明_spark 使用zookeeper 配置ha模式-CSDN博客
所属网站：blog.csdn.net
被收藏次数：8581

文章浏览阅读4.6k次。默认情况下在Spark standalone集群中进行计算时，由于是RDD的计算模型，所以可以认为worker 已经是有HA特性的了，但是负责资源调度的Master节点有可能出现单点故障。所以为了保证环境的稳定，还是需要配置HA功能。官方文档中提供了两种HA的机制基于Zookeeper：利用ZooKeeper来提供主节点选举和集群状态的存储，可以在集群中运行多个连接到同一个Zoo_spark 使用zookeeper 配置ha模式

本文地址：https://tebull.com/detail/541687.html

标签：spark 使用zookeeper 配置ha模式