特牛网址导航

《大数据: Spark (HA) 高可用配置》_ha如何配置spark-CSDN博客

网友收藏
一、Spark (HA) 高可用配置由于之前的 spark master 只有一个, 所以也有单点故障问题 依靠zookeeper来帮助实现高可用配置,可以启动多个 master, 先启动的处于 Active 状态, 其他的都处于 Standby 状态1. 修改 spark-env.sh 末尾添加如下 (可以再之前的 standalone 那套里面改)export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -_ha如何配置spark