特牛生活网

spark的HA集群搭建-CSDN博客

网友收藏
文章浏览阅读81次。分布式集群搭建:https://blog.51cto.com/14048416/2327802 上面试spark普通的分布式集群搭建,存在master节点的单点故障问题。Hadoop2.x开始,已经使用zookeeper解决了单点故障。同样的策略,spark也利用了zookeeper解决了spark集群的单点故障问题。1. 集群的规划(这里使用3台机器测试)2.具体搭建步骤:① 如果已经使..._spark相关文件,完成spark集群部署yarn(ha)(配置文件截图),日志显示级别为error