特牛网址导航

Spark的几种部署模式_模式用于构建一个由master+slave构成的spark集群-CSDN博客

网友收藏
文章浏览阅读1.5k次,点赞3次,收藏3次。1.本地模式Spark单机运行,一般用于开发测试。2.Standalone模式构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。3.Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。4.Spark on Mesos模式Spark客户端直接连接Mesos。不需要额外构建Spark集群。Standalone适合小规模集群。如果同时运行hadoop和Spark,从兼容性上考虑,Yarn是更好的选择。如果你不仅运行了had_模式用于构建一个由master+slave构成的spark集群