特牛生活网

Spark On Yarn 的两种模式_sparkonyarn两种接口模式-CSDN博客

网友收藏
文章浏览阅读357次。在Spark StandLone模式中,一个 Worker 只能运行一个 Application 所属的一个 Executor,而不同的 Application 的 Executor 可以运行在一台 Worker 上。Spark On Yarn每个Executor作为YARN容器(container)运行,Spark可以使得多个Tasks在同一个容器(container)里运行。Yarn可以自由选择Executor的数量。Spark On Yarn ClusterSp.._sparkonyarn两种接口模式