特牛生活网

Spark运行原理【史上最详细】-CSDN博客

网友收藏
文章浏览阅读2.9w次,点赞41次,收藏305次。Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互。1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源(cpu、内存等)2、Cluster manager分配应用程序执行需要的资源,在Worker节点上创建Executor3、SparkContext..._spark运行原理