特牛生活网

Spark底层原理详细解析(深度好文,建议收藏)_spark底层架构-CSDN博客

网友收藏
文章浏览阅读1.2k次,点赞4次,收藏20次。Spark简介Apache Spark是用于大规模数据处理的统一分析引擎,基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群。Spark源码从1.x的40w行发展到现在的超过100w行,有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。Spark运行流程具体运行流程如下:SparkContext 向资源管理器注册并向资源管理器申请运行Executo_spark底层架构