- 链接地址:https://blog.csdn.net/Mingway_X/article/details/110872999
- 链接标题:Spark知识点总结_spark集群主要有那些节点, 各有什么作用?-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7947
文章浏览阅读526次。一、架构图从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Application的状态。Worker节点负责具体的业务运行。二、Spark CoreRDD概念RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可_spark集群主要有那些节点, 各有什么作用?
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除