- 链接地址:https://blog.csdn.net/qq_31776219/article/details/113860947
- 链接标题:Spark的工作原理_简述spark工作原理-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5702
文章浏览阅读1.7k次。下面我们来分析一下Spark的工作原理 来看这个图首先看中间是一个Spark集群,可以理解为是Spark的 standalone集群,集群中有6个节点左边是Spark的客户端节点,这个节点主要负责向Spark集群提交任务,假设在这里我们向Spark集群提交 了一个任务那这个Spark任务肯定会有一个数据源,数据源在这我们使用HDFS,就是让Spark计算HDFS中的数据。 当Spark任务把HDFS中的数据读取出来之后,它会把HDFS中的数据转化为RDD,RDD其实是一个弹性分 布式数据集,它其实是_简述spark工作原理
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:简述spark工作原理