特牛网址导航

Spark的工作原理_简述spark工作原理-CSDN博客

网友收藏
文章浏览阅读1.7k次。下面我们来分析一下Spark的工作原理 来看这个图首先看中间是一个Spark集群,可以理解为是Spark的 standalone集群,集群中有6个节点左边是Spark的客户端节点,这个节点主要负责向Spark集群提交任务,假设在这里我们向Spark集群提交 了一个任务那这个Spark任务肯定会有一个数据源,数据源在这我们使用HDFS,就是让Spark计算HDFS中的数据。 当Spark任务把HDFS中的数据读取出来之后,它会把HDFS中的数据转化为RDD,RDD其实是一个弹性分 布式数据集,它其实是_简述spark工作原理