Spark运行架构-CSDN博客

网友收藏2024-01-23 02:32

链接地址：https://blog.csdn.net/Icedeny/article/details/117815363
链接标题：Spark运行架构-CSDN博客
所属网站：blog.csdn.net
被收藏次数：5118

文章浏览阅读95次。driver和executor概念1. 作为两大核心组件，driver是驱动器节点，执行spark的main方法，既启动程序。另外在过程中还能在executor之间调度任务task,跟踪executor的执行情况，在ui页面查看运行情况。2. executor简单来说就是1）执行任务，并将任务结果返回给driver，2）可以通过自身块block manager为用户程序要求缓存的RDD提供内存存储，RDD是直接缓存在executor进程内的，这样提高运算效率。细化来说就是集群中工作节点worker

本文地址：https://tebull.com/detail/495446.html

标签：Spark运行架构