- 链接地址:https://blog.csdn.net/u012387141/article/details/105816354#comments_22548684
- 链接标题:Spark 内存管理详解_spark driver-memory excutor-memory-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:898
文章浏览阅读799次。在执行Spark 的应用程序时,Spark 集群会启动 Driver 和 Executor 两种 JVM 进程,前者为主控进程,负责创建 Spark 上下文,提交 Spark 作业(Job),并将作业转化为计算任务(Task),在各个 Executor 进程间协调任务的调度,后者负责在工作节点上执行具体的计算任务,并将结果返回给 Driver,同时为需要持久化的 RDD 提供存储功能。由于 Dri..._spark driver-memory excutor-memory
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除