- 链接地址:https://blog.csdn.net/LEOZHYD/article/details/108350408
- 链接标题:spark内存管理_释放sparksession执行完占用的内存-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7522
文章浏览阅读200次。一.spark内存管理只堆内存/堆外内存前世今生1.堆内存和对外内存作为jvm进程,executor的内存管理建立在jvm之上,spark对jvm的堆内空间进行了更为详细的分配,以充分利用内存,1.1堆内存的大小堆内存的大小,由spark应用程序启动的xexcuto-memory或spark-executor-memory参数配置,Executor内运行的并发任务共享JVM堆内内存,这些任务在缓存RDD和广播(Broadcast)数据时占用的内存被规划为存储(Storage)内存,而这些任务_释放sparksession执行完占用的内存
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除