- 链接地址：https://blog.csdn.net/ymcz1987/article/details/79543220
- 链接标题：spark学习-CacheManager原理_spark envcache-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：1457
文章浏览阅读303次。CacheManager原理：1.RDD调用Iterator()方法，计算当前task要计算出来的partition。2.如果RDD之前持久化过，StorageLevel就不为NONE，就会用CacheManager读取持久化过的数据。3.如果RDD没有持久化过，就会从RDD的父RDD，来执行自定义的算子计算新的RDD的partition数据。4.BlockManager尝试从本地读取数据（get..._spark envcache
版权声明：本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
