- 链接地址:https://hover.blog.csdn.net/article/details/89349518
- 链接标题:spark2实战-使用checkpoint保存和读取还原RDD_spark checkpoint后怎么读-CSDN博客
- 所属网站:hover.blog.csdn.net
- 被收藏次数:5568
文章浏览阅读3.1k次。概述本文讲述如何使用checkpoint来保存rdd,并读取还原rdd的数据。checkpoint简介checkpoint可以把rdd持久化到磁盘上,可以是本地磁盘也可以是外部存储系统(比如:hadoop文件系统)。要注意的是:在rdd进行checkpoint时,会先把rdd的血缘(lineage)去掉。另外:在大数据量的情况下,保存和读取rdd数据也会十分消耗资源。所以,是选择使用ch..._spark checkpoint后怎么读
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除