特牛网址导航

spark2实战-使用checkpoint保存和读取还原RDD_spark checkpoint后怎么读-CSDN博客

网友收藏
文章浏览阅读3.1k次。概述本文讲述如何使用checkpoint来保存rdd,并读取还原rdd的数据。checkpoint简介checkpoint可以把rdd持久化到磁盘上,可以是本地磁盘也可以是外部存储系统(比如:hadoop文件系统)。要注意的是:在rdd进行checkpoint时,会先把rdd的血缘(lineage)去掉。另外:在大数据量的情况下,保存和读取rdd数据也会十分消耗资源。所以,是选择使用ch..._spark checkpoint后怎么读