特牛网址导航

Spark文件保存到本地或HDFS:saveAsTextFile和saveAsObjectFile_spark saveasobjectfile-CSDN博客

网友收藏
文章浏览阅读7.3k次。scala版本: val rdd = sc.parallelize(1 to 10) rdd.saveAsTextFile("data1/save1")//保存在本地 //todo 保存在hdfs上 设置了两个分区,所以会有两个文件 rdd.saveAsTextFile("hdfs://hadoop01:9000/data/save/save1") //todo saveAsObjectFile 对于HDFS,默认采用SequenceFile保存。rdd.saveAsObje_spark saveasobjectfile