- 链接地址:https://blog.csdn.net/wendaomudong_l2d4/article/details/121355953
- 链接标题:Spark004-rdd分区逻辑_rdd分片逻辑-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:1794
文章浏览阅读752次。Infordd是怎么做分区切分的,即怎么把数据存放到各个分区中,直接看代码。Codeimport org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().master("local[1]").getOrCreate()val dataRDD = spark.sparkContext.makeRDD(List(0,1, 2, 3, 4,5,), 4)dataRDD.foreachPartition(part =>_rdd分片逻辑
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:rdd分片逻辑