Spark之RDD分区规则_rdd分区划分规则-CSDN博客

网友收藏2024-01-23 03:21

链接地址：https://blog.csdn.net/lslslslslss/article/details/122886959
链接标题：Spark之RDD分区规则_rdd分区划分规则-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6177

文章浏览阅读467次。1.RDD数据从集合中创建a.不指定分区从集合创建rdd,如果不手动写分区数量的情况下,默认分区数跟本地模式的cpu核数有关local : 1个 local[*] : 笔记本所有核心数 local[K]:K个b.指定分区object fenqu { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaste..._rdd分区划分规则

本文地址：https://tebull.com/detail/496665.html

标签：rdd分区划分规则