- 链接地址:https://blog.csdn.net/qq_41818801/article/details/106171910
- 链接标题:SparkCore之广播变量_scratch中广播可以用变量吗-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4052
文章浏览阅读145次。SparkCore中的广播变量1.定义广播变量:分布式共享只读变量2.为什么使用广播变量在多个并行操作中(Executor)使用同一个变量,Spark默认会为每个任务(Task)分别发送,这样如果共享比较大的对象,会占用很大工作节点的内存。广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值,以供一个或多个Spark操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,甚至是机器学习算法中的一个很大的特征向量,广播变量用起来都很顺手。3.广播变量的使用步骤_scratch中广播可以用变量吗
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除