- 链接地址:https://blog.csdn.net/qq_42456324/article/details/124500567
- 链接标题:Spark中广播变量和累加器_spark broadcast多个一样类型-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:9782
文章浏览阅读1.4k次。1、广播变量广播变量的定义:广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个或多个spark操作使用,在机器学习中非常有用。广播变量是类型为spark.broadcast.Broadcast[T]的一个对象,其中存放着类型为T的值。它由运行SparkContext的驱动程序创建后发送给会参与计算的节点,非驱动程序所在节点(即工作节点)访问改变量的方法是调用该变量的value方法,这个值只会被发送到各节点一次,作为只读值处理。广播变量的使用场景:如果我们要在分布式计算里面分_spark broadcast多个一样类型
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除