特牛生活网

Spark核心编程-共享变量_static变量会被spark中task共享吗-CSDN博客

网友收藏
文章浏览阅读1.7k次。Spark一个非常重要的特性就是共享变量。默认情况下,如果在一个算子函数中使用到了某个外部的变量,那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量,那么这种方式是做不到的。Spark为此提供了两种共享变量,一种是Broadcast Variable(广播变量),另一种是Accumulator(累加变量)。Broadcas..._static变量会被spark中task共享吗