- 链接地址：https://blog.csdn.net/weixin_39971186/article/details/92765290
- 链接标题：Spark共享变量之广播变量和自定义累加器的介绍及使用_spark可以把自定义类广播吗-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：107
文章浏览阅读1k次，点赞2次，收藏7次。Shared Variables（共享变量）在 Spark 程序中，当一个传递给 Spark 操作 (例如 map 和 reduce) 的函数在远程节点上面运行时，Spark 实际上操作的是这个函数所用变量的一个独立副本。这些在Driver端声明的变量会被复制到每个Executor进程所在的执行机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，..._spark可以把自定义类广播吗
版权声明：本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
