特牛网址导航

大数据:Spark Storage(二) 集群下的broadcast_大数据storage-CSDN博客

网友收藏
文章浏览阅读4.3k次。Spark BroadCastBroadcast 简单来说就是将数据从一个节点复制到其他各个节点,常见用于数据复制到节点本地用于计算,在前面一章中讨论过Storage模块中BlockManager,Block既可以保存在内存中,也可以保存在磁盘中,当Executor节点本地没有数据,通过Driver去获取数据Spark的官方描述:A broadcast variable. Broadc_大数据storage
标签:大数据storage