特牛网址导航

1、大数据处理框架概览-CSDN博客

网友收藏
文章浏览阅读1.4k次。1、大数据具有数据量大(Volume)、数据类型多样(Variety)、产生与处理速度快(Velocity)、价值高(Value)的 “4V” 特性。2、Spark 是有 UC Berkeley 的 AMPLab 于2012年提出的基于内存,适合迭代计算的分布式处理框架。该框架允许用户将可重用的数据缓存(cache)到内存中,同时利用内存进行中间数据的聚合,极大缩短了数据处理的时间。这些大数据处理框架拥有共同的模型,即 MapReduce-like 模型,采用“分治-聚合”策略来对数据进行分布并行处理。_大数据处理框架