特牛生活网

spark是什么?spark和MapReduce的区别?spark为什么比hive速度快?_spark以线程方式进行运算,在spark中运行的线程为-CSDN博客

网友收藏
文章浏览阅读4.5k次,点赞2次,收藏17次。spark是什么?spark是针对于大规模数据处理的统一分析引擎,通俗点说就是基于内存计算的框架spark和hive的区别?1.spark的job输出结果可保存在内存中,而MapReduce的job输出结果只能保存在磁盘中,io读取速度要比内存中慢;2.spark以线程方式运行,MapReduce以进程的方式运行,进程要比线程耗费时间和资源;3.spark提供了更为丰富的算子操..._spark以线程方式进行运算,在spark中运行的线程为