特牛生活网

Spark 交互式处理上百 TB 数据-CSDN博客

网友收藏
文章浏览阅读578次。Apache Spark在内存数据处理领域有很多创新。有了这个框架,你可以上传数据到集群内存,并在交互模式下以非常快的速度处理这些数据(交互模式是Spark另一个重要特性)。2014年 Databricks宣布 Apache Spark能在23分钟内完成100T数据的排序。这里有一个有趣的问题—— 你可以在集群中以交互方式处理的数据量的上限是什么?如果..._spark 10tb数据 资源申请