特牛网址导航

Spark指南——第三章:SparkSQL概述(1)_spark权威指南(中文版)----第3章 csdn-CSDN博客

网友收藏
文章浏览阅读200次。SparkSQL概述(1)一、SparkSQL概述二、DataFrame三、Dataset:类型安全的结构化API四、DataFrame与 Dataset的比较一、SparkSQL概述我们知道Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,但是由于Hive基于MapReduce进行处理,在该过程中大量的中间磁盘落地过程消耗了大量的I/O,这大大降低了运行效率。所有Spark SQL的应运而生,它是将Spark SQL转换成R_spark权威指南(中文版)----第3章 csdn