特牛网址导航

大数据之spark_spark SQL的简介_11)spark为处理结构化数据而设计的模块是什么?-CSDN博客

网友收藏
文章浏览阅读191次。Spark SQL概述Spark SQL定义Spark SQL是Spark用来处理结构化数据的一个模块什么是DataFrames与RDD类似,DataFrame也是一个分布式数据容器[抽象的]。然而DataFrame更像传统数据库的二维表格,除了数据以外,还记录数据的结构信息,即schema。同时,与Hive类似,DataFrame也支持嵌套数据类型(struct、array和map)。从API易用性的角度上 看,DataFrame API提供的是一套高层的关系操作,比函数式的RDD API要更加_11)spark为处理结构化数据而设计的模块是什么?