spark sql结构化数据文件处理-dataframe_通过结构化数据结构创建dataframe-CSDN博客

网友收藏2024-01-24 08:19

链接地址：https://blog.csdn.net/eyexin2018/article/details/124180566
链接标题：spark sql结构化数据文件处理-dataframe_通过结构化数据结构创建dataframe-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2272

文章浏览阅读2.3k次。spark sql这个类似于hive为mapreduce提供上层接口，使数据分析师可以不必为写mapreduce的Java代码而烦恼，同样并不是所有工程师都会Scala语言，所以spark sql就是做这个事情的。spark sql是spark用来处理结构化数据的模块，它提供一个叫dataframe的编程抽象结构数据模型（带有schema信息的RDD），用户可以通过sql，dataframe API，dataset api三种方式现在讲dataframedataframe的创建spark.read_通过结构化数据结构创建dataframe

本文地址：https://tebull.com/detail/545264.html

标签：通过结构化数据结构创建dataframe