特牛生活网

Spark SQL:基于Spark的结构化数据操作的API_learning pyspark" by tomasz drabas and denny lee_胡小白的数据科学之路的博客-CSDN博客

网友收藏
Spark SQL介绍Spark SQL 是Spark中技术最复杂的的组件之一,它提供了在Spark程序中对结构化数据进行操作的功能,即SQL查询。具体来说,Spark SQL 有如下3个重要特点:1.Spark SQL 支持多种结构化数据格式的读取,比如JSON,Parquet或者Hive表。2.Spark SQL 支持从多种外部数据源读取数据,除了本地数据,HDFS以及S3之外,还可以通过JDBC等标准数据库连接器连接外部的关系型数据库系统。3.最后一点就是能够在Spark程序中自由的进行SQ_learning pyspark" by tomasz drabas and denny lee