Spark SQL 整合 Hive_spark.sql.groupingid.compatible.hive211.enable-CSDN博客

网友收藏2024-01-21 12:50

链接地址：https://blog.csdn.net/CyAurora/article/details/119753310
链接标题：Spark SQL 整合 Hive_spark.sql.groupingid.compatible.hive211.enable-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2810

文章浏览阅读370次。spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本..._spark.sql.groupingid.compatible.hive211.enable

本文地址：https://tebull.com/detail/462175.html

标签：spark.sql.groupingid.compatible.hive211.enable