特牛生活网

SparkSQL与Hive整合(Spark-On-Hive)_spark on hive 链接的那个服务-CSDN博客

网友收藏
文章浏览阅读796次。Spark-On-Hive为什么要把Spark和Hive整合?Hive将SQL转成MR程序,执行速度相对较慢原理:  使用SparkSQL整合Hive,其实就是让SparkSQL去加载Hive的元数据库,然后通过SparkSQL执行引擎去操作Hive表内的数据。  所以,首先要开启Hive的元数据服务,让SparkSQL能够加载到元数据。1、Hive开启MetaStore服务修改:hive/conf/hive-site.xml,新增加以下配置 <property> _spark on hive 链接的那个服务