- 链接地址:https://blog.csdn.net/weixin_52918377/article/details/117123969
- 链接标题:hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细_spark3.0支持hive on spark吗-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4112
hive编译自从CDH宣布收费之后,公司决定使用开源的组件,对现有的大数据集群进行替换。使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。目前,有关hive3.1.2编译的_spark3.0支持hive on spark吗
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除