特牛网址导航

spark 将dataframe数据写入Hive分区表-CSDN博客

网友收藏
文章浏览阅读2k次。从spark1.2 到spark1.3,spark SQL中的SchemaRDD变为了DataFrame,DataFrame相对于SchemaRDD有了较大改变,同时提供了更多好用且方便的API。DataFrame将数据写入hive中时,默认的是hive默认数据库,insertInto没有指定数据库的参数,本文使用了下面方式将数据写入hive表或者hive表的分区中,仅供参考。1、将DataFra..._spark往hive分区表写数据