特牛网址导航

Flink DataStream之Kafka数据写入HDFS,并分区到Hive_flink datastream 写入hive-CSDN博客

网友收藏
文章浏览阅读8.3k次,点赞3次,收藏28次。Flink DataStream之Kafka数据写入HDFS,并分区到Hive因业务要求,我们需要从Kafka中读取数据,变换后最终Sink到业务的消息队列中,为保证数据的可靠性,我们同时对Sink的结果数据,进行保存。最终选择将流数据Sink到HDFS上,在Flink中,同时也提供了HDFS Connector。下面就介绍如何将流式数据写入HDFS,同时将数据load到Hive表中。一、po..._flink datastream 写入hive