特牛网址导航

Spark Streaming整合flume实战_spark-streaming-flume-CSDN博客

网友收藏
文章浏览阅读6.3k次,点赞2次,收藏4次。flume作为日志实时采集的框架,可以与SparkStreaming实时处理框进行对接,flume实时产生数据,sparkStreaming做实时处理。Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将消息Push推给Spark Streaming,还有一种是Spark Streaming从flume 中Poll拉取数据。1.poll方式(1)安装flume1.6以..._spark-streaming-flume