特牛网址导航

Spark Streaming整合kafka实战_sparkstreaming +kafka pom-CSDN博客

网友收藏
文章浏览阅读2.4w次,点赞13次,收藏80次。kafka作为一个实时的分布式消息队列,实时的生产和消费消息,这里我们可以利用SparkStreaming实时计算框架实时地读取kafka中的数据然后进行计算。在spark1.3版本后,kafkaUtils里面提供了两个创建dstream的方法,一种为KafkaUtils.createDstream,另一种为KafkaUtils.createDirectStream。1.KafkaUtils.cr..._sparkstreaming +kafka pom