特牛网址导航

使用Spark Streaming处理Kafka数据流_应用kafka+sparkstreaming完成实时数据的计算,并将计算结果在控制台输出或保存到m-CSDN博客

网友收藏
  • 链接地址:https://blog.csdn.net/WenWu_Both/article/details/84896543
  • 链接标题:使用Spark Streaming处理Kafka数据流_应用kafka+sparkstreaming完成实时数据的计算,并将计算结果在控制台输出或保存到m-CSDN博客
  • 所属网站:blog.csdn.net
  • 被收藏次数:8724
文章浏览阅读5.7k次。Kafka作为优秀的日志采集系统,可以作为Spark Streaming的高级数据源,本文主要介绍如何使用Spark Streaming实时处理Kafka传递过来的数据流。1 系统软件本文实验基于的各软件版本如下:Java 1.8.0_191Scala 2.11hadoop-3.0.3zookeeper-3.4.10Spark 2.3.2kafka_2.12-2.0.1kafk..._应用kafka+sparkstreaming完成实时数据的计算,并将计算结果在控制台输出或保存到m