特牛网址导航

spark streaming学习总结_spark streaming学习心得-CSDN博客

网友收藏
文章浏览阅读327次。目录标题简介及原理简介及原理SparkStreaming是Spark核心API的一个扩展,可以实现高吞吐量的,具备容错机制的实时流数据处理。Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据:进行处理后,处理结构保存在HDFS、DataBase等各种地方。使用的最多的是kafka+Spark StreamingSpark处理的是批量的数据(离线数据),Spark Streaming实际上处理并不是像Strom一样来一条处理一条数据,而是对接的外部数据流之后按照_spark streaming学习心得