SparkStreaming 总结(1) ---- Ideal 消费 kafka主题的数据 Demo版本_sparkstreaming ui界面看日志-CSDN博客

网友收藏2024-01-24 07:52

链接地址：https://blog.csdn.net/Cincinnati_De/article/details/109285369
链接标题：SparkStreaming 总结(1) ---- Ideal 消费 kafka主题的数据 Demo版本_sparkstreaming ui界面看日志-CSDN博客
所属网站：blog.csdn.net
被收藏次数：8263

文章浏览阅读238次。SparkStreaming 简介spark的内置模块，用于实时计算微批次流式实时计算框架SparkStreaming 架构有两个线程，采集线程和处理线程采集线程向Driver 提交，Executor 进行具体数据的处理。SparkStreaming 的背压机制根据executor的消费能力来处理数据SparkStrreaming 的创建方式DStream 是SparkStraming对处理的数据集的一个抽象读取指定端口数据的创建DS通过RDD 队列创建DS(不常用)通过定义Rece_sparkstreaming ui界面看日志

本文地址：https://tebull.com/detail/544535.html

标签：sparkstreaming ui界面看日志