特牛网址导航

Spark Streaming中的batchDuration​、windowDuration、slideDuration_batch intervalwindow durationslide duration的作用-CSDN博客

网友收藏
  • 链接地址:https://wangpei.blog.csdn.net/article/details/89062157
  • 链接标题:Spark Streaming中的batchDuration​、windowDuration、slideDuration_batch intervalwindow durationslide duration的作用-CSDN博客
  • 所属网站:wangpei.blog.csdn.net
  • 被收藏次数:9977
文章浏览阅读1.6k次。Spark Streaming是一种面向微批(micro-batch)处理的流计算引擎。将来自Kafka/Flume/MQ等的数据,Duration含义batchDuration: 批次时间。多久一个批次。windowDuration: 窗口时间。要统计多长时间内的数据。必须是batchDuration整数倍。slideDuration: 滑动时间。窗口多久滑动一次。必须是batchDu..._batch intervalwindow durationslide duration的作用