特牛网址导航

Flink 细粒度滑动窗口性能优化_flink over开窗怎么优化-CSDN博客

网友收藏
文章浏览阅读895次。大数据技术AIFlink/Spark/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,重叠的窗口过多,一个数据会属于多个窗口,性能会急剧下降。以1分钟的频率实时计算App内各个子模块近24小时的PV和UV。我们需要用粒度为1440 / 1 = 1440的滑动窗口来实现它,但是细粒度的滑动窗口会带来性能问题,有两点:对于一个元素,会将其写入对应的(key, window)二元组所圈定的windowState状态中。如果粒度为_flink over开窗怎么优化