Flink 流处理高阶编程、window、watermark、state_flink state watermarkt-CSDN博客

网友收藏2024-01-23 19:50

链接地址：https://blog.csdn.net/weixin_39743356/article/details/113405932
链接标题：Flink 流处理高阶编程、window、watermark、state_flink state watermarkt-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7307

文章浏览阅读295次。Flink+Kafka实现端到端Exactly Once语义一、前言Flink通过Checkpoint机制实现了消息对状态影响的Exactly Once语义，即每条消息只会影响Flink内部状态有且只有一次。但无法保证输出到Sink中的数据不重复。以图一所示为例，Flink APP收到Source中的A消息，将其转化为B消息输出到Sink，APP在处理完A1后做了一次Checkpoint，假设APP在处理到A4时发生错误重启，APP将会重新从A2开始消费并处理数据，就会导致B2和B3重复输出到Sink_flink state watermarkt

本文地址：https://tebull.com/detail/524161.html

标签：flink state watermarkt