- 链接地址:https://blog.csdn.net/a308601801/article/details/112004181
- 链接标题:Kafka数据重复详细解决办法_kafka重复-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:1290
文章浏览阅读3k次,点赞2次,收藏4次。Kafka自带方法:幂等性 +ack-1 + 事务kafka在0.11版新增了幂等型producer和事务型producer。前者解决了单会话幂等性等问题,后者解决了多会话幂等性幂等性: 支持单分区单会话, 分区内数据有序,对照id, 数据有唯一id存在不发送事务: 支持多分区, 数据有唯一id, 和所有分区中比较, 如果存在不发送, 效率低下 (生产环境较少使用, 容易数据挤压, 应更追求效率)保证数据 exactly-once 语义不重复的最佳解决办法:在下一级去重:SparkSt._kafka重复
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:kafka重复