- 链接地址:https://blog.csdn.net/weixin_45417821/article/details/125128896
- 链接标题:Kafka3.0 消费者事务与数据积压_查看kafka3.0数据积压-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:9484
文章浏览阅读514次。重复消费:已经消费了数据,但是 offset 没提交。漏消费:先提交 offset 后消费,有可能会造成数据的漏消费。如果想完成Consumer端的精准一次性消费,那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。此时我们需要将Kafka的offset保存到支持事务的自定义介质(比 如MySQL)。1)如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数 = 分区数。(两者缺一不可)2)如果是下游的数据处理不及时:提高每批次拉取的数量。_查看kafka3.0数据积压
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除