特牛网址导航

Kafka3.0 消费者事务与数据积压_查看kafka3.0数据积压-CSDN博客

网友收藏
文章浏览阅读514次。重复消费:已经消费了数据,但是 offset 没提交。漏消费:先提交 offset 后消费,有可能会造成数据的漏消费。如果想完成Consumer端的精准一次性消费,那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。此时我们需要将Kafka的offset保存到支持事务的自定义介质(比 如MySQL)。1)如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数 = 分区数。(两者缺一不可)2)如果是下游的数据处理不及时:提高每批次拉取的数量。_查看kafka3.0数据积压