文章浏览阅读3k次，点赞2次，收藏4次。Kafka自带方法：幂等性 +ack-1 + 事务kafka在0.11版新增了幂等型producer和事务型producer。前者解决了单会话幂等性等问题，后者解决了多会话幂等性幂等性: 支持单分区单会话, 分区内数据有序，......
admin
文章浏览阅读152次。目录ack应答机制producer端数据丢失和重复生产问题Exactly Once(⼀次正好)语义consumer端数据丢失和重复消费问题END-TO-END端到端的精准一次语义。kafka 环节丢失数据，ack应答机制对于某些不太重要的数据，对数据......
admin
文章浏览阅读1.5k次。一 读取指定路径文件日志生产信息 @Test public void testReadLog() throws Exception { // 读取日志文件 String path="D:\\idea-work\\2021-12-28"; System.out.println("开始读取"); this.getFile(new File(p......
admin
文章浏览阅读445次。spark kafka_spark task失败导致数据重复了...
admin
文章浏览阅读1.1w次。在 高级API 中，消费者要从头开始消费某个 topic 的全量数据，需要满足2个条件：（1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）;（2）指定"auto.offset.reset"参数的值为earliest......
admin
一 重复消费和漏消费1.1 重复消费重复消费：已经消费了数据，但是 offset 没提交。 1.2 漏消费二 解决重复消费和漏消费如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。此时我......
admin
文章浏览阅读791次。消息重复和丢失是kafka中很常见的问题，主要发生在以下三个阶段：生产者阶段broke阶段消费者阶段生产者阶段重复场景根本原因生产发送的消息没有收到正确的broke响应，导致producer重试。producer发出一条消......
admin
文章浏览阅读781次。4.2.7 Kafka 高级特性-稳定性_broker epoch...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
