Kafka集群消息积压问题及处理策略_kafka积压后舍弃-CSDN博客

网友收藏2024-01-23 11:56

链接地址：https://blog.csdn.net/qq_42164977/article/details/110878615
链接标题：Kafka集群消息积压问题及处理策略_kafka积压后舍弃-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2904

文章浏览阅读3.7k次。通常情况下，企业中会采取轮询或者随机的方式，通过Kafka的producer向Kafka集群生产数据，来尽可能保证Kafk分区之间的数据是均匀分布的。在分区数据均匀分布的前提下，如果我们针对要处理的topic数据量等因素，设计出合理的Kafka分区数量。对于一些实时任务，比如Spark Streaming/Structured-Streaming、Flink和Kafka集成的应用，消费端不存在长时间"挂掉"的情况即数据一直在持续被消费，那么一般不会产生Kafka数据积压的情况。但是这些都是有前提的，当一_kafka积压后舍弃

本文地址：https://tebull.com/detail/512043.html

标签：kafka积压后舍弃