提问人:orsfield 提问时间:11/17/2023 更新时间:11/17/2023 访问量:11
添加新分区期间的 Kafka 初始偏移量
Kafka initial offset during new partition addition
问:
将新分区添加到主题时,Kafka 代理中未设置此 partition*使用者组的偏移量,当使用者组检测到基于 .当我们想从开始/最晚开始消费时,当当前偏移量由于某些问题而损坏/删除时,此设置很有帮助。但是,在添加新分区的情况下,使用者在一段时间内无法检测到它,并且消息不断添加到分区中,当我们最终从分区开始第一次消费时,我们会错过原始消息,因为最适合其他方案。当新创建分区时,有没有办法将主题的所有使用者组的初始偏移量填充为 0?auto.offset.reset
auto.offset.reset = latest
答:
0赞
OneCricketeer
11/25/2023
#1
您可以在组中手动创建使用者,然后将 commitSync 用于该新 TopicPartition,用于要存储的任何偏移量
否则,seek API 也始终有效。
如果你设置的是 auto.offset.reset=latest,无论如何,你都明确接受你的应用不关心任何现有数据
评论