提问人:Vazgen Torosyan 提问时间:11/13/2023 最后编辑:Vazgen Torosyan 更新时间:11/13/2023 访问量:40
kafka-lag-exporter 在消费者组读取 2 个或更多主题时不显示滞后
kafka-lag-exporter don't show lags when consumer group read 2 or more topics
问:
我正在测试kafka-lag-exporer 。我在本地机器上设置了 kafka-server、zookeper、prometheus 和 grafana。我创建了一个名为 Kafka 主题和使用者组,该主题从 读取消息。我生成了一些消息(全部使用 Kafka cli),消费者组读取了它们。然后我停止了消费者组cli,并生成了更多消息来制造滞后。一切正常,kafka-lag-exporter 公开了指标topic_1
group1
topic_1
topic_1
kafka_consumergroup_group_lag
group="group1",topic="topic_1"
然后我添加了一个名为 topic_2 的新主题,并在那里创建了一些消息,停止了消费者组,并创建了另外 3 条消息来制造滞后。现在没有 .正如您在屏幕截图中所示,kafka cli 显示了消费者组 group1 和 topic 的滞后kafka_consumergroup_group_lag
group="group1",topic="topic_2"
topic_2.
然后我阻止了消费者组阅读任何主题。并显示指标group1
# TYPE kafka_consumergroup_group_lag gauge
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_1",partition="0",member_host="unknown",consumer_id="unknown",client_id="unknown",} 0.0
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_2",partition="0",member_host="unknown",consumer_id="unknown",client_id="unknown",} 3.0
但是当我运行消费者组来使用一个主题时,我在 lag-exporter 中有这些指标
# HELP kafka_consumergroup_group_lag Group offset lag of a partition
# TYPE kafka_consumergroup_group_lag gauge
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_1",partition="0",member_host="/192.168.65.1",consumer_id="console-consumer-565052f6-8883-4594-831a-76e271b04edc",client_id="console-consumer",} 0.0
Kafka lag-exporter 版本为 0.7.0,它以独立模式运行,配置非常基本。
kafka-lag-exporter {
reporters.prometheus.port = 7070
clusters = [
{
name = "kafka"
bootstrap-brokers = "kafka:9092"
labels = {
location = "local"
}
}
]
}
你能帮我解决这个问题吗?
答:
0赞
Vazgen Torosyan
11/13/2023
#1
我通过更换工具解决了我的问题。我现在使用 kafka_exporter 而不是 kafka-lag-exporter,即使该主题没有活跃的消费者,它也会显示滞后。
评论