kafka-lag-exporter 在消费者组读取 2 个或更多主题时不显示滞后

kafka-lag-exporter don't show lags when consumer group read 2 or more topics

提问人:Vazgen Torosyan 提问时间:11/13/2023 最后编辑:Vazgen Torosyan 更新时间:11/13/2023 访问量:40

问:

我正在测试kafka-lag-exporer 。我在本地机器上设置了 kafka-server、zookeper、prometheus 和 grafana。我创建了一个名为 Kafka 主题和使用者组,该主题从 读取消息。我生成了一些消息(全部使用 Kafka cli),消费者组读取了它们。然后我停止了消费者组cli,并生成了更多消息来制造滞后。一切正常,kafka-lag-exporter 公开了指标topic_1group1topic_1topic_1kafka_consumergroup_group_laggroup="group1",topic="topic_1"

然后我添加了一个名为 topic_2 的新主题,并在那里创建了一些消息,停止了消费者组,并创建了另外 3 条消息来制造滞后。现在没有 .正如您在屏幕截图中所示,kafka cli 显示了消费者组 group1 和 topic 的滞后kafka_consumergroup_group_laggroup="group1",topic="topic_2"topic_2.

topic_1活动,topic_2有滞后

然后我阻止了消费者组阅读任何主题。并显示指标group1

# TYPE kafka_consumergroup_group_lag gauge
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_1",partition="0",member_host="unknown",consumer_id="unknown",client_id="unknown",} 0.0
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_2",partition="0",member_host="unknown",consumer_id="unknown",client_id="unknown",} 3.0

已停止的使用者组

但是当我运行消费者组来使用一个主题时,我在 lag-exporter 中有这些指标

# HELP kafka_consumergroup_group_lag Group offset lag of a partition
# TYPE kafka_consumergroup_group_lag gauge
kafka_consumergroup_group_lag{location="local",cluster_name="kafka",group="group1",topic="topic_1",partition="0",member_host="/192.168.65.1",consumer_id="console-consumer-565052f6-8883-4594-831a-76e271b04edc",client_id="console-consumer",} 0.0

Kafka lag-exporter 版本为 0.7.0,它以独立模式运行,配置非常基本。

kafka-lag-exporter {
  reporters.prometheus.port = 7070
  clusters = [
    {
      name = "kafka"
      bootstrap-brokers = "kafka:9092"
      labels = {
        location = "local"
      }
    }
  ]
}

你能帮我解决这个问题吗?

apache-kafka prometheus 监控 指标 滞后

评论

0赞 markalex 11/13/2023
你报告的内容感觉像是出口商行为的错误。请考虑按照存储库中的建议检查 DEBUG 输出,如果它无助于报告问题。

答:

0赞 Vazgen Torosyan 11/13/2023 #1

我通过更换工具解决了我的问题。我现在使用 kafka_exporter 而不是 kafka-lag-exporter,即使该主题没有活跃的消费者,它也会显示滞后。