Kafka Connect Worker 直到一小时后才更新会话密钥

问：

我正在使用 Kafka Connect 3.4.0，遇到了一个我很难理解的问题。我有日志显示 Kafka Connect worker 在启动期间无法从配置主题中读取会话密钥。奇怪的是，恰好一个小时后，会话密钥会成功更新。

以下是相关日志：

Sep 11 16:01:23.422 [instance-id-masked] gtp-kafka-connect[2023-09-11 13:01:23,420] INFO [Worker clientId=connect-1, groupId=group-id-masked] Session key updated (org.apache.kafka.connect.runtime.distributed.DistributedHerder:2151)

Sep 11 16:01:23.449 [instance-id-masked] gtp-kafka-connectorg.apache.kafka.connect.runtime.rest.errors.ConnectRestException: This worker is still starting up and has not been able to read a session key from the config topic yet

Sep 11 17:01:23.291 [instance-id-masked] gtp-kafka-connect[2023-09-11 14:01:23,290] INFO [Worker clientId=connect-1, groupId=group-id-masked] Session key updated (org.apache.kafka.connect.runtime.distributed.DistributedHerder:2151)

我试图理解为什么会话密钥没有更早更新，而只是以确切的 1 小时间隔更新。

问题：

是否有用于重试读取会话密钥等操作的辅助角色级配置？
更新会话密钥延迟 1 小时的原因可能是什么？
是否有任何处理此类方案的最佳实践或建议？

任何见解或建议将不胜感激。

谢谢！

我尝试在connector.json中设置和配置，如下所示：max.retriesretry.backoff.ms

{
  "max.retries": 5,
  "retry.backoff.ms": 30000,
  // other configurations
}

我期望这些设置将应用于工作线程级操作，例如从配置主题中读取会话密钥。但是，这些设置似乎不会影响工作人员更新会话密钥的能力，这仍然以精确的 1 小时间隔发生。

是否缺少工作线程级配置，或者这些设置是否仅适用于连接器中的任务？

apache-kafka apache-kafka-connect 故障转移重试逻辑会话密钥

Kafka Connect Worker 直到一小时后才更新会话密钥 - 如何配置重试？

Kafka Connect Worker Fails to Update Session Key Until Exactly One Hour Later - How to Configure Retries?

评论