提问人:Melvin 提问时间:11/17/2023 最后编辑:Melvin 更新时间:11/17/2023 访问量:14
使用 Strimzi Operator 的 Kafka Connect for GCP PubSub
Kafka Connect for GCP PubSub using Strimzi Operator
问:
我已经在我的 GKE 集群中使用 Strimzi Operator v0.38 和 Kafka Cluster 3.5.1 设置了 kafka 集群。我现在对如何设置 YAML 文件以构建 Kafka 连接器感到困惑,以便我可以在 GCP Pub Sub 主题中提取消息。有没有人可以帮助我?非常感谢您的帮助。
答:
1赞
Sara M.
11/17/2023
#1
首先需要使用 KafkaConnect 类型的 Strimzi CRD 文件部署 kafka 连接,然后配置 PubSub Sink 连接器。
请参阅使用 Strimzi 部署 sink mongo 连接器的示例,您只需要使用他的配置将 sink mongo 连接器更改为 PubSub Sink 连接器
评论
0赞
Melvin
11/21/2023
嗨,萨拉,谢谢你的帮助。我非常理解你给我的想法,但仍然发现很难根据这个例子进行构建。也许你有其他参考资料可供我使用吗?很抱歉给您带来麻烦
0赞
Sara M.
11/21/2023
嗨,@Melvin,你觉得不太清楚的是什么?您是 Strimzi Operator 或 Kafka 连接器的新手,所以我可以解释更多?
0赞
Melvin
11/22/2023
嗨,@Sara,是的,就在上周,我了解了 Strimzi Operator 和 Kafka Connector。我的主要目标是构建一个安全监控工具,使用 elasticsearch 作为日志数据存储,该工具是从 GCP PubSub Topic 中提取的。由于我们的环境正在使用 Kubernetes,我意识到需要 Kafka 连接器,但我仍然难以理解我应该在 yaml 文件上构建的基本配置,以便从 GCP PubSub 接收日志数据。
评论