Kafka 连接变压器应用于连接转换器之前或之后

Kafka connect transformers are applied before or after connect converters

提问人:suraj shinde 提问时间:9/27/2022 最后编辑:OneCricketeersuraj shinde 更新时间:9/27/2022 访问量:470

问:

嗨,我正在尝试了解 kafka 连接变压器和转换器的流程。

我正在使用带有 xml 转换器的 fileStream 源连接器来强制执行 xsd 中的架构。当我使用转换器作为字符串时,我能够解析消息,但在 kafka 中,它就像字符串一样。 但是我试图将转换器更改为jsonConverter,我无法解析xml获取错误。Struct={Struct={name,abcd}

尝试了解变压器和转换器在源连接器上的顺序如何工作

apache-kafka xml-解析 jaxb apache-kafka-connect

评论


答:

2赞 OneCricketeer 9/27/2022 #1

对于源连接器,转换在读取数据之后,在使用转换器序列化数据之前应用。

对于接收器连接器,转换是在转换器从 Kafka 反序列化之后,但在写入接收器目标之前进行的。

更好的思考方式 - 连接 Struct/Schema 对象是正在序列化的内容。源连接器定义上游数据的架构,接收器连接器将该数据提取为它们理解的格式。在 Kafka 和 Converter 之间,所有数据都以 Kafka 主题上的字节形式存储。

enter image description here

尝试将转换器更改为 jsonConverter,我无法解析 xml

可能是因为 XML 不是 JSON,反之亦然......