Avro 问答列表

Apache Beam/Dataflow:KVCoder 损坏用于解码的输入流

作者:user_1357 提问时间:2/4/2019

我有自定义对象:,我通过 Avro 提供了编码器:,。CustomKeyCustomValueCustomKeyCoderCustomValueCoder 由于我需要按 KV[CustomKey, ...

如何处理没有命名空间的 avro 架构

作者:mgerbracht 提问时间:11/14/2022

我想使用avro模式中自动生成的java类来使用kafka消息。不幸的是,avro 架构没有定义命名空间(架构的所有者对添加命名空间有点犹豫)。 如果我使用 avro maven 插件生成类,它们最...

在 Kafka 中生成消息“本地值序列化错误”时出错

作者:Niranjan 提问时间:6/8/2023

嗨,我在 Kafka 和 .Net 中工作。我正在尝试生成如下消息。我已经为架构注册表和生产者创建了配置,如下所示。我正在使用证书连接到架构注册表 var schemaRegistryConfig ...

如何基于现有的 Avro 架构生成示例数据?

作者:Dmytro Chasovskyi 提问时间:10/3/2023

我正在对 Kafka 进行性能测试,需要测试不同的大型模式。目前,我正在进行基于 Avro 的负载测试。 通常,在使用 Kafka 时,您拥有数据并从中生成架构。在此方案中,我必须测试多个架构,我不...

avro-maven-plugin 生成未使用的导入

作者:T. Franz 提问时间:10/6/2023

我正在将Apache Kafka与AVRO一起使用。 我们通过编写 AVDL 文件并使用 avro-maven-plugin 和编译器等来生成/编译它们来创建 Java 类。 生成后,从 AVDL ...

如何实现 Kafka 消息与其他系统的转换?

作者:mparada 提问时间:10/13/2023

我希望有一系列小型的独立服务,这些服务要么使用 Kafka 主题并将数据输出到不同的系统中,要么相反:从系统接收数据并生成 Kafka 消息。对于这样的应用,正确的方法是什么? 示例 1:将 SQL...

有没有办法将无头 Avro 消息写入文件,而无需在 Python 中反序列化其二进制内容?

作者:Hercules Konsoulas 提问时间:10/25/2023

我正在使用 Oracle 数据库来存储不同架构的一些 Avro 消息,这些消息表示我的应用程序中的一些 Kafka 事件。由于消息有多种类型,因此我使用一个包含几列的表,并将其整个正文存储在名为 的 ...

Python 中用于快速半结构化数据序列化的库

作者:Lars Quentin 提问时间:11/6/2023

保存预先计算的半结构化数据以便可以尽快反序列化的规范方法是什么? 还有 orjson,这是一个非常高性能的 json 序列化。但与二进制编码格式相比,JSON 不是一个合适的选择。 对于 Avro...

如何处理内部 kafka-streams 主题的 avro 模式?

作者:m-kay 提问时间:11/17/2023

我们将 Avro 方案用于代表“公共”接口的 kafka 主题。现在,当在 Kafka-Streams 应用程序中使用此类主题并调用有状态操作时,将再次自动使用内部名称注册相同的架构。 处理这个问题...

在 scala 中,来自泛型的 Avro 序列化

作者:alexmoon 提问时间:11/16/2023

我正在准备使用 scala 从 spark 中的泛型进行 avro 记录反序列化的实用程序。 implicit class enericRecordImprovements(rdd: RDD[Gen...


共10条 当前第1页