Apache Beam/Dataflow:KVCoder 损坏用于解码的输入流
作者:user_1357 提问时间:2/4/2019
我有自定义对象:,我通过 Avro 提供了编码器:,。CustomKeyCustomValueCustomKeyCoderCustomValueCoder 由于我需要按 KV[CustomKey, ...
Avro 问答列表
作者:user_1357 提问时间:2/4/2019
我有自定义对象:,我通过 Avro 提供了编码器:,。CustomKeyCustomValueCustomKeyCoderCustomValueCoder 由于我需要按 KV[CustomKey, ...
作者:mgerbracht 提问时间:11/14/2022
我想使用avro模式中自动生成的java类来使用kafka消息。不幸的是,avro 架构没有定义命名空间(架构的所有者对添加命名空间有点犹豫)。 如果我使用 avro maven 插件生成类,它们最...
作者:Niranjan 提问时间:6/8/2023
嗨,我在 Kafka 和 .Net 中工作。我正在尝试生成如下消息。我已经为架构注册表和生产者创建了配置,如下所示。我正在使用证书连接到架构注册表 var schemaRegistryConfig ...
作者:Dmytro Chasovskyi 提问时间:10/3/2023
我正在对 Kafka 进行性能测试,需要测试不同的大型模式。目前,我正在进行基于 Avro 的负载测试。 通常,在使用 Kafka 时,您拥有数据并从中生成架构。在此方案中,我必须测试多个架构,我不...
作者:T. Franz 提问时间:10/6/2023
我正在将Apache Kafka与AVRO一起使用。 我们通过编写 AVDL 文件并使用 avro-maven-plugin 和编译器等来生成/编译它们来创建 Java 类。 生成后,从 AVDL ...
作者:mparada 提问时间:10/13/2023
我希望有一系列小型的独立服务,这些服务要么使用 Kafka 主题并将数据输出到不同的系统中,要么相反:从系统接收数据并生成 Kafka 消息。对于这样的应用,正确的方法是什么? 示例 1:将 SQL...
作者:Hercules Konsoulas 提问时间:10/25/2023
我正在使用 Oracle 数据库来存储不同架构的一些 Avro 消息,这些消息表示我的应用程序中的一些 Kafka 事件。由于消息有多种类型,因此我使用一个包含几列的表,并将其整个正文存储在名为 的 ...
作者:Lars Quentin 提问时间:11/6/2023
保存预先计算的半结构化数据以便可以尽快反序列化的规范方法是什么? 还有 orjson,这是一个非常高性能的 json 序列化。但与二进制编码格式相比,JSON 不是一个合适的选择。 对于 Avro...
作者:m-kay 提问时间:11/17/2023
我们将 Avro 方案用于代表“公共”接口的 kafka 主题。现在,当在 Kafka-Streams 应用程序中使用此类主题并调用有状态操作时,将再次自动使用内部名称注册相同的架构。 处理这个问题...
作者:alexmoon 提问时间:11/16/2023
我正在准备使用 scala 从 spark 中的泛型进行 avro 记录反序列化的实用程序。 implicit class enericRecordImprovements(rdd: RDD[Gen...