apache-beam 问答列表

Apache Beam/Dataflow:KVCoder 损坏用于解码的输入流

作者:user_1357 提问时间:2/4/2019

我有自定义对象:,我通过 Avro 提供了编码器:,。CustomKeyCustomValueCustomKeyCoderCustomValueCoder 由于我需要按 KV[CustomKey, ...

将 Python 脚本作为数据流作业提交

作者:swygerts 提问时间:9/8/2020

我有一个简单的处理作业,我想将其作为数据流作业提交。它只是一个 python 文件,它将 csv 作为输入,将两个模型应用于输入,并将输出添加到 csv。如何将其作为 Dataflow 作业提交?我可...

使用 Apache Beam XmlIO 读取带有命名空间的 XML

作者:Jayabalan Kandasamy 提问时间:9/1/2021

我正在尝试将 XML 文件读入 Apache Beam 管道。某些元素具有命名空间,并且命名空间声明在根节点上声明。我能够使用标准的 JAXB 解析器解析 Apache Beam 之外的 xml。但是...

BigQuery 表架构类型在 apache beam 中未正确转换

作者:Joe Moore 提问时间:8/25/2023

目前,python Apache Beam SDK for BigQuery 中存在一个错误,该错误将 BQ 错误地转换为 BQ 。这似乎已经修复,但我有一种感觉,它可能在预发布中,而不是最新的稳定版...


共4条 当前第1页