我有一个需要选择的列列表。我有此列表中每列的字段名称，因此很容易选择。 public Column[] getSelectColumns() { return new Column[]{ col...

我正在使用 Spark Java（不是 scala、python）。 我必须更改我的代码，以便我的 spark 查询将选择所有列，而不是一组特定的列。（喜欢使用 ）。以前，当我有一组特定的列时，我很...

我正在使用 Spark SQL Java（不是 scala 或 python）。这是我的数据集的简化示例（它的列比这多得多）： 编号 引用 E_id F_id G_id 0 [E_id] 0000 ...

我正在使用 Spark Java（不是 scala 或 python）。 我有一个数据帧，我想从行访问特定字段。如果它是 String，我已经能够获得字段值，但我不知道如果它是 Long、Int 该...

我在 postgres db 中有 2 个表，我需要将它们加入并将生成的输出发送到 kafka。为此，我编写了一个使用 spark 框架的 java 代码。我的代码示例如下： 主类： privat...

大家好，由于第三方阅读器，我遇到了新问题。 我已经通过 spark 3.2 编写了 parquet 文件，但 Dremio 20.4 版本无法读取这些 parquet 文件。我想知道我们在 spark...

我正在尝试使用 Scala Mongo 连接器将大型 Mongo 集合加载到 Apache Spark 中。 我正在使用以下版本： libraryDependencies += "org.apac...

我正在使用 Spark SQL 读取 csv，我也收到很多这样的消息： ...some.csv, range: 20971520-24311915, partition values: [empty...