是否可以让执行程序评估查询的一部分,而不是在 spark java 中首先主查找整个结果集?
作者:Joe 提问时间:6/22/2023
我在 postgres db 中有 2 个表,我需要将它们加入并将生成的输出发送到 kafka。为此,我编写了一个使用 spark 框架的 java 代码。我的代码示例如下: 主类: privat...
apache-spark-sql spark-java 问答列表
作者:Joe 提问时间:6/22/2023
我在 postgres db 中有 2 个表,我需要将它们加入并将生成的输出发送到 kafka。为此,我编写了一个使用 spark 框架的 java 代码。我的代码示例如下: 主类: privat...
作者:chingu 提问时间:7/8/2023
我正在使用 Spark Java(不是 scala 或 python)。 我有一个数据帧,我想从行访问特定字段。如果它是 String,我已经能够获得字段值,但我不知道如果它是 Long、Int 该...
作者:chingu 提问时间:7/11/2023
我正在使用 Spark SQL Java(不是 scala 或 python)。这是我的数据集的简化示例(它的列比这多得多): 编号 引用 E_id F_id G_id 0 [E_id] 0000 ...
作者:chingu 提问时间:7/11/2023
我正在使用 Spark Java(不是 scala、python)。 我必须更改我的代码,以便我的 spark 查询将选择所有列,而不是一组特定的列。(喜欢使用 )。以前,当我有一组特定的列时,我很...
作者:chingu 提问时间:7/11/2023
我有一个需要选择的列列表。我有此列表中每列的字段名称,因此很容易选择。 public Column[] getSelectColumns() { return new Column[]{ col...
作者:Shyam 提问时间:8/16/2023
Spark Java sum 给出的值不正确 Java 示例代码如下 List<Double> points = Arrays.asList(-6221.4, 6380.46); Dataset<...