我想使用 Spark 结构化流式处理创建一个简单的应用程序，以便在股价数据满足特定要求时提醒用户（通过电子邮件、短信等）。 我有一个数据流：data_stream 但是，我正在努力解决主要问题：用...

以前发布在 Databricks Community： https://community.databricks.com/t5/community-discussions/can-we-pass-pa...

我有一个带有嵌套列的数据帧，如下所示： df_schema = StructType([ StructField("response", StringType(), True), StructF...

我有一个Pyspark数据帧，结构如下。 | orderid | sub | filter-list | | -------- | ---- | -------- | | 1 | 367 | [[...

我正在使用 5 节点 16gb 机器运行只有 1GB 未压缩 csv 文件的 spark 应用程序，面临非常高的 GC 时间，实际计算只需要 15 分钟和 3 小时+ 对于 GC，这可能是解决这个问题...

在一个平台上工作，其中大多数数据集都是 json 格式，但几乎不支持查询语言来过滤、连接和...... 查看 SparkSQL API 和示例似乎是解决该问题的好办法。考虑到截至目前，我们不需要完整...

我有字符串数据列，其值如下所示： - ["some val1"] - [] - ["some val2", "some_val3"] - single value without brack...

Spark Java sum 给出的值不正确 Java 示例代码如下 List<Double> points = Arrays.asList(-6221.4, 6380.46); Dataset<...

因此，我使用 AWS Glue 自动生成的代码从 S3 读取 csv 文件，并通过 JDBC 连接将其写入表。看起来很简单，Job 成功运行，没有错误，但它什么也没写。当我检查 Glue Spark ...

我有数据帧，我想将其另存为多个xml文件。这是我的代码： employees .repartition(col("first_name")) .write() .option("maxRec...