scala-spark 问答列表

Spark 写入处理 Shell 中的内存错误,但不适用于 spark-submit

作者:Andy_101 提问时间:11/17/2023

我正在尝试读取 70Gb 的数据并应用过滤器并将输出写入另一个 S3 位置(我在写入之前添加了一个 coalesce(1000),但是使用完后这个简单的操作 Spark Submit 出现以下错误:...


共1条 当前第1页