Spark 写入处理 Shell 中的内存错误,但不适用于 spark-submit
作者:Andy_101 提问时间:11/17/2023
我正在尝试读取 70Gb 的数据并应用过滤器并将输出写入另一个 S3 位置(我在写入之前添加了一个 coalesce(1000),但是使用完后这个简单的操作 Spark Submit 出现以下错误:...
scala-spark 问答列表
作者:Andy_101 提问时间:11/17/2023
我正在尝试读取 70Gb 的数据并应用过滤器并将输出写入另一个 S3 位置(我在写入之前添加了一个 coalesce(1000),但是使用完后这个简单的操作 Spark Submit 出现以下错误:...