Spark3.2 以 spark2.3.1 格式写入 parquet 文件

Spark3.2 write parquet files in spark2.3.1 format

提问人:Prem S 提问时间:2/2/2023 更新时间:2/2/2023 访问量:98

问:

大家好,由于第三方阅读器,我遇到了新问题。 我已经通过 spark 3.2 编写了 parquet 文件,但 Dremio 20.4 版本无法读取这些 parquet 文件。我想知道我们在 spark 3.2 版本中是否有任何标志或任何方式,我们可以编写与 spark 2.3.1 版本相同的 parquet 格式。如果您需要更多信息,请告诉我。

我研究了 spark3.2 API,但没有得到任何可以在 spark 2.3.1 版本中轻松编写的标志。我必须手动编写镶木地板文件,这可能需要更多重新设计。

apache-spark apache-spark-sql dremio parquet-mr

评论

1赞 Vikramsinh Shinde 2/2/2023
从 Dremio 访问 parquet 时有什么错误?
0赞 Prem S 2/2/2023
有时 Dremio 不会返回任何结果,就好像我将通过 Dremio 上版本查询它一样,它会返回正确的结果。另一个错误是解码列错误

答: 暂无答案