提问人：Jeff 提问时间：10/3/2019 最后编辑：jonrsharpeJeff 更新时间：5/31/2020 访问量：2004
Snowflake - 将大文件放入内部 Snowflake 阶段
Snowflake - Putting large file into internal Snowflake Stage
问：
我目前正在尝试将一个大型的、解压缩的 CSV 文件上传到内部雪花阶段。文件大小为 500 GB。我运行了 put 命令，但看起来并没有发生太多事情。没有状态更新，它只是挂在那里。
知道这是怎么回事吗？这最终会超时吗？它会完成吗？有人有估计的时间吗？
我很想以某种方式杀死它。我目前正在将 500 GB 的大文件拆分为大约 1000 个较小的文件，我将压缩并并并行上传（在阅读了有关最佳实践的更多信息之后）。
答：
2赞
PaulHoran
10/5/2019
#1
除非您指定了 ，否则 PUT 中的第 1 步是压缩文件，这在 500GB 上可能需要一些时间......
使用会自动将文件拆分为更小的块并并行上传 - 您不必自己拆分源文件。（但如果你愿意，你可以......auto_compress=FALSEparallel=<n>
1赞
Sriga
10/9/2019
#2
根据雪花建议，请将文件拆分为多个小文件，然后将您的文件暂存到雪花内部阶段。（默认情况下，snowflake会压缩文件）
然后尝试使用多集群仓库运行 copy 命令，然后你会看到 snowflake 的性能。
评论