提问人:gunsnroseshk 提问时间:8/10/2022 最后编辑:gunsnroseshk 更新时间:8/10/2022 访问量:112
处理大量小文件的 AWS Managed Service
aws managed service handling large number of small files
问:
预计每天将从本地系统(不去互联网)生成大约 1,000,000 个 json 文件,并预计将汇总以进行分析。每个文本文件小于 4 kb。
我目前的想法是使用 AWS DataSync 将文件上传到 s3。使用 s3 存储文件,表示 3 年。我不确定使用什么服务来进行分析。
但 AWS 的良好做法是 Athena 和 Glue 擅长处理少量大文件,我们应该尽量避免大量小文件。
那么,是否有任何现有的 AWS 服务擅长聚合此类数据?
谢谢!
答: 暂无答案
评论