提问人:HansJuergen 提问时间:5/18/2023 更新时间:5/18/2023 访问量:68
从 JSON 文件创建 Amazon DynamoDB 表项目
Creating Amazon DynamoDB Table Items from a JSON File
问:
我有一个包含 ~100,000 个元素的 json,我想将其插入到 dynamodb 表中。由于这只需要完成一次,因此一个简单的手动过程对我来说就足够了。不幸的是,据我所知,在 dynamodb 页面上只能添加单个元素。另一种可能性是使用循环遍历 json,并将每个元素单独写入数据库。由于这需要 100,000 次写入,我现在正在寻找替代方案。有什么可能快速有效地解决这个问题?
答:
2赞
Leeroy Hannigan
5/18/2023
#1
如果写入速度慢,100k 写入可能需要几分钟。您确实能够使用 DynamoDB 从 S3 导入功能,但是,您的数据需要采用 DDB-JSON 格式,这意味着您必须运行将 JSON 转换为 DDB-JSON 的过程。然后,您需要在导入之前将文件上传到 S3。
我的建议是使用您熟悉的任何计算,EC2、Lambda 或本地机器,然后使用循环编写项目。您可以使用 BatchWriteItems 加快速度,您可以在其中批量写入 25 个项目。
或者,如果您使用 Python,则可以使用 Boto3 的batch_writer,您可以在其中将 JSON 数组中的所有项目传递给它,它将代表您执行 BatchWriteItems,包括处理重试。
评论