如何在数据库中存储有关维基数据的32GB大小的json格式数据? [已关闭]

How to store a 32GB size json format data about wikidata in the database? [closed]

提问人:wudushang 提问时间:11/14/2023 更新时间:11/14/2023 访问量:66

问:


想改进这个问题吗?更新问题,使其仅通过编辑这篇文章来关注一个问题。

9天前关闭。

我有一个数据库工作,内容是将维基百科的内容存储到数据库中,这样我就可以查询了,我找到了大约32GB的json格式数据,但是我不知道json中的数据是什么,我甚至无法打开它,更不用说我在数据库中设置各种表格来查询它了。pycharm 告诉我我在编码方面有问题。如何使用 Java 或 Python 将此数据导入数据库?或者如何将这些不同的数据存储在不同的表中?这样我就可以继续我剩下的工作了。另外,我使用的数据库是 Postgres。

我尝试使用 python 流式传输它,但仍然无法获得结果。由于内存占用量大,我的电脑在操作过程中崩溃了。

Python Java 数据库 大数据 wiki

评论

0赞 Cow 11/14/2023
编辑您的问题并包含您尝试过的代码或制作一个最小的可重现示例,然后我们可以帮助您解决可能遇到的任何问题。要了解有关 Stack Overflow 社区如何为您提供帮助的更多信息,请观看阅读如何提问
0赞 greg-449 11/14/2023
请注意,维基数据已经提供了一种主要从维基百科维基数据中查询事实的方法
0赞 rioV8 11/14/2023
创建一个 python 脚本,从文件中读取前 1M 个字符/字节并保存到其他文件,或使用 .打开此文件以检查数据的布局。然后编写一个解析器,以块的形式读取大文件,并将其转换为可由 JSON 解析器处理的数据单元dd

答: 暂无答案