从大目录中随机加载文件-解网

问：

我的目录中大约有一百万个文件，它们的数量可能会增加。对于机器学习，我想从这些文件中随机采样，而无需替换。我怎样才能非常快速地做到这一点？os.listdir（path）对我来说太慢了。

python 随机延迟加载

在 URL 中看到了吗？这就是水桶。维基百科中的所有文件都将通过某种算法进行哈希处理 - 例如sha256，尽管它不一定是这个 - 并且将是该哈希的前两个十六进制数字。（斜杠前的斜杠只是的第一个数字;在本例中，它用作第二级存储桶。0/0202002

如果MediaWiki只是将每个文件存储在一个庞大的目录中，那么访问该目录中的文件会非常慢，因为尽管操作系统文件夹可以容纳任意数量的文件，但它们的设计不会超过几千个左右。通过对文件的内容进行哈希处理，你会得到一个看起来像是该文件唯一的十六进制数字的随机字符串，如果你然后把所有以相同的前两个十六进制数字开头的文件（比如在一个名为的文件夹中，你会得到 256 个文件夹（前两个十六进制数字的每个可能值一个），至关重要的是，这 256 个文件夹中的每一个都包含大致相同数量的文件。0202

当你试图查找特定的文件时，就像MediaWiki一样，如果你以这种方式存储它，你显然需要知道哈希值才能得到文件。但在您的情况下，您只想加载随机文件。因此，这也同样有效：

对所有文件进行哈希处理并存储它们（可能具有其他级别，例如，您可能需要这样的文件，以便您有 65,536 个存储桶）。您可以使用 hashlib 或命令行工具（如）来获取文件哈希。您不需要重命名文件，只要您根据文件哈希值的前几个十六进制数字将它们分组到目录中即可。12/34/filename.extsha256sum
现在，每次您想要一个随机文件时，请选择一个随机存储桶（如果您使用其他级别，则可能选择随机子存储桶），然后在该存储桶中选择一个随机文件。

这样做比在包含一百万个文件的目录上使用然后随机选择要快得多。listdir

_{注意：我在这里仅以MediaWiki为例，因为我熟悉它的一些内部结构;许多软件产品都做类似的事情。}

0赞 Severin Pappadeux 11/14/2023 #2

让我提供一些替代方法。基本上，您想要的不是在一次大规模扫描中扫描和统计目录文件，而只是读取目录条目及其示例子集。在 linux/UNIX 上，这相当于 readdir（） syscall，它很小，在 direntry 之后返回 direntry，直到它耗尽（返回 NULL）。然后，您可以使用储层取样进行实际取样。

在 Python os.scandir 中，我相信调用类似 readdir 的东西。

所以，一些（未经测试的）伪代码

import os
import math

folder = 'AAA'

sampled = []
nof_samples = 10

with os.scandir(folder) as it:
    for i, entry in enumerate(it):
        if i < nof_samples:
            sampled.append(entry.name)
            continue

        n = math.random.randrange(i)
        if n < nof_samples:
            sampled[n] = entry.name

上一个：为什么即使我有活动事务，我仍然收到 LazyInitializationException？

下一个：延迟加载模块无法加载程序

从大目录中随机加载文件

Lazily load files at random from large directory

评论