dataloader 问答列表

多个文件上的 IterableDataset

作者:LearnToGrow 提问时间:11/8/2023

我有 1000 个文件,每个文件都用滑动窗口处理以生成许多训练样本。 我编写了这个可迭代样式的数据集。一切正常,唯一的问题是每批数据都由来自 1 个文件的数据组成。有没有办法实现自定义整理功能或类似于...

将 DataLoader Tensorflow 用于大 pickle 大小

作者:Amir Ahmadi 提问时间:10/16/2023

我有 trainSet 和 testSet 的 pickle 2 pickle,例如 data.plk , lables.plk 例如,对于训练数据,pickle 的大小为 2GB。 我想将这个泡菜...

如何从 Pytorch 代码中保存自定义版本的 CIFAR-10 并在 TensorFlow Colab 代码中使用它?

作者:Baraa 提问时间:11/7/2023

我有一个 Pytorch 程序,可以动态生成 CIFAR-10 的自定义版本(它不会保存自定义的 CIFAR-10,但该程序会下载原始数据集,对其进行自定义,并将其用于训练)。我想将自定义的 CIFA...

带有 shuffle=False 的数据加载器,但图像顺序在每个纪元中都会发生变化

作者:mor hale 提问时间:11/5/2023

即使我使用图像随机化每个时代。'shuffle=False' 下面是用于创建加载程序的代码: data_set = dset.CIFAR10(root='./data/cifar10', trai...

遍历 Dataloader 时卡住

作者:JIAZHENG HU 提问时间:11/13/2023

我正在尝试创建一个包含 10000 个样本(8000 个用于训练,2000 个用于验证)的 3D 测试数据集来测试我的 3D CNN 模型。看起来一切正常,直到我尝试查看我使用的第一批数据。更具体地说...


共5条 当前第1页