超过 R 中矩阵的大小限制

exceeding the size limit of matrix in R

提问人:Cristoph Magoosh 提问时间:11/9/2023 更新时间:11/9/2023 访问量:33

问:

我正在使用 R 语言的 fDMA 模型。该模型的输入是 x, y。就我而言,x 包含 194 个特征。问题在于,模型构造了一个矩阵,其中包含我们可以用这 194 个特征构建的所有模型组合(这里,组合的总数为 2^194),然后它们进行估计。 由于 R 中矩阵的大小有限制(2^51),因此在运行模型后出现错误。有没有办法在不减小组合矩阵大小的情况下处理这个问题?

我尝试过 bigmemory。但是,由于组合矩阵是在模型中构建的,因此我能够将输入变量(x)制作成一个大矩阵,但它不起作用。(我不确定我是否做对了)

内存 大小 大数据 R-BigMemory

评论

3赞 Allan Cameron 11/9/2023
矩阵必须包含 2^194 个组合中每个组合的双精度浮点数。这是 2 * 10^57 个条目,大约是太阳中原子数的 10 倍。要存储所有这些组合,大约需要10,000万亿万亿倍于地球上每个电子设备的整个数字存储,而在最快的超级计算机上计算它们将花费当前宇宙年龄的数千倍。换句话说,您需要减小组合矩阵的大小。
2赞 PGSA 11/9/2023
@AllanCameron 虽然它确实简明扼要地展示了手头的问题,但我想这种回应写起来也很有趣:D

答: 暂无答案