如何在Cython中将大型malloc'd数组返回或保存为Python对象？-解网

问：

我想使用 Cython 从模型创建大量模拟样本，稍后需要使用 Python 进行分析。运行一次模拟脚本的结果应该是 10000 x 10000 数组。

我已经定义了一个函数，并试图将我的数组声明为 .文件编译正确，但是当我运行脚本时，我遇到了“分段错误”错误（我在Linux上）。defcdef int my_array[10000][10000]my_script.pyx

在寻找解决方案时，我了解到这个问题是由在堆栈而不是堆上分配内存引起的，所以我决定使用它来分配内存。这是我尝试执行的操作的最低版本：PyMem_Malloc

import cython
from cpython.mem cimport PyMem_Malloc
from libc.stdlib cimport rand, srand, RAND_MAX

srand(time(NULL))

def my_array_func(int a_param)
    cdef int i
    cdef int **my_array = <int **>PyMem_Malloc(sizeof(int *) * 10000)
    for i in range(10000):
        my_array[i] = <int *>PyMem_Malloc(sizeof(int) * 10000)
    
    cdef int j
    cdef int k
    for j in range(10000):
        for k in range(10000):
            my_array[j][k] = <float>rand()/RAND_MAX * a_param
    
    return my_array

当我尝试编译这个文件时，我得到了一个错误，这是有道理的，因为my_array不是一个正确的数组，所以我想它不能作为 Python 对象返回（对不起，我对 C 的了解真的很生疏）。Cannot convert 'int **' to Python object

有没有办法让函数返回我的 2D 数组，以便它可以用作其他 Python 函数的输入？另一个更受欢迎的解决方案可能是直接将数组保存在一个文件中，稍后可以通过 Python 脚本导入该文件。

python 多维数组 malloc cython 大数据

import cython
cimport numpy as np
import numpy as np
from libc.stdlib cimport rand, srand, RAND_MAX
from libc.time cimport time

srand(time(NULL))

def my_array_func(int a_param):
    cdef int n_rows=10000, ncols=10000
    # Mem alloc + Python object owning memory
    cdef np.ndarray[dtype=int, ndim=2] my_array = np.empty((n_rows,ncols), dtype=int)

    # Memoryview: iterate over my_array at C speed
    cdef int[:,::1] my_array_view = my_array 

    # Fill array
    cdef int i, j
    for i in range(n_rows):
        for j in range(ncols):
            my_array_view[i,j] = <int> (rand()/RAND_MAX * a_param)
    
    return my_array

分配一个定义大小的空内存块，确保它归 Python 对象所有并具有所有漂亮的数组属性（如），这是您在一行中得到的。通过使用 memoryview，可以在没有 Python 交互的情况下完成此数组的循环。.shapecdef np.ndarray[...

上一个：当我在 main 函数中调用它时，C-2d 阵列打印函数不起作用

下一个：如何为多维数组分配内存？

如何在Cython中将大型malloc'd数组返回或保存为Python对象？

How to return or save large malloc'd arrays in Cython as Python objects?

评论