反矩阵的最大大小？

问：

我想在 python 中反转 401x401（上三角形正方形）矩阵，但在矩阵大小超过 153x153 时遇到问题。对于低于此值的所有大小，一切都像魅力一样工作，但反转矩阵与初始矩阵的乘积不再是单位矩阵。

import numpy as np
import math
from scipy import special

N=1
check = np.identity(N)

def calculate_matrix(N):
    matrix = np.zeros( (N,N) ) 
    matrix[0]=[1/(2**(j))*special.binom(j,j/2) if j%2==0 else 0 for j in range(N)]
    for p in range(0,math.floor((N-2)/2)+1):
        i=2*p+1
        matrix[i]=[(-1)**(2*q-p)/(4**q)*special.binom(2*q+1,(q-p)) if (q-i>=0 and q%2==1) else 0 for q in range(N)]
    for p in range(1,math.floor((N-1)/2)+1):
        i=2*p
        matrix[i]=[(-1)**(2*q-p)/(2**(2*q-1))*special.binom(2*q,(q-p)) if (q-i>=0 and q%2==0) else 0 for q in range(N)]
    return matrix

while (np.allclose(check, np.identity(N))==True and N<=402):
    N=N+1
    matrix = calculate_matrix(N)
    inverse_matrix = np.linalg.inv(matrix)
    check=np.matmul(inverse_matrix, matrix)

print("Maximum size of the matrix that can be inverted:", N-1)

知道出了什么问题吗？

补充：似乎（谢谢user@2357112）矩阵定义不清，因此出现了问题。如果存在解决方法，将不胜感激，因为部分透视似乎不是这里的解决方案。