我用最陡峭的下降方法编写了一个简单的梯度下降算法。 对于陡峭的下降，我的意思是将步长优化为最小化 f（x - lambda*grad（f）） 的步长，其中 lambda 是步长，结果是每个方向都与前...

我正在尝试使用来自不同研究论文的遗憾边界分析来理解动量算法或随机重球算法的收敛分析/推导。 https://ieeexplore.ieee.org/document/7330562 - 页3 htt...

我有两个特征向量 V1（N， F1， 1） 和 V2（N， F2， 1）。我想将它们连接在维度 1 上以创建一个向量 V3（N， F1+F2， 1），并在批处理的元素（即跨 N）中应用自我注意力。为此...

我正在运行梯度下降以找到非线性方程组的根，我想知道您如何检测该方法是否停留在局部最小值，因为我相信使用我使用的设置可能是这种情况？我的初始值是 [-2， -1]，公差为 10^-2 和 20 次迭代。...

我已经实现了梯度下降法来寻找非线性方程组的根，我想知道残差是如何确定的？残差只是欧几里得范数（2-范数）吗？我正在尝试绘制残差以查看随时间的变化，但我对该术语以及您如何计算它感到非常困惑。如果我的残差...

赏金将在 6 天后到期。这个问题的答案有资格获得 +50 声望赏金。企鹅希望引起人们对这个问题的更多关注。 我有一个神经网络，它被训练成输出学习率： import torch import to...