了解收敛证明(动量算法)

Understanding convergence proof (Momentum algorithm)

提问人:Ayushya Pare 提问时间:8/23/2023 更新时间:8/23/2023 访问量:20

问:

我正在尝试使用来自不同研究论文的遗憾边界分析来理解动量算法或随机重球算法的收敛分析/推导。

  1. https://ieeexplore.ieee.org/document/7330562 - 页3
  2. https://www.mdpi.com/2504-3110/6/12/709 - 第6页
  3. http://arxiv.org/abs/1707.01647 - 页4

在推导中,有以下简化,我完全不明白Concerned equation

术语 $\left|\boldsymbol{\theta}{0} + \boldsymbol{p}{0} - \boldsymbol{\theta}^* \right|^2 - \left|\boldsymbol{\theta}{T+1} + \boldsymbol{p}{T+1} - \boldsymbol{\theta}^\right|^2$ 简化为 $\leq \left| \boldsymbol{\theta}_{0} - \boldsymbol{\theta}^ \right|^2$ 直接。我敢肯定,肯定涉及一些假设或一些中间步骤,读者应该知道这一点。你能帮我理解吗?

我的理解:

my understaning

数学优化 梯度下降 优化 收敛

评论

0赞 Reinderien 8/23/2023
这不是一个编程问题。请将其移至运筹学。

答: 暂无答案