Momentum Further Constrains Sharpness at the Edge of Stochastic Stability
动量进一步约束随机稳定性边缘的锐度
机构 * Massachusetts Institute of Technology, Cambridge, MA, US.(麻省理工学院) ; Meta.(Meta) ; Work done at Princeton University, Princeton, NJ, USA.(普林斯顿大学)
AI总结 本文研究动量对随机稳定性边缘锐度的影响,发现不同批量大小下批量锐度呈现不同收敛特性,揭示动量对优化过程的稳定作用机制。
Comments 40 pages, 38 figures