Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
随机梯度下降有效吗?机器学习过程的PDE视角
发表机构 * Departamento de Matemáticas, Universidad Autónoma de Madrid, ICMAT - Instituto de Ciencias Matemáticas, CSIC-UAM-UC3M-UCM(数学系,马德里自治大学,ICMAT数学科学研究所,CSIC-UAM-UC3M-UCM)
AI总结 通过Fokker-Planck型抛物PDE分析SGD行为,区分漂移和扩散两个阶段,量化浓度现象并证明平均退出时间界限,为非凸损失和退化扩散矩阵下的渐近收敛提供新结果。