Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin
探究原点之外齐次神经网络的梯度流动力学
AI总结 本文研究齐次神经网络逃离原点后的梯度流动力学,刻画首个鞍点,证明特定条件下逃离前的稀疏结构会保留至下一个鞍点。
Comments jmlr-final-version
期刊&会议
Journal of Machine Learning Research · 期刊 · Machine Learning
探究原点之外齐次神经网络的梯度流动力学
AI总结 本文研究齐次神经网络逃离原点后的梯度流动力学,刻画首个鞍点,证明特定条件下逃离前的稀疏结构会保留至下一个鞍点。
Comments jmlr-final-version