具有非对称节点缩放的过参数化浅层神经网络：全局收敛保证与特征学习
Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning
AI总结：
针对非对称正参数缩放的宽浅层网络，证明梯度流与梯度下降可高概率收敛至全局最小并实现特征学习，实验验证其在剪枝和迁移学习上的优势。
摘要：
我们研究宽浅层神经网络基于梯度的优化，其中每个隐藏节点的输出都由一个正参数缩放。这些缩放参数互不相同，区别于经典的 Neural Tangent Kernel（NTK，神经正切核）参数化。我们证明，对于这类大型神经网络，梯度流和梯度下降以高概率收敛到全局最小值，并且在某种意义上能够学习特征，这与 NTK 参数化下的情况不同。我们进行了实验来说明理论结果，并讨论了这种缩放在可剪枝性和迁移学习方面的优势。
英文摘要：
We consider gradient-based optimisation of wide, shallow neural networks, where the output of each hidden node is scaled by a positive parameter. The scaling parameters are non-identical, differing from the classical Neural Tangent Kernel (NTK) parameterisation. We prove that for large such neural networks, with high probability, gradient flow and gradient descent converge to a global minimum and can learn features in some sense, unlike in the NTK parameterisation. We perform experiments illustrating our theoretical results and discuss the benefits of such scaling in terms of prunability and transfer learning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
