Scaling Laws and Spectra of Shallow Neural Networks in the Feature Learning Regime
浅层神经网络在特征学习 regime 中的缩放定律与谱特性
机构 * Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎高等师范学院，PSL与CNRS） ； Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（计算统计物理实验室，洛桑联邦理工学院（EPFL）） ； Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（信息、学习与物理实验室，洛桑联邦理工学院（EPFL））
AI总结 本文研究了浅层神经网络在特征学习 regime 中的缩放定律与谱特性，通过分析二次和对角神经网络的缩放规律，揭示了样本复杂度和权重衰减对过剩风险缩放指数的影响，并建立了这些 regime 与训练网络权重谱性质的精确联系。
Journal ref ICLR 2026
