arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2401.10686cs.LG
收藏

操纵稀疏双重下降

Manipulating Sparse Double Descent

University of Cambridge(剑桥大学)

Ya Shi Zhang

AI总结:

该研究面向两层神经网络,考察 L1 正则化与表示维度如何影响一种称为稀疏双重下降的现象,并揭示模型复杂性、稀疏性和泛化之间的关系。

摘要:

本文研究两层神经网络中的双重下降现象,重点关注 L1 正则化和表示维度的作用。文中探讨了一种替代的双重下降现象,将其命名为稀疏双重下降。该研究强调了模型复杂性、稀疏性与泛化之间的复杂关系,并建议对更多样化的模型和数据集开展进一步研究。这些发现有助于更深入地理解神经网络训练与优化。

英文摘要:

This paper investigates the double descent phenomenon in two-layer neural networks, focusing on the role of L1 regularization and representation dimensions. It explores an alternative double descent phenomenon, named sparse double descent. The study emphasizes the complex relationship between model complexity, sparsity, and generalization, and suggests further research into more diverse models and datasets. The findings contribute to a deeper understanding of neural network training and optimization.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑