EPFL（洛桑联邦理工学院）

Insights on Muon from Simple Quadratics

对穆恩的简要二次方的见解

Antoine Gonon, Andreea-Alexandra Muşat, Nicolas Boumal

机构 * Institute of Mathematics, EPFL, Switzerland（数学研究所，EPFL，瑞士） 纠错

AI总结 穆恩通过极因子更新权重矩阵，在大规模训练中表现优异，其性能需超越局部代理和最坏情况保证，揭示极步误差对动态和有限时间性能的影响，以及目标结构性质对有限预算常数的影响。

The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning

魔法相关性：从预训练到监督微调的知识转移理解

Simin Fan, Dimitris Paparas, Natasha Noy, Binbin Xiong, Noveen Sachdeva, Berivan Isik

机构 * Google Research（谷歌研究） ； EPFL（瑞士联邦理工学院） 纠错

AI总结 本研究通过分析预训练到监督微调的知识转移，揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异，为模型开发和数据整理提供指导。