DeepSeek（深度求索）

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

LionMuon: 交替频谱和符号下降用于高效训练

Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

机构 * DeepSeek-AI ； Essential AI ； Kimi Team 纠错

AI总结 本文提出LionMuon优化器，通过交替使用Lion和Muon的更新步骤，在保持有效性的同时显著降低平均迭代成本，同时证明了在重尾噪声下的复杂性界限，展示了其在不同模型规模下的优势。

Comments 38 pages, 13 figures, 4 tables