发表机构
HSE University（高等经济大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
研究施蒂费尔流形上的Muon优化方法，证明其存在精确闭式更新，开发了高效的Skewon算法并建立了一阶收敛保证。
AI 中文摘要
我们在施蒂费尔流形的语境下研究了最近提出的感知矩阵的优化方法Muon。该流形由列正交的矩阵构成，在机器学习和科学计算中广泛存在。现有的Muon向该流形的扩展依赖于启发式、近似或迭代更新，计算效率各异。我们证明对应的施蒂费尔Muon更新存在精确闭式解，并利用该结果开发了Skewon，这是一种用于带正交性约束优化的实用算法，具有高效实现。我们进一步在光滑非凸场景下为Skewon建立了一阶收敛保证。
英文摘要
We study Muon, a recently proposed matrix-aware optimization method, in the context of the Stiefel manifold. This manifold consists of matrices with orthonormal columns and is ubiquitous in machine learning and scientific computing. Existing extensions of Muon to this manifold rely on heuristic, approximate, or iterative updates with varying computational efficiency. We show that the corresponding Stiefel Muon update admits an exact closed-form solution and use this result to develop Skewon, a practical algorithm for orthogonality-constrained optimization with an efficient implementation. We further establish first-order convergence guarantees for Skewon in the smooth non-convex setting.
