低秩自适应的旋转流形优化
Rotated Manifold Optimization for Low-Rank Adaptation
浏览论文内容
中文总结 AI 辅助
本文提出一种融入规范对称性的LoRA优化器，将全参数矩阵优化器扩展到固定秩流形，通过旋转基归一化实现，收敛更快且下游性能更优。
中文摘要 AI 辅助
我们提出了一种用于低秩自适应（LoRA）的新型优化器，该优化器明确融入了低秩分解的规范对称性。我们的优化器将近期用于全参数训练的矩阵优化器扩展到固定秩矩阵流形上，通过将其解释为旋转基下的归一化来实现。我们展示了如何将旋转和归一化与固定秩流形高效集成。我们的优化器收敛更快，达到更低的留出损失，并在监督微调和强化学习任务上取得更好或相当的下游性能。
英文摘要
We propose a novel optimizer for low-rank adaptation (LoRA) that explicitly incorporates the gauge symmetry of low-rank factorization. Our optimizer extends recent matrix optimizers for full-parameter training to the manifold of fixed-rank matrices by interpreting them as normalization under a rotated basis. We show how rotation and normalization can be integrated with the fixed-rank manifold efficiently. Our optimizer converges faster to lower held-out loss and achieves better or comparable downstream performance on both supervised finetuning and reinforcement learning tasks.
发表机构
- ETH Zurich（苏黎世联邦理工学院）
- Microsoft Research Cambridge（微软研究院剑桥分院）
机构由 AI 辅助整理，请以论文原文为准。
