Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
解开LoRA干扰:用于鲁棒模型合并的正交子空间
机构 * University of Michigan Ann Arbor(密歇根大学安娜堡分校)
AI总结 针对LoRA微调模型合并时性能下降的问题,提出通过微调前约束LoRA子空间正交性来减少任务间干扰的方法OSRM,可无缝集成现有合并算法,提升合并性能并保持单任务准确率。
Comments 14 pages, 5 figures, 16 tables, accepted by ACL 2025