通过克罗内克-因子近似曲率进行任务算术中的无数据权重解耦
Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature
AI总结:
本文提出了一种无数据的方法,通过将表示漂移正则化问题框架化为曲率矩阵近似问题,以解决任务算术中任务向量的交叉任务干扰问题,实现了任务加法和否定的最新成果。
摘要:
任务算术提供了一种模块化且可扩展的方法来适应基础模型。然而,结合多个任务向量可能导致跨任务干扰,导致表示漂移和性能下降。表示漂移正则化提供了一种自然的解决方法来解耦任务向量;然而,现有方法通常需要外部任务数据,这与模块化和数据可用性约束(例如隐私要求)相冲突。我们提出了一种无数据的方法,通过将正则化表示漂移作为曲率矩阵近似问题来框架化。这使我们能够利用已建立的技术;特别是,我们采用克罗内克-因子近似曲率,并获得一个实用的正则器,实现了任务加法和否定的最新成果。我们的方法在任务数量上具有常数复杂性,并增强了对任务向量重新缩放的鲁棒性,消除了对保留调优的需要。
英文摘要:
Task Arithmetic yields a modular, scalable way to adapt foundation models. Combining multiple task vectors, however, can lead to cross-task interference, causing representation drift and degraded performance. Representation drift regularization provides a natural remedy to disentangle task vectors; however, existing approaches typically require external task data, conflicting with modularity and data availability constraints (e.g., privacy requirements). We propose a dataless approach by framing regularization against representation drift as a curvature matrix approximation problem. This allows us to leverage well-established techniques; in particular, we adopt Kronecker-Factored Approximate Curvature and obtain a practical regularizer that achieves state-of-the-art results in task addition and negation. Our method has constant complexity in the number of tasks and promotes robustness to task vector rescaling, eliminating the need for held-out tuning.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。