Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse
谱分析与序列知识编辑崩溃的缓解
机构 * Shandong University(山东大学) ; School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院) ; Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 本文通过谱分析揭示了序列知识编辑中模型泛化能力与预训练权重矩阵主导奇异方向的关系,提出REVIVE框架通过显式保留主导奇异子空间来稳定编辑过程,提升编辑效果并保持模型泛化能力。
Comments 22 pages, 18 figures, Accepted to ACL 2026 (Main Conference)