Singular Vectors of Attention Heads Align with Features
注意力头的奇异向量与特征对齐
机构 * Department of Computer Science, Boston University, Boston, USA ; Faculty of Computing \& Data Sciences, Boston University, Boston, USA
专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI、cs.LG
AI总结 本文通过理论分析和实验验证,解释了注意力头奇异向量与特征表示对齐的原因和条件,并提出了稀疏注意力分解作为对齐的可检验预测。
Comments To be published in ICML 2026