Disentangling Semantic Attention from Structural Bias in the Attention Manifold
在注意力流形中分离语义注意力与结构偏差
机构 * Fudan University(复旦大学) ; Singapore Management University(新加坡管理大学)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI
AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题,提出无需训练的 SPAR 方法,通过净化噪声和重分配注意力,有效恢复真实视觉基础且计算开销小。