arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2603.09078cs.LGcs.CL
收藏

独占自注意力

Exclusive Self Attention

Apple(苹果公司)

Shuangfei Zhai

AI总结:

独占自注意力通过限制注意力机制捕捉与令牌自身价值正交的信息,提升了Transformer在序列建模任务中的性能。

摘要:

我们引入了独占自注意力(XSA),这是一种对自注意力(SA)的简单修改,能够提升Transformer的序列建模性能。关键思想是将注意力限制在捕捉与令牌自身价值向量正交的信息(因此排除了自位置的信息),从而鼓励更优的上下文建模。在标准语言建模任务上,XSA在模型规模达到2.7B参数时一致优于SA,并且随着序列长度的增长,其性能提升愈加显著。

英文摘要:

We introduce exclusive self attention (XSA), a simple modification of self attention (SA) that improves Transformer's sequence modeling performance. The key idea is to constrain attention to capture only information orthogonal to the token's own value vector (thus excluding information of self position), encouraging better context modeling. Evaluated on the standard language modeling task, XSA consistently outperforms SA across model sizes up to 2.7B parameters and shows increasingly larger gains as sequence length grows.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑