NeurIPS

The emergence of clusters in self-attention dynamics

自注意力动力学中聚类的出现

Borjan Geshkovski, Cyril Letrouit, Yury Polyanskiy, Philippe Rigollet

AI总结 研究揭示了自注意力机制中聚类现象的数学基础，证明了在特定条件下自注意力矩阵收敛为低秩布尔矩阵，并验证了Transformer处理序列时领导者出现的实证现象。

Journal ref Advances in Neural Information Processing Systems 36 (2023), 57026-57037