发表机构
Artificial Intelligence Research Center (AIRC), AIST; RIKEN AIP（日本产业技术综合研究所人工智能研究中心（AIRC）; 理化学研究所AIP中心）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文利用随机矩阵理论建立多头自注意力的高斯等价性，证明用重缩放分数加噪声替换softmax可保持谱律，并分离头分配与投影宽度的影响。
AI 中文摘要
对多头自注意力的理论理解是现代神经网络研究的基础。利用随机矩阵理论，我们建立了多头自注意力的高斯等价性：用重缩放分数加高斯噪声替换softmax注意力，可保持中心化输出的极限谱律。该等价性还涵盖依赖于键的值投影和输出投影。所得的谱律分离了头分配和投影宽度的影响，并区分了跨头共享的谱保持性与头内键-值依赖性。
英文摘要
A theoretical understanding of multi-head self-attention is fundamental to the study of modern neural networks. Using random matrix theory, we establish Gaussian equivalence for multi-head self-attention: replacing softmax attention with rescaled scores plus Gaussian noise preserves the limiting spectral law of the centered output. This equivalence also covers value and output projections that depend on the keys. The resulting laws separate the effects of head allocation and projection widths, and distinguish spectrum-preserving across-head sharing from within-head key--value dependence.
