AI 中文总结
本研究通过引入正交不变轮廓映射，分析训练后大型语言模型注意力头中双线性形式的对称与反对称部分，发现其轮廓聚集于秩一形式，并证明对称部分为双曲与零形式之和。
AI 中文摘要
我们研究了训练后的大型语言模型注意力头中双线性形式的对称和反对称部分。我们引入了一个从实双线性形式到三维单纯形的正交不变轮廓映射，并观察到训练后的双线性形式的轮廓聚集在秩一双线性形式的轮廓附近。我们证明了对于查询-键矩阵的Zariski稠密子集，注意力头中双线性形式的对称部分是一个双曲形式与零形式之和。
英文摘要
We study the symmetric and antisymmetric parts of bilinear forms in the attention heads of trained large language models. We introduce an orthogonally invariant profile map from real bilinear forms to a three-dimensional simplex and observe that profiles of trained bilinear forms accumulate near profiles of rank-one bilinear forms. We prove that the symmetric part of a bilinear form in an attention head is the sum of a hyperbolic form and a zero form for a Zariski-dense subset of query-key matrices.
Comments30 pages, 14 figures
