Apple（苹果）

A Unified Perspective on the Dynamics of Deep Transformers

深度Transformer动力学的统一视角

Valérie Castin, Pierre Ablin, José Antonio Carrillo, Gabriel Peyré

机构 * CNRS and Ecole Normale Supérieure PSL（CNRS和巴黎高等师范大学） ； Apple（苹果公司） ； Mathematical Institute, University of Oxford（牛津大学数学学院） 纠错

AI总结 提出Transformer PDE作为注意力层迭代的均场极限，证明其适定性并分析高斯初始数据下的各向异性演化与聚类现象。