Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis
解构Transformer表示中的方向与幅度:通过L2匹配扰动分析的双重解离
AI总结 研究揭示Transformer表示中方向与幅度在语言建模和语法处理中的不同作用,通过L2匹配扰动分析发现方向扰动影响注意力路径,幅度扰动影响语法判断,且解离依赖于架构选择。
Comments 15 pages, 7 figures. will Submit to ICML 2026