The Spectral Geometry of Thought: Phase Transitions, Instruction Reversal, Token-Level Dynamics, and Perfect Correctness Prediction in How Transformers Reason
思维的谱几何:相变、指令反向、令牌级动态以及完美正确性预测在Transformer推理中的表现
机构 * DeepSeek-R1(深Seek-R1) ; Qwen(通义千问) ; Pythia ; Llama
AI总结 研究通过系统谱分析发现,大语言模型在推理与事实回忆时在隐藏激活空间中表现出谱相变现象,揭示了推理的谱压缩、指令调谐的谱反向等七种核心现象,建立了一套关于Transformer推理的谱理论。