Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models
推理作为状态转换:大型语言模型推理演变的表征分析
机构 * Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing 100084, China(计算机科学与技术系,人工智能研究所,清华-博世联合机器学习中心,THBI实验室,BNRist中心,清华大学,北京100084,中国) ; College of AI, Tsinghua University, Beijing 100084, China(人工智能学院,清华大学,北京100084,中国)
AI总结 本研究从表征视角分析大型语言模型推理过程的演变,揭示训练后模型通过优化表示分布提升推理能力的机制。
Comments 30 pages, 27 figures, 8 tables