2606.06238
2026-06-05
cs.LG
cond-mat.stat-mech
hep-lat
Generative Criticality in Large Language Model Temperature Scaling
大型语言模型温度缩放中的生成临界性
Huajian Ruan, Jinyang Li, Xingyu Guo, Lingxiao Wang
发表机构
*
State Key Laboratory of Nuclear Physics and Technology, Institute of Quantum Matter, South China Normal University(核物理与技术国家重点实验室,量子物质研究院,华南师范大学)
;
Key Laboratory of Atomic and Subatomic Structure and Quantum Control (MOE), Guangdong-Hong Kong Joint Laboratory of Quantum Matter(原子与亚原子结构及量子控制重点实验室(MOE),量子物质广深联合实验室)
;
Guangdong Basic Research Center of Excellence for Structure and Fundamental Interactions of Matter, Guangdong Provincial Key Laboratory of Nuclear Science(物质结构与基本相互作用卓越基础研究中心,广东省核科学重点实验室)
;
KEK Theory Center, Institute of Particle and Nuclear Studies(KEK理论中心,粒子与核物理研究所)
;
RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences (iTHEMS), Wako(RIKEN交叉学科理论与数学科学中心(iTHEMS),Wako)
;
Graduate University for Advanced Studies (SOKENDAI), Oho 1-1, Tsukuba, Ibaraki(高等研究大学(SOKENDAI),Oho 1-1,筑波,Ibaraki)
;
Institute for Physics of Intelligence, The University of Tokyo(智能物理研究院,东京大学)
AI总结
通过统计场框架研究大型语言模型文本生成中的温度缩放,发现接近特征温度时出现类似连续相变的临界现象,为理解解码策略与临界现象的联系提供定量工具。