A geometric relation of the error introduced by sampling a language model's output distribution to its internal state
语言模型输出分布采样引入的误差与内部状态的几何关系
机构 * Department of Mathematics, King's College London, United Kingdom(伦敦国王学院数学系)
专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.LG
AI总结 研究揭示语言模型输出分布采样误差与内部状态几何结构的关系,通过几何方法分析token嵌入空间,发现其曲率在棋类任务中反映模型对问题的内部表示。
Comments 12 Pages, 10 Figures, 2 Appendices. To appear in Proceedings of ICML 2026