Reading Between the Dots: Decoding Hidden Computation across Filler Tokens
解读点之间的信息:解码跨填充令牌的隐藏计算
机构 * Harvard University(哈佛大学) ; Cambridge Boston Alignment Initiative(剑桥波士顿对齐计划) ; Massachusetts Institute of Technology(麻省理工学院) ; Anthropic
专题命中 机器人操作 :manipulation(abstract);分类 cs.AI、cs.LG
AI总结 研究前沿语言模型对无内容填充令牌的隐藏计算,通过分析两个前沿模型在四个任务家族中的表现,介绍无监督解码管道,能从隐藏状态恢复中间值,证明隐藏计算可从残差流读取。
Comments Accepted to ICML 2026 Mech Interp Workshop, 10 main paper pages, 20 appendix pages