Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors
理解下一token预测器中看似无用特征的出现
专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.LG
AI总结 研究探讨了训练中的Transformer模型如何计算看似冗余的抽象特征,并提出方法分析梯度信号对特定特征形成的影响,通过玩具任务和小型模型验证,揭示了预训练语言模型中形式推理领域特征的产生机制。
Comments ICLR 2026