Representation-Based Exploration for Language Models: From Test-Time to Post-Training
基于表示的语言模型探索:从测试时到训练后
机构 * Princeton University(普林斯顿大学) ; Microsoft Research(微软研究院)
AI总结 研究语言模型中强化学习探索新行为的价值,提出基于预训练模型隐藏状态的表示奖励探索方法,在推理时和训练后都显著提升了模型性能,如验证效率和测试时样本效率,为发现新行为提供实用途径。
Comments Accepted at ICLR 2026. Website and code: https://rep-exp.github.io