arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

只借4%的Token,基础模型找回90.5%的强化学习增益

作者:arXivDaily编辑部 论文中文资料arXiv 2610.24663 cs · cs.CL · cs.LG

论文导读

美团、加州大学圣迭戈分校和香港中文大学(深圳)团队把强化学习后的推理模型拆开测试:基础模型继续写答案,只在两者选择不同的位置借用强化学习模型的Token。在120道AIME题上,替换约4%的位置,就恢复了90.5%的单次答对率增益,显示少量关键选择能改变后续解题路线。

大部分字还是原模型写的

研究以Qwen3-4B基础模型和从它训练出的强化学习模型为主角。两者读同一段已生成内容,分别给出最想接着写的Token;选择一致时,由基础模型继续采样,选择不一致时,才采用强化学习模型的首选。

这套干预没有直接把完整答案交给另一个模型。强化学习模型只提供约4%的生成位置,其余约96%由基础模型产生。但一个被换掉的词会进入后文,影响接下来所有选择,因此“改得少”不表示“影响只停在这几个字”。

图:基础模型和强化学习模型读取同一前缀,选择相同时采样,分歧时借用强化学习模型的Token。

在120道AIME题、每题16个样本的主实验中,基础模型的单次答对率为10.00%,强化学习模型为19.32%,稀疏替换为18.44%。90.5%指的是恢复两者差距的比例,并非18.44%的答案突然变成90.5%正确。

一个Alright有用,却不是万能开场白

团队发现,稀疏替换生成的1920条回答全部以“Alright”开头,于是单独测试:只强制基础模型用这个词起头,后面完全自己写。

结果,单次答对率由10.00%变成13.23%,恢复了约35%的强化学习增益。把开头延长成“Alright, I”没有继续变好。开场能影响后面的解题方式,却解释不了全部提升。

同一道题的示例把四种生成方式排在一起,差别不只在开头,还在后续是否检查了遗漏的解。这个案例解释解题路线,整体成绩仍应看成组测试。

图:四列分别展示基础生成、概率锐化、强化学习与稀疏替换的示例,底部列出相应生成统计。

再看开头之后的替换,额外收益仍然存在。把两模型分歧位置换成基础模型自己的最优选择,成绩也不如借强化学习模型的选择。这说明效果不只是减少随机采样,还和被选中的具体内容有关。

论文也没有把少数可见的反思词当成核心答案。在基础模型所有16次都失败、稀疏替换至少成功一次的19道题中,成功回答里的替换大多是普通内容词与措辞变化,开场、暂停词和“Re”前缀只占很小一部分。

硬塞Wait,反而容易把推理打断

研究随后把“Wait”等词按固定规则插入基础模型的回答,尝试模仿强化学习模型的反思习惯。这些规则没有复现收益,几种硬插入方式的成绩反而明显低于基础模型。

原因可以从任务流程理解:一道题本来沿着正确路线推下去,在一个普通段落转折处强行停顿,并不等于发现了错误。真正有用的选择,可能既涉及何时检查,也涉及怎样改写内容,不能只靠统计某个词出现多少次来替代。

图:左右横向条形图比较单次答对率与16次尝试覆盖率,不同颜色对应开头、插词和稀疏替换等干预。

在更大的尝试预算下,稀疏替换还保留了更多解题路线。另一组独立评测中,每题256次尝试的估计覆盖率为67.50%,强化学习模型为61.40%。它们比较的是相同尝试次数;稀疏替换的计算代价还包括每一步对两模型的查询,论文没有在等算力条件下比较。

这项工作的用途首先是分析机制:少量局部选词,能把原模型引向不同的后续路线。它没有证明所有强化学习收益都来自同一种机制,也没有给出对任意模型都有效的开场提示。已经可复核的是,在这些数学任务里,直接借关键选择比机械模仿“反思口头禅”更有效。

参考资料

https://arxiv.org/abs/2610.24663

https://arxiv.org/html/2610.24663

https://arxiv.org/pdf/2610.24663

https://github.com/CyrusZhang04/WhatRLBrings

↑