中国科学院软件研究所与腾讯微信AI团队研究了大模型的“无效推理”：题目超过能力范围时，模型仍生成很长、表面完整却含有关键错误的推导。Qwen3-8B经过CaRL训练后，Countdown任务的无效推理率从65.5%降至7%，准确率由59.67%升至61%。
同一方法没有把拒答设成唯一正确动作。对能解的问题，模型仍要给答案；只有预计继续计算也无法成功时，拒绝才比编造推理获得更高奖励。
论文图1：模型生成看似连续的推导，却在中间步骤犯错并继续输出。
难题面前，模型的行为边界慢于能力边界
团队使用Countdown作为主要测试：给出若干数字和目标值，要求通过四则运算得到目标。数字数量增加后，搜索空间扩大，难度可以连续调整，又不会混入知识记忆问题。
实验发现，多款模型在已经很难解出的题目上仍倾向继续推理。错误主要分为表面可信但细节错误、重复尝试和不断生成不结束。其中“貌似合理”的错误最危险，因为用户很难从流畅文本中立刻看出问题。
论文图2：随着题目难度超过模型能力，继续作答与实际解题能力之间出现偏差。
在Qwen3-8B的高难度设置中，普通强化学习版本的无效推理率仍在95.8%至99.7%之间，平均响应最长达到7042 Token。模型花费更多计算，没有换来可靠答案。
CaRL把失败轨迹改成拒答样本
CaRL包含两部分。能力校准奖励先建立行为优先级：正确回答最高，无法完成时的明确拒绝优于错误推理；事后拒答增强再把训练中失败的长轨迹改写成简短拒答，用于补充监督。
论文图3：表面可信的错误推导是最主要类型，重复和无休止生成也占一定比例。
直接用失败样本做拒答微调容易走向另一个极端。论文中的RFT在分布外Sudoku测试上拒答率超过90%，准确率降到0；无效推理少，是因为模型几乎什么都不做。CaRL-8B在同一测试中准确率为46.25%，接近原模型46.88%，无效推理率由89.41%降至43.02%。
论文图7：奖励塑造负责区分正确、拒答和错误推理，失败轨迹随后被转成拒答训练样本。
14B模型在训练内任务降到1%
Qwen3-14B在Countdown上的无效推理率由78.57%降至1%，准确率从63.25%升至67.25%。转到未用于训练的Sudoku后，无效推理率由80.46%降至36%，准确率则从50.75%降到44.87%，泛化效果仍伴随能力损失。
通用测试也出现同样取舍。Qwen3-8B在AIME 2024上的准确率下降0.8个百分点，平均长度缩短16.1%；GPQA准确率下降1.5个百分点，长度缩短25.1%。可靠性指标提高，但并非完全免费。
目前只验证了算法题的能力边界
Countdown和Sudoku没有外部知识需求，团队可以明确区分“不会算”与“不知道事实”。现实问答往往同时缺知识、缺工具或缺上下文，模型是否应该继续搜索、调用工具还是拒绝，边界更复杂。
论文证明了拒答可以被训练成一种有条件的能力，也暴露了过度拒绝风险。医疗、金融或自动化操作等场景需要单独设置错误成本，不能直接套用算法题上的拒答阈值。
