KnowCoder-A1: Incentivizing Agentic Reasoning Capability with Outcome Supervision for KBQA
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；School of Computer Science, University of Chinese Academy of Sciences（中国科学院大学计算机科学学院）
针对现有KBQA方法基于过程监督的推理轨迹微调对探索激励弱的问题，提出KnowCoder-A1，通过仅结果监督下的分阶段课程强化学习训练LLM，在三个主流数据集上表现更优，零样本GrailQA子集用少量数据获11.1%相对提升。
2025-11-18 cs.AI cs.CL
CEC-Zero: Zero-Supervision Character Error Correction with Self-Generated Rewards
CEC-Zero通过无监督强化学习框架，利用自动生成的奖励在无需标注的情况下提升大语言模型的字符错误纠正能力，实现了在多个基准测试中的性能提升。
2025-12-30 cs.CL
Beyond Outcome Verification: Verifiable Process Reward Models for Structured Reasoning
IBM Research Europe - Ireland（IBM欧洲研究院-爱尔兰）；Dublin City University（都柏林城市大学）；IT:U Interdisciplinary Transformation University Austria（IT:U跨学科转型大学奥地利）
本文提出可验证过程奖励模型，用于提升结构化推理的连贯性和准确性，实验显示其在医学证据评估中优于现有方法。
2026-01-23 cs.AI cs.CL
Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning
Tongyi Lab（通义实验室）；Alibaba Group（阿里巴巴集团）
本文提出EAPO方法，通过引入组相对证据奖励和适应性奖励-策略共演机制，提升长上下文推理中的证据提取质量，从而增强推理性能。
2026-04-20 cs.AI cs.CL
SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling
SPARE通过单次生成与参考引导评估，实现高效过程标注，提升LLM多步推理中的奖励建模与微调效果。
2026-03-02 cs.AI cs.CL cs.LG
Logical Reasoning with Outcome Reward Models for Test-Time Scaling
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大学）
本文提出用于演绎逻辑推理的结果奖励模型，并通过回声生成技术扩展训练数据中的错误类型，在FOLIO、JustLogic和ProverQA数据集上提升了多个LLMs的推理性能。
2025-08-27 cs.AI cs.CL
FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
FARCA是一种面向具备事实监督的强化学习的策略优化框架，通过对齐事实验证与策略更新的粒度、引入反事实证据归因计算可靠性权重，提升模型事实性并保留通用推理能力。
2026-08-26 cs.AI cs.CL
Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
University of Edinburgh（爱丁堡大学）；Huawei Technologies Research & Development (UK) Limited（华为技术研发（英国）有限公司）
本文针对搜索智能体强化学习中稀疏结果奖励导致的信用分配难题，系统研究中间监督信号，提出结合中间信号与结果奖励的训练框架，并在多基准上验证了性能提升，凸显奖励设计与信用分配的关键作用。
2026-10-08 cs.AI cs.CL cs.LG
Rewarding Better Thinking for LLM Preference Alignment
研究大语言模型偏好对齐问题，提出思维清单奖励（TCR）方法，将偏好对转化为思维清单评估推理轨迹，引入EMA残差公式减少与结果监督重叠，实验证明该方法能提升对齐性能。
2026-07-23 cs.AI cs.CL
When Can LLMs Learn to Reason with Weak Supervision?
University of California, Los Angeles（加州大学洛杉矶分校）；New York University（纽约大学）；Google（谷歌）
研究探讨了在弱监督下大语言模型推理能力的提升条件，发现训练奖励饱和动态决定泛化能力，通过分离预训练和微调发现显式推理轨迹的监督微调是关键。
2026-04-20 cs.AI cs.LG
LeTS: Learning to Think-and-Search via Process-and-Outcome Reward Hybridization
First Author Affiliation（第一作者机构）；Second Author Affiliation（第二作者机构）
提出LeTS框架，通过混合过程与结果奖励强化RAG中LLM的思考与搜索能力，提升推理正确性与效率。
2025-05-23 cs.CL
MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Baidu Inc.（百度公司）
MatchTIR通过双图匹配实现细粒度监督，提升工具集成推理在长周期多轮任务中的性能。
2026-01-15 cs.AI cs.CL
VRPO: Rethinking Value Modeling for Robust RL under Noisy Supervision in LLM Post-Training
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Honor Device Co., Ltd（荣耀设备有限公司）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院）；Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室）
针对强化学习中噪声监督导致策略不稳定问题，提出VRPO框架，通过熵和困惑度辅助损失及变分信息瓶颈增强价值模型，使其能过滤噪声并生成可靠优势估计，在多项任务上优于PPO和GRPO。
2026-06-23 cs.AI cs.CL cs.LG
Better Process Supervision with Bi-directional Rewarding Signals
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Cognitive AI Lab, Shanghai Huawei Technologies（华为技术有限公司上海认知人工智能实验室）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
针对现有过程监督方法单向且缺乏对最终目标距离建模的问题，受A*算法启发提出双向过程监督模型BiRM，同时评估历史步骤正确性与未来成功概率，在数学推理任务中显著提升了LLM推理评估与搜索指导的精确度。
2025-03-06 cs.CL
Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents
Department of Computer Science, University of Virginia（计算机科学系，弗吉尼亚大学）
针对仅用结果奖励训练LLM搜索增强智能体存在的搜索缺陷问题，提出两阶段训练框架DeSA，分别优化搜索与回答，在7个QA基准上实现搜索召回率和答案准确率的显著提升。
2025-10-06 cs.AI
Rewarding Novel Deductions: Solver-guided Process Supervision for Logical Reasoning
Information Technology University（信息技术大学）；Huazhong Agricultural University（华中农业大学）；Qatar Computing Research Institute, Hamad Bin Khalifa University（卡塔尔计算研究所，哈马德·本·哈利法大学）
针对逻辑推理中过程监督不足的问题，提出SPRING方法，利用SMT求解器验证中间步骤并设计过程奖励，鼓励新颖推理，在多个基准上显著提升准确率。
2026-10-02 cs.CL
ToolRM: Outcome Reward Models for Tool-Calling Large Language Models
IBM Research（IBM研究院）
ToolRM通过领域特定建模提升工具调用奖励模型性能，实现25%的改进并增强鲁棒性。
2026-01-07 cs.CL
GroundedPRM: Tree-Guided and Fidelity-Aware Process Reward Modeling for Step-Level Reasoning
LMU Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Fudan University（复旦大学）；University Heidelberg（海德堡大学）；University of Oxford（牛津大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
GroundedPRM提出树引导且保真度感知的过程奖励建模框架，通过MCTS和外部工具验证减少噪声并提升事实保真度，仅用10%数据即在ProcessBench上实现26%相对提升，优于人工标注监督的PRMs。
2025-10-16 cs.AI
Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation
Peking University（北京大学）；William & Mary（威廉与玛丽学院）
本文提出 ORPS，利用可执行验证、树搜索与融合运行时反馈的自我批判评分统一过程和结果监督，在多模型多基准上显著提升代码正确性与效率。
2025-06-06 cs.AI cs.CL cs.LG
CodeTool: Enhancing Programmatic Tool Invocation of LLMs via Process Supervision
Northeastern University（东北大学）；Hunyuan AI Digital Human（文英AI数字人）
针对LLM工具调用中推理路径冗长且中间步骤难以验证的问题，提出CodeTool框架，利用代码的简洁易验证性，通过即时奖励和潜在奖励两种过程奖励引导高效准确的推理，实验验证其优越性。
2025-06-12 cs.AI cs.CL cs.LG
PRPO: Aligning Process Reward with Outcome Reward in Policy Optimization
Shanghai University（上海大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiaotong University（上海交通大学）；Artificial Intelligence Incubation and Innovation Institute, Fudan University（复旦大学人工智能孵化与创新研究院）；Shanghai Academy of AI for Science（上海人工智能科学研究院）
PRPO通过结合结果可靠性与过程级指导，在无批评者框架中提升策略优化效率，实现对过程奖励与结果奖励的对齐，从而提高模型在多步推理任务中的性能。
2026-02-03 cs.AI cs.LG
From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）
针对LLM多步推理中结果监督稀疏和过程监督泛化性差的问题，提出维度级奖励模型（DRM），通过置信度、相关性和连贯性三个维度评估推理过程，有效提升模型在分布内外任务上的泛化推理能力。
2025-10-13 cs.AI
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward
Shanghai AI Laboratory（上海人工智能实验室）；NLP 2 CT Lab, University of Macau（澳门大学自然语言处理与计算机视觉实验室）；University of Macau（澳门大学）
针对LLM评估与结果奖励，提出统一稳健的轻量级验证器CompassVerifier及基准VerifierBench，解决现有验证方法缺乏稳健性和泛化性的问题。
2025-08-05 cs.AI cs.CL
Stepwise Intrinsic Rewards for Reasoning in Large Language Models
The University of Melbourne（墨尔本大学）
本文提出了一种新的框架，通过分步边际信息增益机制和解耦掩码策略，提升多步骤LLM推理的样本效率和准确性，并增强模型的分布外鲁棒性。
2026-09-28 cs.AI cs.CL
SR-GRPO: Stable Rank as an Intrinsic Geometric Reward for Large Language Model Alignment
The Hong Kong University of Science and Technology（香港理工大学）
SR-GRPO通过稳定秩作为内在几何奖励信号，无需外部监督提升大语言模型对齐性能。
2025-12-02 cs.CL
PSPO*: An Effective Process-supervised Policy Optimization for Reasoning Alignment
School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）
针对大模型推理易出错且冗余的问题，提出 PSPO* 过程监督范式及基于 Weibull 非线性奖励塑形的 PSPO-WRS，在六个数学推理数据集上持续优于主流模型。
2025-05-14 cs.AI cs.LG
Do We Need to Verify Step by Step? Rethinking Process Supervision from a Theoretical Perspective
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文从理论角度证明，在标准数据覆盖假设下，结果监督与过程监督在统计难度上等价，并揭示性能差距源于算法局限而非统计困难。
2025-03-26 cs.AI cs.LG stat.ML
RRO: LLM Agent Optimization Through Rising Reward Trajectories
University of California, San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊公司）
针对LLM智能体多步任务中过程奖励模型扩展成本高的问题，提出RRO方法，通过保持轨迹中奖励递增来动态扩展搜索空间，在WebShop和InterCode-SQL基准上以更低探索成本实现更优性能。
2025-05-27 cs.AI
RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents
Tencent YouTu Lab（腾讯优图实验室）
研究多轮语言模型智能体训练问题，针对稀疏结果奖励训练收敛慢等问题，提出奖励交换策略优化方法，利用密集过程奖励信息，确保轨迹多样性和目标与真实奖励一致性，提升模型性能。
2026-08-11 cs.AI cs.LG
Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards
DP Technology（DP技术）
本文提出MR-RLVR方法，通过掩码与重排自监督学习提升RLVR在仅结果可验证场景下的可扩展性和性能。
2025-11-21 cs.AI cs.CL cs.LG
SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval
University of Amsterdam（阿姆斯特丹大学）
SubSearch通过引入内部奖励信号，提升复杂检索中推理的鲁棒性，无需外部监督，实现更高效的多步推理。
2026-04-08 cs.AI cs.CL cs.IR
PoEM: Predicting RL Outcomes from Existing Policies
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
PoEM框架利用现有策略预测新奖励函数下的强化学习结果，无需额外RL训练，通过线性组合对数策略实现，并在文本和图像任务上验证有效。
2026-09-25 cs.AI cs.CL cs.CV
ConsensusBench: Benchmark of Consensus Nodes for LLM Reasoning via Outcome Reward Densifying
Alibaba Group（阿里巴巴集团）
针对现有 LLM 推理强化学习方法依赖稀疏结果奖励的局限，提出 ConsensusBench 基准及 ConsensusPR 算法，通过共识节点提供过程级奖励，在多推理数据集上优于 GRPO 类方法。
2026-09-07 cs.CL
Uncertainty-Aware Step-wise Verification with Generative Reward Models
University of Oxford（牛津大学）；Cohere（Cohere公司）
针对PRM易受奖励作弊等可靠性问题，提出CoT Entropy不确定性量化方法，以增强生成式奖励模型对数学推理逐步验证的鲁棒性。
2025-02-16 cs.CL
Smaller Models, Smarter Rewards: A Two-Sided Approach to Process and Outcome Rewards
University of California, Irvine（加州大学尔湾分校）；SAP Lab（SAP实验室）；Stanford Human-Centered AI Institution（斯坦福人本AI机构）
本文提出了一种双面方法，利用小型语言模型生成高质量代码，通过融合过程和结果奖励，提升了代码生成的搜索能力。
2025-12-10 cs.AI cs.LG cs.SE
Towards Robust Process Reward Modeling via Noise-aware Learning
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）
本文提出噪声感知迭代训练框架，通过两阶段方法缓解噪声监督问题，提升过程奖励模型的步骤正确性判别能力。
2026-01-19 cs.CL
Epistemic Regret Minimization: Label-Free Causal Critique Beyond Outcome Reward
Stanford University（斯坦福大学）
本文提出了一种名为知识悔恨最小化（ERM）的框架，通过评估模型推理轨迹的因果结构而非答案本身，来改进因果批评，从而在没有正确答案的情况下进行无标签操作，并在多个前沿LLM上实验表明，ERM在因果批评任务中表现优于传统方法。
2026-05-19 cs.AI
StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning
本研究提出StructReward框架，通过结构化步骤级奖励对齐结合GRPO目标等方式，在无额外验证器的情况下降低多模态强化学习开销，实现自修正多模态推理。
2026-08-12 cs.AI
Direct Advantage Regression: Aligning LLMs with Online AI Reward
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
提出直接优势回归（DAR）算法，利用在线AI奖励通过加权监督微调优化策略，在理论上与在线RLHF一致，实验证明其优于OAIF和在线RLHF基线。
2025-04-19 cs.AI cs.CL cs.HC
Process Supervision-Guided Policy Optimization for Code Generation
ByteDance Inc.（字节跳动公司）；Oregon State University（俄勒冈州立大学）
针对代码生成中单元测试反馈稀疏的问题，本文提出过程奖励模型（PRM）提供逐行密集反馈，并将其同时用作密集奖励和值函数初始化，显著提升了强化学习驱动的代码生成性能，尤其在长时程任务中效果突出。
2025-02-04 cs.AI
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
Alibaba Group（阿里巴巴集团）；Fudan University（复旦大学）；Tsinghua University（清华大学）
本文提出推理一致性度量，结合结果准确性改进生成奖励模型训练，提升RLHF性能并减少欺骗性对齐问题。
2026-02-04 cs.CL
EventRL: Enhancing Event Extraction with Outcome Supervision for Large Language Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Paradigm. Inc.（第四范式公司）；Tsinghua University（清华大学）；HKUST（香港科技大学）
提出强化学习方法 EventRL，通过结果监督和特定奖励函数优化大语言模型的事件抽取，有效缓解幻觉与指令遵循问题，在多模型上显著优于 FSP 和 SFT 等基线方法。
2024-02-18 cs.CL
Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文揭示了LLMs数学推理中通过不合理过程得出正确答案的奖励作弊问题，提出逐步验证方法ParaStepVerifier，有效提升识别有缺陷解法的准确性，为评估和训练具有真正数学推理能力的LLMs提供更稳健的途径。
2025-06-24 cs.CL
TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition
UC San Diego（加州大学圣迭戈分校）；Cisco Research（思科研究）
本文提出TIER，一种基于函数模式和运行时执行的奖励框架，能够提供密集且可解释的序列级反馈，支持多种解决方案策略并适应变化的工具接口，在DepthBench等基准上实现了高准确率。
2026-05-16 cs.AI cs.CL cs.LG
EnGRICH: Enhancing Generative Reward Modeling with Critiques from Humans
Tsinghua University（清华大学）；Tencent（腾讯）
提出EnGRICH框架，利用人类批评训练元批评器为生成式奖励模型提供过程监督，提升批评可靠性，在七个基准上超越现有方法。
2026-10-07 cs.AI
CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement
CARE-X是一款胸部X射线视觉语言模型，通过辅助监督、奖励对齐学习及工具增强测量，在多个医学影像任务上实现了优于基线的性能，缩小了放射科医生需求与现有生成模型间的差距。
2026-08-05 cs.AI cs.CV
Principled Fine-tuning of LLMs from User-Edits: A Medley of Preference, Supervision, and Reward
Databricks Mosaic Research（Databricks Mosaic 研究院）；Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
本文提出了一种基于用户修改的LLM微调方法，通过融合偏好、监督和奖励反馈，提升模型在不同任务中的适应能力。
2026-01-27 cs.AI cs.CL cs.LG
Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning
Stanford University（斯坦福大学）
本文通过实验发现，尽管RLVR提升了任务准确率，但并未可靠提升推理的因果重要性和充分性，通过预训练可改善此问题，辅助奖励能进一步提升推理质量。
2026-04-23 cs.CL
YFPO: Yoked Feature Preference Optimization with Neuron-Guided Rewards
Zhejiang University（浙江大学）
YFPO通过识别数学相关神经元并构建辅助奖励，提升大语言模型的推理能力，实验表明神经层面信号可增强偏好优化，为更精细的推理后训练提供新方向。
2026-09-16 cs.CL
Reward-Aligned Distillation
UC San Diego（加州大学圣迭戈分校）；Purdue University（普渡大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；Amazon（亚马逊公司）
本文提出奖励对齐蒸馏（RAD）框架，通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权，在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
SelfEvoSkill: Paired Execution Audits for Skill Revision without External Outcome Supervision
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
提出SkillAudit框架，通过配对轨迹审计和过程对齐对比评估，无需真实反馈即可进化智能体技能，在89个任务中平均奖励达73.9%。
2026-10-06 cs.AI
Truthfulness Despite Weak Supervision: Evaluating and Training LLMs Using Peer Prediction
Center for Human-Compatible Artificial Intelligence（兼容人类的人工智能中心）；University of California, Berkeley（加州大学伯克利分校）
通过同伴预测方法，利用弱监督提升大语言模型的真实性，有效对抗欺骗并增强评估可靠性。
2026-01-28 cs.AI cs.CL cs.GT
Bridging Physical Reasoning and Task Generalization via Visual Action Outcome Reasoning Alignment
National Taiwan University（国立台湾大学）；The University of California, Merced（加州大学默塞德分校）
研究针对视觉语言模型在物理推理中难以泛化的问题，提出VAORA奖励设计，包括视觉对齐奖励和视觉-动作对齐奖励，通过预训练专家估计概率实现平滑密集奖励，经实验验证可有效提升模型在新任务和未见环境中的物理推理性能。
2026-07-08 cs.AI cs.CV
Chain-of-thought obfuscation learned from output supervision can generalise to unseen tasks
University of Cambridge（剑桥大学）；Geodesic Research
本文研究了链式思维（CoT）推理中混淆现象的泛化能力，发现模型在学习混淆推理轨迹时，能够将这种混淆行为及其在未见过的任务中表现出来，从而影响模型的可监控性。
2026-05-20 cs.AI
