Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair
Microsoft（微软）
该研究提出利用机器可验证工作流的治理记录，通过验证器选择的自训练提升模型结构化工作流修复能力，在PlanBench等数据集上实现了已接纳规划数量的显著提升，验证了该方法的有效性。
2026-09-28 cs.AI
Who Teaches Which Token? Verifier-Gated Multi-Expert On-Policy Distillation for Scientific Reasoning
Fudan University（复旦大学）；Hong Kong University of Science and Technology（香港科技大学）
针对多教师在线策略蒸馏中教师信号稀疏异质的问题，提出验证器门控多专家在线策略蒸馏（VG-OPD），通过反事实增益授权、分歧定位和标准重要性加权，在科学推理基准上取得最佳性能。
2026-09-16 cs.AI
Davinci-Tool: Scaling Agentic Tool-Use Supervision with Verifiable Executable Environments
Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）；University of Science and Technology of China（中国科学技术大学）；Southeast University（东南大学）
本研究推出30B工具使用模型Davinci-Tool及对应执行基础数据集，通过两条流水线生成3万余条验证轨迹，经微调与偏好优化后，在三个基准上以1/16参数规模超越更大模型。
2026-10-14 cs.AI cs.CL cs.LG
Verifier-Backed Hard Problem Generation for Mathematical Reasoning
Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Hong Kong Institute of AI for Science, City University of Hong Kong（香港城市大学人工智能科学研究所）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Department of Statistics, University of Oxford（牛津大学统计系）
本文提出VHG框架，通过引入独立验证器约束问题生成器的奖励，提升生成问题的有效性和难度，实验显示其在不定积分和数学推理任务中优于基线方法。
2026-11-10 cs.AI cs.CL cs.LG
SAFE: An LLM-as-Verifier Framework for Evidence-Grounded Multi-Hop Reasoning
Seoul National University（首尔国立大学）
提出SAFE框架，通过将推理分解为知识图谱三元组，在生成过程中逐步验证中间步骤，以解决多跳问答中模型通过无效推理得到正确答案的问题，平均准确率提升8.8个百分点。
2026-10-30 cs.AI cs.CL
Scaling LLM Reasoning from Minimal Labels: A Semi-Supervised Framework with a Lightweight Verifier
Fujitsu Limited（富士通株式会社）；Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
提出半监督框架，用轻量级推理正确性分类器和熵过滤从少量标注数据生成高质量伪推理链，在数学和视觉问答任务上达到10-15倍标注数据效果。
2026-06-16 cs.AI cs.CL
Process Reward Models That Think
University of Michigan（密歇根大学）；Mila；LG AI Research（LG人工智能研究）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Equal supervision（共同监督）
ThinkPRM通过生成长CoT验证链实现高效过程奖励模型，以更少的监督标签在多个基准测试中超越现有方法。
2025-12-08 cs.AI cs.CL cs.LG
LeanPRM: Lean-Grounded Process Supervision for Natural Language Proof Verification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；New York University（纽约大学）
本文提出LeanPRM框架，利用Lean证明助手为自然语言数学证明生成无人工标注的步骤级标签，训练的验证器在多个基准上性能显著优于基于PRM800K训练的模型。
2026-11-04 cs.AI cs.LG cs.LO
ACE: Self-Evolving LLM Coding Framework via Adversarial Unit Test Generation and Preference Optimization
School of Data Science Fudan University（数据科学学院 复旦大学）
本文提出ACE框架，通过基于求解器-对抗架构的执行中心监督，实现自进化代码生成，无需真实代码或外部奖励模型，实验表明其在CodeContests、MBPP和LiveCodeBench上均优于现有求解器-验证器基线。
2026-05-21 cs.AI cs.SE
Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic
Emory University（埃默里大学）
本研究系统分析LLM在规划任务中作为求解器、验证器、启发式引导的作用，发现其更擅长为中间解提供启发式反馈，还提出了评估LLM即时学习用户偏好能力的新基准。
2024-12-12 cs.AI cs.CL
Variation in Verification: Understanding Verification Dynamics in Large Language Models
Salesforce AI Research（Salesforce AI研究院）；Dartmouth College（达特茅斯学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究大型语言模型中验证动态，分析问题难度、生成器能力及验证器生成能力三个维度，发现验证有效性与问题难度相关，优化TTS应用中的基本验证策略。
2026-04-14 cs.AI cs.CL cs.LG
Unsupervised Skill Discovery for Agentic Data Analysis
University of Science and Technology of China（中国科学技术大学）
提出DataCOPE框架，通过无监督验证器引导从探索轨迹中发现可复用的数据分析技能，在报告式和推理式分析任务上分别提升平均得分9.71%和32.30%。
2026-06-04 cs.AI cs.CL cs.LG
Teach the Magnitude, Not the Direction: Verifier-Anchored Credit Assignment for Multi-Turn Multi-Step LLM Agents
Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；Westlake University（西湖大学）；Nanjing University（南京大学）
该研究提出CrEST分层信用分配框架，保留RL的验证器约束上限并结合自我教师的密集token级信号，在BFCL V3和WildToolBench上优于基线，可简化教师在策略优化中的作用。
2026-10-19 cs.AI
Debate-to-Skill: Capability-Bound Process Supervision for Industrial Query-to-Agent Annotation
Baidu, Inc.（百度公司）
针对工业查询到智能体匹配中主题相关性与可执行能力混淆的问题，提出能力边界过程监督方法辩论到技能，通过决策原则与结构化审议提升灰色地带案例的匹配效果。
2026-09-11 cs.AI
Learning by Fixing: Solving Math Word Problems with Weak Supervision
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
以前的数学应用题（MWP）神经解决器是在完全监督下学习的，无法生成多样化的解决方案。在本文中，我们解决这个问题，通过引入一个\textit{weakly-supervised}范式学习MWPs。我们的方法只需要最终答案的注释，可以为单个问题生成各种解决方案。为了增强弱监督学习，我们提出了一种新的\textit{learning-by-fixing}（LBF）框架，它通过符号推理纠正了神经网络的误解。具体地，对于由神经网络生成的不正确的解决方案树，\textit{fixing}机制将错误从根结点传播到叶节点，并推断可以被执行以获得期望的答案的最可能的修复。为了生成更多样化的解决方案，应用\textit{tree regularization}来指导解决方案空间的有效收缩和探索，并且设计\textit{memory buffer}来跟踪和保存针对每个问题发现的各种修复。在Math23 K数据集上的实验结果表明，该LBF框架在弱监督学习中的性能明显优于强化学习基线。此外，它实现了与完全监督方法相比相当的前1和更好的前3/5答案准确度，证明了其在产生不同解决方案方面的实力。
2021-08-03 cs.AI cs.CL cs.LG
Solving math word problems with process- and outcome-based feedback
DeepMind（深度思维）
最近的研究表明，要求语言模型生成推理步骤可以提高许多推理任务的性能。当超越提示时，这就提出了我们应该如何监督这些模型的问题：基于结果的方法监督最终结果，还是基于过程的方法监督推理过程本身？这些方法之间的差异可能不仅在最终答案错误中，而且在推理错误中也很难发现，并且在许多现实世界的领域（如教育）中存在问题。我们运行基于过程和基于结果的方法之间的第一次全面比较，在自然语言任务GSM8K上训练。我们发现，纯结果为基础的监督产生类似的最终答案出错率较少的标签监督。然而，对于正确的推理步骤，我们发现有必要使用基于过程的监督或来自模仿基于过程的反馈的学习奖励模型的监督。总的来说，我们改善了以前的最好的结果，从16.8% $\to$ 12.7%的最终答案错误和14.0% $\to$ 3.4%的推理错误之间的最终答案正确的解决方案。
2022-11-25 cs.AI cs.CL cs.LG
Dyve: Thinking Fast and Slow for Dynamic Process Verification
The Chinese University of Hong Kong（香港中文大学）
本文提出动态过程验证器 Dyve，融合系统1的快速 token 级确认与系统2的深度分析，并用共识过滤过程监督生成高质量信号，显著提升过程验证与 Best-of-N 性能。
2025-02-16 cs.AI
No Labels, No Problem: Training Visual Reasoners with Multimodal Verifiers
California Institute of Technology（加州理工学院）
本文提出无需标注的视觉推理训练框架，结合AI驱动的验证器提升推理与定位能力，超越现有开源和专有模型。
2025-12-09 cs.AI cs.CV
SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
HKUST(GZ)（香港科技大学（广州））
提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。
2026-07-03 cs.AI cs.CL
Solving the Kidney-Exchange Problem via Graph Neural Networks with No Supervision
King’s College London（伦敦国王学院）；A*STAR（新加坡科技研究局）
针对NP难的肾脏交换问题，提出无监督GNN结合确定性搜索启发式的两阶段方法，实验表明其解质量优于整数规划、贪心启发式和单独GNN，平均价值为确定性启发式的1.1倍。
2023-04-19 cs.AI cs.LG
Making Large Language Models Better Reasoners with Step-Aware Verifier
Microsoft Research Asia（微软亚洲研究院）；Microsoft Corporation（微软公司）；Peking University（北京大学）
提出DIVERSE方法，通过生成多样化推理路径、加权投票过滤错误答案及逐步验证推理步骤，显著提升了大型语言模型在GSM8K等推理基准上的性能。
2023-05-24 cs.AI cs.CL
Do We Need to Verify Step by Step? Rethinking Process Supervision from a Theoretical Perspective
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文从理论角度证明，在标准数据覆盖假设下，结果监督与过程监督在统计难度上等价，并揭示性能差距源于算法局限而非统计困难。
2025-03-26 cs.AI cs.LG stat.ML
RATIONALYST: Mining Implicit Rationales for Process Supervision of Reasoning
Johns Hopkins University（约翰霍普金斯大学）；University of Notre Dame（诺特大学）
针对大语言模型推理步骤常缺失隐式依据的问题，提出RATIONALYST模型，从大规模无标注数据提取推理依据预训练，基于LLaMa-3-8B微调后在7个推理基准上平均提升3.9%准确率，性能优于更大验证器和同规模微调模型。
2025-06-14 cs.AI cs.CL
Viva La Vida: Verification and Accumulation Failures in Multi-Agent Proof Search
University of California, Berkeley（加州大学伯克利分校）
研究多智能体证明搜索中验证失败与信息累积问题，发现验证器一致性与API错误导致接受困难、单一验证器误报及引理提取污染，强调监督作为信任边界需区分弃权与拒绝。
2026-10-06 cs.AI cs.CL cs.MA
Solving VeriContest with a Lean-Backed Rust Verifier
Asymptotic（Asymptotic公司）
本文用 Lean 4 支撑的 Rust 验证器 Rust-Prover 解决了 VeriContest 基准中的证明生成任务，证明了全部 1325 个定理，多数在低成本下完成，且翻译程序输出与 Rust 一致。
2026-10-12 cs.AI cs.LO cs.SE
LLM2: Let Large Language Models Harness System 2 Reasoning
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出LLM2框架，结合大语言模型（系统1）与基于过程的验证器（系统2），通过过程监督提升数学推理准确率，在GSM8K上使Llama3-1B准确率提升7.5个百分点，并与自一致性结合进一步大幅提升。
2025-02-28 cs.AI cs.CL
Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification
Georgia Institute of Technology（佐治亚理工学院）
本文提出 SGV 方法，通过自我 grounded 验证缓解 MLLM 的同意偏差，提升验证准确性和任务完成率。
2026-11-13 cs.AI cs.CL cs.LG
HuatuoGPT-o1, Towards Medical Complex Reasoning with LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出HuatuoGPT-o1医学大语言模型，通过可验证医学问题与验证器引导的微调和强化学习两阶段方法，仅用40K问题即超越通用和医学专用基线，证明复杂推理能显著提升医学问题求解能力。
2024-12-25 cs.AI cs.CL cs.LG
VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct
Tsinghua University（清华大学）；Tencent Hunyuan（腾讯混元）
提出VeriEvol框架，通过类型感知进化模块生成更难的问题，并利用HTV-Agent验证器确保答案可靠性，从而在强化学习中扩展多模态数学推理数据，提升模型性能。
2026-06-23 cs.AI cs.CL cs.CV
StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning
本研究提出StructReward框架，通过结构化步骤级奖励对齐结合GRPO目标等方式，在无额外验证器的情况下降低多模态强化学习开销，实现自修正多模态推理。
2026-08-12 cs.AI
GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Zhejiang University of Technology（浙江工业大学）
本文提出 GUI-Shepherd 过程奖励模型，利用 52k 条带人工评分与 GPT-4o 理由的交互数据，为长序列 GUI 智能体提供密集步骤反馈与推理验证，并在 AndroidWorld 和 AndroidControl 上取得稳定提升。
2025-09-28 cs.AI
FREA: A Multi-Source Expert Benchmark for Reaction Feasibility Verification
The Ohio State University（俄亥俄州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
FREA基准评估反应可行性验证器，发现无验证器在所有来源上领先，前向模型在逆合成提议上最佳但拒绝可行编辑，负监督提升有限，需跨来源评估并设计迁移负候选。
2026-10-06 cs.AI
Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers
研究针对将LLMs推理能力扩展到其他领域的挑战，提出Loong项目这一开源框架，由LoongBench和LoongEnv组成，通过它们形成强化学习的智能体-环境循环，经实验评估及对合成数据的分析，推动推理密集型领域发展。
2026-07-28 cs.AI cs.LG
StepORLM: A Self-Evolving Framework With Generative Process Supervision For Operations Research Language Models
Shanghai Jiao Tong University（上海交通大学）
针对大语言模型求解运筹学问题时强化学习存在的信用分配与过程监督短视问题，提出带生成式过程监督的自进化框架StepORLM，通过策略模型与GenPRM协同进化及双反馈机制，在6个基准上取得SOTA，GenPRM还可提升多模型推理扩展性能。
2025-10-01 cs.AI
Bolzano: From Expert-Guided Proof Search to Automated Open-Problem Solving
Computer Science Institute, Charles University（查尔斯大学计算机科学研究所）；Institute of Formal and Applied Linguistics, Charles University（查尔斯大学形式与应用语言学研究所）；Department of Applied Mathematics, Charles University（查尔斯大学应用数学系）；Institute of Mathematics, Czech Academy of Sciences（捷克科学院数学研究所）
本文介绍多智能体开源系统Bolzano，通过并行证明智能体和验证智能体，在无人工指导下解决了约3800个开放问题中的约200个，并在STOC 2026论文中确认回答了四个问题。
2026-10-12 cs.AI cs.CL
Abstracting Concept-Changing Rules for Solving Raven's Progressive Matrix Problems
Fudan University（复旦大学）
本文提出深度潜变量模型 CRAB，在无规则标注或候选干扰项等辅助监督下学习可解释概念并抽象全局概念变化规则，提升 RPM 任意位置答案生成性能与可解释性。
2023-07-15 cs.AI
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（奥多比研究院）；University of Virginia（弗吉尼亚大学）；University of Toronto（多伦多大学）；University of New South Wales（新南威尔士大学）
针对 GRPO 无法从全失败问题中学习的缺陷，提出 RSHD 方法，通过筛选失败尝试生成的纠正说明恢复监督信号，在多模型及领域中均实现优于 GRPO 的性能。
2026-10-16 cs.AI stat.ML
Efficient Paths and Dense Rewards: Probabilistic Flow Reasoning for Large Language Models
Meituan（美团）；Tsinghua University（清华大学）；Peking University（北京大学）；Dalian University of Technology（大连理工大学）
CoT-Flow通过概率流框架提升大语言模型的推理效率与性能，采用流引导解码和流强化学习方法实现信息高效推理路径和密集奖励函数。
2026-01-14 cs.AI
GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于图的验证方法GraphReason，通过将LLM生成的多个推理解决方案表示为推理图并进行分析验证，显著提升了大型语言模型的推理能力，且优于现有验证器方法。
2024-04-21 cs.AI
STAR-PólyaMath: Multi-Agent Reasoning under Persistent Meta-Strategic Supervision
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；New York University（纽约大学）；MIT（麻省理工学院）
本文提出STAR-PólyaMath多智能体框架，通过元级监督和结构化的推理-验证交互系统性解决数学推理中的幻觉积累、记忆碎片化和推理工具平衡问题，并在多个顶级竞赛基准上取得最佳成绩。
2026-05-19 cs.AI cs.CL cs.MA
Do Language Models Need Music Supervision? Verifiable Rewards for Multi-Constraint Symbolic Music Generation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳市未来智联网络研究院）
针对约束跟随音乐生成，提出MusicRLVR方法，利用验证器提供分级奖励，在MusicConstraintBench上显著提升模型性能，并泛化至未见组合。
2026-10-14 cs.AI cs.SD
TrajAD: Trajectory Anomaly Detection for Trustworthy LLM Agents
School of Software, Shandong University（山东大学软件学院）；Sonli Holding Group Co., Ltd.（山东利集团有限公司）；Shandong Huazhi Talent Technology Co., Ltd.（山东华智人才科技有限公司）；Information Technology Service Center of People’s Court（人民法院信息技术服务中心）
TrajAD通过细粒度过程监督训练的专用验证器，解决大语言模型代理轨迹异常检测问题，提升过程可靠性。
2026-02-06 cs.AI cs.CR
ANCHOR: Branch-Point Data Generation for GUI Agents
Yale University（耶鲁大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
ANCHOR通过分支点生成高质量交互数据，提升桌面环境GUI代理的训练效果和泛化能力。
2026-04-12 cs.AI
Leveraging Skill-to-Skill Supervision for Knowledge Tracing
Turing AI Research（图灵人工智能研究院）；University of Seoul（首尔大学）
针对知识追踪中题目知识研究不足、数据有限及冷启动难题，引入专家标注的技能间关系并提出新模型构建方法，性能优于Transformer基线，且数据有限时优势更显著、冷启动更平稳。
2023-06-12 cs.AI
Knowledge-Graph Paths as Intermediate Supervision for Self-Evolving Search Agents
Xiaohongshu Inc.（小红书公司）
本文通过利用知识图谱路径作为中间监督，改进自演化搜索代理的提问生成和奖励塑造，解决传统方法中提问孤立和奖励信息不足的问题，提升多跳问答性能。
2026-05-07 cs.AI
Fuse, Reason and Verify: Geometry Problem Solving with Parsed Clauses from Diagram
针对几何问题求解的多模态理解与推理需求，提出含模态融合、自受限推理、多级验证的神经符号模型PGPSNet-v2，构建PGPS9K数据集，实验显示其性能优于现有求解器且各组件有效。
2024-07-10 cs.AI
LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning
Zhejiang University（浙江大学）
研究多轮搜索推理中强化学习依赖终端结果奖励的问题，提出基于反向留一回合归因的LAPO方法，无需额外模型，在七个问答数据集上取得较好成绩，证明策略追溯归因能为多轮搜索智能体提供有效过程监督。
2026-07-17 cs.AI
From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents
National University of Singapore（新加坡国立大学）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；King’s College London（伦敦国王学院）
本文提出Patches-to-Trajectories (P2T)方法，通过利用开发者撰写的参考补丁来改进软件工程代理的训练过程，提高训练效果和效率。
2026-05-21 cs.AI cs.SE
