Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards
DP Technology（DP技术）
本文提出MR-RLVR方法，通过掩码与重排自监督学习提升RLVR在仅结果可验证场景下的可扩展性和性能。
2025-11-21 cs.AI cs.CL cs.LG
Lessons from Training Grounded LLMs with Verifiable Rewards
本研究利用GRPO和可验证奖励训练接地LLM，通过两阶段优化提升答案正确性、引用充分性与拒绝质量，实验证明推理增强显著优于仅指令调优。
2025-06-18 cs.CL
EviGen: Predictive Evidence Scaffolding for Verifiable Clinical Rationale Generation
Duke University（杜克大学）
EviGen提出三层框架，通过预测性检索、LLM生成和过程监督验证，提升临床推理的可验证性与忠实度，优于现有基线。
2026-09-17 cs.CL
BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning
Department of Mechanical Engineering（机械工程系）；Massachusetts Institute of Technology（麻省理工学院）；Department of Civil and Environmental Engineering（土木与环境工程系）；Schwarzman College of Computing（施瓦茨曼计算学院）
BeamPERL通过参数高效强化学习与可验证奖励，提升紧凑语言模型在结构梁力学推理中的能力，发现精确奖励无法保证可转移的物理推理，需结合结构化推理支架以实现稳健科学推理。
2026-03-04 cond-mat.mtrl-sci cs.AI cs.CL
Learning to Generate Formally Verifiable Step-by-Step Logic Reasoning via Structured Formal Intermediaries
Wangxuan Institue of Computer Technology, Peking University（北京大学王选计算机技术研究所）
本文提出PRoSFI方法，通过形式验证提升推理可靠性，利用结构化中间步骤和形式证明验证生成可信的逐步推理过程。
2026-03-31 cs.AI cs.LG
Extending RLVR to Open-Ended Tasks via Verifiable Multiple-Choice Reformulation
Baidu Ernie Team（百度文心团队）
本文提出VMR-RLVR方法，通过将开放性任务数据转化为可验证的多选格式，提升LLM在无明确真实值情况下开放性任务的推理能力。
2026-02-04 cs.AI
LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards
National University of Singapore（国立新加坡大学）；MiroMind AI；absolute AI
LongRLVR通过引入可验证的上下文奖励，解决长上下文强化学习中因稀疏奖励导致的梯度消失问题，显著提升大语言模型的推理能力。
2026-03-02 cs.CL
PerMix-RLVR: Preserving Persona Expressivity under Verifiable-Reward Alignment
KAIST AI（韩国科学技术院人工智能系）；Samsung Advanced Institute of Technology（三星高级技术研究院）；Seoul National University（首尔国立大学）
本文提出PerMix-RLVR方法，通过训练阶段处理人物敏感性，平衡模型在不同人物设定下的鲁棒性和表现真实性，提升任务性能和人物表达 fidelity。
2026-04-10 cs.AI cs.CL
ReverseMath: Answer Inversion for Scalable and Verifiable Mathematical Problem Generation
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心 (MCML)）；Saarland University（萨尔兰州大学）
提出ReverseMath方法，通过反转原始问题的输入输出关系自动生成新数学问题，用于评估和训练，揭示记忆行为并提升推理性能。
2026-05-26 cs.CL
Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards
Tencent（腾讯）；CUHK（香港中文大学）
针对大语言模型在可验证奖励强化学习中存在的浅层自我反思问题，提出集成式在线强化学习框架RISE，同步训练求解与自验证能力，在数学推理基准上实现准确率与自验证能力的同步提升。
2025-05-19 cs.AI cs.CL
GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
GameWorld提出一个标准化且可验证的多模态游戏代理评估基准，包含34种游戏和170个任务，通过可验证的指标评估代理能力，揭示了当前代理在视频游戏中与人类能力的差距。
2026-04-08 cs.AI cs.CV cs.HC
EngTrace: A Symbolic Benchmark for Verifiable Process Evaluation of Engineering Reasoning
Namal University（纳马尔大学）；MBZUAI（马克斯·普朗克智能人工智能研究所）；The University of Tokyo（东京大学）
提出EngTrace符号基准，包含1350个参数化测试用例，通过两阶段可验证评估框架（分层协议+AI仲裁）检验中间推理轨迹与最终答案，揭示数值精度与轨迹保真度的权衡。
2026-10-20 cs.AI cs.CL cs.LG
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University（清华大学 LeapLab）；Qiuzhen College, Tsinghua University（清华大学 旗正学院）
该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
SelfEvoSkill: Paired Execution Audits for Skill Revision without External Outcome Supervision
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
提出SkillAudit框架，通过配对轨迹审计和过程对齐对比评估，无需真实反馈即可进化智能体技能，在89个任务中平均奖励达73.9%。
2026-10-06 cs.AI
Maximizing Mutual Information Between Prompt and Response Improves LLM Performance With No Additional Data
University of California, Berkeley（加州大学伯克利分校）
提出互信息偏好优化（MIPO）方法，通过对比数据增强构建偏好对，利用直接偏好优化最大化提示与响应间的点互信息，无需额外数据或外部监督即可提升LLM在个性化和可验证任务上的性能。
2026-07-02 cs.AI cs.CL cs.LG
ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs
Shanghai Jiao Tong University Ant Group（上海交通大学-蚂蚁集团）
本文提出ConfClip方法，将可验证结果与模型置信度估计相结合，为LLM强化学习提供更细粒度的奖励信号，在多个数据集上提升RL性能并降低推理token消耗，且可作为即插即用模块增强现有先进RL方法。
2025-09-22 cs.CL cs.LG
Geo-Strat-RL: Learning Geological Event Reasoning from Verifiable Tasks
提出Geo-Strat-RL合成环境，通过可验证奖励的强化学习（RLVR）训练视觉语言模型进行地质事件重建，并证明从地层图学到的推理可迁移至合成地震数据。
2026-06-25 cs.AI cs.LG physics.geo-ph
TRACE: Tourism Recommendation with Accountable Citation Evidence
UNSW Sydney（新南威尔士大学悉尼分校）；University of Adelaide（阿德莱德大学）；Yonsei University（延世大学）；USTC（中国科学技术大学）
TRACE通过多轮对话结合评论引用和显式拒绝机制，解决旅游推荐中信任、可验证性和适应性问题，提出三项能力差距并验证评估方法。
2026-05-08 cs.AI cs.CL cs.IR
Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short
University of Cambridge（剑桥大学）；Mistral AI
提出推理竞技场框架，通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号，结合Bradley-Terry模型高效整合强化学习，在数学和编码基准上平均提升7.6%，加速训练27%-41%。
2026-06-08 cs.AI cs.CL cs.LG
Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards
Arizona State University（亚利桑那州立大学）；University of Houston（休斯顿大学）；The Ohio State University（俄亥俄州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出CoSIR后训练方法，通过贝叶斯评估器设计信息奖励，训练Qwen3系列及Gemma-3模型，使其在7个未见过的自然语言协作任务中实现最优综合得分，提升了智能体协作的证据披露与输入使用能力。
2026-10-14 cs.AI cs.CL cs.LG
From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
Dialpad Inc.（Dialpad公司）
本文提出了一种可重复和可验证的框架，用于评估基于语音的工具调用LLM代理，通过文本到语音转换和环境噪声模拟，无需重新标注工具模式和黄金标签，从而在不重新标注的情况下评估工具调用性能。
2026-10-22 cs.CL
RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents
Tencent（腾讯）
RLVER通过可验证情绪奖励提升LLM的共情能力，实验显示其在对话任务中显著提升表现，尤其在情感理解和洞察力方面成效显著。
2025-07-03 cs.AI cs.CL cs.CY
Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
该研究针对大语言模型共情能力不足问题，提出双循环自演化框架，在SAGE数据集上显著提升Qwen3-8B的共情对话性能，优于对比方法。
2026-08-12 cs.CL
Language-Conditioned Token and Reasoning Efficiency in Large Language Models: A Paired Cross-Lingual Study Protocol
Accentrust；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一项配对跨语言协议，分离输入语言、痕迹语言与答案实现，通过47,520次核心运行和多项假设检验，严谨评估大语言模型的标记与推理效率。
2026-10-06 cs.AI cs.CL
Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs
该研究针对自动驾驶VLA模型的轨迹锚定偏差问题，提出AD-MCQ规划框架与DEFT-RLVR方法，将未来轨迹转化为决策后验证目标，提升了自动驾驶推理能力并保留了通用视觉能力。
2026-08-05 cs.AI
OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks
Tsinghua University（清华大学）
OpenLoopEvolve是面向长周期复杂任务的可验证自进化框架，通过在线与离线两种进化模式优化循环策略，在YC-Bench基准上提升了任务性能、成功率与风险指标。
2026-08-11 cs.AI
GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning
Tsinghua University（清华大学）；Shenzhen University（深圳大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出GRPO-VPS，通过在推理轨迹中探测模型对正确答案的信心，改进GRPO的轨迹级反馈，实现更精准高效的策略更新，实验显示在数学和通用领域任务中均取得显著提升。
2026-04-22 cs.AI cs.LG
SPHINX: A Synthetic Environment for Visual Perception and Reasoning
Rochester Institute of Technology（罗彻斯特理工学院）；University of Washington（华盛顿大学）
SPHINX通过生成具有可验证解的谜题，评估视觉感知与推理能力，发现大模型表现不足，RLVR方法显著提升性能。
2026-04-05 cs.AI cs.CV cs.LG
Beyond Outcome Feedback: Trajectory-Quality-Guided Experience-based Learning
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对现有基于经验的LLM智能体仅依赖结果反馈的局限，提出轨迹质量引导的经验学习框架TQG-Exp，引入轨迹质量损失与配对滚动执行优化经验，在三个基准上较基线实现显著性能提升。
2026-10-14 cs.AI
Clover: Closed-Loop Verifiable Code Generation
Stanford University（斯坦福大学）；VMware Research（威睿研究中心）
本文提出Clover范式，通过形式化验证工具与大型语言模型集成，在代码、文档字符串和形式化注释间进行一致性检查，有效过滤错误代码，在CloverBench上实现高达87%的接受率且无误报。
2024-11-16 cs.AI cs.LG cs.SE
Rate or Fate? RLV$^\varepsilon$R: Reinforcement Learning with Verifiable Noisy Rewards
Cognichip AI；University of Toronto（多伦多大学）
本文提出RLV$^\varepsilon$R框架，通过分析验证噪声对强化学习的影响，揭示了噪声如何影响学习速率与命运，并通过实验验证了在不同Youden指数下动态变化的相变特性。
2026-01-07 cs.AI cs.CL cs.LG
Self-evolving expertise in complex non-verifiable subject domains: dialogue as implicit meta-RL
University of Oxford（牛津大学）
针对复杂不可验证领域，提出Dialectica框架，通过结构化对话、记忆、自我反思和上下文编辑实现隐式元强化学习，实验证明其能显著提升智能体专长。
2025-10-17 cs.AI
Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
University of Edinburgh（爱丁堡大学）；Huawei Technologies Research & Development (UK) Limited（华为技术研发（英国）有限公司）
本文针对搜索智能体强化学习中稀疏结果奖励导致的信用分配难题，系统研究中间监督信号，提出结合中间信号与结果奖励的训练框架，并在多基准上验证了性能提升，凸显奖励设计与信用分配的关键作用。
2026-10-08 cs.AI cs.CL cs.LG
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill（UNC夏洛特山分校）
提出OGLS-SD框架，通过结果奖励校准教师对数几率，解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题，提升数学推理性能。
2026-05-29 cs.AI cs.LG
Loop-Back Authority in LLM Agent Teams: A Paired Experiment on Flat and Hierarchical Coordination
Leiden University（莱顿大学）
本研究通过配对实验对比扁平与层级LLM智能体团队，发现层级权威的修订循环降低输出质量，监督者仅在可验证时才有价值。
2026-10-08 cs.AI cs.CL cs.MA
SCOPE-RL: Optimizing Reasoning Paths Before and After Success
Baidu Inc.（百度公司）；Shandong University（山东大学）
研究针对可验证奖励强化学习中推理路径反馈不足问题，提出SCOPE-RL框架，分两阶段优化，成功前添加奖励，成功后细化轨迹，并经评估协议验证，相比仅结果的GRPO提升准确率、减少推理令牌，且与其他方法互补。
2026-07-16 cs.CL cs.LG
Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation
Peking University（北京大学）；William & Mary（威廉与玛丽学院）
本文提出 ORPS，利用可执行验证、树搜索与融合运行时反馈的自我批判评分统一过程和结果监督，在多模型多基准上显著提升代码正确性与效率。
2025-06-06 cs.AI cs.CL cs.LG
Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision
本研究针对多语言代码翻译中热门语言外场景并行监督稀缺、翻译不可执行的问题，提出基于执行监督的偏好强化学习方法，引入HumanEval-X++基准，用Qwen模型验证了方法的有效性。
2026-08-17 cs.CL
Multi-Session Client-Centered Treatment Outcome Evaluation in Psychotherapy
Australian AI Institute, University of Technology Sydney, Australia（澳大利亚人工智能研究所，悉尼技术大学，澳大利亚）；KU Leuven, Belgium（鲁汶大学，比利时）
本文提出IPAEval框架，通过整合跨会话客户情境评估与会话聚焦客户动态评估，从客户视角自动化评估治疗结果，实验显示其在多会话跟踪症状严重度和治疗效果方面优于基线方法。
2026-03-22 cs.CL
From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Models
Microsoft（微软）
本研究通过配对分析人类标注的提示和响应记录，探讨了大型语言模型在四个危害类别（性、自残、仇恨和暴力）和有序严重性级别上的安全行为，发现61%的响应比提示减少了危害，3%的响应升级了危害，并揭示了安全行为与无害性之间的权衡。
2026-07-15 cs.CL
Program Learning with Verifiable Rewards: Symbolic Backpropagation for Post-Training LLMs
CoreThink AI
本文提出PLVR方法，通过符号反向传播从输入输出示例学习显式程序，在代码基准上提升大语言模型推理能力，边际成本低且效果优于RL。
2026-10-02 cs.AI
MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft
MirrorCraft是用于Minecraft隐藏规则变化下评估智能体的配对基准，实验发现规则集对隐藏规则变化的影响差异显著，未提供规则描述时ReAct表现最优，提供规则可适度提升任务表现。
2026-10-26 cs.AI
Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models
KAIST AI（KAIST人工智能研究所）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Rice University（里士满大学）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；Sentient Labs（Sentient实验室）
本文提出VPS框架，通过联合优化预测准确性和推理质量，在可验证领域使语言模型同时获得准确和可靠的推理能力。
2026-08-07 cs.AI cs.CL
PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering
University of Science and Technology of China（中国科学技术大学）；StepFun（阶跃星辰）；Tsinghua University（清华大学）
PRIME是一个用于数学和工程中可验证推理的过程-结果对齐基准，通过评估验证器在推导过程中的准确性，提升了强化学习中可验证奖励的训练效果。
2026-02-12 cs.CL
Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本研究探究系统性验证错误对RLVR的影响，发现系统性误报会引发次优平台期或性能崩溃，验证器质量需结合错误模式而非仅样本级错误率评估。
2026-08-18 cs.AI cs.LG
Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
Georgia Institute of Technology（佐治亚理工学院）；Alibaba Token Foundry, Alibaba Group（阿里巴巴集团阿里通义实验室）
VHD-Play 通过先求解数学模型再生成有状态环境，以低成本产出多样智能体训练环境，显著提升智能体性能并泛化至外部基准。
2026-09-24 cs.AI cs.CL
Davinci-Tool: Scaling Agentic Tool-Use Supervision with Verifiable Executable Environments
Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）；University of Science and Technology of China（中国科学技术大学）；Southeast University（东南大学）
本研究推出30B工具使用模型Davinci-Tool及对应执行基础数据集，通过两条流水线生成3万余条验证轨迹，经微调与偏好优化后，在三个基准上以1/16参数规模超越更大模型。
2026-10-14 cs.AI cs.CL cs.LG
Scaling Verifiable Environments for Long-horizon Work Agents
Tencent（腾讯）；Fudan University（复旦大学）
提出WorkForge框架，从真实工作流构建可验证的工作智能体环境，通过事实锚点生成任务与验证器，在40个领域构建16.7K环境，显著提升模型性能并展现扩展规律。
2026-10-27 cs.AI cs.CL
MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
提出MobileGym，一个基于浏览器的轻量级、完全可控的移动环境，通过结构化JSON状态实现可验证结果信号和低成本并行强化学习，并附带包含416个参数化任务模板的基准测试集。
2026-09-24 cs.AI cs.CL
Can Language Models Learn to Forecast Stock Prices
Princeton University（普林斯顿大学）；InclusionAI；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本研究通过后训练（SFT+PPO）提升语言模型预测股票价格的能力，提出AURA-4B模型，在方向-幅度分数上从20.94翻倍至43.31，达到前沿水平，证明后训练可显著改善金融预测。
2026-09-30 cs.CL
Data Journalist Agent: Transforming Data into Verifiable Multimodal Stories
University of Oxford（牛津大学）；Stanford University（斯坦福大学）
提出多智能体框架Data2Story，通过证据链验证声明并自动生成多模态文章，在18篇文章上评估，证明其在透明性和可审计性上接近人类记者。
2026-09-18 cs.CL cs.CV cs.CY
