Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective
Beijing Institute of Technology（北京理工大学）；Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。
2026-09-21 cs.AI cs.LG
Boosting Reinforcement Learning with Verifiable Rewards via Randomly Selected Few-Shot Guidance
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出FEST算法，通过随机选择的少样本引导提升可验证奖励的强化学习，仅需128个演示即可获得优于基线的结果，关键在于监督信号、在线信号和衰减权重。
2026-05-14 cs.AI cs.CL cs.LG
Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR
University of Pennsylvania（宾夕法尼亚大学）；New Jersey Institute of Technology（新泽西理工学院）；University of Tennessee Knoxville（田纳西大学肯纳邦克分校）
本文提出 HORA 方法，通过最大化 hit-utility 提升 RLVR 的效率，实验证明其在多个基准上优于 GRPO，且兼容其他组基估计器。
2026-05-08 cs.LG
How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization
Meituan（美团）；Tsinghua University（清华大学）；Fudan University（复旦大学）；Peking University（北京大学）
DynaMO通过动态回放分配和梯度感知优势调节，优化策略学习中的资源分配与梯度更新稳定性，提升数学推理任务的性能。
2026-02-22 cs.AI cs.LG
Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出PODS方法，通过下采样回放来减少策略更新成本，提升学习效率。
2026-04-22 cs.AI cs.CL cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
Early Verdicts, Better Budgets: Sequential Adaptive Rollout Allocation for Compute-Efficient RLVR
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
针对RLVR中饱和组导致的rollout浪费问题，提出SARA方法，通过序贯分配规则减少rollout用量，在1.5B/3B模型上实现高效计算的同时保持性能。
2026-07-30 cs.LG
Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards
本文提出分块优势估计方法，用于多目标强化学习，通过为每个目标分配独立优势减少奖励干扰，提升结构化生成任务的优化效果。
2026-02-10 cs.AI cs.CL cs.LG
Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究针对强化学习中GRPO方法计算昂贵且不稳定的问题，提出VIGOR方法，通过方差引导在线分配展开，理论上推导其加速比，实验表明该方法在数学推理和编码任务中能减少展开次数并提升通过率。
2026-07-27 cs.AI
DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards
Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
DUET通过联合调整令牌预算分配的两个维度，提升强化学习的推理质量和训练效率，同时在多个基准测试中表现优异，且在预算减少时性能优势扩大。
2026-05-08 cs.AI cs.LG
Cross-Epoch Adaptive Rollout Optimization for RL Post-Training
Department of Industrial Engineering & Decision Analytics, Hong Kong University of Science and Technology（工业工程与决策分析系，香港科学与技术大学）
针对提示词训练信号差异大的问题，提出CERO方法，通过贝叶斯估计提示词成功概率并利用Fenchel对偶优化自适应分配展开预算，在固定总预算下提升样本效率。
2026-06-04 cs.AI cs.LG math.OC
A Rollout-Based Algorithm and Reward Function for Resource Allocation in Business Processes
Eindhoven University of Technology Department of Industrial Engineering（埃因霍温理工大学工业工程与创新科学系）
针对现有深度强化学习方法不适用于业务流程动态环境、依赖人工设计奖励函数易导致次优策略的问题，提出基于rollout的DRL算法与直接分解最小化周期时间目标的奖励函数，在多场景与真实规模流程上性能优于或持平最佳启发式方法。
2025-09-02 cs.AI cs.LG
Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
HDL通过事后分歧定位选择分支点，复用根前缀生成延续，减少生成成本并提升RLVR在数学、代码和智能体任务上的性能与效率。
2026-09-30 cs.LG
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
CARE通过对比锚定反射框架，将错误转化为监督信号，提升多模态推理的准确性和训练平滑度，在六个可验证视觉推理基准上提升4.6个百分点。
2026-03-15 cs.AI cs.LG
PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
针对RLVR中自适应rollout分配的统计不匹配问题，提出PAIR方法，通过成对对比图校正梯度估计，在Qwen3模型上提升准确率同时减少token使用量。
2026-08-14 cs.LG
Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward
Gaoling School of Artificial Intelligence, Renmin University of China 2 Ant Group（中国人民大学北京校区人工智能学院，中国人民大学 2 抗集团）
针对强化学习中RLVR方法训练成本高、数据效率低的问题，提出结合离线在线数据选择与重放机制的DEPO流水线，仅用20%数据就在多个基准上实现显著加速并超越现有方法。
2025-09-01 cs.CL cs.LG
Diversifying RLVR Rollouts via First-Token Exploration
Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
本文提出 REFT 方法，通过在推理标记后的第一个 token 处进行均匀采样多样化，以低开销显著提升 RLVR 中 rollout 的多样性，从而改善推理模型的 Pass@k 性能。
2026-09-30 cs.AI cs.CL cs.LG
PhoneWorld: From Real-App Trajectories to Dynamic and Verifiable Environments for Phone-Use Agents
Tencent Hunyuan（腾讯文英）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院（ Gallagher 学院））
提出PhoneWorld，一个可复用的管道，将真实GUI轨迹和截图转化为可控的手机使用环境、可执行任务、自动验证器和训练回滚，从而规模化构建手机代理环境。
2026-09-29 cs.AI cs.CL cs.LG
SPEC-RL: Accelerating On-Policy Reinforcement Learning with Speculative Rollouts
School of Informatics, Xiamen University（厦门大学信息学院）；LLM Team, Shopee Pte. Ltd.（Shopee公司语言模型团队）；Tsinghua University（清华大学）
SPEC-RL通过整合推测解码技术，有效减少强化学习回放阶段的计算开销，提升大模型推理能力。
2026-01-12 cs.AI cs.CL cs.LG
SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL
Tsinghua University（清华大学）
研究针对计算机使用代理扩展能力受限问题，提出ScaleCUA框架，通过可验证任务合成及高效训练实现。包括设计VeriGen生成任务、前沿采样提高效率、视觉上下文分割加速训练，在相关平台取得新的最优性能。
2026-07-14 cs.AI
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
Dublin City University（都柏林城市大学）
该研究发现在线策略自蒸馏的评分信号无法有效纠正推理错误，提出基于批判的自蒸馏方法，通过生成批判优化信号，提升了错误定位与数学问题求解能力。
2026-10-12 cs.AI cs.CL cs.LG
Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）；Computer Science and Engineering（计算机科学与工程）
本文提出POISE方法，通过利用策略模型内部信号在强化学习中实现高效的基线估计，减少方差并提高训练稳定性，适用于数学推理任务。
2026-10-06 cs.AI cs.CL cs.LG
Efficient RLVR Scheduling via Graph-Structured Online Difficulty Estimation
该研究针对RLVR中探索预算分配低效问题，提出即插即用的图结构在线难度估计器，可跨样本共享反馈、缓解冷启动与过时问题，集成后实现难度自适应探索，在多模型与基准上性能更优。
2026-08-19 cs.AI cs.CL cs.LG
Rollout-Level Advantage-Prioritized Experience Replay for GRPO
Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系）；Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心）
针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。
2026-09-09 cs.AI cs.LG
Mitigating Lost in Multi-turn Conversation via Curriculum RL with Verifiable Accuracy and Abstention Rewards
University of Maryland（马里兰大学）；Amazon（亚马逊）
本文提出RLAAR框架，通过可验证准确性和回避奖励的课程强化学习，减少多轮对话中因提前回答导致的性能下降，提升模型可靠性。
2026-04-29 cs.AI cs.CL cs.LG
Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback
Technische Universität Berlin（柏林工业大学）
研究强化学习训练后计算资源分配问题，引入浮点运算核算框架，通过LoRA适配的Qwen2.5策略发现条件分配前沿，揭示模型选择与训练分配关联及奖励系统对核算影响，提出RACE协议，建议相关论文报告总浮点运算及计算分配方式。
2026-07-16 cs.CL cs.LG
Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation
NVIDIA（英伟达）
该研究针对可验证奖励强化学习的奖励噪声问题，提出双展开强化学习算法，通过截断推理轨迹并采样后续内容估计奖励，在数学、编码任务及 Qwen、Nemotron 模型上提升了推理 RL 的准确性与 token 效率。
2026-10-14 cs.AI
KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
KAIST（韩国科学技术院）；NAVER Cloud（NAVER云）；AITRICS
针对RLVR异步rollout的KV缓存量化问题，提出KV4-RL方法，结合INT4 KV量化与选择性INT8保护，在Qwen3模型训练中实现显著加速且精度损失极小。
2026-10-14 cs.AI cs.LG
ThinkPrior: Zero-Rollout Difficulty Priors for Cold-Start Prompt Selection in RLVR
Stony Brook University（石溪大学）；University of Minnesota Twin Cities（明尼苏达大学双城校区）
ThinkPrior利用外部锚点构建零回滚难度先验，在RLVR中冷启动选择提示，减少早期静默组和浪费回滚，且不损害最终准确率。
2026-09-15 cs.AI cs.LG
EchoRL: Reinforcement Learning via Rollout Echoing
Munich Center for Machine Learning（慕尼黑机器学习中心）；Huawei Heisenberg Research Center（华为海森堡研究所以）；University of Arizona（亚利桑那大学）；College of Computing（计算学院）；Data Science, Nanyang Technological University, Singapore（数据科学，南洋理工大学，新加坡）；MemAgents Lab（MemAgents实验室）
针对RLVR训练中优势退化问题，提出EchoRL模块，通过从成功回滚中提取EchoClip作为辅助监督信号，持续提升训练性能。
2026-05-29 cs.AI cs.LG
$V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts
$V_{0.5}$通过融合价值模型先验与稀疏rollouts的实证均值，构建稳健基线以提升稀疏强化学习的效率和稳定性。
2026-03-11 cs.AI cs.CL cs.LG
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University（清华大学 LeapLab）；Qiuzhen College, Tsinghua University（清华大学 旗正学院）
该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
Train Less, Learn More: Adaptive Efficient Rollout Optimization for Group-Based Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon Web Services（亚马逊网络服务）
AERO通过自适应回滚策略和选择性拒绝提升群体强化学习的计算效率，减少48%的训练计算并缩短45%的训练时间，同时保持或提升性能。
2026-02-15 cs.AI cs.LG
Stable and Efficient Single-Rollout RL for Multimodal Reasoning
Tencent AI Lab（腾讯AI实验室）；University of Maryland（马里兰大学）；University of Virginia（弗吉尼亚大学）；University of Notre Dame（诺特大学）
MSSR通过熵基优势塑造机制，实现多模态推理中的稳定高效单次迭代强化学习。
2025-12-20 cs.AI cs.CL cs.CV
BASIS: Batchwise Advantage Estimation from Single-Rollout Information Sharing for LLM Reasoning
University of Science and Technology of China（中国科学技术大学）；London School of Economics and Political Science（伦敦政治经济学院）；University of Oxford（牛津大学）
提出BASIS算法，通过单次采样和批次内信息共享改进价值函数估计，在减少计算开销的同时提升策略优化性能。
2026-09-16 cs.LG stat.ML
Group Adaptive Clipping Policy Optimization
University of Toronto（多伦多大学）；Amazon（亚马逊公司）
该研究针对GRPO的固定裁剪局限，提出GAPO方法，通过自适应调整裁剪边界提升了Qwen、Llama模型在低通过率数学推理与编码任务上的Pass@1和Pass@k指标。
2026-09-02 cs.CL cs.LG
Beyond Scalar IoU: Structured Verification from Rollout Groups for Video Temporal Grounding
PYLER
提出SUTURE，利用rollout组联合结构（不一致性与覆盖率）改进视频时序定位的验证器，超越标量IoU，在五个基准上提升性能。
2026-10-07 cs.AI
Prorsa: Unleashing the Potential of Prefill-Decode Disaggregation in Agentic Reinforcement Learning
School of Computer Science, Peking University（北京大学计算机学院）；LLM-Core Xiaomi（小米LLM核心部门）
Prorsa是一个智能体RL框架，通过预测引导的预填-解码资源分配，在同步和异步设置下实现1.11-4.05倍的端到端推理加速，提升了智能体RL的效率。
2026-10-14 cs.DC cs.LG
Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
KAIST（韩国科学技术院）；AITRICS
针对RLVR中全失败组缺乏策略梯度信号的问题，提出离策略感知的GRAFT框架，通过跨模型交换同伴轨迹并控制不匹配，在相同预算下提升异构模型性能，平均增益2.1点。
2026-09-30 cs.AI cs.CL cs.LG
Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Intel（英特尔）；Amazon AGI（亚马逊AGI）
针对RLVR中长上下文rollout计算昂贵的问题，提出Sparrow方法，通过动态稀疏度调度保持token级策略失配的下尾统计量稳定，在Qwen3系列模型上实现2.0-2.4倍加速，并推广到更大模型和编程领域。
2026-06-07 cs.AI cs.LG
IsoCompute Playbook: Optimally Scaling Sampling Compute for LLM RL
UC San Diego（UC圣地亚哥大学）；MBZUAI-IFM；Carnegie Mellon University（卡内基梅隆大学）
本文研究了LLM RL中采样计算的最优分配，发现并行回放数随计算预算增加而增加并饱和，不同问题驱动机制不同，且增加并行回放可减少干扰，问题数影响训练稳定性。
2026-03-12 cs.AI cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
Zhejiang University（浙江大学）；Nanjing University（南京大学）；National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
CoBA-RL通过基于能力的价值函数和堆贪心策略，优化大语言模型强化学习中的预算分配，提升训练效率和泛化能力。
2026-02-06 cs.AI cs.LG
Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection
Faculty of Information Technology, Monash University, Melbourne, Australia（信息技术学院，墨尔本大学，澳大利亚）
提出SHIFT方法，通过单次推理展开的隐藏状态变化（RIRS）作为实例效用代理，结合质量加权CoreSet覆盖，实现无训练、无标签的RLVR数据选择，在数学推理和医学QA上优于基线。
2026-05-27 cs.LG
Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR
University of New South Wales (UNSW Sydney)（新南威尔士大学（新南威尔士大学悉尼分校））
针对RLVR中回滚轨迹相似导致优势信号弱的问题，提出EDEN方法，通过锚定噪声扰动回滚源提升探索性，在数学推理基准上优于GRPO等方法。
2026-10-14 cs.LG
Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification
Department of Computer Science, Aarhus University（计算机科学系，阿arhus大学）；Baidu Inc.（百度公司）
本文提出LENS框架，通过去除干扰标记提升强化学习推理效率，实验显示其在数学推理和科学推理中性能更优，收敛更快。
2026-04-20 cs.AI cs.CL cs.LG
SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter
Bilibili Inc.（哔哩哔哩公司）；Fudan University（复旦大学）；Zhejiang University（浙江大学）
针对 GRPO 风格组归一化中增加 rollout 数量导致梯度抵消的问题，提出 SALT 组件，通过子空间自适应重加权组相对更新系数，改善更新几何并提升性能。
2026-06-04 cs.LG
QuRL: Efficient Reinforcement Learning with Quantized Rollout
NVIDIA Research（NVIDIA研究）
QuRL通过量化动作器和自适应截断范围技术，显著提升强化学习回滚效率，实现20%-80%的加速
2026-02-15 cs.LG
Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models
Department of Computer Science Anonymous University（计算机科学系 匿名大学）
EGSPO通过token级梯度分配提升大型语言模型的混合训练效果，实现数学推理任务的性能提升并降低计算开销。
2026-02-03 cs.AI cs.LG
Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration
National University of Singapore（新加坡国立大学）；Ant Group（蚂蚁集团）
PREPO通过利用内在数据属性提升大语言模型强化学习的数据效率，减少回放需求同时保持性能。
2026-02-19 cs.AI cs.LG
Online Self-Weighted Fine-Tuning
University of Liverpool（利物浦大学）；University of Sheffield（谢菲尔德大学）
该研究提出在线自加权微调（OSW-FT）方法，通过少量在线rollout估计模型成功率以调整SFT损失，在Qwen3系列模型上提升了中小规模模型在二元可验证推理任务的性能，计算性能权衡良好。
2026-09-02 cs.LG
Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对RLVR中推理覆盖不足的问题，提出难度自适应句子熵引导树结构策略优化（DATPO），通过树搜索与多样性优势项扩展pass@k，在数学推理基准上取得更优性能。
2026-09-09 cs.AI cs.CL cs.LG
Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts
Mila - Québec AI Institute, Canada（魁北克人工智能研究所）；Huawei Noah's Ark Lab (Montreal Research Center), Canada（华为诺亚实验室（蒙特利尔研究中心））；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
研究针对大语言模型在数学推理等领域的高级推理难题，提出Nested-ReFT框架，利用离策略展开及动态层跳过降低训练推理成本，经理论与实证分析验证其有效性，还探索偏差缓解变体以维持性能。
2026-07-14 cs.AI cs.CL cs.LG
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
S³R通过自稀疏投机解码，在不改变策略优化响应组的前提下，减少RLVR的KV缓存流量，提升训练吞吐量并保持任务稳定性，在Qwen3模型上实现1.39倍、1.35倍的训练吞吐量提升。
2026-10-12 cs.CL cs.LG
