Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）；Texas A&M University（德克萨斯农工大学）
本文提出一种基于分布鲁棒优化的自适应偏好损失方法，通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性，并兼容DPO等框架，实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
ScalePRM: Training Process Reward Models by Scaling Verification Compute Without Ground Truth
Amazon AGI（亚马逊人工智能实验室）；UCLA（大学）
SPARK提出一种无参考强化学习框架，通过生成和验证模型提升过程奖励模型性能，在数学推理任务中取得优于真实参考的方法的成果。
2026-09-01 cs.AI cs.CL cs.LG
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems
NEC Corporation（日本电气公司）
该研究将N选最优采样视为响应的极端奖励尾部竞争，用极值理论刻画其渐近状态与有限样本缩放定律，提出尾部张力准则，经实验验证为可验证问题的N选最优采样提供统一视角。
2026-10-15 cs.AI cs.CL cs.LG
Reward Learning as Doubly Nonparametric Bandits: Optimal Design and Scaling Laws
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
对于像物体操作或驾驶这样的复杂任务来说，人工完成奖励功能具有挑战性。奖励学习试图通过使用人类对所选查询策略的反馈来学习奖励模型来解决这个问题。这将奖励规范的负担转移到查询的最佳设计上。我们提出了一个理论框架，研究奖励学习和相关的最优实验设计问题。我们的框架模型的奖励和政策属于再生核希尔伯特空间（RKHS）的子集的非参数函数。学习器接收（噪声）对真实奖励的oracle访问，并且必须输出在真实奖励下表现良好的策略。在这种情况下，我们首先推导出一个简单的插件估计基于岭回归的非渐近超额风险界。然后，我们解决了查询设计问题，通过优化这些风险边界方面的选择查询集，并获得有限的样本统计率，这主要取决于一个特定的线性算子上的RKHS的特征值谱。尽管这些结果的一般性，我们的界限比以前的界限更专门的问题。我们特别表明，高斯过程（GP）的强盗优化的研究问题是我们的框架的一个特殊情况下，我们的边界改善或竞争与已知的遗憾保证Matérn内核。
2023-02-23 cs.AI cs.LG stat.ML
Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling
Huawei Noah’s Ark Lab, Montréal, Canada（华为诺亚实验室，加拿大蒙特利尔）；McGill University and Mila - Québec AI Institute（麦吉尔大学和魁北克人工智能研究所）；Huawei Noah’s Ark Lab, Beijing, China（华为诺亚实验室，中国北京）
本文提出 Omni-Thinker 统一强化学习框架，通过混合奖励与 BWT 引导的任务调度扩展 LLM 多任务能力，并在四个领域显著优于联合训练和模型合并。
2025-09-26 cs.AI cs.LG
Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling
John A. Paulson School of Engineering And Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究学院）
本文提出一个可分析的模型，用于推理时间扩展，通过奖励加权采样器和贝叶斯线性回归，分析推理时间样本与一般化误差的关系，并展示在任务难度增加时该优势的退化。
2026-10-05 cs.AI cs.LG
Scaling Unverifiable Rewards: A Case Study on Visual Insights
University of Minnesota（明尼苏达大学）
本文提出Selective TTS框架，通过多阶段流程优化提升视觉洞察质量，实现计算预算固定下的性能提升。
2025-12-27 cs.AI cs.CL cs.LG
Inference-Time Scaling for Generalist Reward Modeling
DeepSeek-AI；Dept. of Computer Sci. & Tech., Tsinghua University（计算机科学与技术系，清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）
本研究提出自原则批评微调（SPCT）与并行采样及元RM投票机制，实现通用奖励建模的推理时扩展，显著提升奖励模型质量与可扩展性。
2025-09-25 cs.AI cs.CL cs.LG
Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy
Research, Skywork AI（2050研究, Skywork AI）
Skywork-Reward-V2通过人机协同扩大偏好数据整理，提出SynPref-40M数据集和两阶段流程，训练出八种参数不同的奖励模型，在多个基准中取得最佳性能。
2026-03-02 cs.AI cs.CL cs.LG
Scaling Laws for Reward Model Overoptimization
OpenAI（开放人工智能研究中心）
在基于人类反馈的强化学习中，通常会针对经过训练以预测人类偏好的奖励模型进行优化。由于奖励模型是一个不完美的代理，根据古德哈特定律，过度优化其价值可能会阻碍地面真实性能。这种效应经常被观察到，但由于收集人类偏好数据的费用而没有仔细测量。在这项工作中，我们使用一个合成的设置，其中一个固定的“黄金标准”奖励模型扮演人类的角色，提供标签用于训练代理奖励模型。我们研究了黄金奖励模型分数如何变化，因为我们使用强化学习或最佳$n$采样对代理奖励模型进行优化。我们发现，这种关系遵循不同的函数形式取决于优化的方法，在这两种情况下，其系数的规模顺利与奖励模型参数的数量。我们还研究了奖励模型数据集的大小、奖励模型和策略参数的数量以及在强化学习设置中添加到奖励的KL惩罚系数对这种关系的影响。我们探讨了这些实证结果对AI对齐理论考虑的影响。
2022-10-19 cs.LG stat.ML
Test-time scaling of diffusions with flow maps
NVIDIA（NVIDIA公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Harvard University（哈佛大学）；Kempner Institute（凯姆纳研究所）；IAIFI（IAIFI机构）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；Courant Institute, New York University（纽约大学应用数学学院）；ML Lab at Capital Fund Management (CFM)（Capital Fund Management (CFM)机器学习实验室）
本文提出通过流映射改进扩散模型测试时间性能，通过流映射与速度场关系构建FMTT算法，实现更优奖励上升并支持复杂图像编辑。
2026-11-10 cs.AI cs.LG
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University（斯坦福大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UT Austin（德克萨斯大学奥斯汀分校）
本研究针对直接对齐算法中的奖励过度优化问题，通过实证实验揭示其退化模式，并形式化定义了该问题，探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University（香港理工大学）；Sichuan University（四川大学）
研究如何让潜在推理器实现测试时扩展，引入代理潜在策略优化（SLPO），通过经验代理策略密度和正确性监督停止头，将结果奖励强化学习引入自回归潜在推理器，在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
Scaling data-driven robotics with reward sketching and batch reinforcement learning
Deepmind（深度思维）
我们提出了一个数据驱动的机器人框架，该框架利用记录机器人经验的大型数据集，并使用学习的奖励函数扩展到多个任务。我们展示了如何应用这个框架来完成三个不同的对象操作任务在一个真正的机器人平台上。给定任务的演示以及与任务无关的记录经验，我们使用一种特殊形式的人类注释作为监督来学习奖励函数，这使我们能够处理无法直接获得奖励信号的现实任务。学习奖励与来自不同任务的经验的大型数据集结合使用，以使用批RL离线学习机器人策略。我们表明，使用我们的方法，它是可能的训练代理执行各种具有挑战性的操作任务，包括堆叠刚性物体和处理布。
2020-06-04 cs.LG cs.RO
Rollout Roulette: A Probabilistic Inference Approach to Inference-Time Scaling of LLMs using Particle-Based Monte Carlo Methods
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；RedHat AI Innovation（红帽人工智能创新）
本文将LLM推理时间扩展视为概率推断任务，利用基于粒子的蒙特卡洛方法探索状态分布典型集，有效避免了奖励欺骗，在数学推理任务上实现了4-16倍于确定性搜索的扩展率。
2025-08-14 cs.AI cs.LG
Scaling up Energy-Aware Multi-Agent Reinforcement Learning for Mission-Oriented Drone Networks with Individual Reward
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, Colby College（科尔比学院计算机科学系）
提出基于个体奖励函数的能量感知多智能体强化学习模型，利用深度Q网络解决无人机网络动态环境和电池容量限制下的轨迹规划问题，实验表明在任务密度高时成功率接近100%，且扩展性优于共享奖励模型。
2026-05-24 cs.AI cs.LG cs.MA
AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
Rutgers University（新泽西州立大学）；Nanyang Technological University（南洋理工大学）；University of Connecticut（康涅狄格大学）；Fudan University（复旦大学）；NVIDIA Research（NVIDIA研究）；Red Hat AI Innovation（红帽AI创新）；MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出AIRL-S，通过强化学习与搜索技术的统一，利用奖励函数直接学习动态PRM，提升推理链扩展和跨任务泛化能力，实验显示性能提升9%并优于基线PRM。
2026-08-27 cs.AI cs.LG
Beyond Verifiable Rewards: Scaling Reinforcement Learning for Language Models to Unverifiable Data
Meta GenAI（Meta 生成式人工智能）；University College London（伦敦大学学院）；Meta FAIR
提出 JEPO 算法，通过将思维链视为潜变量并应用 Jensen 证据下界，将语言模型的强化学习扩展至不可验证数据，在长文本等任务上优于现有方法。
2025-05-28 cs.LG
Rethinking Reward Models for Multi-Domain Test-Time Scaling
KAIST（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）；TH Nürnberg
研究多领域测试时扩展的奖励模型，对四种奖励模型变体进行统一评估，发现dORM与dPRM相当，gPRM无竞争力，gORM最稳健，挑战细粒度监督更好的假设，支持生成式结果验证并公开代码。
2026-07-15 cs.AI
CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents
The University of Hong Kong（香港大学）；Qwen Team, Alibaba Inc.（阿里巴巴集团Qwen团队）；University of California, San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
提出CUA-Gym可扩展流水线，通过协同生成任务指令、环境状态和奖励函数，构建大规模可验证强化学习训练数据，并合成CUA-Gym-Hub模拟网络应用环境，训练出的智能体在OSWorld-Verified和WebArena上取得领先性能。
2026-06-08 cs.AI cs.LG
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed（字节跳动种子项目（或字节跳动Seed））
本文探索RLHF数据扩展瓶颈，提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法，并强调早期优先训练数学与编码任务，有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
Saffron-1: Safety Inference Scaling
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对LLM安全保证中推理扩展未探索的问题，提出SAFFRON范式，引入多叉奖励模型解决探索-效率困境，显著提升安全防护性能，并开源模型与数据集。
2025-07-09 cs.AI cs.CR cs.LG
CTTS: Collective Test-Time Scaling
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出集体测试时扩展框架 CTTS-MM，通过多智能体协作搜索与多奖励模型集成选择，在七个基准上显著超越 Best-of-N、GPT-4.1 等方法。
2025-09-28 cs.AI cs.CL
Logical Reasoning with Outcome Reward Models for Test-Time Scaling
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大学）
本文提出用于演绎逻辑推理的结果奖励模型，并通过回声生成技术扩展训练数据中的错误类型，在FOLIO、JustLogic和ProverQA数据集上提升了多个LLMs的推理性能。
2025-08-27 cs.AI cs.CL
$\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
SPECS通过推测草案方法在提升测试时间扩展效率的同时减少延迟，实现更优的推理性能与用户体验。
2026-02-18 cs.AI cs.CL cs.LG
Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models
Carnegie Mellon University（卡内基梅隆大学）
Gen2Sim 利用预训练语言与视觉生成模型自动生成仿真所需的 3D 资产、任务描述、时序分解和奖励函数，从而减少人工参与，成功学习多样化长时程操作策略，为在仿真中扩展机器人强化学习提供了可行路径。
2023-10-27 cs.AI cs.LG cs.RO
Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards
Amazon（亚马逊）；Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（计算机与数据科学学院，伊利诺伊大学厄巴纳-香槟分校）
针对音频大语言模型推理导致性能下降的测试时逆缩放问题，提出CESAR框架，通过在线强化学习奖励推理过程，实现一致有效可扩展的推理，并在MMAU和MMSU基准上取得领先性能。
2025-10-23 cs.AI cs.LG
Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文从强化学习视角提出复现 OpenAI o1 的路线图，聚焦策略初始化、奖励设计、搜索和学习四个关键组件，系统分析了搜索与学习如何协同推动大模型推理能力的提升。
2024-12-18 cs.AI cs.LG
Each Prompt Matters: Scaling Reinforcement Learning Without Wasting Rollouts on Hundred-Billion-Scale MoE
Shopee（虾皮）
该研究提出了一种百亿规模MoE模型的强化学习方法，通过消除无效提示、优化重要性采样和提升回放效率，实现了高效稳定的训练流程。
2025-12-08 cs.AI cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback
Stanford University（斯坦福大学）；Amazon AGI（亚马逊人工智能研究）；EPFL（瑞士联邦理工学院）；Qualcomm AI Research（高通人工智能研究）；Aktus AI
本文提出基于顺序反馈的奖励建模原理框架，通过离散顺序回归方法，学习阈值参数以捕捉偏好顺序结构，实现更有效的细粒度人类反馈利用。
2026-02-13 cs.AI cs.LG
Entropy Centroids as Intrinsic Rewards for Test-Time Scaling
HKUST（香港科技大学）；ZJU（浙江大学）；Huawei（华为）
本文提出熵中心作为测试时缩放的内在奖励，通过分析不确定性的时间结构提升模型响应质量，在不同规模模型上均优于现有基线。
2026-05-01 cs.AI cs.CL cs.LG
Training Vision-Language Process Reward Models for Test-Time Scaling in Multimodal Reasoning: Key Insights and Lessons Learned
AI Singapore（AI新加坡）；Nanyang Technological University（南洋理工大学）
本文探索视觉-语言过程奖励模型的设计空间，提出混合数据合成与感知聚焦监督方法，并在多模态基准上验证其能有效提升测试时扩展的推理性能。
2025-10-07 cs.AI cs.CV
DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding
University of California, San Diego（加州大学圣迭戈分校）
DreamPRM-Code通过链式函数提示策略和元学习校正机制，提升LLM在编码任务中的表现，达到LiveCodeBench的最高准确率
2025-12-17 cs.AI cs.CL cs.LG
Duel-Evolve: Reward-Free Test-Time Scaling via LLM Self-Preferences
Columbia University（哥伦比亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
Duel-Evolve通过LLM自我偏好实现无奖励的测试时间优化，提升MathBench和LiveCodeBench的准确性。
2026-02-25 cs.AI cs.CL cs.LG
Bootstrapped Mixed Rewards for RL Post-Training: Injecting Canonical Action Order
University of Michigan（密歇根大学）
本文提出在强化学习后训练中引入混合奖励，通过结合稀疏任务奖励和顺序奖励，提升模型对经典求解顺序的适应能力，无需修改监督数据或架构。
2026-03-05 cs.AI cs.LG
Process Reward Models for LLM Agents: Practical Framework and Directions
Cornell University（康奈尔大学）
提出 AgentPRM 与 InversePRM 过程奖励框架，使 3B LLM 智能体在 ALFWorld 上超过 GPT-4o 基线。
2025-02-14 cs.AI cs.LG
Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
提出过程优势验证器（PAVs），通过在独立证明者策略下衡量推理步骤的进展来改进LLM，显著提升了测试时搜索与在线RL的准确率和计算效率。
2024-10-10 cs.CL cs.LG
Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes
University of Washington（华盛顿大学）
无奖励强化学习（RL）考虑的设置是，智能体在探索过程中无法访问奖励函数，但必须为仅在探索后才显示的任意奖励函数提出一个接近最优的策略。在表格设置中，众所周知，这是一个比奖励感知（PAC）RL更困难的问题-其中代理在探索期间可以访问奖励函数-在两个设置中的最佳样本复杂度相差$|\mathcal{S}|$，状态空间的大小。我们表明，这种分离不存在于设置的线性MDP。首先，我们开发了一个计算效率高的算法，在$d$维线性MDP与样本复杂度缩放为$\widetilde{\mathcal{O}}(d^2 H^5/ε^2)$无奖励RL。然后，我们显示了一个下界与匹配的维度依赖的$Ω(d^2 H^2/ε^2)$，这适用于奖励感知RL设置。据我们所知，我们的方法是第一个计算效率高的算法，以实现最佳的$d$依赖线性MDP，即使在单奖励PAC设置。我们的算法依赖于一个新的程序，有效地遍历线性MDP，在任何给定的“特征方向”收集样本，并享有最佳的（线性MDP等效的）最大状态访问概率的样本复杂度缩放。我们表明，这种探索过程也可以应用于解决问题，获得“良好条件”的协变量在线性MDP。
2022-06-18 cs.LG stat.ML
A Differential Perspective on Distributional Reinforcement Learning
本文从微分视角扩展分布强化学习至平均奖励设置，提出首个能有效学习长期每步奖励分布和微分回报分布的算法，并展示其在性能和信息捕捉方面的优势。
2026-01-13 cs.AI cs.LG
Scalable agent alignment via reward modeling: a research direction
DeepMind（深度思维）；Mila（米拉研究所）
将强化学习算法应用于现实问题的一个障碍是缺乏合适的奖励函数。设计这样的奖励函数是困难的，部分原因是用户对任务目标只有隐含的理解。这就产生了代理对齐的问题：我们如何创建代理的行为，根据用户的意图？我们概述了一个高层次的研究方向，以解决围绕奖励建模的代理对齐问题：从与用户的交互中学习奖励函数，并使用强化学习优化学习的奖励函数。我们讨论了将奖励建模扩展到复杂和一般领域时所面临的关键挑战，减轻这些挑战的具体方法，以及在所产生的代理中建立信任的方法。
2018-11-19 cs.AI cs.LG cs.NE
Provable and Practical In-Context Policy Optimization for Self-Improvement
本文提出ICPO方法，通过上下文内自我反思和最小熵优化，在保持低推理成本的同时实现数学推理任务的高性能
2026-03-02 cs.AI cs.LG
ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
ArenaRL通过基于比赛的相对排名机制，提升开放性智能体在复杂任务中的表现，实现效率与精度的平衡。
2026-07-23 cs.AI cs.LG
Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs
Cambridge AI Safety Hub (CAISH)（剑桥人工智能安全中心）
研究探讨了在强化学习从人类反馈（RLHF）等方案中，奉承式微调对校准的影响，发现GRPO微调导致校准退化，尽管效果不显著，但经矩阵缩放后仍保留较高校准误差。
2026-04-12 cs.AI cs.CL cs.LG
Reasoning without Regret
Gauntlet
针对思维链推理中基于结果的奖励存在信用分配难题、基于过程的奖励需高昂人工监督的问题，提出反向自适应奖励塑形（BARS）框架，将稀疏结果奖励转换为有效过程信号，实现无悔推理并为相关模型成功奠定理论基础。
2025-04-14 cs.AI cs.LG
ToolPRM: Fine-Grained Inference Scaling of Structured Outputs for Function Calling
Shanghai Jiao Tong University（上海交通大学）；Longshine AI Research（长 Shine 人工智能研究院）；Shanghai Innovation Institute（上海创新研究院）
本文提出ToolPRM框架，结合细粒度束搜索与过程奖励模型，提升结构化输出的推理扩展能力，并通过细粒度监督数据集改进函数调用性能。
2026-04-28 cs.AI
Scaling Reinforcement Learning for Diffusion Models via Velocity Matching
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达公司）
该研究提出基于奖励的速度匹配（RVM）方法，用于扩散模型的奖励微调，其训练成本显著降低，性能优于或相当基于轨迹的策略梯度方法，还通过动态跟踪奖励改善了视频生成的运动效果。
2026-09-29 cs.CV cs.LG
Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
REOPOLD通过放松在线策略蒸馏的约束，提升模型训练效率和推理扩展能力，尤其在视觉推理任务中表现突出。
2026-10-28 cs.CL cs.LG
From Trial to Triumph: Advancing Long Video Understanding via Visual Context Sample Scaling and Self-reward Alignment
Zhejiang University（浙江大学）；Tencent Inc.（腾讯公司）
针对长视频理解中有限帧处理导致信息遗漏的问题，提出视觉上下文采样生成多样预测，并通过频率、置信度和推理分数线性组合的自我奖励机制选择最终答案，在七个数据集上提升了三种多模态大语言模型的性能。
2025-03-26 cs.AI cs.CV
Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
Huawei London Research Center（华为伦敦研究中心）；MVP Lab（MVP实验室）
通过奖励引导缝合实现扩散语言模型的测试时扩展，提升数学和编程任务的准确率并降低延迟
2026-10-19 cs.AI cs.CL
Are More Tokens Rational? Inference-Time Scaling in Language Models as Adaptive Resource Rationality
Georgia Tech（佐治亚理工学院）
研究通过变量归因任务探讨语言模型在推理时扩展对资源理性的影响，发现模型能根据任务复杂性调整策略，即使无显式成本奖励。
2026-02-10 cs.AI cs.CL cs.LG
Benchmarking Potential Based Rewards for Learning Humanoid Locomotion
MIT（麻省理工学院）
针对强化学习中奖励函数设计调优难的问题，本文对人形机器人高维运动学习场景下的标准奖励塑形与PBRS开展基准测试，发现PBRS收敛速度提升有限但缩放鲁棒性更强、更易调优。
2023-07-19 cs.AI cs.LG cs.RO
X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets
Applied Intuition
X-Reset框架通过将人类手-物体演示运动学重定向为噪声机器人状态并采样为重置，解决以物体为中心的强化学习探索难题，在三个具身上对20个物体训练通用策略，并实现零样本迁移。
2026-09-29 cs.AI cs.LG cs.RO
