A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR
Outlook.com(Outlook公司)
本文通过预注册实验和因果分解方法,证明RLVR中朴素奖励设计估计量存在系统性偏差,并量化了自我一致性激发与真正奖励设计信号的贡献。
2026-06-08 cs.AI cs.LG
Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团)
本文提出EAPO方法,通过引入组相对证据奖励和适应性奖励-策略共演机制,提升长上下文推理中的证据提取质量,从而增强推理性能。
2026-04-20 cs.AI cs.CL
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化(MPO)算法,通过重要性采样视角结合RLHF和IPO的目标,有效处理off-policy KL正则化项,消除对奖励模型和参考策略的需求,简化学习过程。
2024-03-25 cs.AI cs.LG
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Apple(苹果公司);Purdue University(普渡大学)
PORTool通过奖励树实现多工具集成推理中的重要性感知策略优化,提升最终答案准确性并减少工具调用步骤。
2026-04-30 cs.AI cs.CL cs.LG
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple Inc.(苹果公司)
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题,提出Hindsight PRIOR策略,利用世界模型估计状态重要性并引导奖励分配,显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Oregon State University(俄勒冈州立大学)
本文研究 KL 正则化上下文赌博机,证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾,并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification
Beijing University of Posts and Telecommunications(北京邮电大学);Southern University of Science and Technology(南方科技大学);Alibaba Group(阿里巴巴集团);Shanghai University of Finance and Economics(上海财经大学)
本文提出锚定策略优化方法,通过支持覆盖机制缓解强化学习中的探索崩溃问题,提升模型在准确性与多样性间的性能平衡。
2026-02-05 cs.AI
Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling
Georgia Institute of Technology(佐治亚理工学院);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);ML Research, Morgan Stanley(摩根士丹利机器学习研究部)
本文提出并行功率退火(PPT)方法,通过并行退火实现功率锐化采样,平衡探索与利用,显著提升小模型推理质量,超越RL后训练模型,性能接近前沿模型。
2026-09-30 cs.LG
PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching
Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China(清华大学交叉信息研究院)
提出PowerFlow框架,将无监督微调重构成分布匹配问题,利用GFlowNet和长度感知轨迹平衡目标,通过调整α-幂分布方向性激发LLMs的逻辑推理或创造性。
2026-05-25 cs.AI cs.CL cs.LG
Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening
Carnegie Mellon University(卡内基梅隆大学)
针对GRPO在形式化定理证明中的排名偏差导致分布锐化问题,提出罕见奖励方法显式加权罕见正确解,并发现每批更新次数作为互补缓解,提升pass@N,达到与DeepSeek-Prover-V1.5-RL相当的性能。
2025-06-20 cs.LG
Detecting Hidden Triggers: Mapping Non-Markov Reward Functions to Markov
Thayer School of Engineering at Dartmouth College(达特茅斯学院塞耶工程学院)
针对强化学习中非马尔可夫奖励函数的问题,提出通过学习隐藏触发因素构建Reward Machines的映射框架,以整数线性规划实现映射,经多领域实验验证其有效性。
2024-08-16 cs.AI cs.LG
Explaining an Agent's Future Beliefs through Temporally Decomposing Future Reward Estimators
School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院);Department of Informatics, Kings College London(伦敦国王学院信息学系)
针对强化学习中未来奖励标量估计无法体现奖励时间与细节的问题,提出时间奖励分解(TRD)方法,可解释智能体行为,且能高效融入DQN且对性能影响极小。
2024-08-15 cs.AI cs.LG
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Aalto University(阿尔托大学)
现有技术的强化学习(RL)算法通常使用随机采样(例如,$ε$ -贪婪)的探索,但这种方法失败的硬探索任务,如蒙特祖玛的复仇。为了应对探索的挑战,先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励(也称为探索奖金或好奇心)通常会导致在困难的探索任务中表现出色。然而,在简单的探索任务中,智能体会被内在奖励分散注意力,即使有足够的任务(也称为外在)奖励,也会进行不必要的探索。因此,这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程,称为外在-内在策略优化(EIPO),自动调整内在奖励的重要性:它抑制内在奖励时,探索是不必要的,并增加它时,探索是必需的。其结果是优越的探索,不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
本文考虑了多智能体强化学习(MARL)任务,其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配,以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战:识别(1)沿着事件长度(沿着时间)的状态的相对重要性,以及(2)在任何单个时间步(在代理之间)个体代理状态的相对重要性。在本文中,我们介绍了代理时间注意奖励再分配情节多智能体强化学习(AREL),以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响(时间注意力),以及每个代理在每个时间步如何受到其他代理的影响(代理注意力)。由AREL预测的重新分配的奖励是密集的,并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比,AREL在粒子世界中获得了更高的奖励,并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
On the Importance of Reward Design in Reinforcement Learning-based Dynamic Algorithm Configuration: A Case Study on OneMax with (1+($λ$,$λ$))-GA
University of St Andrews St Andrews United Kingdom;Sorbonne Universit\'e, CNRS, LIP6 Paris France;University of Freiburg Freiburg Germany;University of St Andrews;Sorbonne Universit\'e, CNRS, LIP6;University of Freiburg
本研究通过控制$(1+(λ,λ))$-GA优化OneMax的案例,证明奖励设计对强化学习动态算法配置至关重要,并提出奖励塑形机制以增强探索,提升可扩展性。
2025-03-03 cs.LG cs.NE
Mitigating Reward Over-optimization in Direct Alignment Algorithms with Importance Sampling
VinUniversity(文大学);VinUni-Illinois Smart Health Center(VinUni-伊利诺伊智能健康中心);University of Stuttgart(斯图加特大学);University of California Los Angeles (UCLA)(加州大学洛杉矶分校);International University - VNUHCM(国际大学 - VNUHCM);University of Science - VNUHCM(科学大学 - VNUHCM);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Oldenburg University(奥尔登堡大学);Max Planck Research School for Intelligent Systems (IMPRS-IS)(马克斯·普朗克智能系统研究学校)
针对 DPO 等离线直接对齐算法易偏离参考策略并导致奖励过度优化的问题,本文提出带重要性比率裁剪的 IS-DAAs,在低正则化下显著缓解性能退化并优于现有方法。
2025-06-11 cs.LG
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory(美国海军研究实验室)
本文研究在稀疏奖励的实时夺旗游戏中,通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间,并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
VRAIL: Vectorized Reward-based Attribution for Interpretable Learning
School of Computing, KAIST(计算机学院,韩国科学技术院)
VRAIL提出双层框架,通过线性或二次价值函数拟合实现特征权重归因,以基于势能的奖励塑造提升DQN在Taxi-v3上的稳定性与收敛性,并产生可解释子目标。
2025-09-24 cs.AI cs.LG
HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空航天信息研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Hunyuan(腾讯文脉);School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院)
本文提出HISR方法,通过hindsight信息调节分段过程奖励,提升多轮代理强化学习中的信用分配可靠性,实验验证了方法的有效性。
2026-03-19 cs.AI cs.CL cs.LG
Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability
MIT(麻省理工学院);Meta FAIR;New York University(纽约大学)
提出SOAR非对称自对弈框架,通过元强化学习生成自动课程,解决低初始成功率数据集上的推理模型扩展问题,发现基于学生进步的奖励优于内在可学习性奖励,且问题结构比答案正确性更重要。
2026-07-01 cs.CL cs.LG
Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
研究自主智能体在多环境下奖励学习问题,提出分层机器教学算法,先选信息丰富环境,再查询低成本反馈,实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力,凸显多环境多模态教学对稳健奖励学习的重要性。
2026-07-10 cs.AI cs.LG
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司)
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题,本文提出统一的研究框架,分析多样化策略训练的收敛性,提出可证明高效的算法,并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
Batch Reinforcement Learning from Crowds
Kyoto University(京都大学);RIKEN(理化学研究所)
批量强化学习的一个缺点是它需要数据中的奖励,因此不适用于没有奖励函数的任务。现有的缺乏奖励的设置,如行为克隆,依赖于从人类收集的最佳示范。不幸的是,需要广泛的专业知识来确保最优性,这阻碍了复杂任务的大规模数据采集。本文通过从偏好中学习奖励函数来解决批量强化学习设置中缺乏奖励的问题。生成偏好只需要对任务有基本的了解。作为一个心理过程,产生偏好比进行演示要快。因此,偏好可以通过众包从非专业人员那里大规模收集。本文解决了从非专家人类收集数据时出现的一个关键挑战:偏好中的噪音。提出了一种新的概率模型来建模标签的可靠性,它利用标签协作。此外,所提出的模型平滑的估计与学习的奖励函数。Atari数据集上的评估证明了所提出的模型的有效性,随后进行了消融研究,以分析所提出的想法的相对重要性。
2022-11-29 cs.AI cs.LG
TROFI: Trajectory-Ranked Offline Inverse Reinforcement Learning
本文提出TROFI方法,通过从人类偏好中学习奖励函数来标注离线数据集,无需预定义奖励或最优轨迹即可有效训练策略,在D4RL基准和3D游戏环境中表现优于基线且媲美真实奖励。
2025-06-27 cs.AI cs.LG
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan(密歇根大学)
SP3O是一种无需奖励建模的新型PbRL算法,利用分段级偏好反馈,通过PPO型损失函数优化策略,在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
Spurious Rewards: Rethinking Training Signals in RLVR
University of Washington, Seattle, WA, USA(华盛顿大学);Allen Institute for Artificial Intelligence, Seattle, WA, USA(人工智能研究院);University of California, Berkeley, Berkeley, CA, USA(加州大学伯克利分校)
该研究发现,即使使用随机分配的虚假奖励,强化学习方法也能在某些模型上显著提升性能,凸显了验证训练信号的重要性。
2026-02-25 cs.AI cs.LG
Effects of Spectral Normalization in Multi-agent Reinforcement Learning
IIIT Hyderabad(海得拉巴国际信息技术研究所);University of Oxford(牛津大学)
针对多智能体稀疏奖励场景下评价器难以可靠学习的问题,本文提出用谱归一化正则化评价器,并在 SMAC 与 RWARE 中验证其能提升学习稳健性与稳定性。
2023-04-20 cs.AI cs.LG
XRPO: Pushing the limits of GRPO with Targeted Exploration and Exploitation
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
提出XRPO框架,通过自适应探索分配器、上下文种子策略和新颖性感知优势机制,在数学和编码基准上实现比GRPO最高4% pass@1和6% cons@32的提升,并加速训练收敛达2.7倍。
2026-05-25 cs.LG
Expectation Alignment: Handling Reward Misspecification in the Presence of Expectation Mismatch
Colorado State University(科罗拉多州立大学)
该研究针对AI安全中奖励误设缺乏明确定义的问题,提出期望对齐(EAL)形式化框架,并基于此开发交互式算法,通过线性规划实现,在标准MDP基准上完成评估。
2024-10-31 cs.AI cs.LG
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University(拉夫堡大学);UNIST(蔚山科学技术院);HRL Laboratories(HRL实验室);Vanderbilt University(范德堡大学)
针对强化学习算法提出了一组形式化定义的透明问题,这些问题具有以下特征:(1)可变的可观测度(非Markov观测),(2)远端稀疏奖励,(3)可变的分层奖励结构,(4)多任务生成,(5)可变的问题复杂度.环境提供1D或2D分类观测,并将操作作为输入。CT图的核心结构是一个多分支树图,具有任意的分支因子,深度和观察集,可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态,决策状态和等待状态,旨在创建一个层次的重要性之间的意见,典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集,损害记忆增强代理。可变奖励函数允许轻松创建多个任务,并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长,可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速,透明和数学定义的可配置测试,以比较强化学习算法的性能,特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Deep Reinforcement Learning from Hierarchical Preference Design
Georgia Institute of Technology(佐治亚理工学院);Microsoft(微软公司)
本文提出分层奖励建模框架HERON,利用反馈信号的重要性排序构建分层决策树来比较轨迹并训练奖励模型,从而在困难任务上提升智能体性能、样本效率和鲁棒性。
2024-06-10 cs.AI cs.LG
On the Importance of Critical Period in Multi-stage Reinforcement Learning
Seoul National University(首尔国立大学);AIIS(AIIS(人工智能与信息科学研究所,若为独立机构时))
婴儿生命的最初几年被称为关键期,在此期间,由于神经可塑性,学习表现的整体发展受到显着影响。在最近的研究中,人工智能智能体具有模仿实际神经元机制的深度神经网络,表现出类似于人类关键期的学习期。特别是在这一初始阶段,适当的刺激对学习能力的发展起着至关重要的作用。然而,将人类的认知偏差转化为适当的塑造奖励是相当具有挑战性的,并且先前关于关键期的工作并没有专注于寻找适当的刺激。为了更进一步,我们提出了多阶段强化学习,以强调在关键期周围找到“适当的刺激”。受人类早期认知发展阶段的启发,我们在关键期附近使用多阶段指导,并根据人工智能智能体的性能,效率和稳定性展示适当的塑造奖励(阶段2指导)。
2022-08-09 cs.AI cs.LG cs.NE
Dynamic Reward Scaling for Multivariate Time Series Anomaly Detection: A VAE-Enhanced Reinforcement Learning Approach
School of Computer Science Portland State University Portland, Oregon, United States(计算机科学学院波特兰州立大学波特兰俄勒冈州美国)
针对多元时间序列异常检测中高维、标注少、传感器依赖弱的问题,本文提出融合VAE、LSTM-DQN、动态奖励与主动学习的强化学习框架DRSMT,在两个基准上取得优于基线的检测效果。
2025-11-15 cs.AI cs.LG
DORB: Dynamically Optimizing Multiple Rewards with Bandits
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
基于策略梯度的强化学习已被证明是一种很有前途的方法,用于直接优化语言生成任务的不可微评价指标。然而,针对特定指标奖励的优化主要只会导致该指标的改进,这表明该模型正在以特定的方式对该指标的制定进行游戏,而通常不会实现真正的定性改进。因此,使模型联合优化多个不同的度量奖励更有益。虽然吸引人,但这是具有挑战性的,因为需要手动决定这些指标奖励的重要性和缩放权重。此外,重要的是要考虑使用随时间灵活变化的指标奖励的动态组合和课程。考虑到上述方面,在我们的工作中,我们通过多臂强盗方法(DORB)同时自动优化多个度量奖励,其中在每一轮,强盗根据预期的臂增益选择下一步优化哪个度量奖励。我们将Exp 3算法用于强盗,并制定了两种强盗奖励方法:(1)单一多奖励强盗(SM-Bandit);(2)分层多奖励强盗(HM-Bandit)。我们通过两个重要的NLG任务:问题生成和数据到文本生成,包括在一个看不见的测试传输设置上的各种自动指标和人工评估,以经验证明了我们的方法的有效性。最后,我们提出了可解释的分析学习强盗课程的优化奖励。
2020-11-15 cs.AI cs.CL cs.LG
Evaluating Robustness of Reward Models for Mathematical Reasoning
Yonsei University(延世大学)
针对RewardBench数学子集评估不可靠的问题,本文提出新的奖励模型评估设计并构建RewardMATH基准,可更准确衡量数学推理奖励模型鲁棒性及奖励过度优化风险。
2024-10-02 cs.AI cs.CL cs.LG
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University(普渡大学)
针对无限时域折扣奖励马尔可夫决策过程,提出加速自然策略梯度(ANPG)算法,在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度,改进现有最优样本复杂度,且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
DRPO: Efficient Reasoning via Decoupled Reward Policy Optimization
Texas A&M University(德克萨斯A&M大学);The University of Virginia(弗吉尼亚大学)
DRPO通过解耦奖励策略优化,有效解决大型推理模型过度思考问题,实现高效推理并减少响应延迟。
2026-03-01 cs.AI cs.LG
Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards
针对长期多轮强化学习中的奖励稀疏与错位问题,提出面向软件工程的RL框架及门控奖励累积方法(G-RA),在长期奖励达标时累积即时奖励,有效提升了任务完成率并避免了策略退化。
2025-08-14 cs.AI cs.CL cs.LG
Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling
Huawei Noah’s Ark Lab, Montréal, Canada(华为诺亚实验室,加拿大蒙特利尔);McGill University and Mila - Québec AI Institute(麦吉尔大学和魁北克人工智能研究所);Huawei Noah’s Ark Lab, Beijing, China(华为诺亚实验室,中国北京)
本文提出 Omni-Thinker 统一强化学习框架,通过混合奖励与 BWT 引导的任务调度扩展 LLM 多任务能力,并在四个领域显著优于联合训练和模型合并。
2025-09-26 cs.AI cs.LG
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟);University of the Basque Country (UPV/EHU)(巴斯克大学)
在人类生命的早期阶段,婴儿通过探索不同的场景来发展他们的技能,这些场景的动机是他们内在的满足感,而不是来自环境的外在奖励。这种行为,被称为内在动机,已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法,以加快学习过程中的单一和多代理问题的同质代理。然而,很少有研究阐述了异构代理部署到同一环境中,但与后者的不同实例之间的协作学习框架,没有任何先验知识。除了异质性之外,每个代理的特性只允许访问完整状态空间的一个子集,这可能隐藏不同的探索策略和最佳解决方案。在这项工作中,我们结合了内在动机和迁移学习的想法。具体来说,我们专注于共享参数的演员-评论家模型架构,并结合通过内在动机获得的信息,目的是有一个更有效的探索和更快的学习。我们测试我们的策略,通过实验进行了修改ViZDooM的我回家的路的情况下,这是更具挑战性的比原来的版本,并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式,在没有知识共享的情况下,一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外,我们描述了需要正确调制的重要性之间的外在和内在的奖励,以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology(蔚山国立科学技术院);OpenAI LP(OpenAI有限合伙公司)
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中,奖励是罕见的,这意味着智能体不会通过随机行动经常找到奖励。在这种情况下,强化学习学习奖励和动作关联是具有挑战性的。因此,需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述,并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后,讨论了目前尚待解决的问题,为今后的研究提供了有价值的方向。最后,从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
本文提出Power-SMC,一种低延迟的序列级功率采样方法,用于训练自由的大语言模型推理,通过并行粒子集和重要权重修正提升推理效率。
2026-10-05 cs.LG stat.ML
DISA: Offline Importance Sampling for Distribution-Matching LLM-RL
Shanghai Jiao Tong University(上海交通大学);Qwen Team, Alibaba Group(阿里集团Qwen团队);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);The University of Hong Kong(香港大学)
本研究提出DISA方法,通过离线重要性采样解决分布匹配强化学习中的校准问题,分离了分区函数估计与策略学习,提高了策略多样性并在多个基准测试中表现出色。
2026-05-17 cs.CL cs.LG
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对带可验证奖励的离线强化学习中行为策略过时导致的问题,提出GGPO算法,通过最小化KL调整奖励的对数均值指数对比实现优化,在基准测试和数学推理任务中性能优于GRPO、AGRO。
2026-10-16 cs.CL cs.LG
Autonomous state-space segmentation for Deep-RL sparse reward scenarios
Institute of Cognitive Sciences and Technologies (ISTC) National Council of Research (CNR)(国家研究委员会认知科学与技术研究所(ISTC))
针对稀疏奖励下的Deep Reinforcement Learning问题,提出一种双层架构交替进行内在驱动探索与目标导向策略学习,通过构建专门子网络避免重复探索,在Gym SuperMarioBros中验证了自主环境分割生成高效路径的有效性。
2025-04-04 cs.AI cs.CV cs.LG
Adapting Behaviour via Intrinsic Reward: A Survey and Empirical Study
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院);University of Alberta(阿尔伯塔大学);DeepMind
学习许多东西可以为强化学习系统提供许多好处。例如,除了优化环境奖励之外,学习许多辅助价值函数似乎可以改善探索学习和表示学习。本文所要解决的问题是如何塑造经验流-如何适应学习系统的行为-以优化对一组价值函数的学习。一个简单的答案是根据每个辅助学习者的统计数据计算内在奖励,并使用强化学习来最大化内在奖励。不幸的是,实现这个简单的想法已被证明是困难的,因此一直是几十年来研究的重点。目前还不清楚,在环境奖励极其稀少或不存在的平行学习环境中,哪些可能的学习措施会很好地发挥作用。在本文中,我们调查和比较不同的内在奖励机制在一个新的土匪般的并行学习测试床。我们讨论了奖励和预测学习者之间的相互作用,并强调了内省预测学习者的重要性:当进步可能时,他们的学习速度会增加,而当进步不可能时,他们的学习速度会降低。我们对14种不同的奖励进行了全面的实证比较,其中包括来自强化学习和主动学习的著名想法。我们的研究结果强调了一个简单但看似强大的原则:如果每个学习者都是内省的,那么基于学习量的内在奖励可以产生有用的行为。
2020-08-22 cs.AI cs.LG stat.ML
TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition
UC San Diego(加州大学圣迭戈分校);Cisco Research(思科研究)
本文提出TIER,一种基于函数模式和运行时执行的奖励框架,能够提供密集且可解释的序列级反馈,支持多种解决方案策略并适应变化的工具接口,在DepthBench等基准上实现了高准确率。
2026-05-16 cs.AI cs.CL cs.LG
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed(字节跳动种子项目(或字节跳动Seed))
本文探索RLHF数据扩展瓶颈,提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法,并强调早期优先训练数学与编码任务,有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
Towards Bridging the Reward-Generation Gap in Direct Alignment Algorithms
Shanghai University of Finance and Economics(上海财经大学);Beihang University(北航);Southern University of Science and Technology(南方科技大学)
本文探讨了直接对齐算法中奖励生成差距的问题,提出Prefix-Oriented Equal-length Training方法,通过截断响应长度来提升对齐效果,实验显示在AlpacaEval 2上提升显著。
2026-04-16 cs.CL cs.LG
Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning
Technical University of Munich(慕尼黑工业大学);Sapienza University of Rome(罗马大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究在RUL框架下提出两种新型奖励函数,经RWKU基准实验,其遗忘效率较二元奖励提升,速度快达3倍且保留模型效用,表明奖励设计是机器遗忘效率的关键驱动因素。
2026-07-31 cs.LG
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法,通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室)
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造,有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
RewardWeaver: Long-Horizon Interactive Learning for Language Agents via Self-Evolving Reward Adaptation
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Tianjin University(天津大学)
提出自进化奖励适应框架RewardWeaver,通过动态调整过程奖励应对长时程交互中的稀疏反馈,在多个基准上取得SOTA结果。
2026-10-08 cs.AI