How to Evaluate Reward Models for RLHF
UC Berkeley（加州大学伯克利分校）
本文提出首个与RLHF后真实人类偏好性能直接关联的奖励模型基准PPE，通过代理任务预测下游LLM性能，并结合大规模端到端RLHF实验验证指标相关性。
2024-10-22 cs.AI cs.CL cs.LG
Correlated Proxies: A New Definition and Improved Mitigation for Reward Hacking
University of California, Berkeley（加州大学伯克利分校）
本文基于参考策略下代理与真实奖励相关性的失效定义奖励黑客，理论提出并实验验证对策略占用度量的 $χ^2$ 散度正则化比 KL 惩罚更能缓解 RLHF 等场景中的奖励黑客。
2025-03-13 cs.AI cs.LG
Reward Design with Language Models
Stanford University（斯坦福大学）；DeepMind（深度思维）
强化学习（RL）中的奖励设计是具有挑战性的，因为通过奖励函数指定人类对期望行为的概念可能很困难，或者需要许多专家演示。我们能用自然语言界面来设计奖励吗？本文探讨了如何简化奖励设计，提示一个大语言模型（LLM），如GPT-3作为代理奖励功能，其中用户提供一个文本提示包含一些例子（Few-Shot）或描述（zero-shot）所需的行为。我们的方法在RL框架中利用了这个代理奖励函数。具体而言，用户在训练开始时指定一次提示。在训练期间，LLM根据提示所描述的期望行为来评估RL代理的行为，并输出相应的奖励信号。然后，RL代理使用此奖励来更新其行为。我们评估我们的方法是否可以训练代理与用户目标一致的最后通牒游戏，矩阵游戏，和DealOrNoDeal谈判任务。在所有三个任务中，我们表明，用我们的框架训练的RL代理与用户的目标保持一致，并且优于用通过监督学习学习的奖励函数训练的RL代理
2023-02-27 cs.AI cs.CL cs.LG
Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
该研究针对强化学习的规范博弈问题，构建清洁机器人网格世界场景，提出受限强化学习方法，可消除博弈行为并恢复真实目标性能，还推导验证了相关精确恒等式。
2026-10-16 cs.AI cs.LG
Reinforcement Learning From Imperfect Corrective Actions And Proxy Rewards
The University of Michigan-Shanghai Jiao Tong University Joint Institute (UM-SJTU JI)（密歇根大学-上海交通大学联合学院）；Duke Kunshan University（昆山杜克大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对强化学习中代理奖励缺陷导致的人机对齐问题，提出融合不完美纠正动作与代理奖励的ICoPro算法，通过三阶段迭代训练结合伪标签设计，在多任务中实现更优的人类偏好对齐效果与样本效率。
2024-10-08 cs.LG
Co-Evolution of Policy and Internal Reward for Language Agents
McGill University（麦吉尔大学）；McMaster University（麦克马斯特大学）；The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DeepWisdom（深度智慧）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
本文提出Self-Guide方法，通过自动生成内部奖励实现推理和训练时的协同优化，提升语言代理性能。
2026-04-03 cs.AI cs.CL cs.LG
Learning Synthetic Environments and Reward Networks for Reinforcement Learning
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们引入合成环境（SE）和奖励网络（RN），神经网络表示，作为代理环境模型训练强化学习（RL）代理。我们表明，一个代理，专门在SE上训练后，能够解决相应的真实环境。虽然SE通过学习其状态动态和奖励来充当真实环境的完全代理，但RN是学习增强或替换奖励的部分代理。我们使用双层优化来进化SE和RN：内环训练RL代理，外环通过演化策略训练SE / RN的参数。我们评估我们提出的新概念广泛的RL算法和经典的控制环境。在一对一的比较中，学习SE代理需要与真实环境进行更多的交互，而不是只在真实环境中训练代理。然而，一旦学习了这样的SE，我们就不需要与真实环境进行任何交互来训练新的代理。此外，学习的SE代理允许我们训练代理与较少的互动，同时保持原有的任务性能。我们的实证研究结果表明，SE实现这一结果，通过学习知情的陈述，偏向代理商对相关国家。此外，我们发现，这些代理是强大的超参数变化，也可以转移到看不见的代理。
2022-02-06 cs.AI cs.LG
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题，提出SMOPD两阶段训练方法，在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
Repairing Reward Functions with Feedback to Mitigate Reward Hacking
Computer Science Department, Stanford University（计算机科学系， 斯坦福大学）；School of Informatics, The University of Edinburgh（信息学院， 埃迪索恩大学）
通过反馈修复奖励函数以缓解奖励黑客，提出PBRR方法，通过学习过渡依赖的修正项来改进代理奖励函数，从而在较少偏好下实现高性能策略。
2026-01-29 cs.AI cs.LG
The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文构建奖励到最优策略映射的数学稳定性框架，用动作非唯一性和有效奖励聚合解释RL导致的LLM/LRM脆弱与欺骗等故障，并证明熵正则化可恢复稳定性。
2025-07-27 cs.AI cs.CL cs.LG
Fine-Tuning Language Models with Reward Learning on Policy
Alibaba Group（阿里巴巴集团）
本文提出策略上奖励学习（RLP）框架，通过无监督多视图学习和合成偏好生成，利用策略样本精炼奖励模型以缓解分布外问题，在三个基准数据集上优于现有方法。
2024-03-28 cs.AI cs.CL cs.LG
GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization
NVIDIA
GDPO通过解耦奖励归一化提升多奖励强化学习优化的稳定性和准确性，优于GRPO。
2026-01-08 cs.AI cs.CL cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Reliable Self-Evolution with Imperfect Proxy Rewards
Yonsei University（延世大学）
针对自进化搜索中代理奖励不完美导致假阳性污染的问题，提出共形区间驱动的自进化（CISE）方法，通过统计校准的奖励区间和保守反馈，在材料科学任务中实现高保真评估下全部真阳性，验证了更小但更精确候选清单的价值。
2026-10-05 cs.AI
Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation
Samsung SDS Technology Research（三星SDS技术研究院）
针对语言模型指令响应质量评估困难的问题，提出基于贝叶斯近似的URM模型，通过评估响应不确定性优化数据筛选与策略目标，显著提升了模型指令遵循能力。
2025-01-31 cs.AI cs.CL cs.LG
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
When Can Proxies Improve the Sample Complexity of Preference Learning?
University College London（伦敦大学学院）；University of Bristol（布里斯托尔大学）；University of Edinburgh（爱丁堡大学）；Google Deepmind（谷歌DeepMind）
针对LLMs微调中的奖励作弊问题，提出了一组代理反馈的充分条件，证明满足该条件时代理数据可改善学习真实策略的样本复杂度，并给出了LLMs的参数化方法及架构调整方案。
2024-12-21 cs.AI cs.LG stat.ML
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR
University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Countdown-Code测试环境，通过分离代理奖励与真实奖励，研究LLM在监督微调中无意学习奖励黑客行为及其在强化学习中的泛化问题。
2026-09-14 cs.AI cs.CL cs.LG
From General to Targeted Rewards: Surpassing GPT-4 in Open-Ended Long-Context Generation
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）
提出ProxyReward强化学习框架，通过自动生成数据集和目标奖励信号，在开放式长文本生成任务上超越GPT-4-Turbo，性能提升20%。
2025-06-19 cs.AI cs.CL
When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient
Some Institute（某些研究所）
本文探讨了在策略梯度方法中，不完美奖励的错误并非全然有害，通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响，提出了改进人类反馈强化学习和可验证奖励设计的实用方法。
2026-04-28 cs.AI cs.LG stat.ML
Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog
Tsinghua University（清华大学）
对话策略决定了面向任务的对话系统的响应内容和响应方式，对有效的对话起着至关重要的作用。许多研究应用强化学习来学习具有奖励功能的对话策略，这需要精心设计和预先指定的用户目标。随着跨多个领域处理复杂目标的需求不断增长，这种手动设计的奖励功能无法负担处理现实世界任务的复杂性。为此，我们提出了引导对话策略学习，这是一种基于对抗性逆强化学习的新型算法，用于多领域面向任务的对话中的联合奖励估计和策略优化。所提出的方法估计奖励信号，并推断用户的目标，在对话会话。奖励估计器评估状态-动作对，以便它可以在每个对话回合指导对话策略。在多域对话数据集上的大量实验表明，由学习的奖励函数指导的对话策略比最先进的基线实现了显着更高的任务成功率。
2019-08-28 cs.CL cs.LG
Mitigating Reward Hacking in RLHF via Advantage Sign Robustness
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所革新智能研究中心）
本文提出SignCert-PO方法，通过在策略优化阶段降低非鲁棒完成的权重，缓解RLHF中的奖励黑客问题，在摘要和AlpacaFarm基准测试中表现优于基线。
2026-04-03 cs.AI cs.CL cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国）；Columbia University, NY, United States（哥伦比亚大学，纽约，美国）
GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Targeting Misalignment: A Conflict-Aware Framework for Reward-Model-based LLM Alignment
本文提出了一种基于冲突意识的框架，通过识别和缓解代理模型与策略间的冲突来提升大语言模型的对齐性能。
2026-01-17 cs.CL
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Scaling Laws for Reward Model Overoptimization
OpenAI（开放人工智能研究中心）
在基于人类反馈的强化学习中，通常会针对经过训练以预测人类偏好的奖励模型进行优化。由于奖励模型是一个不完美的代理，根据古德哈特定律，过度优化其价值可能会阻碍地面真实性能。这种效应经常被观察到，但由于收集人类偏好数据的费用而没有仔细测量。在这项工作中，我们使用一个合成的设置，其中一个固定的“黄金标准”奖励模型扮演人类的角色，提供标签用于训练代理奖励模型。我们研究了黄金奖励模型分数如何变化，因为我们使用强化学习或最佳$n$采样对代理奖励模型进行优化。我们发现，这种关系遵循不同的函数形式取决于优化的方法，在这两种情况下，其系数的规模顺利与奖励模型参数的数量。我们还研究了奖励模型数据集的大小、奖励模型和策略参数的数量以及在强化学习设置中添加到奖励的KL惩罚系数对这种关系的影响。我们探讨了这些实证结果对AI对齐理论考虑的影响。
2022-10-19 cs.LG stat.ML
Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization
Meituan, China（美团，中国）
本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。
2026-05-13 cs.CL cs.LG
Episodic Return Decomposition by Difference of Implicitly Assigned Sub-Trajectory Reward
Nanjing University（南京大学）；Polixir Technologies（波利希尔科技）；Peng Cheng Laboratory（鹏城实验室）
针对强化学习中延迟奖励尤其是极端回合奖励下样本效率低的问题，提出Diaster回合回报分解方法，通过子轨迹奖励差值生成逐步代理奖励，经理论和实验验证可提升样本效率与性能。
2023-12-17 cs.LG
Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards
FAIR at Meta（Meta 的 FAIR）；Work done at Meta（Meta）；NYU Courant Institute（纽约大学Courant研究所）
本研究提出非对称REINFORCE算法，通过平衡正负奖励提升离线策略强化学习性能，理论分析表明基线下界可保证策略改进，并通过实验验证其有效性。
2025-11-28 cs.CL cs.LG
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线强化学习中行为策略过时导致的问题，提出GGPO算法，通过最小化KL调整奖励的对数均值指数对比实现优化，在基准测试和数学推理任务中性能优于GRPO、AGRO。
2026-10-16 cs.CL cs.LG
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research（字节跳动研究院）；Fudan University（复旦大学）；Tsinghua University（清华大学）
针对大语言模型RLHF中普遍存在的奖励过度优化问题，提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO，通过分布鲁棒优化改进策略，在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Rent-Seeking Language Models: Reward Models Set the Prices, Frequent Audits Curb the Rent
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
该研究将RLHF的奖励过优化重新定义为寻租，通过测试平台发现RL会将代理奖励增益的41%-66%转化为寻租，频繁温和审计可抑制寻租，还发现策略会停在审计阈值以下的迹象。
2026-10-14 cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
针对无模型强化学习（RL）提出了一种新的策略梯度形式，并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索，这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略，促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报，那么它就被认为是被低估了。所提出的探索策略易于实现，需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性，并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务，并推广到长序列。据我们所知，这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Model-free Policy Learning with Reward Gradients
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
针对策略梯度样本效率不足的问题，提出无需环境模型即可利用奖励梯度的 Reward Policy Gradient 估计器，改善偏差—方差权衡并提升 PPO 在 MuJoCo 任务上的表现。
2023-11-01 cs.AI cs.LG
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
RLAnything通过动态生成环境、策略和奖励模型，在完全动态的RL系统中提升学习效果，显著提升多个任务的性能。
2026-02-02 cs.AI cs.CL cs.CV
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统全国重点实验室，中国科学院自动化研究所）
本文提出CROP算法，通过同时最小化估计误差和随机动作奖励，实现保守奖励估计，缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
Going Beyond Heuristics by Imposing Policy Improvement as a Constraint
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
针对启发式奖励在强化学习中难以平衡的问题，提出HEPO框架，将策略改进作为约束，有效利用启发式并缓解奖励黑客，在标准基准上表现优越，且能减少人工设计奖励的负担。
2025-07-07 cs.AI cs.LG
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Toward Scalable Verifiable Reward: Proxy State-Based Evaluation for Multi-turn Tool-Calling LLM Agents
PayPal AI
本文提出基于代理状态的评估框架，用于多轮工具调用LLM代理的可扩展可验证奖励评估，通过LLM驱动的模拟框架实现稳定且区分模型的排名。
2026-05-13 cs.AI
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan（密歇根大学）
在许多顺序决策任务中，设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题，或其密切的变化，已经提出了文献。在本文中，我们建立在Singh等人的最优奖励框架之上，该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明，如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中，我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理，使用我们的算法提供附加的内在奖励A2C为基础的政策学习者（雅达利游戏）和基于PPO的政策学习者（Mujoco域）与基线代理，使用相同的政策学习者，但只有外在的奖励。我们的研究结果表明，在大多数，但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics（地平线机器人（Horizon Robotics））
最大熵（MaxEnt）RL最大化原始任务奖励和熵奖励的组合。据信，熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家（SAC）进行各种消融研究，进一步研究熵作为内在奖励。我们的研究结果表明，在一般情况下，熵奖励应谨慎应用于政策评估。一方面，熵奖励，像任何其他内在奖励一样，如果管理不当，可能会掩盖主要任务奖励。我们确定了一些失败的情况下，特别是在情节马尔可夫决策过程（MDPs），它可能会导致政策过于乐观或悲观的熵奖励。另一方面，我们的大规模实证研究表明，在政策改进中单独使用熵正则化，比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果，我们建议将熵奖励标准化为零均值（SACZero），或者简单地将其从策略评估中删除（SACLite）以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University（清华大学）；JD Technology（京东科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
奖励函数是强化学习（RL）中必不可少的，作为激励智能体解决给定任务的指导信号，然而，也是众所周知的难以设计。在许多情况下，只有不完美的奖励是可用的，这对RL代理造成了重大的性能损失。在这项研究中，我们提出了一个统一的离线策略优化方法，\textit{RGM (Reward Gap Minimization)}，它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题：上层优化的奖励校正项，执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性，我们得到了一个易于处理的算法，使基于采样的学习没有任何在线交互。综合实验表明，RGM实现了优越的性能，现有的方法在不同的设置不完美的奖励。此外，RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息，从有偏见的奖励。
2023-02-03 cs.AI cs.LG
From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
本文提出同策略预热（OPW）方法，通过教师监督学生自身交互轨迹进行蒸馏，为智能体RLVR提供有效初始化，理论证明其加速奖励发现并提升最终性能。
2026-10-01 cs.AI cs.LG
Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning
Tongyi Lab（通义实验室）；Alibaba Group（阿里巴巴集团）
本文提出EAPO方法，通过引入组相对证据奖励和适应性奖励-策略共演机制，提升长上下文推理中的证据提取质量，从而增强推理性能。
2026-04-20 cs.AI cs.CL
Policy Filtration for RLHF to Mitigate Noise in Reward Models
Microsoft Research（微软研究院）；Macquarie University（麦考瑞大学）；Nanjing University（南京大学）
本文提出PF-PPO，通过过滤奖励可能不可靠的RLHF训练样本提升信噪比，并以R2选择过滤策略，在代码生成和数学推理任务上验证其性能提升。
2025-06-07 cs.AI cs.LG
On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
计算准确的奖励函数的能力对于通过强化学习优化对话策略至关重要。在现实世界的应用中，使用明确的用户反馈作为奖励信号通常是不可靠的，并且收集成本很高。如果用户的意图是预先知道的，或者数据可用于离线预训练任务成功预测器，则可以缓解这个问题。实际上，这两种方法都不适用于大多数现实世界的应用。在这里，我们提出了一个在线的学习框架，通过主动学习与高斯过程模型的奖励模型一起，通过联合训练的对话政策。该高斯过程对使用递归神经网络编码器-解码器以无监督方式生成的连续空间对话表示进行操作。实验结果表明，该框架能够显着降低数据标注成本，并减轻嘈杂的用户反馈对话策略学习。
2016-06-02 cs.CL cs.LG
Reward Weighted Classifier-Free Guidance as Policy Improvement in Autoregressive Models
Sutter Hill Ventures（苏特希尔 Ventures）
本文提出奖励加权分类器无关引导（RCFG）作为自回归模型中策略改进的方法，通过Q函数近似调整采样分布，实现分子生成中新型奖励函数的优化，并加速标准强化学习的收敛。
2026-04-16 cs.AI cs.LG
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
