Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Amazon（亚马逊）
通过分析强化学习更新的几何结构，发现奖励黑客源于优化偏离稳定低维学习轨迹，提出可信方向投影方法约束梯度在干净参考子空间内，延迟捷径利用并保持任务性能。
2026-05-24 cs.CL cs.LG
Online Merging Optimizers for Boosting Rewards and Mitigating Tax in Alignment
Qwen Team, Alibaba Inc.（通义千问团队，阿里巴巴集团）
提出在线合并优化器，在RLHF每步融合RL策略与SFT模型参数，以梯度引导方式提升对齐奖励并缓解对齐税，在多种模型和算法上验证有效。
2024-05-28 cs.CL cs.LG
Rethinking the Role of Proxy Rewards in Language Model Alignment
NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER AI实验室）；KAIST AI（韩国科学技术院人工智能学院）
本研究通过逆向奖励工程构建白盒奖励函数，探究代理奖励在大语言模型对齐中的作用，发现模拟黄金奖励的关键要求，且所提白盒奖励模型性能比肩开源RM，可作为无需人类反馈数据集的强基线。
2024-10-06 cs.AI cs.CL cs.LG
DIRECT: Learning from Sparse and Shifting Rewards using Discriminative Reward Co-Training
LMU Munich（慕尼黑大学）
我们提出了区分奖励协同训练（DIRECT）作为深度强化学习算法的扩展。基于自模仿学习（SIL）的概念，我们引入了一个模仿缓冲区来存储由策略产生的收益轨迹。与策略同时训练一个递归网络，以区分当前策略生成的轨迹和先前策略生成的有益轨迹。最后，利用决策者的判断来构造一个用于优化策略的奖励信号。通过插值先前的经验，DIRECT能够充当代理，将策略优化转向奖励景观中更有价值的区域，从而学习最优策略。我们的研究结果表明，直接优于国家的最先进的算法在稀疏和转移奖励环境能够提供一个替代奖励的政策和指导的优化有价值的领域。
2023-01-18 cs.LG
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题，提出SMOPD两阶段训练方法，在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文构建奖励到最优策略映射的数学稳定性框架，用动作非唯一性和有效奖励聚合解释RL导致的LLM/LRM脆弱与欺骗等故障，并证明熵正则化可恢复稳定性。
2025-07-27 cs.AI cs.CL cs.LG
ARGS: Alignment as Reward-Guided Search
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
提出ARGS框架，将人类偏好对齐融入解码过程，通过奖励信号调整概率预测，免去昂贵强化学习训练，在多种任务上显著提升平均奖励并获GPT-4高评价。
2024-01-23 cs.AI cs.CL cs.LG
Fine-Tuning Language Models with Reward Learning on Policy
Alibaba Group（阿里巴巴集团）
本文提出策略上奖励学习（RLP）框架，通过无监督多视图学习和合成偏好生成，利用策略样本精炼奖励模型以缓解分布外问题，在三个基准数据集上优于现有方法。
2024-03-28 cs.AI cs.CL cs.LG
Energy-Based Reward Models for Robust Language Model Alignment
Department of Computer Science（计算机科学系）；Purdue University（普渡大学）
提出基于能量的奖励模型（EBRM），通过后处理细化框架显式建模奖励分布，增强奖励模型的稳健性和泛化性，无需重训练即可提升对齐质量并延迟奖励黑客攻击。
2025-08-05 cs.CL cs.LG stat.ML
GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization
NVIDIA
GDPO通过解耦奖励归一化提升多奖励强化学习优化的稳定性和准确性，优于GRPO。
2026-01-08 cs.AI cs.CL cs.LG
Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Beijing University of Posts and Telecommunications（北京邮电大学）
本文将LLM对齐表述为BIRL问题，提出AVA训练目标通过AVRIL进行对齐，直接建模单演示与中间奖励以提升信号利用率，在奖励建模、RL微调和直接优化上优于现有方法。
2024-11-14 cs.LG
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；Duke University（杜克大学）；BraneMatrix AI；Renmin University of China（中国人民大学）；Northeast University（东北大学）；Nanyang Technological University（南洋理工大学）；Zhejiang Lab（浙江实验室）；Sun Yat-sen University（中山大学）
DR-IRL通过动态奖励缩放和逆强化学习提升大语言模型的安全对齐性能，有效解决数据不平衡和静态奖励模型的局限性。
2026-03-02 cs.AI cs.CL cs.LG
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Towards Improving Reward Design in RL: A Reward Alignment Metric for RL Practitioners
本文提出 Trajectory Alignment Coefficient，以人类与奖励函数对轨迹分布排序的一致性评估奖励对齐，并通过 11 人用户研究验证其可降低认知负荷并提升奖励选择成功率。
2025-07-24 cs.AI cs.LG
Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Microsoft Research（微软研究院）；University of Michigan（密歇根大学）；Shanghai Jiao Tong University（上海交通大学）；CUHKSZ（香港中文大学（深圳））；THU（清华大学）
本文通过实证研究发现，LLM对齐任务并不需要多样性算法，标准奖励最大化RLVR方法在道德推理中同样有效。
2026-03-11 cs.AI cs.CL cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国）；Columbia University, NY, United States（哥伦比亚大学，纽约，美国）
GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment
Department of Statistics, Purdue University（普渡大学统计学系）；Department of Statistics, Michigan State University（密歇根州立大学统计学系）
本文提出f-GRPO和f-HAL算法，通过发散性估计提升大语言模型对齐效果，在数学推理任务中改进GRPO并缓解奖励黑客问题。
2026-05-11 cs.LG stat.ML
Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文评估了一种零样本跨语言对齐方法，通过迁移源语言训练的奖励模型至目标语言，在摘要和对话任务中实现高达70%以上的人类偏好度，并提供了无特定语言数据时的最佳实践。
2024-10-14 cs.CL
On Convergence of Average-Reward Off-Policy Control Algorithms in Weakly Communicating MDPs
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们展示了两种平均回报的非策略控制算法，差分Q学习（Wan，Naik，& Sutton 2021a）和RVI Q学习（Abounadi Bertsekas & Borkar 2001），收敛于弱通信的MDP。弱通信MDP是最一般的MDP，可以通过具有单个经验流的学习算法来解决。这两个算法的原始收敛性证明要求平均报酬最优性方程的解集只有一个自由度，这对于弱通信的MDP不一定是真的。据我们所知，我们的研究结果是第一次显示平均奖励的政策外控制算法收敛于弱通信MDPs。作为一个直接的扩展，我们证明了Wan，Naik，& Sutton（2021 b）引入的时间抽象的平均回报期权算法收敛，如果期权诱导的半MDP是弱通信的。
2022-11-06 cs.LG
Quantile Reward Policy Optimization: Alignment with Pointwise Regression and Exact Partition Functions
CLAIRE, EPFL（CLAIRE，瑞士联邦理工学院）
QRPO通过分位数奖励实现点绝对奖励学习，保留DPO的简单性和离线适用性，同时提升在聊天和编码任务中的性能。
2025-11-30 cs.LG
A General Framework for Off-Policy Learning with Partially-Observed Reward
Waseda University（早稻田大学）；HAKUHODO Technologies Inc.（HAKUHODO技术公司）；Cornell University（康奈尔大学）
针对部分观测奖励下上下文赌博机离线策略学习效果下降的问题，提出结合部分观测目标奖励与密集次级奖励的HyPeR方法，在多场景下优于现有方法。
2025-06-17 cs.LG
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所革新智能研究中心）
本文提出SignCert-PO方法，通过在策略优化阶段降低非鲁棒完成的权重，缓解RLHF中的奖励黑客问题，在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Theoretical Limits of Language Model Alignment
Apple（苹果公司）
研究语言模型对齐的理论极限，通过推导KL散度预算下的最大预期奖励增益，揭示了KL正则化对齐的信息论限制，并证明了奖励融合能缓解奖励黑客问题。
2026-05-08 cs.CL cs.CY cs.IT
Learning a Pessimistic Reward Model in RLHF
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PET方法，通过微调悲观奖励模型，在离线RLHF中无需正则化即可防止奖励黑客攻击，并在TL;DR数据集上验证了其可行性与高性能。
2025-05-26 cs.LG
RVI-SAC: Average Reward Off-Policy Deep Reinforcement Learning
Tokyo Institute of Technology（东京工业大学）
提出平均奖励离策略深度强化学习方法 RVI-SAC，通过 RVI Q-learning Critic、平均奖励软策略改进 Actor 及可调整 Reset Cost，在 Mujoco 任务上取得具竞争力的性能。
2024-08-04 cs.LG
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research（字节跳动研究院）；Fudan University（复旦大学）；Tsinghua University（清华大学）
针对大语言模型RLHF中普遍存在的奖励过度优化问题，提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO，通过分布鲁棒优化改进策略，在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Off-Policy Reinforcement Learning with Delayed Rewards
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了具有延迟奖励的深度强化学习（RL）算法。在许多现实世界的任务中，即时奖励通常不容易获得，甚至在代理执行操作后立即定义。在这项工作中，我们首先正式定义的环境与延迟奖励，并讨论了由于非马尔可夫性质的这种环境所提出的挑战。然后，我们引入了一个通用的非策略RL框架，该框架具有新的Q函数公式，可以处理延迟奖励，并具有理论收敛保证。对于具有高维状态空间的实际任务，我们进一步在我们的框架中引入了Q函数的HC分解规则，这自然会导致一种近似方案，有助于提高训练效率和稳定性。最后，我们进行了广泛的实验，以证明我们的算法优于现有的工作和他们的变种的性能。
2021-06-22 cs.LG
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan（密歇根大学）
在许多顺序决策任务中，设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题，或其密切的变化，已经提出了文献。在本文中，我们建立在Singh等人的最优奖励框架之上，该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明，如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中，我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理，使用我们的算法提供附加的内在奖励A2C为基础的政策学习者（雅达利游戏）和基于PPO的政策学习者（Mujoco域）与基线代理，使用相同的政策学习者，但只有外在的奖励。我们的研究结果表明，在大多数，但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
RLAnything通过动态生成环境、策略和奖励模型，在完全动态的RL系统中提升学习效果，显著提升多个任务的性能。
2026-02-02 cs.AI cs.CL cs.CV
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
Scalable agent alignment via reward modeling: a research direction
DeepMind（深度思维）；Mila（米拉研究所）
将强化学习算法应用于现实问题的一个障碍是缺乏合适的奖励函数。设计这样的奖励函数是困难的，部分原因是用户对任务目标只有隐含的理解。这就产生了代理对齐的问题：我们如何创建代理的行为，根据用户的意图？我们概述了一个高层次的研究方向，以解决围绕奖励建模的代理对齐问题：从与用户的交互中学习奖励函数，并使用强化学习优化学习的奖励函数。我们讨论了将奖励建模扩展到复杂和一般领域时所面临的关键挑战，减轻这些挑战的具体方法，以及在所产生的代理中建立信任的方法。
2018-11-19 cs.AI cs.LG cs.NE
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics（地平线机器人（Horizon Robotics））
最大熵（MaxEnt）RL最大化原始任务奖励和熵奖励的组合。据信，熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家（SAC）进行各种消融研究，进一步研究熵作为内在奖励。我们的研究结果表明，在一般情况下，熵奖励应谨慎应用于政策评估。一方面，熵奖励，像任何其他内在奖励一样，如果管理不当，可能会掩盖主要任务奖励。我们确定了一些失败的情况下，特别是在情节马尔可夫决策过程（MDPs），它可能会导致政策过于乐观或悲观的熵奖励。另一方面，我们的大规模实证研究表明，在政策改进中单独使用熵正则化，比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果，我们建议将熵奖励标准化为零均值（SACZero），或者简单地将其从策略评估中删除（SACLite）以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
Performance Bounds for Policy-Based Average Reward Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对平均奖励强化学习算法，通过首次推导出平均奖励MDP的有限时间误差界限，解决了现有理论界限趋于无穷大的问题，并证明了当策略评估和改进误差趋于零时渐近误差趋于零。
2023-06-27 cs.LG cs.SY eess.SY
Defining Admissible Rewards for High Confidence Policy Evaluation
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
强化学习（RL）在具有有限批量数据的实际应用中的一个关键障碍是定义一个奖励函数，该函数反映了我们对任务的合理行为的隐含了解，并允许鲁棒的非策略评估。在这项工作中，我们开发了一种方法来确定一组可接受的奖励函数的政策，（a）不偏离太远，从过去的行为，（b）可以进行评估，只有一个过去的轨迹的集合。这些共同确保我们提出我们相信在高风险环境中可以实施的政策。我们展示了我们的方法，以奖励设计的合成域，以及在重症监护的情况下，奖励，巩固临床目标，学习的政策，病人从机械通气脱机。
2019-05-30 cs.LG stat.ML
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出结合课程学习和奖励工程的PPO智能体，解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题，实现近零安全违规并提升效率。
2024-07-23 cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
针对无模型强化学习（RL）提出了一种新的策略梯度形式，并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索，这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略，促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报，那么它就被认为是被低估了。所提出的探索策略易于实现，需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性，并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务，并推广到长序列。据我们所知，这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Trajectory-Oriented Policy Optimization with Sparse Rewards
School of Mathematical Sciences Beihang University Beijing, China；Institute of Artificial Intelligence Beihang University Beijing, China
针对稀疏奖励下深度强化学习探索困难的问题，提出利用离线演示轨迹和 MMD 轨迹距离约束策略优化，并在离散与连续控制任务中显著优于基线。
2024-04-10 cs.LG
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种群体敏感的离线上下文老虎机优化框架，通过引入群体奖励差异约束，减少策略学习中的群体间奖励不平等，同时保持整体性能的竞争性。
2026-01-06 cs.LG
Transfer Reward Learning for Policy Gradient-Based Text Generation
University of Liverpool（利物浦大学）
特定于任务的分数通常用于优化和评估条件文本生成系统的性能。然而，这样的分数是不可微的，并且不能在标准的监督学习范例中使用。因此，使用策略梯度方法，因为可以在不需要可微目标的情况下计算梯度。然而，我们认为，目前的n-gram重叠作为奖励的措施，可以通过使用基于模型的奖励，直接比较句子对的相似性的任务转移。这些奖励模型要么输出整个预测句子和目标句子之间的句子级句法和语义相似度的分数作为预期回报，要么输出中间短语作为分段累积奖励。我们证明，使用一个\textit{Transferable Reward Learner}导致改进的结果语义评价措施的政策梯度模型的图像描述任务。我们的InferSent actor-critic模型在MSCOCO上的BLEU训练的actor-critic模型上进行了6.97点的Word Mover距离相似性度量评估，也提高了滑动窗口余弦相似性度量10.48点。在较小的Flickr-30 k数据集上也获得了类似的性能改进，证明了所提出的迁移学习方法的普遍适用性。
2019-09-09 cs.CL cs.CV cs.LG
Efficient Language-instructed Skill Acquisition via Reward-Policy Co-Evolution
Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）
提出奖励-策略协同进化框架，利用LLM动态生成奖励函数并结合改进的贝叶斯优化混合策略种群，以更少数据在高维机器人控制任务中实现95.3%的归一化改进。
2024-12-18 cs.LG cs.RO
Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications
Rice University（里士大学）
本文提出基于语言的层次奖励设计（HRDL）和语言到层次奖励（L2HR）方法，用于通过人类规范增强智能体行为对齐，提升AI任务完成效果和规范遵守程度。
2026-02-20 cs.AI cs.CL cs.HC
Model-free Policy Learning with Reward Gradients
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
针对策略梯度样本效率不足的问题，提出无需环境模型即可利用奖励梯度的 Reward Policy Gradient 估计器，改善偏差—方差权衡并提升 PPO 在 MuJoCo 任务上的表现。
2023-11-01 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Bayesian Reward Models for LLM Alignment
University of Bristol（布里斯托大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
本文提出用基于 LoRA 权重的 Laplace 近似训练贝叶斯奖励模型，通过不确定性估计缓解大语言模型对齐中 BoN 采样和 RLHF 的奖励过度优化问题。
2024-07-03 cs.LG
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统全国重点实验室，中国科学院自动化研究所）
本文提出CROP算法，通过同时最小化估计误差和随机动作奖励，实现保守奖励估计，缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
GD$^2$PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization
Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队）；Renmin University of China（中国人民大学）；Peking University（北京大学）；ETH Zürich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；The Chinese University of Hong Kong（香港中文大学）
提出GD$^2$PO算法，通过冲突感知过滤机制屏蔽奖励不一致的rollout，并结合查询级重加权，解决多奖励优化中的信号抵消问题，提升RL训练效率。
2026-06-16 cs.LG
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
