Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog
Tsinghua University（清华大学）
对话策略决定了面向任务的对话系统的响应内容和响应方式，对有效的对话起着至关重要的作用。许多研究应用强化学习来学习具有奖励功能的对话策略，这需要精心设计和预先指定的用户目标。随着跨多个领域处理复杂目标的需求不断增长，这种手动设计的奖励功能无法负担处理现实世界任务的复杂性。为此，我们提出了引导对话策略学习，这是一种基于对抗性逆强化学习的新型算法，用于多领域面向任务的对话中的联合奖励估计和策略优化。所提出的方法估计奖励信号，并推断用户的目标，在对话会话。奖励估计器评估状态-动作对，以便它可以在每个对话回合指导对话策略。在多域对话数据集上的大量实验表明，由学习的奖励函数指导的对话策略比最先进的基线实现了显着更高的任务成功率。
2019-08-28 cs.CL cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国）；Columbia University, NY, United States（哥伦比亚大学，纽约，美国）
GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
On Convergence of Average-Reward Off-Policy Control Algorithms in Weakly Communicating MDPs
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们展示了两种平均回报的非策略控制算法，差分Q学习（Wan，Naik，& Sutton 2021a）和RVI Q学习（Abounadi Bertsekas & Borkar 2001），收敛于弱通信的MDP。弱通信MDP是最一般的MDP，可以通过具有单个经验流的学习算法来解决。这两个算法的原始收敛性证明要求平均报酬最优性方程的解集只有一个自由度，这对于弱通信的MDP不一定是真的。据我们所知，我们的研究结果是第一次显示平均奖励的政策外控制算法收敛于弱通信MDPs。作为一个直接的扩展，我们证明了Wan，Naik，& Sutton（2021 b）引入的时间抽象的平均回报期权算法收敛，如果期权诱导的半MDP是弱通信的。
2022-11-06 cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Quantile Reward Policy Optimization: Alignment with Pointwise Regression and Exact Partition Functions
CLAIRE, EPFL（CLAIRE，瑞士联邦理工学院）
QRPO通过分位数奖励实现点绝对奖励学习，保留DPO的简单性和离线适用性，同时提升在聊天和编码任务中的性能。
2025-11-30 cs.LG
A General Framework for Off-Policy Learning with Partially-Observed Reward
Waseda University（早稻田大学）；HAKUHODO Technologies Inc.（HAKUHODO技术公司）；Cornell University（康奈尔大学）
针对部分观测奖励下上下文赌博机离线策略学习效果下降的问题，提出结合部分观测目标奖励与密集次级奖励的HyPeR方法，在多场景下优于现有方法。
2025-06-17 cs.LG
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
A Large Language Model-Driven Reward Design Framework via Dynamic Feedback for Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent IEG（腾讯互动娱乐事业群）
本文提出CARD框架，通过编码器与评估器的动态反馈迭代生成和优化强化学习奖励函数，并引入轨迹偏好评估以避免重复训练，在多个基准上以更高令牌效率达到或超越专家设计奖励的性能。
2024-10-18 cs.LG
Reward Conditioned Neural Movement Primitives for Population Based Variational Policy Optimization
Bogazici University（海峡大学）
本文的目的是在监督学习方法中研究基于奖励的策略探索问题，使机器人能够在具有挑战性的奖励设置和搜索空间中形成复杂的运动轨迹。为此，机器人的经验可以从演示的轨迹中引导，用于训练一个新的基于神经过程的深度网络，该网络从其潜在空间中采样并生成所需的轨迹，给出所需的奖励。我们的框架可以通过从高奖励景观中采样来生成逐步改进的轨迹，逐渐增加奖励。变分推理被用来创建一个随机的潜在空间，以在给定目标奖励的情况下生成轨迹的种群中对不同的轨迹进行采样。我们受益于进化策略，并提出了一种新的交叉操作，这是应用在自组织的潜在空间的个人政策，允许混合的个人，可能会解决不同的因素在奖励功能。使用一些需要连续到达多个点或通过对象之间的间隙的任务，我们表明，与许多最先进的机器人强化学习方法相比，我们的方法提供了稳定的学习进度和显著的样本效率。最后，我们通过实际的机器人执行避障显示我们的方法在现实世界中的适用性。
2020-11-09 cs.AI cs.LG cs.RO
Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization
Meituan, China（美团，中国）
本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。
2026-05-13 cs.CL cs.LG
Learning a Pessimistic Reward Model in RLHF
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PET方法，通过微调悲观奖励模型，在离线RLHF中无需正则化即可防止奖励黑客攻击，并在TL;DR数据集上验证了其可行性与高性能。
2025-05-26 cs.LG
Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards
FAIR at Meta（Meta 的 FAIR）；Work done at Meta（Meta）；NYU Courant Institute（纽约大学Courant研究所）
本研究提出非对称REINFORCE算法，通过平衡正负奖励提升离线策略强化学习性能，理论分析表明基线下界可保证策略改进，并通过实验验证其有效性。
2025-11-28 cs.CL cs.LG
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线强化学习中行为策略过时导致的问题，提出GGPO算法，通过最小化KL调整奖励的对数均值指数对比实现优化，在基准测试和数学推理任务中性能优于GRPO、AGRO。
2026-10-16 cs.CL cs.LG
RVI-SAC: Average Reward Off-Policy Deep Reinforcement Learning
Tokyo Institute of Technology（东京工业大学）
提出平均奖励离策略深度强化学习方法 RVI-SAC，通过 RVI Q-learning Critic、平均奖励软策略改进 Actor 及可调整 Reset Cost，在 Mujoco 任务上取得具竞争力的性能。
2024-08-04 cs.LG
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research（字节跳动研究院）；Fudan University（复旦大学）；Tsinghua University（清华大学）
针对大语言模型RLHF中普遍存在的奖励过度优化问题，提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO，通过分布鲁棒优化改进策略，在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Off-Policy Reinforcement Learning with Delayed Rewards
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了具有延迟奖励的深度强化学习（RL）算法。在许多现实世界的任务中，即时奖励通常不容易获得，甚至在代理执行操作后立即定义。在这项工作中，我们首先正式定义的环境与延迟奖励，并讨论了由于非马尔可夫性质的这种环境所提出的挑战。然后，我们引入了一个通用的非策略RL框架，该框架具有新的Q函数公式，可以处理延迟奖励，并具有理论收敛保证。对于具有高维状态空间的实际任务，我们进一步在我们的框架中引入了Q函数的HC分解规则，这自然会导致一种近似方案，有助于提高训练效率和稳定性。最后，我们进行了广泛的实验，以证明我们的算法优于现有的工作和他们的变种的性能。
2021-06-22 cs.LG
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan（密歇根大学）
在许多顺序决策任务中，设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题，或其密切的变化，已经提出了文献。在本文中，我们建立在Singh等人的最优奖励框架之上，该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明，如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中，我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理，使用我们的算法提供附加的内在奖励A2C为基础的政策学习者（雅达利游戏）和基于PPO的政策学习者（Mujoco域）与基线代理，使用相同的政策学习者，但只有外在的奖励。我们的研究结果表明，在大多数，但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
Reward Learning from Multiple Feedback Types
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出从六种反馈类型中学习奖励的方法，在十个RL环境中验证其有效性，表明多类型反馈能提升奖励建模性能，为RLHF提供新方向。
2025-02-28 cs.AI cs.LG
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
Performance Bounds for Policy-Based Average Reward Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对平均奖励强化学习算法，通过首次推导出平均奖励MDP的有限时间误差界限，解决了现有理论界限趋于无穷大的问题，并证明了当策略评估和改进误差趋于零时渐近误差趋于零。
2023-06-27 cs.LG cs.SY eess.SY
Defining Admissible Rewards for High Confidence Policy Evaluation
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
强化学习（RL）在具有有限批量数据的实际应用中的一个关键障碍是定义一个奖励函数，该函数反映了我们对任务的合理行为的隐含了解，并允许鲁棒的非策略评估。在这项工作中，我们开发了一种方法来确定一组可接受的奖励函数的政策，（a）不偏离太远，从过去的行为，（b）可以进行评估，只有一个过去的轨迹的集合。这些共同确保我们提出我们相信在高风险环境中可以实施的政策。我们展示了我们的方法，以奖励设计的合成域，以及在重症监护的情况下，奖励，巩固临床目标，学习的政策，病人从机械通气脱机。
2019-05-30 cs.LG stat.ML
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出结合课程学习和奖励工程的PPO智能体，解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题，实现近零安全违规并提升效率。
2024-07-23 cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
针对无模型强化学习（RL）提出了一种新的策略梯度形式，并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索，这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略，促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报，那么它就被认为是被低估了。所提出的探索策略易于实现，需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性，并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务，并推广到长序列。据我们所知，这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Trajectory-Oriented Policy Optimization with Sparse Rewards
School of Mathematical Sciences Beihang University Beijing, China；Institute of Artificial Intelligence Beihang University Beijing, China
针对稀疏奖励下深度强化学习探索困难的问题，提出利用离线演示轨迹和 MMD 轨迹距离约束策略优化，并在离散与连续控制任务中显著优于基线。
2024-04-10 cs.LG
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种群体敏感的离线上下文老虎机优化框架，通过引入群体奖励差异约束，减少策略学习中的群体间奖励不平等，同时保持整体性能的竞争性。
2026-01-06 cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback
University of Washington（华盛顿大学）；Harvard University（哈佛大学）
我们研究了一个多臂强盗问题在一个动态的环境中，根据马尔可夫链的手臂奖励的相关方式演变。与许多相关问题的工作不同，在我们的公式中，学习算法不能访问马尔可夫链状态的先验信息或观察，只能观察到平滑的奖励反馈后的时间间隔，我们称之为历元。我们证明了现有的方法，如UCB和$\varepsilon$贪婪可以遭受线性遗憾在这样的环境中。利用马尔可夫链上的混合时间界限，我们开发了名为EpochUCB和EpochGreedy的算法，它们从上述方法中汲取灵感，但承认问题公式的次线性遗憾保证。我们提出的算法进行的时代，其中一个手臂反复播放的迭代次数，线性增长的手臂在过去播放的次数的函数。我们分析这些算法在两种类型的平滑的奖励反馈在每个时代结束时：奖励是一个时代内的折扣奖励的折扣平均值，和奖励是一个时代内的奖励的时间平均值。
2019-03-01 cs.LG
Model-free Policy Learning with Reward Gradients
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
针对策略梯度样本效率不足的问题，提出无需环境模型即可利用奖励梯度的 Reward Policy Gradient 估计器，改善偏差—方差权衡并提升 PPO 在 MuJoCo 任务上的表现。
2023-11-01 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统全国重点实验室，中国科学院自动化研究所）
本文提出CROP算法，通过同时最小化估计误差和随机动作奖励，实现保守奖励估计，缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
GD$^2$PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization
Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队）；Renmin University of China（中国人民大学）；Peking University（北京大学）；ETH Zürich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；The Chinese University of Hong Kong（香港中文大学）
提出GD$^2$PO算法，通过冲突感知过滤机制屏蔽奖励不一致的rollout，并结合查询级重加权，解决多奖励优化中的信号抵消问题，提升RL训练效率。
2026-06-16 cs.LG
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Why Policy Gradient Algorithms Work for Undiscounted Total-Reward MDPs
Seoul National University, Department of Mathematical Sciences（首尔国立大学数学科学系）；UCLA, Department of Mathematics（加州大学洛杉矶分校数学系）
本文探讨了为何策略梯度算法在未折扣总奖励MDP中有效，通过状态分类和暂态访问度量的分析，解决了γ=1时的收敛问题。
2026-02-10 cs.LG
Going Beyond Heuristics by Imposing Policy Improvement as a Constraint
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
针对启发式奖励在强化学习中难以平衡的问题，提出HEPO框架，将策略改进作为约束，有效利用启发式并缓解奖励黑客，在标准基准上表现优越，且能减少人工设计奖励的负担。
2025-07-07 cs.AI cs.LG
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning
提出CoRe框架，将奖励分解为基于任务知识的正式奖励和从观察中学习的残差奖励，利用视觉语言模型迭代优化奖励，实现无需人工的偏好对齐，在机器人操作任务中优于现有方法。
2026-07-03 cs.RO
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
Difference Rewards Policy Gradients
University of Liverpool（利物浦大学）；Microsoft Research Cambridge（微软研究院剑桥分部）；Delft University of Technology（代尔夫特理工大学）
提出Dr.Reinforce算法，通过结合difference rewards与策略梯度解决多智能体信用分配问题，在奖励函数已知或未知时均能有效学习去中心化策略。
2023-11-09 cs.LG cs.MA
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes
Loblaw Digital（罗布劳数字公司）
进行调查的各种多臂强盗（MAB）的策略，以检查他们的表现，表现出非平稳的随机奖励函数的情况下，与延迟反馈。我们运行了几个MAB模拟来模拟杂货店提货的在线电子商务平台，优化产品可用性。在这项工作中，我们评估了几个流行的MAB策略，如$ε$ -贪婪，UCB 1，和汤普森采样。我们比较各自的表现，每一个MAB策略的背景下，后悔最小化。我们在奖励函数是非平稳的情况下进行分析。此外，该过程经历延迟反馈，其中奖励功能不会立即响应所玩的手臂。我们设计了一个新的自适应技术（AG 1）量身定制的非平稳的奖励函数在延迟反馈的情况下。仿真结果表明，与传统的MAB策略相比，该策略在遗憾最小化方面具有更好的性能。
2019-07-29 cs.LG stat.AP stat.ML
When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient
Some Institute（某些研究所）
本文探讨了在策略梯度方法中，不完美奖励的错误并非全然有害，通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响，提出了改进人类反馈强化学习和可验证奖励设计的实用方法。
2026-04-28 cs.AI cs.LG stat.ML
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University（清华大学）；JD Technology（京东科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
奖励函数是强化学习（RL）中必不可少的，作为激励智能体解决给定任务的指导信号，然而，也是众所周知的难以设计。在许多情况下，只有不完美的奖励是可用的，这对RL代理造成了重大的性能损失。在这项研究中，我们提出了一个统一的离线策略优化方法，\textit{RGM (Reward Gap Minimization)}，它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题：上层优化的奖励校正项，执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性，我们得到了一个易于处理的算法，使基于采样的学习没有任何在线交互。综合实验表明，RGM实现了优越的性能，现有的方法在不同的设置不完美的奖励。此外，RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息，从有偏见的奖励。
2023-02-03 cs.AI cs.LG
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
University of Michigan（密歇根大学）
针对一般RL问题，提出两种无需奖励推断的RLHF算法，通过零阶梯度近似策略梯度，在随机环境中优于DPO和PPO基线。
2025-03-03 cs.LG stat.ML
TMS: Trajectory-Mixed Supervision for Reward-Free, On-Policy SFT
TMS通过轨迹混合监督在无奖励的情况下提升大语言模型的保留能力，有效弥补了传统SFT与RL之间的差距。
2026-02-03 cs.LG
