Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park（马里兰大学帕克分校）；Swarm Labs（斯沃姆实验室）
可视化优化景观带来了许多数值优化的基本见解，并对优化技术进行了新的改进。然而，强化学习优化的目标（“奖励表面”）的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面，并首次表明许多流行的强化学习环境经常出现“悬崖”（预期回报突然大幅下降）。我们证明，A2C经常“潜水”这些悬崖到参数空间的低回报区域，而PPO避免他们，确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库，使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败，我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Average-reward model-free reinforcement learning: a systematic review and literature mapping
University of Queensland（昆士兰大学）；University of Newcastle（纽卡斯尔大学）；International Computer Science Institute（国际计算机科学研究所）
强化学习是人工智能的重要组成部分。在本文中，我们回顾了无模型强化学习，利用平均奖励最优性标准在无限时域设置。受Mahadevan（1996 a）的单独调查的启发，我们提供了这一领域工作的最新回顾，并将其扩展到包括策略迭代和函数逼近方法（除了值迭代和表格对应方法）。我们提出了一个全面的文献映射。我们还确定和讨论未来工作的机会。
2021-08-03 cs.AI cs.LG
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；TikTok Pte. Ltd., Singapore（新加坡TikTok公司）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架，通过奖励塑形实现知识共享与迁移，在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Internally Rewarded Reinforcement Learning
University of Hamburg（汉堡大学）
该研究针对策略与内部奖励模型相互依赖导致强化学习不稳定的问题，形式化定义了IRRL设置，提出截断线性奖励函数，经实验验证可稳定训练、加快收敛并提升多任务性能。
2023-08-24 cs.AI cs.LG
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University（清华大学）
分层强化学习（HRL）是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能，要么需要特定领域的信息来定义低级奖励。在本文中，我们的目标是在保持奖励设计的通用性的同时，使低级技能适应下游任务。我们提出了一个HRL框架，设置辅助奖励的基础上，低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外，我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明，我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs
Bar Ilan University（巴伊兰大学）
针对无限时域非回合制任务中的平均奖励强化学习，提出一种修正的调和均值算子，解决SMDP中奖励和持续时间非平稳时的奖励率计算问题，并证明其理论性质及有效性。
2026-05-06 cs.AI cs.LG
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute（向量学院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习（RL）方法通常将奖励函数视为黑箱。因此，这些方法必须与环境广泛互动，以发现奖励和最佳策略。然而，在大多数RL应用程序中，用户必须对奖励函数进行编程，因此有机会使奖励函数可见-向RL代理显示奖励函数的代码，以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中，我们展示了如何通过两个步骤来实现这一想法。首先，我们提出了奖励机，一种有限状态机，它支持奖励函数的规范，同时暴露奖励函数的结构。然后，我们描述了利用此结构来支持学习的不同方法，包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后，由于是有限状态机的一种形式，奖励机具有正则语言的表达能力，并且因此支持循环、序列和条件，以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Microsoft（微软）；Intel Labs（英特尔实验室）
为稀疏目标学习有效策略是深度强化学习（RL）的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释，但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性，但是是高维的黑箱解决方案，几乎没有可解释性。在本文中，我们提出了一种以低维符号树的形式发现密集奖励的方法，从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励，然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现，密集奖励是RL策略解决基准任务的有效信号。值得注意的是，我们显着优于广泛使用的，当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland（伯恩大学）
本文提出一种简单有效的奖励归一化替代方法，通过整合一维卡尔曼滤波进行在线奖励估计，递归估计潜在奖励均值，降低高方差回报并适应非平稳环境，实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Adaptive Correlation-Weighted Intrinsic Rewards for Reinforcement Learning
Institute for Artificial Intelligence（人工智能研究所）；VNU-University of Engineering and Technology（越南工程与技术大学）
ACWI通过自适应相关加权内在奖励机制提升稀疏奖励强化学习中的探索效率和样本效率。
2026-02-27 cs.AI cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
MIR: Efficient Exploration in Episodic Multi-Agent Reinforcement Learning via Mutual Intrinsic Reward
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
MIR通过互惠内在奖励机制，提升多智能体强化学习中稀疏回合制奖励下的探索效率与团队协作性能。
2025-11-21 cs.AI cs.LG
Language Reward Modulation for Pretraining Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
本研究提出LAMP方法，将视觉-语言模型的零样本能力作为强化学习预训练信号，结合探索奖励训练语言条件化预训练策略，可实现机器人操作任务的样本高效学习热启动。
2023-08-23 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
TW-CRL: Time-Weighted Contrastive Reward Learning for Efficient Inverse Reinforcement Learning
Northwestern University（西北大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出时间加权对比奖励学习框架，利用成功与失败示范学习密集奖励，识别关键状态，避免陷阱状态并促进探索，在导航和机器人操作任务上超越现有方法。
2025-05-22 cs.AI cs.LG
Phasic Self-Imitative Reduction for Sparse-Reward Goal-Conditioned Reinforcement Learning
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近的趋势是利用监督学习（SL）的力量来实现更有效的强化学习（RL）方法。我们提出了一种新的阶段性方法，通过交替在线RL和离线SL来解决稀疏奖励目标条件问题。在在线阶段，我们执行RL训练并收集展示数据，而在离线阶段，我们对数据集中的成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用了额外的技术，包括任务简化以生成更多可行的轨迹和基于值差的内在奖励以缓解稀疏奖励问题。我们称之为Phasic self-Imitative Reduction（PAIR）。PAIR大大优于非相位RL和相位SL基线稀疏奖励目标条件的机器人控制问题，包括一个具有挑战性的堆叠任务。PAIR是第一个从头开始学习堆叠6个立方体的RL方法，只有0/1的成功奖励。
2022-06-24 cs.AI cs.LG
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple（苹果公司）
GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Reinforcement Learning with a Corrupted Reward Channel
Australian National University（澳大利亚国立大学）；DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高（或更低）的奖励。例如，一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态，但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题，称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳，即使在强简化假设下，以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先，通过给予智能体更丰富的数据，例如在逆强化学习和半监督强化学习中，有时可以完全管理源于系统感觉错误的奖励腐败。其次，通过使用随机化来削弱代理的优化，可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
RLSR: Reinforcement Learning from Self Reward
Tufa Labs（图法实验室）
本文提出RLSR方法，利用大型语言模型自我评判生成奖励信号，无需真实答案即可进行强化学习，在倒计时和积分任务中达到形式验证水平，并建立完整自我改进循环，推动自主AI发展。
2025-08-06 cs.AI cs.LG
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Reinforcement Learning with Exogenous States and Rewards
Intercom Dublin（Intercom 布鲁姆斯贝克）；Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
2026-01-14 cs.AI cs.LG stat.ML
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Deceptive Reinforcement Learning for Privacy-Preserving Planning
The University of Melbourne（墨尔本大学）
在本文中，我们研究了欺骗性强化学习的问题，以保护奖励函数的隐私。强化学习是根据探索行为获得的奖励来寻找行为策略的问题。强化学习的一个关键要素是奖励函数，它决定了给予多少奖励（负或正）以及何时给予。然而，在某些情况下，我们可能希望将奖励函数保持私有;也就是说，使观察者难以确定所使用的奖励函数。我们定义了隐私保护强化学习的问题，并提出了两个解决这个问题的模型。这些模型是基于伪装--一种“隐藏真相”的欺骗形式。我们通过计算和人类行为实验来评估我们的模型。结果表明，由此产生的政策确实是欺骗性的，参与者可以确定真正的奖励功能不可靠的诚实代理。
2021-02-05 cs.AI cs.LG cs.MA
Hyperbolically-Discounted Reinforcement Learning on Reward-Punishment Framework
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种新的基于双曲折扣的强化学习。结合一种新的时间差误差和双曲贴现的递归方式和奖惩框架，一个新的方案来学习最优策略。在模拟中，它被发现的建议优于标准的强化学习，虽然性能取决于奖励和惩罚的设计。此外，贴现因素的平均值w.r.t.奖励和惩罚是不同的，就像动物行为中的符号效应。
2021-06-03 cs.LG
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing
University of California, Berkeley（加州大学伯克利分校）
针对奖励预测成为基于模型的强化学习瓶颈的问题，提出DreamSmooth方法，通过预测时间平滑奖励提升长视野稀疏奖励任务的样本效率和性能，且不损失常见基准表现。
2024-02-18 cs.AI cs.LG cs.RO
Open-Ended Reinforcement Learning with Neural Reward Functions
ETH Zürich（苏黎世联邦理工学院）
受无监督学习在计算机视觉和自然语言处理中取得的巨大成功的启发，强化学习社区最近开始更多地关注技能的无监督发现。大多数当前的方法，如DIAYN或DADS，优化某种形式的互信息目标。我们提出了一种不同的方法，使用由神经网络编码的奖励函数。这些被反复训练以奖励更复杂的行为。在高维机器人环境中，我们的方法学习了各种有趣的技能，包括半猎豹的前空翻和Humanoid的单腿跑步。在基于像素的Montezuma的复仇环境中，我们的方法也以最小的变化工作，它学习复杂的技能，包括与物品互动和访问不同的地点。我们的方法的实施可以在这个链接中找到：https://github.com/amujika/Open-Ended-Reinforcement-Learning-with-Neural-Reward-Functions。
2022-10-12 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida（中佛罗里达大学）；Department of Computer Science University of Central Florida（中佛罗里达大学计算机科学系）
许多合作的多智能体问题需要智能体学习个人的任务，同时有助于集体的成功。这是一个具有挑战性的任务，目前国家的最先进的多智能体强化算法，旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的，导致不稳定的学习时，这个问题就会加剧。为了解决这个问题，我们提出了分解多智能体深度确定性策略梯度（DE-MADDPG）：一种新的合作多智能体强化学习框架，同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题，并表明我们的解决方案实现了显着更好，更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习（RL），特别是在稀疏奖励设置中，通常需要与环境进行大量交互，从而限制了其对复杂问题的适用性。为了解决这个问题，几种现有的方法已经使用自然语言来指导代理的探索。然而，这些方法通常对环境的结构化表示进行操作，和/或采用自然语言命令中的某种结构。在这项工作中，我们提出了一个模型，直接映射像素的奖励，给定一个自由形式的自然语言描述的任务，然后可以用于策略学习。我们在元世界机器人操作领域的实验表明，基于语言的奖励显着提高了策略学习的样本效率，无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs（VECTOR实验室）
PGSRM通过嵌入相似度生成语义奖励，为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Video Prediction Models as Rewards for Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出VIPER算法，利用预训练视频预测模型从无标签专家视频中提取奖励信号，在DMC、Atari和RLBench任务中实现无需程序化奖励的专家级控制，并支持跨具身泛化。
2023-05-30 cs.AI cs.CV cs.LG
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Deep Ordinal Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）
强化学习通常使用数值奖励，其具有良好的性质，但也存在缺点和困难。使用顺序等级的奖励（顺序奖励）是近年来受到更多关注的数字奖励的替代方案。在本文中，一个通用的方法来适应强化学习问题，使用顺序奖励和动机。我们通过Q学习的例子展示了如何将常见的强化学习算法转换为有序变化，并介绍了有序深度Q网络，它使深度强化学习适应有序奖励。此外，我们对OpenAI Gym框架提供的问题进行了评估，结果表明我们的序数变体表现出与许多问题的数值变化相当的性能。我们也给出了第一个证据，证明我们的序数变体能够产生更好的结果，为工程较少，设计简单的奖励信号的问题。
2019-07-11 cs.AI cs.LG stat.ML
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
