Reinforcement Learning with a Corrupted Reward Channel
Australian National University（澳大利亚国立大学）；DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高（或更低）的奖励。例如，一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态，但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题，称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳，即使在强简化假设下，以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先，通过给予智能体更丰富的数据，例如在逆强化学习和半监督强化学习中，有时可以完全管理源于系统感觉错误的奖励腐败。其次，通过使用随机化来削弱代理的优化，可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning
Cooper Union（库珀联盟学院）
许多认知学习研究者将奖励函数视为环境的一部分，这意味着智能体只有在试运行中遇到某个状态时才能知道该状态的奖励。然而，我们认为，这是一个不必要的限制，相反，奖励功能应提供给学习算法。这样做的好处是，算法可以使用奖励函数来检查智能体尚未遇到的状态的奖励。此外，该算法可以同时学习多个奖励函数的策略。对于每个状态，算法将使用每个奖励函数计算奖励，并将奖励添加到其经验重放数据集。Andrychowicz等人（2017）开发的后见之明经验重放算法就是这样做的，并学会在稀疏的基于目标的奖励分布中进行泛化。我们将该算法扩展到线性加权的多目标奖励，并学习一个单一的政策，可以推广到多目标奖励的所有线性组合。而其他多目标算法教Q函数概括整个奖励权重，我们的算法使政策概括，因此可以与连续的行动。
2018-09-17 cs.LG stat.ML
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Concentration of Cumulative Reward in Markov Decision Processes
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Department of Electrical and Computer Engineering, McGill University（麦吉尔大学电气与计算机工程系）
本文研究了马尔可夫决策过程中累积奖励的集中性质，提出统一方法分析无限和有限时间 horizon情形，并探讨了奖励差异和regret定义的等价性。
2025-12-02 cs.LG cs.SY eess.SY
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Off-Policy Reinforcement Learning with High Dimensional Reward
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究为分布强化学习建立了支持无限维可分巴拿赫奖励空间的理论基础，证明其贝尔曼算子的压缩性与低维近似可行性，提出可解决传统RL难处理问题的新型DRL算法。
2024-08-14 cs.LG stat.ML
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
The Value of Reward Lookahead in Reinforcement Learning
FairPlay Joint Team（FairPlay联合团队）；CREST（CREST研究中心）；ENSAE Paris（巴黎ENSAE学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Criteo AI Lab（Criteo人工智能实验室）
本文通过竞争分析视角，量化分析了强化学习中未来奖励前瞻信息的价值，推导出标准RL智能体与具有部分未来奖励前瞻智能体价值比率的最坏情况精确比率及紧致界限，并发现该比率与离线RL和无奖励探索中的已知量相关。
2024-10-11 cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning
Meta AI Research（Meta人工智能研究院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
具有稀疏奖励的强化学习仍然是一个公开的挑战。经典的方法依赖于通过外部奖励获得反馈来训练智能体，在这种情况很少发生的情况下，智能体学习缓慢或根本无法学习。类似地，如果智能体还获得了创建目标函数的次优模式的奖励，则它可能会过早地停止探索。最近的方法增加了辅助的内在奖励，以鼓励探索。然而，辅助奖励导致Q函数的非平稳目标。在本文中，我们提出了一种新的方法，（1）通过使用长期访问计数来规划未来的探索行动，（2）通过学习一个单独的函数来评估行动的探索价值，从而实现探索和开发。与使用奖励和动态模型的现有方法相反，我们的方法是脱离政策和无模型的。我们进一步提出了新的表格环境，用于强化学习中的基准测试探索。经典和新颖的基准测试的实证结果表明，所提出的方法优于现有的方法在稀疏奖励的环境中，特别是在存在的奖励，创建次优模式的目标函数。结果还表明，我们的方法可以随着环境的大小优雅地扩展。源代码可在https://github.com/sparisi/visit-value-explore上获得
2022-03-03 cs.LG stat.ML
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Reinforcement Learning with Exogenous States and Rewards
Intercom Dublin（Intercom 布鲁姆斯贝克）；Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
2026-01-14 cs.AI cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Operator Deep Q-Learning: Zero-Shot Reward Transferring in Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
近年来，强化学习（Reinforcement learning，RL）由于其在各种应用中的巨大成功而引起了人们越来越多的关注。然而，标准强化学习算法只能应用于单个奖励函数，不能快速适应未知的奖励函数。在本文中，我们提倡强化学习的一般算子视图，这使得我们能够直接近似从奖励函数映射到价值函数的算子。学习算子的好处是我们可以将任何新的奖励函数作为输入，并以zero-shot方式获得其相应的价值函数。为了逼近这种特殊类型的算子，我们设计了一些新的算子神经网络架构的基础上，其理论性质。我们的运营商网络设计优于现有方法和通用运营商网络的标准设计，并且我们证明了我们的运营商深度Q学习框架在几个任务中的优势，包括离线策略评估（OPE）的奖励转移和一系列任务中离线策略优化的奖励转移。
2022-01-01 cs.LG cs.RO stat.ML
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
Evolving Rewards to Automate Reinforcement Learning
Robotics at Google（谷歌机器人）
许多连续控制任务都很容易制定目标，但在强化学习（RL）中直接将其作为奖励会导致次优策略。因此，许多经典的控制任务使用复杂的奖励来指导RL训练，这需要繁琐的手动调整。我们使用AutoRL自动化奖励搜索，AutoRL是标准RL上的一个进化层，它将奖励调整视为超参数优化，并训练RL代理的种群以找到最大化任务目标的奖励。AutoRL在两种RL算法的四个Mujoco连续控制任务上进行了评估，显示出比基线的改进，对于更复杂的任务有最大的提升。该视频可以在以下网址找到：\url{https://youtu.be/svdaOFfQyC8}。
2019-05-18 cs.AI cs.LG cs.NE
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习（RL），特别是在稀疏奖励设置中，通常需要与环境进行大量交互，从而限制了其对复杂问题的适用性。为了解决这个问题，几种现有的方法已经使用自然语言来指导代理的探索。然而，这些方法通常对环境的结构化表示进行操作，和/或采用自然语言命令中的某种结构。在这项工作中，我们提出了一个模型，直接映射像素的奖励，给定一个自由形式的自然语言描述的任务，然后可以用于策略学习。我们在元世界机器人操作领域的实验表明，基于语言的奖励显着提高了策略学习的样本效率，无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
Hyperbolically-Discounted Reinforcement Learning on Reward-Punishment Framework
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种新的基于双曲折扣的强化学习。结合一种新的时间差误差和双曲贴现的递归方式和奖惩框架，一个新的方案来学习最优策略。在模拟中，它被发现的建议优于标准的强化学习，虽然性能取决于奖励和惩罚的设计。此外，贴现因素的平均值w.r.t.奖励和惩罚是不同的，就像动物行为中的符号效应。
2021-06-03 cs.LG
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Deep Ordinal Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）
强化学习通常使用数值奖励，其具有良好的性质，但也存在缺点和困难。使用顺序等级的奖励（顺序奖励）是近年来受到更多关注的数字奖励的替代方案。在本文中，一个通用的方法来适应强化学习问题，使用顺序奖励和动机。我们通过Q学习的例子展示了如何将常见的强化学习算法转换为有序变化，并介绍了有序深度Q网络，它使深度强化学习适应有序奖励。此外，我们对OpenAI Gym框架提供的问题进行了评估，结果表明我们的序数变体表现出与许多问题的数值变化相当的性能。我们也给出了第一个证据，证明我们的序数变体能够产生更好的结果，为工程较少，设计简单的奖励信号的问题。
2019-07-11 cs.AI cs.LG stat.ML
PAC-Bayesian Inequalities for Martingales
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；Université Laval（拉瓦尔大学）；Università degli Studi di Milano（米兰大学）；Montanuniversität Leoben（莱奥本矿业大学）
我们提出了一组高概率不等式，控制多个（可能不可数）同时发展和相互依赖的鞅的加权平均值的浓度。我们的研究结果扩展了学习理论中的PAC贝叶斯分析从i.i.d.设置为鞅，为它在重要性加权采样、强化学习和其他交互式学习领域以及概率论和统计中遇到鞅的许多其他领域的应用开辟了道路。我们还提出了一个比较不等式，该不等式将鞅差序列的凸函数的期望限定在由独立Bernoulli变量的同一函数的期望所限定的[0，1]区间上.这个不等式被应用于导出Hoeffding-Azuma不等式的一个更严格的模拟。
2012-07-30 cs.IT cs.LG math.IT
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs（VECTOR实验室）
PGSRM通过嵌入相似度生成语义奖励，为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
ELO-Rated Sequence Rewards: Advancing Reinforcement Learning Models
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（人工智能与自动化学院，华中科技大学）
针对长期强化学习中状态-动作对奖励分配困难的问题，提出基于ELO评级的强化学习算法ERRL，利用专家轨迹偏好计算ELO评级作为奖励，并引入奖励重分配算法缓解训练不稳定性，在5000步长期场景中优于现有基线。
2025-05-31 cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Reinforcement Learning by Comparing Immediate Reward
Jaypee University Of Engineering And Technology（杰皮尔工程与技术大学）
本文介绍了一种强化学习算法，通过比较它们的即时奖励，使用Q-学习算法的变体。与传统的Q学习不同，该算法将当前奖励与过去移动的即时奖励进行比较，并相应地工作。基于相对奖励的Q学习是一种实现交互式学习的方法。Q-Learning是一种无模型强化学习方法，用于学习智能体。研究表明，在正常情况下，由于算法的正常回报或负回报，算法需要更多的事件来达到最优Q值。在这种新形式的算法中，代理只选择那些与前一个相比具有更高即时奖励信号的动作。本文的贡献是提出了新的Q-学习算法，以最大限度地提高算法的性能，并减少达到最佳Q值所需的事件数。在一个20 × 20的网格世界确定性环境中对所提算法的有效性进行了仿真，并给出了两种形式的Q-学习算法的仿真结果。
2010-09-14 cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization
Meituan, China（美团，中国）
本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。
2026-05-13 cs.CL cs.LG
Towards a Reward-Free Reinforcement Learning Framework for Vehicle Control
针对车辆控制中强化学习奖励设计易引入偏差、模仿学习需高质量专家动作的问题，提出无奖励强化学习框架，通过目标状态预测网络和无奖励状态引导策略网络优化行为，提升学习效率并适应无奖励环境。
2025-04-18 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute（海康威视研究院）
在强化学习（RL）中，设计最优的奖励函数一直是人们所期望的，但却极其困难。当涉及到现代复杂任务时，复杂的奖励函数被广泛用于简化策略学习，但由于训练成本急剧增加，即使是对它们进行微小的调整也是昂贵的。为此，我们提出了一种后见之明的奖励调整方法，通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式，除了随机奖励配置，获得一个超政策，其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性，并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University（波士顿大学）
本文提出PAGAR半监督奖励设计范式，通过混合奖励函数训练策略，解决IRL中奖励错位导致的任务失败，并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
Offline Reinforcement Learning with Imputed Rewards
University of Florence（佛罗伦萨大学）
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题，提出一种奖励模型，仅用1%带标注数据即可为99%无奖励转移插补奖励，在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
该论文综述深度强化学习中的有效奖励规范策略，分析奖励失配与学习低效等挑战，并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Informativeness of Reward Functions in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究强化学习中奖励函数的信息量设计问题，提出一种能够自适应智能体当前策略的奖励信息量准则，以加速智能体收敛并提供可解释的奖励，理论和导航实验均验证了其有效性。
2024-02-10 cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；OpenAI LP（OpenAI有限合伙公司）
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中，奖励是罕见的，这意味着智能体不会通过随机行动经常找到奖励。在这种情况下，强化学习学习奖励和动作关联是具有挑战性的。因此，需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述，并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后，讨论了目前尚待解决的问题，为今后的研究提供了有价值的方向。最后，从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Reward-Conditioned Reinforcement Learning
University of Warsaw（华沙大学）；Nomagic；UC Berkeley, Amazon FAR（伯克利大学，亚马逊FAR）
本文提出基于奖励的强化学习（RCRL），通过在收集经验时使用单一名义目标，使智能体在不额外交互的情况下暴露于多种奖励目标，从而提高样本效率并支持零样本行为调整。
2026-05-19 cs.LG
