SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Reinforcement Learning with Exogenous States and Rewards
Intercom Dublin（Intercom 布鲁姆斯贝克）；Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
2026-01-14 cs.AI cs.LG stat.ML
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习（RL），特别是在稀疏奖励设置中，通常需要与环境进行大量交互，从而限制了其对复杂问题的适用性。为了解决这个问题，几种现有的方法已经使用自然语言来指导代理的探索。然而，这些方法通常对环境的结构化表示进行操作，和/或采用自然语言命令中的某种结构。在这项工作中，我们提出了一个模型，直接映射像素的奖励，给定一个自由形式的自然语言描述的任务，然后可以用于策略学习。我们在元世界机器人操作领域的实验表明，基于语言的奖励显着提高了策略学习的样本效率，无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Deep Ordinal Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）
强化学习通常使用数值奖励，其具有良好的性质，但也存在缺点和困难。使用顺序等级的奖励（顺序奖励）是近年来受到更多关注的数字奖励的替代方案。在本文中，一个通用的方法来适应强化学习问题，使用顺序奖励和动机。我们通过Q学习的例子展示了如何将常见的强化学习算法转换为有序变化，并介绍了有序深度Q网络，它使深度强化学习适应有序奖励。此外，我们对OpenAI Gym框架提供的问题进行了评估，结果表明我们的序数变体表现出与许多问题的数值变化相当的性能。我们也给出了第一个证据，证明我们的序数变体能够产生更好的结果，为工程较少，设计简单的奖励信号的问题。
2019-07-11 cs.AI cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Evolving Rewards to Automate Reinforcement Learning
Robotics at Google（谷歌机器人）
许多连续控制任务都很容易制定目标，但在强化学习（RL）中直接将其作为奖励会导致次优策略。因此，许多经典的控制任务使用复杂的奖励来指导RL训练，这需要繁琐的手动调整。我们使用AutoRL自动化奖励搜索，AutoRL是标准RL上的一个进化层，它将奖励调整视为超参数优化，并训练RL代理的种群以找到最大化任务目标的奖励。AutoRL在两种RL算法的四个Mujoco连续控制任务上进行了评估，显示出比基线的改进，对于更复杂的任务有最大的提升。该视频可以在以下网址找到：\url{https://youtu.be/svdaOFfQyC8}。
2019-05-18 cs.AI cs.LG cs.NE
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
Discovering and Removing Exogenous State Variables and Rewards for Reinforcement Learning
School of EECS, Oregon State University（俄勒冈州立大学电气与计算机科学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
外部状态变量和奖励可以通过向奖励信号中注入不受控制的变化来减缓强化学习。我们形式化的外生状态变量和奖励，并确定条件下，MDP与外生状态可以分解成一个外生马尔可夫奖励过程只涉及外生状态+奖励和一个内生马尔可夫决策过程定义的只有内生奖励。我们还推导出一个方差-协方差条件下，蒙特卡罗政策评估的内生MDP加速相比，使用完整的MDP。类似的加速可能会延续到所有RL算法。我们开发了两种算法来发现外生变量，并在几个MDP上进行了测试。实验结果表明，该算法具有一定的实用性，能够显著提高强化学习的速度。
2018-06-05 cs.LG stat.ML
No-Regret Reinforcement Learning with Heavy-Tailed Rewards
Tsinghua University（清华大学）
强化学习算法通常假设奖励是从轻尾分布（例如高斯分布或有界分布）中采样的。然而，各种各样的现实世界系统产生的奖励遵循重尾分布。我们在未折扣强化学习的设置中考虑这样的场景。通过构造一个下界，我们证明了重尾奖励的学习难度渐近地超过了转移概率的学习难度。利用鲁棒均值估计的技术，我们提出了Heavy-UCRL 2和Heavy-Q-Learning，并证明了它们在这种情况下达到了接近最优的遗憾界限。我们的算法也自然地推广到深度强化学习应用;我们将Heavy-DQN实例化作为一个例子。我们证明了我们所有的算法在合成MDP和标准RL基准上都优于基线。
2021-02-25 cs.LG stat.ML
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute（海康威视研究院）
在强化学习（RL）中，设计最优的奖励函数一直是人们所期望的，但却极其困难。当涉及到现代复杂任务时，复杂的奖励函数被广泛用于简化策略学习，但由于训练成本急剧增加，即使是对它们进行微小的调整也是昂贵的。为此，我们提出了一种后见之明的奖励调整方法，通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式，除了随机奖励配置，获得一个超政策，其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性，并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
Offline Reinforcement Learning with Imputed Rewards
University of Florence（佛罗伦萨大学）
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题，提出一种奖励模型，仅用1%带标注数据即可为99%无奖励转移插补奖励，在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Inferring Probabilistic Reward Machines from Non-Markovian Reward Processes for Reinforcement Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
强化学习在典型环境中的成功是基于对奖励信号的马尔可夫假设，代理通过该信号学习最优策略。近年来，奖励机器的使用放宽了这一假设，使非马尔可夫奖励的结构化表示。特别地，这种表示可以用于增强底层决策过程的状态空间，从而促进非马尔可夫强化学习。然而，这些奖励机器不能捕捉随机奖励信号的语义。在本文中，我们在这方面取得了进展，引入概率奖励机（PRM）作为非马尔可夫随机奖励的代表。我们提出了一个算法，学习PRM从底层的决策过程，并证明其正确性和收敛性的结果。
2022-03-27 cs.FL cs.LG stat.ML
Reinforcement Learning with Stochastic Reward Machines
University of Zagreb（Zagreb大学）；Max Planck Institute for Software Systems（软件系统马克斯·普朗克研究所）
针对现有奖励机算法假设无噪声奖励的局限，本文提出随机奖励机及其基于约束求解的学习算法，可结合现有强化学习算法，保证收敛到最优策略，并在案例研究中优于现有方法。
2025-10-16 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning
Cooper Union（库珀联盟学院）
许多认知学习研究者将奖励函数视为环境的一部分，这意味着智能体只有在试运行中遇到某个状态时才能知道该状态的奖励。然而，我们认为，这是一个不必要的限制，相反，奖励功能应提供给学习算法。这样做的好处是，算法可以使用奖励函数来检查智能体尚未遇到的状态的奖励。此外，该算法可以同时学习多个奖励函数的策略。对于每个状态，算法将使用每个奖励函数计算奖励，并将奖励添加到其经验重放数据集。Andrychowicz等人（2017）开发的后见之明经验重放算法就是这样做的，并学会在稀疏的基于目标的奖励分布中进行泛化。我们将该算法扩展到线性加权的多目标奖励，并学习一个单一的政策，可以推广到多目标奖励的所有线性组合。而其他多目标算法教Q函数概括整个奖励权重，我们的算法使政策概括，因此可以与连续的行动。
2018-09-17 cs.LG stat.ML
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park（马里兰大学帕克分校）；Swarm Labs（斯沃姆实验室）
可视化优化景观带来了许多数值优化的基本见解，并对优化技术进行了新的改进。然而，强化学习优化的目标（“奖励表面”）的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面，并首次表明许多流行的强化学习环境经常出现“悬崖”（预期回报突然大幅下降）。我们证明，A2C经常“潜水”这些悬崖到参数空间的低回报区域，而PPO避免他们，确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库，使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败，我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Average-reward model-free reinforcement learning: a systematic review and literature mapping
University of Queensland（昆士兰大学）；University of Newcastle（纽卡斯尔大学）；International Computer Science Institute（国际计算机科学研究所）
强化学习是人工智能的重要组成部分。在本文中，我们回顾了无模型强化学习，利用平均奖励最优性标准在无限时域设置。受Mahadevan（1996 a）的单独调查的启发，我们提供了这一领域工作的最新回顾，并将其扩展到包括策略迭代和函数逼近方法（除了值迭代和表格对应方法）。我们提出了一个全面的文献映射。我们还确定和讨论未来工作的机会。
2021-08-03 cs.AI cs.LG
Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能部门）
解决具有稀疏奖励的任务是强化学习中最重要的挑战之一。在单智能体环境中，通过引入内在奖励来激励智能体探索其状态空间中看不见的区域来解决这一挑战;然而，将这些技术天真地应用于多智能体环境会导致智能体独立探索，而不会相互协调。合作多代理设置的探索，可以加速和改善，如果代理协调他们的探索。在本文中，我们介绍了一个框架，设计内在的奖励，考虑其他代理人已经探索，使代理人可以协调。然后，我们开发了一种学习如何在几种探索模式之间进行动态选择以最大化外部奖励的方法。具体地说，我们制定的方法作为一个分层的政策，其中一个高层次的控制器选择不同的内在奖励和低层次的控制器学习这些特定的奖励下的所有代理的行动政策训练的政策集。我们证明了所提出的方法在合作领域的有效性与稀疏的奖励，最先进的方法失败，并具有挑战性的多阶段任务，需要改变协调模式。
2021-05-22 cs.AI cs.LG cs.MA
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；TikTok Pte. Ltd., Singapore（新加坡TikTok公司）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架，通过奖励塑形实现知识共享与迁移，在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Internally Rewarded Reinforcement Learning
University of Hamburg（汉堡大学）
该研究针对策略与内部奖励模型相互依赖导致强化学习不稳定的问题，形式化定义了IRRL设置，提出截断线性奖励函数，经实验验证可稳定训练、加快收敛并提升多任务性能。
2023-08-24 cs.AI cs.LG
Deep Successor Reinforcement Learning
MIT（麻省理工学院）；Harvard University（哈佛大学）
在给定原始观察和奖励的情况下，学习鲁棒的值函数现在可以使用无模型和基于模型的深度强化学习算法。还有第三种选择，称为后继表示（SR），它将值函数分解为两个部分-奖励预测器和后继映射。后继映射表示来自任何给定状态的预期未来状态占用，并且奖励预测器将状态映射到标量奖励。状态的值函数可以计算为后继映射和奖励权重之间的内积。在本文中，我们提出了DSR，它在端到端的深度强化学习框架中推广了SR。DSR有几个吸引人的属性，包括：由于奖励和世界动态的因子分解，对远端奖励变化的敏感性增加，以及在随机策略下训练的后继映射中提取瓶颈状态（子目标）的能力。我们展示了我们的方法在两个不同的环境中给出原始像素观察的有效性-简单的网格世界域（MazeBase）和Doom游戏引擎。
2016-06-08 cs.AI cs.LG cs.NE
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University（清华大学）
分层强化学习（HRL）是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能，要么需要特定领域的信息来定义低级奖励。在本文中，我们的目标是在保持奖励设计的通用性的同时，使低级技能适应下游任务。我们提出了一个HRL框架，设置辅助奖励的基础上，低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外，我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明，我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs
Bar Ilan University（巴伊兰大学）
针对无限时域非回合制任务中的平均奖励强化学习，提出一种修正的调和均值算子，解决SMDP中奖励和持续时间非平稳时的奖励率计算问题，并证明其理论性质及有效性。
2026-05-06 cs.AI cs.LG
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute（向量学院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习（RL）方法通常将奖励函数视为黑箱。因此，这些方法必须与环境广泛互动，以发现奖励和最佳策略。然而，在大多数RL应用程序中，用户必须对奖励函数进行编程，因此有机会使奖励函数可见-向RL代理显示奖励函数的代码，以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中，我们展示了如何通过两个步骤来实现这一想法。首先，我们提出了奖励机，一种有限状态机，它支持奖励函数的规范，同时暴露奖励函数的结构。然后，我们描述了利用此结构来支持学习的不同方法，包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后，由于是有限状态机的一种形式，奖励机具有正则语言的表达能力，并且因此支持循环、序列和条件，以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Microsoft（微软）；Intel Labs（英特尔实验室）
为稀疏目标学习有效策略是深度强化学习（RL）的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释，但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性，但是是高维的黑箱解决方案，几乎没有可解释性。在本文中，我们提出了一种以低维符号树的形式发现密集奖励的方法，从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励，然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现，密集奖励是RL策略解决基准任务的有效信号。值得注意的是，我们显着优于广泛使用的，当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland（伯恩大学）
本文提出一种简单有效的奖励归一化替代方法，通过整合一维卡尔曼滤波进行在线奖励估计，递归估计潜在奖励均值，降低高方差回报并适应非平稳环境，实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Adaptive Correlation-Weighted Intrinsic Rewards for Reinforcement Learning
Institute for Artificial Intelligence（人工智能研究所）；VNU-University of Engineering and Technology（越南工程与技术大学）
ACWI通过自适应相关加权内在奖励机制提升稀疏奖励强化学习中的探索效率和样本效率。
2026-02-27 cs.AI cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
MIR: Efficient Exploration in Episodic Multi-Agent Reinforcement Learning via Mutual Intrinsic Reward
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
MIR通过互惠内在奖励机制，提升多智能体强化学习中稀疏回合制奖励下的探索效率与团队协作性能。
2025-11-21 cs.AI cs.LG
Off-Policy Reinforcement Learning with High Dimensional Reward
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究为分布强化学习建立了支持无限维可分巴拿赫奖励空间的理论基础，证明其贝尔曼算子的压缩性与低维近似可行性，提出可解决传统RL难处理问题的新型DRL算法。
2024-08-14 cs.LG stat.ML
Language Reward Modulation for Pretraining Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
本研究提出LAMP方法，将视觉-语言模型的零样本能力作为强化学习预训练信号，结合探索奖励训练语言条件化预训练策略，可实现机器人操作任务的样本高效学习热启动。
2023-08-23 cs.AI cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
The Value of Reward Lookahead in Reinforcement Learning
FairPlay Joint Team（FairPlay联合团队）；CREST（CREST研究中心）；ENSAE Paris（巴黎ENSAE学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Criteo AI Lab（Criteo人工智能实验室）
本文通过竞争分析视角，量化分析了强化学习中未来奖励前瞻信息的价值，推导出标准RL智能体与具有部分未来奖励前瞻智能体价值比率的最坏情况精确比率及紧致界限，并发现该比率与离线RL和无奖励探索中的已知量相关。
2024-10-11 cs.LG stat.ML
