Robust Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（DeepMind（深度思维））；Google（谷歌）
我们提供了一个框架，将鲁棒性-扰动的过渡动态，我们称之为模型误指定-到连续控制强化学习（RL）算法。我们特别关注将鲁棒性纳入最先进的连续控制RL算法，称为最大后验策略优化（MPO）。我们通过学习一个优化最坏情况下预期收益目标的策略来实现这一目标，并推导出相应的鲁棒熵正则化Bellman收缩算子。此外，我们引入了一个保守性较低，软鲁棒，熵正则化的目标与相应的贝尔曼算子。我们表明，强大的和软强大的政策，优于他们的非强大的同行在9个Mujoco域环境扰动。此外，我们在一个高维的，模拟的，灵巧的机器人手上显示出改进的鲁棒性能。最后，我们提出了多个调查实验，提供了更深入的了解鲁棒性框架。这包括对另一连续控制RL算法的适应以及从离线数据学习不确定性集。性能视频可以在https://sites.google.com/view/robust-rl上找到。
2020-02-11 cs.AI cs.LG stat.ML
Partial Identifiability and Misspecification in Inverse Reinforcement Learning
Oxford University（牛津大学）
本文对逆向强化学习中的部分可识别性与模型误设进行系统数学分析，完整刻画常见行为模型下奖励函数的歧义性，并给出避免错误推断的偏离条件及统一分析框架。
2024-11-24 cs.AI cs.LG
Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research, NYC（微软研究院（纽约））
本文针对协变量偏移下的L∞错误设定回归问题，提出一种基于鲁棒优化的新算法，避免经验风险最小化中的错误设定放大现象，并应用于离线与在线强化学习，建立了结构条件与覆盖概念之间的新分离。
2024-01-22 cs.LG math.OC stat.ML
Behavior Estimation from Multi-Source Data for Offline Reinforcement Learning
RIKEN（理化学研究所）
针对多源离线强化学习中因数据异质性导致的行为错误设定问题，本文提出一种潜变量模型从数据中推断多个策略以细粒度刻画行为，并给出学习算法及实验验证。
2023-05-26 cs.LG cs.RO
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs（FAR实验室）；Anthropic（Anthropic公司）；FAR AI（FAR AI公司）
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定，提出灾难性古德哈特现象，并实证奖励模型误差呈轻尾，但警示未来重尾风险。
2024-11-08 cs.LG
Priors Matter: Addressing Misspecification in Bayesian Deep Q-Learning
Delft University of Technology（代尔夫特理工大学）
本文揭示贝叶斯深度 Q-learning 的冷后验效应，检验高斯似然与先验假设，并提出可实施的改进先验方案以提升算法性能。
2025-08-29 cs.AI cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Dynamic Decision-Making under Model Misspecification: A Stochastic Stability Approach
Brown University（布朗大学）
本文研究了在模型不规范情况下汤普森采样算法的行为和性能，提出了一种统一的随机稳定性框架，为贝叶斯学习与进化动态的结合提供了新的视角。
2026-07-21 cs.LG econ.TH math.ST
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
An Optimal Tightness Bound for the Simulation Lemma
Brown University（布朗大学）；Duke University（杜克大学）
针对强化学习模拟引理在大折扣因子下因累积概率误差处理不佳而失效的问题，本文单独分析该误差，得到含常数因子的最优紧、对转移误设次线性的价值预测误差界，并推广至层次抽象。
2024-10-25 cs.LG
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）
在强化学习领域，由于在现实世界中进行策略训练的成本和风险较高，因此在仿真环境中训练策略并将其转移到相应的现实环境中。然而，仿真环境并不能完美地模仿真实世界的环境，导致模型的错误设定。多项研究报告称，在现实环境中，政策绩效显著恶化。在这项研究中，我们专注于涉及一个模拟环境的不确定性参数和它们的可能值，称为不确定性参数集的设置方案。其目的是在不确定性参数集上优化最坏情况下的性能，以保证在相应的现实环境中的性能。为了获得优化策略，我们提出了一种称为最大-最小双延迟深度确定性策略梯度算法（M2 TD 3）的非策略行为者-评论家方法，该算法使用同步梯度上升下降方法解决了最大-最小优化问题。在多关节接触动力学（MuJoCo）环境中的实验表明，该方法表现出优于几个基线方法的最坏情况下的性能。
2023-01-11 cs.AI cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Inverse Reinforcement Learning with Gaussian Process
University of Virginia（弗吉尼亚大学）
我们提出了新的算法，逆强化学习（IRL，或逆最优控制）在凸优化设置。我们认为，有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题，我们提出了一个高斯过程模型，并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL，它不做任何假设的形式的奖励函数，但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比，我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
Reward-Conditioned Reinforcement Learning
University of Warsaw（华沙大学）；Nomagic；UC Berkeley, Amazon FAR（伯克利大学，亚马逊FAR）
本文提出基于奖励的强化学习（RCRL），通过在收集经验时使用单一名义目标，使智能体在不额外交互的情况下暴露于多种奖励目标，从而提高样本效率并支持零样本行为调整。
2026-11-13 cs.LG
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷，提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法，理论上实现指数级加速，实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Lifelong Inverse Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
用于从示范示教学习（LfD）中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而，即使对于单个任务，LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理，如果每个任务都是孤立学习的，则该过程将大大增加用户的负担。为了应对这一挑战，我们引入了终身示教学习的新问题，它允许代理不断建立在从以前演示的任务中学到的知识，以加速学习新的任务，减少所需的演示量。作为这个问题的一个解决方案，我们提出了第一个终身学习的方法来逆强化学习，通过演示学习连续的任务，不断地在任务之间转移知识，以提高性能。
2022-07-01 cs.LG
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
逆强化学习（IRL）旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略，以避免专家的行为被任意恒定的奖励合理化，也称为退化解决方案。我们提出了易于处理的解决方案，和实用的方法来获得它们，正则化IRL。目前的方法局限于最大熵IRL框架，限制他们的香农熵正则化，以及提出的解决方案，是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制，经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）；University of California Berkeley（加州大学伯克利分校）
本文系统研究线性老虎机中的奖励腐败问题，统一分析强腐败与弱腐败并刻画极小极大遗憾差距，同时通过通用归约和专门算法解决间隙依赖误设问题，首次将结果推广到强化学习中的线性 MDP。
2024-10-17 cs.LG stat.ML
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Interactionless Inverse Reinforcement Learning: A Data-Centric Framework for Durable Alignment
IDLab, Ghent University - imec（IDLab，根特大学-imec）
本文提出无交互逆强化学习框架，旨在通过数据驱动的方法学习可检查、可编辑和可重用的奖励特征，从而将对齐问题从一次性训练成本转变为可验证的工程资产。
2026-03-25 cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford（牛津大学）
本文提出了一个通用的框架，利用神经网络的代表能力，以近似复杂的，非线性的奖励函数的上下文中解决逆强化学习（IRL）问题。在这种情况下，我们表明，IRL的最大熵范式自然适合于深度架构的有效训练。在测试时，该方法导致独立于演示数量的计算复杂性，这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能，同时超过了基于高度变化的奖励结构的替代基准。最后，我们扩展了基本架构-相当于宽度为1的全卷积神经网络（FCNN）的简化子类-以包括更大的卷积，以消除对预先计算的空间特征的依赖，并对原始输入表示进行处理。
2016-03-11 cs.LG
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes（格拉德斯通研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）
本文研究专家具有不同未知规划视野的逆强化学习问题，提出同时学习全局奖励函数和智能体特定折扣因子的算法，并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Meta-Adversarial Inverse Reinforcement Learning for Decision-making Tasks
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
示教学习在过去几年取得了很大进展。然而，它通常是数据饥饿和特定任务。换句话说，它需要大量的数据来训练一个关于特定任务的像样的模型，并且该模型通常无法推广到具有不同分布的新任务。在实践中，来自新任务的演示将被持续观察，数据可能是未标记的或仅部分标记的。因此，需要训练的模型适应具有有限数据样本的新任务。在这项工作中，我们建立了一个适应性模仿学习模型的基础上集成元学习和对抗逆强化学习（元-AIRL）。我们利用对抗学习和逆强化学习机制，从可用的训练任务中同时学习策略和奖励函数，然后使用元学习框架使其适应新任务。仿真结果表明，使用Meta-AIRL训练的自适应策略可以有效地从有限数量的演示中学习，并快速达到与未知任务专家相当的性能。
2021-03-25 cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
The Role of Inherent Bellman Error in Offline Reinforcement Learning with Linear Function Approximation
MIT（麻省理工学院）
本文研究带线性函数逼近的离线强化学习问题，基于低固有Bellman误差假设提出高效算法，在单策略覆盖下有性能保证，次优误差随固有Bellman误差的平方根缩放且该下界无法改进。
2024-06-18 cs.AI cs.LG stat.ML
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Efficient Imitation under Misspecification
Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
研究错误设定下的模仿学习问题，提出基于奖励无关策略完备性条件的局部搜索逆向强化学习算法，证明扩大局部搜索状态集可避免复合误差，并实验验证离线数据能有效扩大搜索范围。
2025-04-02 cs.AI cs.LG
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Reinforcement Learning under Model Mismatch
Google（谷歌）；Georgia Institute of Technology（佐治亚理工学院）
我们研究了在模型错误指定下的强化学习，在这种情况下，我们无法访问真实环境，而只能合理地接近它。我们通过将鲁棒MDP的框架扩展到无模型强化学习设置来解决这个问题，在无模型强化学习设置中，我们无法访问模型参数，但只能从中采样状态。我们定义了鲁棒版本的Q学习，SARSA，和TD-学习，分别证明了其收敛于近似最优鲁棒策略和近似价值函数。我们通过函数逼近将鲁棒算法扩展到大型MDP，并在两种不同的设置下证明收敛性。我们证明了线性结构的鲁棒近似策略迭代和鲁棒近似值迭代的收敛性（在温和的假设下）。我们还定义了一个鲁棒损失函数，均方鲁棒投影贝尔曼误差，并给出了保证收敛到局部最小值的随机梯度下降算法。
2017-11-09 cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Learning Task Automata for Reinforcement Learning using Hidden Markov Models
University of Oxford（牛津大学）；Microsoft Azure Quantum（微软Azure量子部门）
针对强化学习中非马尔可夫稀疏奖励下奖励手工设计易出错的问题，提出基于隐马尔可夫模型Baum-Welch算法学习乘积MDP并提取任务自动机的方法，可加速策略学习、具备可解释性且适用于迁移学习，实验验证了其性能。
2023-10-03 cs.AI cs.LG
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
