oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦图灵研究所）；University of Cambridge（剑桥大学）
研究了专家和学习者之间转换动力学失配下的逆强化学习（IRL）问题。具体而言，我们认为最大因果熵（MCE）IRL学习模型，并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解，我们提出了一种鲁棒的MCE IRL算法，这是一种帮助解决这种不匹配的原则性方法。最后，我们经验证明了我们的算法相比，标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Inverse Risk-Sensitive Reinforcement Learning
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们解决的问题，逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是，我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型，在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法，最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子，其中第一个是典型的网格世界的例子，其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中，我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences（数学与统计学院）；Indian Institue of Technology Mandi（印度曼迪理工学院）
本研究提出基于重心的对抗逆强化学习框架BRaG，聚合多异构专家策略学习股票交易策略，在四大全球股市上表现优于经典交易规则及深度强化学习方法，风险特征更稳定。
2026-08-18 cs.LG stat.ML
Bayesian Inverse Reinforcement Learning for Collective Animal Movement
University of Missouri（密苏里大学）；U. S. Geological Survey（美国地质调查局）；Colorado State University（科罗拉多州立大学）
基于代理的方法允许定义生成复杂群体行为的简单规则。这种模型的管理规则通常是先验设置的，并且参数是根据观察到的行为轨迹来调整的。反向强化学习不是对所有预期场景进行简化假设，而是通过使用马尔可夫决策过程的属性来提供对管理长期行为策略的短期（局部）规则的推断。我们使用计算效率的线性可解马尔可夫决策过程学习的本地规则集体运动的模拟的自推进粒子（SPP）模型和数据应用程序的捕获孔雀鱼人口。行为决策成本的估计是在贝叶斯框架与基函数平滑。我们在SPP模拟中恢复了真实的成本，发现孔雀鱼更重视集体运动而不是有针对性的运动。
2022-06-11 cs.LG stat.ML
Learning a Prior over Intent via Meta-Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习在现实世界中的实际应用面临的一个重大挑战是需要指定一个正确定义任务的Oracle奖励函数。反向强化学习（IRL）试图通过从专家行为中推断奖励函数来避免这一挑战。虽然吸引人，但收集涵盖现实世界中常见变化的演示数据集（例如打开任何类型的门）可能是不切实际的昂贵。因此，在实践中，IRL通常必须仅通过有限的一组演示来执行，其中明确地恢复奖励函数可能非常困难。在这项工作中，我们利用的洞察力，从其他任务的演示可以用来约束一组可能的奖励功能，通过学习一个“先验”，这是专门优化的能力，从有限数量的演示推断表达奖励功能。我们证明，我们的方法可以有效地从图像中恢复奖励，并提供直觉，我们的方法是如何类似于学习先验。
2019-10-14 cs.LG stat.ML
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Preferred Networks（首选网络）
现有的逆强化学习（IRL）方法的一个关键缺陷是它们无法显著优于演示器。这是因为IRL通常会寻求一个奖励函数，使演示者看起来接近最优，而不是推断演示者的潜在意图，这些意图在实践中可能执行得很差。在本文中，我们介绍了一种新的奖励学习从观察算法，轨迹排名奖励EXTRAPOLATION（T-REX），外推超出一组（近似）排名的演示，以推断高质量的奖励功能，从一组潜在的穷人的演示。当与深度强化学习相结合时，T-REX在多个Atari和MuJoCo基准测试任务上的表现优于最先进的模仿学习和IRL方法，并实现了通常是最佳演示性能两倍以上的性能。我们还证明了T-REX对排名噪声具有鲁棒性，并且可以通过简单地观察学习者随着时间的推移在任务中的嘈杂改进来准确地推断意图。
2019-07-09 cs.LG stat.ML
Inverse Reinforcement Learning from a Gradient-based Learner
Politecnico Di Milano（米兰理工大学）
逆强化学习解决了从演示中推断专家的奖励函数的问题。然而，在许多应用程序中，我们不仅可以访问专家的接近最优的行为，但我们也观察她的学习过程的一部分。在本文中，我们提出了一种新的算法，这种设置，其中的目标是恢复的奖励函数被优化的代理，给定的一系列政策在学习过程中产生的。我们的方法是基于这样的假设，即观察到的代理是更新她的政策参数沿梯度方向。然后，我们扩展我们的方法来处理更现实的情况下，我们只能访问学习轨迹的数据集。对于这两种设置，我们提供了理论上的见解，我们的算法的性能。最后，我们在模拟GridWorld环境和MuJoCo环境中评估该方法，并将其与最先进的基线进行比较。
2020-07-15 cs.LG stat.ML
Teaching Inverse Reinforcement Learners via Features and Demonstrations
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
从专家的演示中学习接近最优的行为通常依赖于学习者知道真正的奖励函数所依赖的特征的假设。在本文中，我们研究了在并非如此的情况下从演示中学习的示教学习问题，即，在学习者和专家的世界观之间存在不匹配。我们引入了一个自然量，教学风险，衡量潜在的次优政策，看起来最佳的学习者在这种情况下。我们证明了教学风险的界限保证学习者能够使用基于逆强化学习的标准算法找到一个接近最优的策略。基于这些发现，我们提出了一个教学方案，专家可以通过更新学习者的世界观来降低教学风险，从而最终使她找到一个接近最优的政策。
2019-03-27 cs.LG stat.ML
From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
Google AI Research（谷歌人工智能研究院）；Google AI（谷歌人工智能）
强化学习是解决控制问题的一个很有前途的框架，但它在实际情况中的使用受到奖励函数通常难以设计的事实的阻碍。自主机器（如机器人）的目标和任务是一个重大挑战：传统上，奖励函数和目标状态已被用于传达目标。但人们可以通过简单地描述或演示来相互传达目标。我们如何才能建立学习算法，让我们告诉机器我们想让他们做什么？在这项工作中，我们调查的问题接地语言命令作为奖励功能使用逆强化学习，并认为语言条件的奖励比语言条件的政策更可转移到新的环境。我们提出了语言条件奖励学习（LC-RL），它将语言命令作为由深度神经网络表示的奖励函数。我们证明，我们的模型学习奖励，转移到新的任务和环境中的现实，高维的视觉环境与自然语言命令，而直接学习的语言条件的政策导致性能不佳。
2019-02-20 cs.LG stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition
University of California, Berkeley（加州大学伯克利分校）
奖励函数的设计通常对强化学习的实际应用构成重大的实际挑战。反向强化学习等方法试图克服这一挑战，但需要专家演示，这在实践中可能很难或昂贵。我们提出了变分逆控制与事件（VICE），它将逆强化学习方法推广到不需要完整演示的情况下，例如只有期望的目标状态的样本可用。我们的方法基于控制和强化学习的另一种观点，其中代理的目标是最大化一个或多个事件在未来某个时间点发生的概率，而不是最大化累积奖励。我们证明了我们的方法在连续控制任务中的有效性，重点是高维观察，如图像，其中奖励很难甚至不可能指定。
2018-11-12 cs.LG stat.ML
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia（佐治亚大学）
逆强化学习（IRL）是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL，IRL被认为既是一个问题，也是一类方法。通过分类调查IRL的当前文献，本文可作为机器学习及其他领域的研究人员和实践者的参考，以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战，如难以进行准确的推理及其可推广性，对先验知识的敏感性，以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理：不准确和不完整的感知，不完整的模型，多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Reward Transfer from Inverse Reinforcement Learning: A Coupled Minimax Approach
Cornell Tech, Cornell University（康奈尔科技，康奈尔大学）；Netflix Research（netflix研究）；Department of Statistics, University of Washington（华盛顿大学统计学系）
提出一种耦合极小极大方法，通过联合求解源和目标环境的贝尔曼方程组，消除源贝尔曼残差误差的一阶影响，实现逆强化学习奖励从源环境到目标环境的有效迁移。
2026-05-27 cs.LG stat.ML
Machine Teaching for Inverse Reinforcement Learning: Algorithms and Applications
University of Texas at Austin（德克萨斯大学奥斯汀分校）
逆强化学习（IRL）从演示中推断出奖励函数，从而允许策略改进和推广。然而，尽管最近的兴趣IRL，很少的工作已经做了了解的最低限度的演示需要教一个特定的顺序决策任务。我们形式化的问题，找到最大的信息演示IRL作为一个机器教学的问题，其目标是找到所需的演示指定奖励等价类的演示的最小数量。我们扩展以前的工作顺序决策任务的算法教学，通过减少集合覆盖问题，使一个有效的近似算法，用于确定一组最大信息量的演示。我们将我们提出的机器教学算法应用到两个新的应用程序：提供一个下限的查询数量需要学习的政策，使用主动IRL和开发一种新的IRL算法，可以更有效地学习信息演示比标准的IRL方法。
2019-08-16 cs.LG stat.ML
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多任务逆强化学习（IRL）是从专家论证中推断多个奖励函数的问题。以前的工作，建立在贝叶斯IRL，是无法扩展到复杂的环境中，由于计算的限制。本文在计算效率更高的最大因果熵（MCE）IRL框架下，提出了一种多任务IRL模型。实验表明，我们的方法可以执行一次性的模仿学习在网格世界环境中，单任务IRL算法需要数百个演示来解决。我们概述了初步工作，使用元学习扩展我们的方法，现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体，我们发现这些IRL算法的严重局限性，并得出结论，为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
Inverse Reinforcement Learning with Missing Data
NUS School of Computing（新加坡国立大学计算学院）；MIT（麻省理工学院）
我们考虑的问题，恢复专家的奖励函数与逆强化学习（IRL）时，有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下，例如，来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中，我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的，在处理大量的缺失段演示的轨迹，因为它执行的训练与不完整的数据，通过求解一系列的线性方程组的系统，这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明，我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Toward Diverse Text Generation with Inverse Reinforcement Learning
Fudan University（复旦大学）
文本生成是自然语言处理中的一项重要任务。最近，已经提出了几种对抗生成模型来改善文本生成中的暴露偏差问题。虽然这些模型取得了很大的成功，但它们仍然存在着奖励稀疏和模式坍塌的问题。为了解决这两个问题，在本文中，我们采用逆强化学习（IRL）的文本生成。具体而言，IRL框架在训练数据上学习奖励函数，然后学习最优策略以最大化期望的总奖励。与对抗模型类似，IRL中的奖励和策略函数交替优化。我们的方法有两个优点：（1）奖励函数可以产生更密集的奖励信号。(2)通过“熵正则化”策略梯度训练的生成策略，鼓励生成更多样化的文本。实验结果表明，我们提出的方法可以生成更高质量的文本比以前的方法。
2018-06-07 cs.CL cs.LG stat.ML
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará（塞阿拉联邦大学）
本文提出基于随机效用理论的逆强化学习方法，通过扩展状态和确定性最优策略假设对驾驶员轨迹建模，并证明最大熵逆强化学习为其特例，最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China（中国科学技术大学）；Princeton University（普林斯顿大学）；Salesforce AI Research（Salesforce AI研究院）
本文从理论视角研究逆强化学习（IRL），首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法，通过适应悲观主义原则在更强指标下提供保证，并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Inverse Reinforcement Learning with Gaussian Process
University of Virginia（弗吉尼亚大学）
我们提出了新的算法，逆强化学习（IRL，或逆最优控制）在凸优化设置。我们认为，有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题，我们提出了一个高斯过程模型，并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL，它不做任何假设的形式的奖励函数，但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比，我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷，提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法，理论上实现指数级加速，实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
Deep PQR: Solving Inverse Reinforcement Learning using Anchor Actions
Princeton University（普林斯顿大学）；Amazon（亚马逊）
我们提出了一个基于深度能量策略的逆强化学习的奖励函数估计框架。我们将我们的方法命名为PQR，因为它通过深度学习依次估计策略、$Q$函数和奖励函数。PQR并不认为奖励只取决于状态，相反，它允许依赖于行动的选择。此外，PQR允许随机状态转换。为了实现这一点，我们假设存在一个锚定动作，其奖励是已知的，通常是什么也不做的动作，不产生奖励。我们提出的PQR方法的估计和算法。当环境转移是已知的，我们证明了PQR奖励估计唯一恢复真实的奖励。对于未知的转移，我们限制了PQR的估计误差。最后，PQR的性能证明了合成和真实世界的数据集。
2020-08-15 cs.LG math.OC stat.ML
Interactive Teaching Algorithms for Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究了逆强化学习（IRL）的问题，并增加了学习者由一个有帮助的老师帮助的扭曲。更正式地说，我们解决了以下算法问题：教师如何提供一个信息序列的示范IRL学习者，以加快学习过程？我们提出了一个互动的教学框架，教师自适应地选择下一个示范学习者的当前政策的基础上。特别是，我们设计了两个具体的设置教学算法：一个无所不知的设置，教师有充分的知识学习者的动态和黑盒设置，教师有最少的知识。然后，我们研究了流行的MCE-IRL学习者的顺序变体，并证明了我们的教学算法在全知设置的收敛保证。在汽车驾驶模拟器环境中进行的大量实验表明，与缺乏信息的教师相比，学习进度可以大大加快。
2019-06-05 cs.AI cs.LG stat.ML
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Lifelong Inverse Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
用于从示范示教学习（LfD）中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而，即使对于单个任务，LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理，如果每个任务都是孤立学习的，则该过程将大大增加用户的负担。为了应对这一挑战，我们引入了终身示教学习的新问题，它允许代理不断建立在从以前演示的任务中学到的知识，以加速学习新的任务，减少所需的演示量。作为这个问题的一个解决方案，我们提出了第一个终身学习的方法来逆强化学习，通过演示学习连续的任务，不断地在任务之间转移知识，以提高性能。
2022-07-01 cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Inverse reinforcement learning for video games
UC Berkeley（加州大学伯克利分校）
深度强化学习在一系列视频游戏环境中实现了超人的性能，但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习（IRL）算法可以从低维连续控制环境中的演示中推断出奖励，但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中，我们修改了最先进的对抗IRL（AIRL）算法，将CNN用于生成器和迭代器。为了稳定训练，我们将奖励标准化，并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入，提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能，大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分，但与专家性能不匹配，突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
逆强化学习（IRL）是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究，相关的问题{ \em online} IRL-其中的意见是递增累积的，但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL，称为增量IRL（I2 RL），和一种新的方法，先进的最大熵IRL与隐藏变量，到这个设置。我们的形式分析表明，新方法具有单调改善的性能与更多的示范数据，以及概率有界的误差，完全和部分的可观测性。在一个模拟机器人应用程序中的实验，穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法，并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
