Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷，提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法，理论上实现指数级加速，实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Lifelong Inverse Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
用于从示范示教学习（LfD）中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而，即使对于单个任务，LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理，如果每个任务都是孤立学习的，则该过程将大大增加用户的负担。为了应对这一挑战，我们引入了终身示教学习的新问题，它允许代理不断建立在从以前演示的任务中学到的知识，以加速学习新的任务，减少所需的演示量。作为这个问题的一个解决方案，我们提出了第一个终身学习的方法来逆强化学习，通过演示学习连续的任务，不断地在任务之间转移知识，以提高性能。
2022-07-01 cs.LG
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
逆强化学习（IRL）旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略，以避免专家的行为被任意恒定的奖励合理化，也称为退化解决方案。我们提出了易于处理的解决方案，和实用的方法来获得它们，正则化IRL。目前的方法局限于最大熵IRL框架，限制他们的香农熵正则化，以及提出的解决方案，是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制，经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Interactionless Inverse Reinforcement Learning: A Data-Centric Framework for Durable Alignment
IDLab, Ghent University - imec（IDLab，根特大学-imec）
本文提出无交互逆强化学习框架，旨在通过数据驱动的方法学习可检查、可编辑和可重用的奖励特征，从而将对齐问题从一次性训练成本转变为可验证的工程资产。
2026-03-25 cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford（牛津大学）
本文提出了一个通用的框架，利用神经网络的代表能力，以近似复杂的，非线性的奖励函数的上下文中解决逆强化学习（IRL）问题。在这种情况下，我们表明，IRL的最大熵范式自然适合于深度架构的有效训练。在测试时，该方法导致独立于演示数量的计算复杂性，这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能，同时超过了基于高度变化的奖励结构的替代基准。最后，我们扩展了基本架构-相当于宽度为1的全卷积神经网络（FCNN）的简化子类-以包括更大的卷积，以消除对预先计算的空间特征的依赖，并对原始输入表示进行处理。
2016-03-11 cs.LG
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes（格拉德斯通研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）
本文研究专家具有不同未知规划视野的逆强化学习问题，提出同时学习全局奖励函数和智能体特定折扣因子的算法，并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Meta-Adversarial Inverse Reinforcement Learning for Decision-making Tasks
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
示教学习在过去几年取得了很大进展。然而，它通常是数据饥饿和特定任务。换句话说，它需要大量的数据来训练一个关于特定任务的像样的模型，并且该模型通常无法推广到具有不同分布的新任务。在实践中，来自新任务的演示将被持续观察，数据可能是未标记的或仅部分标记的。因此，需要训练的模型适应具有有限数据样本的新任务。在这项工作中，我们建立了一个适应性模仿学习模型的基础上集成元学习和对抗逆强化学习（元-AIRL）。我们利用对抗学习和逆强化学习机制，从可用的训练任务中同时学习策略和奖励函数，然后使用元学习框架使其适应新任务。仿真结果表明，使用Meta-AIRL训练的自适应策略可以有效地从有限数量的演示中学习，并快速达到与未知任务专家相当的性能。
2021-03-25 cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Adversarial Inverse Reinforcement Learning for Mean Field Games
Strong AI Lab, University of Auckland（强人工智能实验室，奥克兰大学）；University of Auckland（奥克兰大学）
本文提出均场对抗逆强化学习框架，用于解决均场博弈中演示行为不确定性问题，通过最大熵IRL和新均衡概念提升奖励恢复性能。
2025-12-01 cs.LG
Scalable Bayesian Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
贝叶斯推理的奖励提出了一个理想的解决方案，不适定的性质逆强化学习问题。不幸的是，由于需要内环MDP求解器，当前方法通常不能扩展到小表格设置之外，即使是本身扩展的非贝叶斯方法也通常需要与环境进行广泛的交互才能良好地执行，不适合高风险或昂贵的应用，例如医疗保健。在本文中，我们介绍了我们的方法，近似变分奖励模仿学习（AVRIL），它解决了这两个问题，通过共同学习一个近似后验分布的奖励，规模任意复杂的状态空间旁边的一个适当的政策，在一个完全离线的方式，通过变分的方法说，潜在的奖励。将我们的方法应用于真实的医疗数据以及经典的控制模拟，我们证明了贝叶斯奖励推理在超出当前方法范围的环境中，以及与离线模仿学习算法竞争的任务性能。
2021-03-11 cs.LG
A Generalised Inverse Reinforcement Learning Framework
ANEO；Criteo AI Lab（科韬人工智能实验室）；CREST, ENSAE（法国国立统计与经济管理学院经济与统计研究中心）
逆强化学习（IRL）的总体目标是根据观测到的最优策略轨迹来估计某个MDP的未知代价函数。经典的方法包括调整这个成本函数，使相关的最佳轨迹（最小化累积折扣成本，即经典的RL损失）是“类似”的观察。以前的贡献集中在惩罚退化的解决方案和提高算法的可扩展性。非常正交的，他们，我们的问题的相关性的特征最优的累积贴现成本，因为它会导致一个隐含的偏见，对政策的混合时间较长。最先进的基于值的RL算法通过求解Bellman最优算子的不动点来规避这个问题，Bellman最优算子是一个更强的标准，对于逆问题没有很好的定义。为了减轻IRL中的这种偏差，我们引入了一种替代的训练损失，它对未来的状态赋予更多的权重，从而产生了（最大熵）IRL问题的重新表述。我们设计的算法在多个OpenAI健身房环境中表现出比现有算法更好的性能（和类似的易处理性）。
2021-05-25 cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Q-based Variational Inverse Reinforcement Learning
提出新型贝叶斯逆强化学习方法QVIRL，兼具可扩展性与不确定性量化能力，在多类任务的学徒学习中表现优异，是首个可从原始像素观测训练的贝叶斯IRL方法。
2026-08-18 cs.LG
Malliavin Calculus for Counterfactual Gradient Estimation in Adaptive Inverse Reinforcement Learning
School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）
本文提出一种基于拉格朗日算法的自适应逆强化学习方法，利用马尔蒂尼算子高效估计反事实梯度，解决传统方法收敛慢的问题。
2026-09-22 cs.LG
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本文讨论了逆强化学习（IRL）的问题-从观察其行为推断代理的奖励函数。IRL可以为学徒学习提供一个可概括的和紧凑的表示，并能够准确地推断人类的偏好，以帮助他们。%，并提供更准确的预测。然而，有效的IRL是具有挑战性的，因为许多奖励函数可以与观察到的行为兼容。我们专注于如何利用先前的强化学习（RL）经验，使学习这些偏好更快，更有效。我们提出了IRL算法BASIS（通过样本特征意图推断的行为获取），该算法利用多任务RL预训练和后继特征，允许代理为跨越给定域中可能目标空间的意图建立强大的基础。当暴露于优化新目标的几个专家演示时，代理使用其基础来快速有效地推断奖励函数。我们的实验表明，我们的方法是非常有效的推断和优化演示奖励功能，准确地推断奖励功能，从不到100个轨迹。
2022-08-09 cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University（四川大学）
受城市感知专家评价策略的启发，提出了一种基于逆强化学习（IRL）的城市安全预测框架，并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法，将预测问题建模为马尔可夫决策过程（MDP），并使用强化学习（RL）来解决问题。此外，我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知，这是首次将IRL方法引入城市安全感知和规划领域，帮助专家定量分析感知特征。我们的研究结果表明，IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Meta-Cognition. An Inverse-Inverse Reinforcement Learning Approach for Cognitive Radars
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
本文认为，元认知雷达在一个对抗性的设置。认知雷达最佳地适应其波形（响应），以响应可能对抗的移动目标的机动（探测）。元认知雷达意识到目标的敌对性质，并试图减轻敌对目标。元认知雷达应该如何选择它的反应，以充分迷惑试图估计雷达效用函数的对手？本文抽象的雷达的元认知问题的频谱（特征值）的状态和观测噪声协方差矩阵，并嵌入代数Riccati方程到经济学为基础的效用最大化设置。这个对抗性目标是一个反向强化学习器。通过观察雷达响应（波形）的噪声序列，对抗目标使用统计假设检验来检测雷达是否是效用最大化者。反过来，元认知雷达故意选择次优响应，增加了对手检测器的I型错误概率。我们将元认知雷达采取的这一反对抗步骤称为逆逆强化学习（I-IRL）。我们通过简单的数值例子来说明本文的元认知结果。本文中我们的元认知方法基于微观经济学中的显示偏好理论，并受到机器学习中的差异隐私和对抗混淆结果的启发。
2022-05-03 cs.LG eess.SP
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦图灵研究所）；University of Cambridge（剑桥大学）
研究了专家和学习者之间转换动力学失配下的逆强化学习（IRL）问题。具体而言，我们认为最大因果熵（MCE）IRL学习模型，并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解，我们提出了一种鲁棒的MCE IRL算法，这是一种帮助解决这种不匹配的原则性方法。最后，我们经验证明了我们的算法相比，标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute（图灵研究所）；Université de Neuchâtel（纳沙泰尔大学）
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题，提出自适应环境设计框架，通过学习者主动选择环境与专家交互，在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Inverse Risk-Sensitive Reinforcement Learning
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们解决的问题，逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是，我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型，在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法，最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子，其中第一个是典型的网格世界的例子，其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中，我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系）
针对现有LLM对齐方法面临的标签噪声和高成本问题，提出基于逆向强化学习的从示范中对齐（AfD）方法，通过散度最小化目标与高效算法，在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Deep Reinforcement Learning for Inverse Inorganic Materials Design
Massachusetts Institute of Technology（麻省理工学院）
实现具有所需性质的新型无机材料的主要障碍是不能在材料性质和这些材料的合成两者上进行有效的优化。在这项工作中，我们提出了一种强化学习（RL）的方法来逆无机材料设计，它可以识别有前途的化合物与指定的属性和合成能力的限制。我们的模型学习化学准则，如电荷和电负性中性，同时保持化学多样性和独特性。我们展示了一种多目标RL方法，该方法可以生成具有目标材料特性的新型化合物，包括形成能和体积/剪切模量以及较低的烧结温度合成目标。使用这种方法，该模型可以预测感兴趣的有前途的化合物，同时为无机材料的发现提出了优化的化学设计空间。
2022-10-21 cond-mat.mtrl-sci cs.LG
Inverse Reinforcement Learning in Large State Spaces via Function Approximation
California Institute of Technology（加州理工学院）
提出了一种在大规模高维状态空间中进行逆强化学习的新方法。为了避免在奖励学习中解决计算昂贵的强化学习问题，我们提出了一种函数逼近方法，以确保Bellman最优方程始终成立，然后估计一个函数，以最大化所观察到的运动的可能性。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理大的状态空间。我们在模拟环境中测试所提出的方法，并表明它是更准确的比现有的方法和显着更好的可扩展性。我们还表明，所提出的方法可以扩展到高维状态空间的许多现有的方法。然后，我们将该方法应用于评估康复刺激对脊髓损伤患者的影响，根据观察到的患者运动。
2017-08-13 cs.LG cs.RO
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习，其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法，逆强化学习与神经进化，一个范例，修改神经网络的基础上，他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习，并进化以生成与演示类似的策略。该算法进行了讨论，并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价，神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比，这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据，以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程，其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
