Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Inverse Delayed Reinforcement Learning
Northwestern University（西北大学）；University of Southampton（南安普顿大学）
针对受延迟扰动影响的专家轨迹，本文提出离策略对抗式 IRL 框架，从增强延迟观测中提取奖励特征并恢复最优策略，实验与理论均证明其优于直接使用延迟观测。
2024-12-04 cs.AI cs.LG cs.SY
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Maximum Likelihood Reinforcement Learning
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
MaxRL是一种基于采样的强化学习框架，通过最大似然估计提升模型训练效率，实验显示其在多个任务中表现优于现有方法。
2026-08-24 cs.LG
Online Observer-Based Inverse Reinforcement Learning
Oklahoma State University（俄克拉荷马州立大学）
该研究将线性系统的输出反馈逆强化学习问题转化为状态估计问题，提出两种基于观测器的IRL技术，含带历史栈的新型观测器，给出收敛与鲁棒性理论保证，并通过仿真验证其在不同测量条件下的性能。
2023-07-17 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
SERA: Scale-Equalized Rollout Allocation for Maximum Likelihood Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）
SERA通过重新分配固定回放预算以均衡有限回放尺度因子，解决MaxRL中低成功提示梯度衰减问题，提升梯度对齐与解覆盖率。
2026-09-30 cs.AI cs.LG
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Inverse Reinforcement Learning for Marketing
NYU Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出利用逆强化学习研究动态消费者需求，通过最大熵方法构建可 tractable 模型，展示观测噪声可能被误认为消费者异质性。
2017-12-13 cs.AI cs.CE cs.LG
Likelihood Quantile Networks for Coordinating Multi-Agent Reinforcement Learning
Northeastern University（东北大学）
当多个智能体以分散的方式学习时，由于其他智能体的探索和学习，从单个智能体的角度来看，环境似乎是非平稳的。最近提出的深度多智能体强化学习方法试图通过尝试确定哪些样本来自其他智能体探索或次优性来减轻这种非平稳性，并在学习过程中较少考虑它们。基于同样的理念，本文介绍了一种分散分位数估计，其目的是通过区分非平稳样本的基础上的收益率的可能性，以提高性能。特别地，每个代理考虑其他代理探索和策略改变正在发生的可能性，基本上利用代理自己的估计来权衡应该应用于给定样本的学习率。我们介绍了一个正式的方法来计算我们的回报分布表示和方法，利用它来指导更新的差异。我们还探讨了风险寻求策略随着时间的推移调整学习的效果，并提出了自适应风险失真函数，指导风险敏感性。我们的实验，在传统的基准和新的领域，表明我们的方法是更稳定，样本效率和更有可能收敛到一个联合最优策略比以前的方法。
2020-06-14 cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；Facebook（脸书）
基于基于模型的强化学习中的最大似然估计的缺点已经被越来越多的论文所强调。当模型类被错误指定或具有有限的表示能力时，具有高可能性的模型参数可能不一定导致代理在下游控制任务上的高性能。为了缓解这个问题，我们提出了一种端到端的模型学习方法，该方法使用隐式微分直接优化预期收益。我们把一个满足Bellman最优性算子的价值函数作为模型参数的隐函数，并说明如何区分该函数。我们提供了理论和实证证据，强调我们的方法的好处，在模型的误指定制度相比，基于可能性的方法。
2021-06-06 cs.AI cs.LG stat.ML
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Inverse Reinforcement Learning: A Control Lyapunov Approach
Technical University of Munich（慕尼黑工业大学）
从演示中推断智能代理的意图并随后预测其行为，是许多协作设置中的关键任务。解决这个问题的一种常见方法是逆强化学习（IRL）框架，其中观察到的代理，例如，一个人类演示者，被假定为根据反映其意图并通知其控制动作的内在成本函数来表现。在这项工作中，我们重新制定的IRL推理问题，学习控制李雅普诺夫函数（CLF）的演示，利用逆最优性属性，这表明，每个CLF也是一个有意义的价值函数。此外，推导出的CLF公式直接保证了推断的控制策略的稳定性。我们展示了我们所提出的方法的灵活性，通过在连续环境中学习目标导向的运动演示。
2021-10-04 cs.LG cs.SY eess.SY
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Necessary and Sufficient Conditions for Inverse Reinforcement Learning of Bayesian Stopping Time Problems
Cornell University（康奈尔大学）
本文提出了一种求解贝叶斯停时问题的逆强化学习~（IRL）框架。通过观察贝叶斯决策者的行为，我们提供了一个充分必要条件，以确定这些行动是否与优化成本函数一致。在贝叶斯（部分观察）设置中，逆学习器最多可以识别观察到的策略的最优性。我们的IRL算法识别最优性，然后构造成本函数的集值估计。为了实现这个IRL目标，我们使用了贝叶斯揭示的微观经济学偏好的新思想。我们说明了建议的IRL计划使用两个重要的例子停止时间问题，即顺序假设检验和贝叶斯搜索。作为一个现实世界的例子，我们说明了使用YouTube数据集，包括元数据从190000个视频如何建议IRL方法预测用户参与在线多媒体平台的高精度。最后，对于有限数据集，我们提出了一个IRL检测算法，并给出了其错误概率的有限样本界。
2023-03-15 cs.LG cs.SY econ.TH
Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
我们提出了一种逆强化学习（IRL）方法，使用深度Q网络来提取具有大状态空间的问题中的奖励。我们评估这种方法在基于模拟的自动驾驶场景中的性能。我们的研究结果类似于奖励函数和安装在汽车上不同姿势的距离传感器读数之间的直观关系。我们还表明，经过几轮学习，我们的模拟代理生成无碰撞运动，并执行类似人类的换道行为。
2017-09-21 cs.AI cs.RO
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多任务逆强化学习（IRL）是从专家论证中推断多个奖励函数的问题。以前的工作，建立在贝叶斯IRL，是无法扩展到复杂的环境中，由于计算的限制。本文在计算效率更高的最大因果熵（MCE）IRL框架下，提出了一种多任务IRL模型。实验表明，我们的方法可以执行一次性的模仿学习在网格世界环境中，单任务IRL算法需要数百个演示来解决。我们概述了初步工作，使用元学习扩展我们的方法，现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体，我们发现这些IRL算法的严重局限性，并得出结论，为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
BiCQL-ML通过双层框架联合优化奖励函数和保守Q函数，提升离线逆强化学习中的奖励恢复和下游策略性能。
2025-11-27 cs.LG cs.RO
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习，其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法，逆强化学习与神经进化，一个范例，修改神经网络的基础上，他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习，并进化以生成与演示类似的策略。该算法进行了讨论，并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价，神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比，这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据，以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程，其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Nonuniqueness and Convergence to Equivalent Solutions in Observer-based Inverse Reinforcement Learning
Oklahoma State University（俄克拉荷马州立大学）
本文针对在线实时确定性逆强化学习中的多解非唯一性问题，提出了一种正则化历史栈观测器，能够收敛到具有不同代价泛函但相同反馈矩阵的近似等价解，并开发了新的数据丰富性条件，通过仿真验证了其有效性。
2024-05-30 cs.LG cs.SY eess.SY
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）；Nanjing university（南京大学）
本文研究了扩散模型强化学习设计空间中的关键问题，通过分解策略梯度目标、似然估计器和回放采样方案三个因素，发现基于证据下界（ELBO）的模型似然估计器是实现有效、高效和稳定强化学习优化的主要因素，优于特定策略梯度损失函数的影响。
2026-09-18 cs.AI cs.LG
Tail-Likelihood Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Impossible, Inc.（Impossible公司）；Together AI；Aurora Innovation
针对强化学习优化平均奖励的局限，提出TailRL方法，通过最大化超过随机奖励阈值的对数概率，利用稀有高奖励样本提升模型性能。
2026-09-10 cs.LG stat.ML
Inverse Reinforcement Learning with Missing Data
NUS School of Computing（新加坡国立大学计算学院）；MIT（麻省理工学院）
我们考虑的问题，恢复专家的奖励函数与逆强化学习（IRL）时，有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下，例如，来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中，我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的，在处理大量的缺失段演示的轨迹，因为它执行的训练与不完整的数据，通过求解一系列的线性方程组的系统，这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明，我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Approximate Inverse Reinforcement Learning from Vision-based Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种方法，用于获得基于视觉的导航的隐式目标函数。所提出的方法依赖于模仿学习、模型预测控制（MPC）和深度神经网络中使用的解释技术。我们使用模仿学习作为进行逆强化学习的手段，以便为视觉导航挑战创建近似的成本函数生成器。由此产生的成本函数，costmap，用于与MPC的实时控制，并优于其他国家的最先进的costmap发电机在新的环境。所提出的过程允许简单的训练和对样本外数据的鲁棒性。我们将我们的方法应用于多个真实和模拟环境中基于视觉的自动驾驶任务，并展示了其通用性。
2021-04-08 cs.AI cs.CV cs.LG
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará（塞阿拉联邦大学）
本文提出基于随机效用理论的逆强化学习方法，通过扩展状态和确定性最优策略假设对驾驶员轨迹建模，并证明最大熵逆强化学习为其特例，最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China（中国科学技术大学）；Princeton University（普林斯顿大学）；Salesforce AI Research（Salesforce AI研究院）
本文从理论视角研究逆强化学习（IRL），首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法，通过适应悲观主义原则在更强指标下提供保证，并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
