Inverse Reinforcement Learning with Gaussian Process
University of Virginia（弗吉尼亚大学）
我们提出了新的算法，逆强化学习（IRL，或逆最优控制）在凸优化设置。我们认为，有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题，我们提出了一个高斯过程模型，并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL，它不做任何假设的形式的奖励函数，但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比，我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷，提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法，理论上实现指数级加速，实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Lifelong Inverse Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
用于从示范示教学习（LfD）中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而，即使对于单个任务，LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理，如果每个任务都是孤立学习的，则该过程将大大增加用户的负担。为了应对这一挑战，我们引入了终身示教学习的新问题，它允许代理不断建立在从以前演示的任务中学到的知识，以加速学习新的任务，减少所需的演示量。作为这个问题的一个解决方案，我们提出了第一个终身学习的方法来逆强化学习，通过演示学习连续的任务，不断地在任务之间转移知识，以提高性能。
2022-07-01 cs.LG
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
逆强化学习（IRL）旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略，以避免专家的行为被任意恒定的奖励合理化，也称为退化解决方案。我们提出了易于处理的解决方案，和实用的方法来获得它们，正则化IRL。目前的方法局限于最大熵IRL框架，限制他们的香农熵正则化，以及提出的解决方案，是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制，经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法，用于解决随机到达-避免问题，通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Interactionless Inverse Reinforcement Learning: A Data-Centric Framework for Durable Alignment
IDLab, Ghent University - imec（IDLab，根特大学-imec）
本文提出无交互逆强化学习框架，旨在通过数据驱动的方法学习可检查、可编辑和可重用的奖励特征，从而将对齐问题从一次性训练成本转变为可验证的工程资产。
2026-03-25 cs.LG
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes（格拉德斯通研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）
本文研究专家具有不同未知规划视野的逆强化学习问题，提出同时学习全局奖励函数和智能体特定折扣因子的算法，并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Meta-Adversarial Inverse Reinforcement Learning for Decision-making Tasks
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
示教学习在过去几年取得了很大进展。然而，它通常是数据饥饿和特定任务。换句话说，它需要大量的数据来训练一个关于特定任务的像样的模型，并且该模型通常无法推广到具有不同分布的新任务。在实践中，来自新任务的演示将被持续观察，数据可能是未标记的或仅部分标记的。因此，需要训练的模型适应具有有限数据样本的新任务。在这项工作中，我们建立了一个适应性模仿学习模型的基础上集成元学习和对抗逆强化学习（元-AIRL）。我们利用对抗学习和逆强化学习机制，从可用的训练任务中同时学习策略和奖励函数，然后使用元学习框架使其适应新任务。仿真结果表明，使用Meta-AIRL训练的自适应策略可以有效地从有限数量的演示中学习，并快速达到与未知任务专家相当的性能。
2021-03-25 cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Cyclical Entropy Eruption: Entropy Dynamics in Agent Reinforcement Learning
Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系）
本文发现智能体强化学习训练中存在循环熵爆发现象，并提出了SEAL辅助损失函数来稳定训练、提升性能。
2026-11-02 cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Entropy Augmented Reinforcement Learning
Northwestern Polytechnical University（西北工业大学）
深度强化学习是在信任域方法的存在下发起的，具有可扩展性和高效性。然而，这类算法的悲观主义，其中它强制约束在一个信任区域的一切手段，已被证明抑制探索和损害性能。探索性算法如SAC，在利用熵鼓励探索的同时，隐含地优化了另一个目标。我们首先观察到这种不一致性，因此提出了一种类似的增强技术，当涉及到一个值评论家时，它与策略算法结合得很好。令人惊讶的是，所提出的方法始终满足软策略改进定理，同时更具可扩展性。分析认为，控制温度系数是实现勘探开发平衡的关键。在MuJoCo基准任务上的实验结果表明，该智能体在更高的奖励区域中表现出更好的性能.此外，我们验证了我们的方法的探索奖金上的一组自定义环境。
2023-03-03 cs.LG
Scalable Bayesian Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
贝叶斯推理的奖励提出了一个理想的解决方案，不适定的性质逆强化学习问题。不幸的是，由于需要内环MDP求解器，当前方法通常不能扩展到小表格设置之外，即使是本身扩展的非贝叶斯方法也通常需要与环境进行广泛的交互才能良好地执行，不适合高风险或昂贵的应用，例如医疗保健。在本文中，我们介绍了我们的方法，近似变分奖励模仿学习（AVRIL），它解决了这两个问题，通过共同学习一个近似后验分布的奖励，规模任意复杂的状态空间旁边的一个适当的政策，在一个完全离线的方式，通过变分的方法说，潜在的奖励。将我们的方法应用于真实的医疗数据以及经典的控制模拟，我们证明了贝叶斯奖励推理在超出当前方法范围的环境中，以及与离线模仿学习算法竞争的任务性能。
2021-03-11 cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
A Max-Min Entropy Framework for Reinforcement Learning
UNIST（蔚山科学技术院）；KAIST（韩国科学技术院）
在本文中，我们提出了一个最大-最小熵的强化学习（RL）的框架，以克服软演员-评论家（SAC）算法实现最大熵RL在无模型的基于样本的学习的局限性。最大熵强化学习指导策略在未来达到高熵状态，而最大最小熵框架旨在学习访问低熵状态并最大化这些低熵状态的熵，以促进更好的探索。针对一般的马尔可夫决策过程，基于探索与利用的分离，在最大最小熵框架下构造了一个有效的算法。数值结果表明，该算法产生了显着的性能改善，目前国家的最先进的强化学习算法。
2021-12-20 cs.AI cs.LG
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
最大熵（MaxEnt）强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而，动作熵不一定与状态熵一致，例如，当多个动作产生相同的过渡时。相反，我们建议最大化过渡熵，即，下一个状态的熵我们表明，过渡熵可以描述为两个术语，即，依赖于模型的过渡熵和动作冗余。特别是，我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法，以尽量减少行动冗余，并证明其有效性的合成环境与多个冗余的行动，以及当代基准在雅达利和Mujoco。我们的研究结果表明，动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Low Entropy Communication in Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
多智能体强化学习中的通信因其在协作中的重要作用而受到关注。然而，多智能体系统可能会受到通信资源的限制，因此需要有效的通信技术在现实世界中的场景。根据香农-哈特利定理，在较差信道中可靠传输的消息需要较低的熵。因此，我们的目标是减少多智能体通信中的消息熵。一个基本的挑战是熵的梯度要么是0，要么是无穷大，这使得基于梯度的方法无法使用。为了解决这个问题，我们提出了一个伪梯度下降方案，它通过明智地调整消息的分布来降低熵。我们进行了实验，两个基地的通信框架与六个环境设置，发现我们的计划可以减少消息熵高达90%，几乎没有损失的合作性能。
2023-02-10 cs.LG cs.MA
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)（电子和电信研究院（ETRI））
本文针对深度强化学习中的探索问题，发现低初始熵导致学习失败，提出熵感知模型初始化策略，有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology（以色列理工学院）
混合模型是一种表达性的假设类，可以近似一组丰富的策略。然而，在最大熵（MaxEnt）框架中使用混合策略并不简单。混合模型的熵不等于其分量之和，在大多数情况下也没有封闭形式的表达式。因此，在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中，我们得到一个简单的，低方差混合熵估计。我们表明，它是密切相关的边际熵的总和。配备我们的熵估计，我们推导出一个算法的软演员批评（SAC）的混合策略的情况下，并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
State Entropy Regularization for Robust Reinforcement Learning
Technion（技术学院）；MILA Institute（蒙特利尔人工智能研究所）；NVIDIA Research（NVIDIA研究）
本文研究了状态熵正则化在强化学习中的鲁棒性，对比了其与策略熵正则化的不同优势，并探讨了其在不同场景下的表现。
2025-11-29 cs.LG stat.ML
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University（四川大学）
受城市感知专家评价策略的启发，提出了一种基于逆强化学习（IRL）的城市安全预测框架，并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法，将预测问题建模为马尔可夫决策过程（MDP），并使用强化学习（RL）来解决问题。此外，我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知，这是首次将IRL方法引入城市安全感知和规划领域，帮助专家定量分析感知特征。我们的研究结果表明，IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Meta-Cognition. An Inverse-Inverse Reinforcement Learning Approach for Cognitive Radars
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
本文认为，元认知雷达在一个对抗性的设置。认知雷达最佳地适应其波形（响应），以响应可能对抗的移动目标的机动（探测）。元认知雷达意识到目标的敌对性质，并试图减轻敌对目标。元认知雷达应该如何选择它的反应，以充分迷惑试图估计雷达效用函数的对手？本文抽象的雷达的元认知问题的频谱（特征值）的状态和观测噪声协方差矩阵，并嵌入代数Riccati方程到经济学为基础的效用最大化设置。这个对抗性目标是一个反向强化学习器。通过观察雷达响应（波形）的噪声序列，对抗目标使用统计假设检验来检测雷达是否是效用最大化者。反过来，元认知雷达故意选择次优响应，增加了对手检测器的I型错误概率。我们将元认知雷达采取的这一反对抗步骤称为逆逆强化学习（I-IRL）。我们通过简单的数值例子来说明本文的元认知结果。本文中我们的元认知方法基于微观经济学中的显示偏好理论，并受到机器学习中的差异隐私和对抗混淆结果的启发。
2022-05-03 cs.LG eess.SP
