Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
该工作处理高维状态空间中的逆强化学习问题，其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题，我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立，然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法，以显示其准确性，以及三个临床任务，以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
Inverse Reinforcement Learning with Gaussian Process
University of Virginia（弗吉尼亚大学）
我们提出了新的算法，逆强化学习（IRL，或逆最优控制）在凸优化设置。我们认为，有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题，我们提出了一个高斯过程模型，并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL，它不做任何假设的形式的奖励函数，但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比，我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷，提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法，理论上实现指数级加速，实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Lifelong Inverse Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
用于从示范示教学习（LfD）中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而，即使对于单个任务，LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理，如果每个任务都是孤立学习的，则该过程将大大增加用户的负担。为了应对这一挑战，我们引入了终身示教学习的新问题，它允许代理不断建立在从以前演示的任务中学到的知识，以加速学习新的任务，减少所需的演示量。作为这个问题的一个解决方案，我们提出了第一个终身学习的方法来逆强化学习，通过演示学习连续的任务，不断地在任务之间转移知识，以提高性能。
2022-07-01 cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
逆强化学习（IRL）旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略，以避免专家的行为被任意恒定的奖励合理化，也称为退化解决方案。我们提出了易于处理的解决方案，和实用的方法来获得它们，正则化IRL。目前的方法局限于最大熵IRL框架，限制他们的香农熵正则化，以及提出的解决方案，是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制，经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
A Subgame Perfect Equilibrium Reinforcement Learning Approach to Time-inconsistent Problems
Nanyang Technological University（南洋理工大学）
针对时间不一致问题，建立了一个子博弈完美均衡强化学习（SPERL）框架.在强化学习的背景下，TIC问题面临两个主要挑战：不存在自然的递归关系之间的价值函数在不同的时间点和违反贝尔曼的最优性原则，提出了标准的政策迭代算法的适用性问题，无法证明的政策改进定理。我们采用了扩展的动态规划理论，并提出了一类新的算法，称为向后策略迭代（BPI），可以解决SPERL并解决这两个挑战。为了证明BPI作为训练框架的实际用途，我们采用标准的RL模拟方法，并推导出两个基于BPI的训练算法。我们研究了我们的衍生训练框架上的均值-方差投资组合选择问题，并评估了一些性能指标，包括收敛性和模型可识别性。
2021-10-27 cs.GT cs.LG cs.SY
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Interactionless Inverse Reinforcement Learning: A Data-Centric Framework for Durable Alignment
IDLab, Ghent University - imec（IDLab，根特大学-imec）
本文提出无交互逆强化学习框架，旨在通过数据驱动的方法学习可检查、可编辑和可重用的奖励特征，从而将对齐问题从一次性训练成本转变为可验证的工程资产。
2026-03-25 cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford（牛津大学）
本文提出了一个通用的框架，利用神经网络的代表能力，以近似复杂的，非线性的奖励函数的上下文中解决逆强化学习（IRL）问题。在这种情况下，我们表明，IRL的最大熵范式自然适合于深度架构的有效训练。在测试时，该方法导致独立于演示数量的计算复杂性，这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能，同时超过了基于高度变化的奖励结构的替代基准。最后，我们扩展了基本架构-相当于宽度为1的全卷积神经网络（FCNN）的简化子类-以包括更大的卷积，以消除对预先计算的空间特征的依赖，并对原始输入表示进行处理。
2016-03-11 cs.LG
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes（格拉德斯通研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）
本文研究专家具有不同未知规划视野的逆强化学习问题，提出同时学习全局奖励函数和智能体特定折扣因子的算法，并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习，其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法，逆强化学习与神经进化，一个范例，修改神经网络的基础上，他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习，并进化以生成与演示类似的策略。该算法进行了讨论，并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价，神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比，这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据，以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程，其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University（四川大学）
受城市感知专家评价策略的启发，提出了一种基于逆强化学习（IRL）的城市安全预测框架，并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法，将预测问题建模为马尔可夫决策过程（MDP），并使用强化学习（RL）来解决问题。此外，我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知，这是首次将IRL方法引入城市安全感知和规划领域，帮助专家定量分析感知特征。我们的研究结果表明，IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Meta-Cognition. An Inverse-Inverse Reinforcement Learning Approach for Cognitive Radars
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
本文认为，元认知雷达在一个对抗性的设置。认知雷达最佳地适应其波形（响应），以响应可能对抗的移动目标的机动（探测）。元认知雷达意识到目标的敌对性质，并试图减轻敌对目标。元认知雷达应该如何选择它的反应，以充分迷惑试图估计雷达效用函数的对手？本文抽象的雷达的元认知问题的频谱（特征值）的状态和观测噪声协方差矩阵，并嵌入代数Riccati方程到经济学为基础的效用最大化设置。这个对抗性目标是一个反向强化学习器。通过观察雷达响应（波形）的噪声序列，对抗目标使用统计假设检验来检测雷达是否是效用最大化者。反过来，元认知雷达故意选择次优响应，增加了对手检测器的I型错误概率。我们将元认知雷达采取的这一反对抗步骤称为逆逆强化学习（I-IRL）。我们通过简单的数值例子来说明本文的元认知结果。本文中我们的元认知方法基于微观经济学中的显示偏好理论，并受到机器学习中的差异隐私和对抗混淆结果的启发。
2022-05-03 cs.LG eess.SP
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦图灵研究所）；University of Cambridge（剑桥大学）
研究了专家和学习者之间转换动力学失配下的逆强化学习（IRL）问题。具体而言，我们认为最大因果熵（MCE）IRL学习模型，并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解，我们提出了一种鲁棒的MCE IRL算法，这是一种帮助解决这种不匹配的原则性方法。最后，我们经验证明了我们的算法相比，标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute（图灵研究所）；Université de Neuchâtel（纳沙泰尔大学）
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题，提出自适应环境设计框架，通过学习者主动选择环境与专家交互，在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Inverse Risk-Sensitive Reinforcement Learning
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们解决的问题，逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是，我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型，在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法，最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子，其中第一个是典型的网格世界的例子，其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中，我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Online Observer-Based Inverse Reinforcement Learning
Oklahoma State University（俄克拉荷马州立大学）
该研究将线性系统的输出反馈逆强化学习问题转化为状态估计问题，提出两种基于观测器的IRL技术，含带历史栈的新型观测器，给出收敛与鲁棒性理论保证，并通过仿真验证其在不同测量条件下的性能。
2023-07-17 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系）
针对现有LLM对齐方法面临的标签噪声和高成本问题，提出基于逆向强化学习的从示范中对齐（AfD）方法，通过散度最小化目标与高效算法，在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
