Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在强化学习领域,最近在策略性能的安全性和高置信度界限方面取得了进展。然而,据我们所知,没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的,只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法,该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下,任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限,并实现了更紧密,更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限,这是第一个实用的方法,允许代理,从示范学习,以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);EPFL(洛桑联邦理工学院)
我们陈述了逆强化学习在偏好诱导方面的问题,从而得到了一个原则性的(贝叶斯)统计公式。这概括了以前的工作贝叶斯逆强化学习,并允许我们获得一个后验分布代理的偏好,政策和可选的,获得的奖励序列,从观察。通过分析和实验结果,我们研究了所得方法与其他统计方法的关系。我们表明,偏好可以准确地确定,即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下,显着改善的政策,相对于代理的喜好,获得相比,其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多任务逆强化学习(IRL)是从专家论证中推断多个奖励函数的问题。以前的工作,建立在贝叶斯IRL,是无法扩展到复杂的环境中,由于计算的限制。本文在计算效率更高的最大因果熵(MCE)IRL框架下,提出了一种多任务IRL模型。实验表明,我们的方法可以执行一次性的模仿学习在网格世界环境中,单任务IRL算法需要数百个演示来解决。我们概述了初步工作,使用元学习扩展我们的方法,现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体,我们发现这些IRL算法的严重局限性,并得出结论,为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Inverse Reinforcement Learning with Missing Data
NUS School of Computing(新加坡国立大学计算学院);MIT(麻省理工学院)
我们考虑的问题,恢复专家的奖励函数与逆强化学习(IRL)时,有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下,例如,来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中,我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的,在处理大量的缺失段演示的轨迹,因为它执行的训练与不完整的数据,通过求解一系列的线性方程组的系统,这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明,我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará(塞阿拉联邦大学)
本文提出基于随机效用理论的逆强化学习方法,通过扩展状态和确定性最优策略假设对驾驶员轨迹建模,并证明最大熵逆强化学习为其特例,最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习(IRL)算法推断出一个奖励函数,该函数解释了专家在环境中提供的演示。最大因果熵(MCE)IRL是目前最流行的IRL公式,有许多扩展。在本教程中,我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源,为那些新的领域,并作为一个简明的参考,为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China(中国科学技术大学);Princeton University(普林斯顿大学);Salesforce AI Research(Salesforce AI研究院)
本文从理论视角研究逆强化学习(IRL),首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法,通过适应悲观主义原则在更强指标下提供保证,并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University(斯坦福大学)
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中,找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架,自动获取合适的奖励功能,从专家的示范。然而,由于理性行为的概念更为复杂,将其扩展到多代理设置是困难的。在本文中,我们提出了MA-AIRL,一个新的框架,多智能体逆强化学习,这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中,我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数,并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Interactive Teaching Algorithms for Inverse Reinforcement Learning
EPFL(洛桑联邦理工学院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
我们研究了逆强化学习(IRL)的问题,并增加了学习者由一个有帮助的老师帮助的扭曲。更正式地说,我们解决了以下算法问题:教师如何提供一个信息序列的示范IRL学习者,以加快学习过程?我们提出了一个互动的教学框架,教师自适应地选择下一个示范学习者的当前政策的基础上。特别是,我们设计了两个具体的设置教学算法:一个无所不知的设置,教师有充分的知识学习者的动态和黑盒设置,教师有最少的知识。然后,我们研究了流行的MCE-IRL学习者的顺序变体,并证明了我们的教学算法在全知设置的收敛保证。在汽车驾驶模拟器环境中进行的大量实验表明,与缺乏信息的教师相比,学习进度可以大大加快。
2019-06-05 cs.AI cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC(阿波美-卡拉维高等应用科学与技术学院);EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。为了做到这一点,我们扩展了以前的概率方法,在已知的MDP的情况下,未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完整的贝叶斯推断。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习,有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Handong global university(韩东国际大学)
复杂环境下的强化学习是一个具有挑战性的问题。特别是,强化学习算法的成功取决于设计良好的奖励函数。逆强化学习(IRL)解决了从专家演示中恢复奖励函数的问题。在本文中,我们解决了层次逆强化学习问题的选项框架内,这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程,从而得到报酬特征空间。利用期权参数的二阶最优性条件,选择最优的报酬函数。在离散和连续域的实验结果证实,我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象,这反过来又是有效的加速迁移学习任务。我们还表明,我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Inverse reinforcement learning for video games
UC Berkeley(加州大学伯克利分校)
深度强化学习在一系列视频游戏环境中实现了超人的性能,但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习(IRL)算法可以从低维连续控制环境中的演示中推断出奖励,但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中,我们修改了最先进的对抗IRL(AIRL)算法,将CNN用于生成器和迭代器。为了稳定训练,我们将奖励标准化,并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入,提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能,大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分,但与专家性能不匹配,突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
逆强化学习(IRL)是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究,相关的问题{ \em online} IRL-其中的意见是递增累积的,但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL,称为增量IRL(I2 RL),和一种新的方法,先进的最大熵IRL与隐藏变量,到这个设置。我们的形式分析表明,新方法具有单调改善的性能与更多的示范数据,以及概率有界的误差,完全和部分的可观测性。在一个模拟机器人应用程序中的实验,穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法,并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。要做到这一点,我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完全贝叶斯推理。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University(斯坦福大学)
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习(IRL)有望从演示中自动学习奖励函数,但仍然存在几个主要挑战。首先,现有的IRL方法从头开始学习奖励函数,需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次,现有的方法通常假设单一行为或任务的同质演示,而在实践中,收集异构但相关行为的数据集可能更容易。为此,我们提出了一个深度潜变量模型,该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是,我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明,我们的方法相比,国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research(谷歌研究院);University of Michigan(密歇根大学)
我们引入了一个新的重复逆强化学习问题:代理人必须代表一个人在一系列的任务,并希望尽量减少任务的数量,它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时,智能体就会被人类提供所需行为的演示。我们正式这个问题,包括如何选择任务的顺序,在几个不同的方式,并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过演示的主动学习允许机器人向人类询问特定类型的输入,以实现有效的学习。现有的工作已经探索了各种主动查询策略,但是,据我们所知,这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展,我们提出了一种风险意识主动逆强化学习算法,该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现,风险意识主动学习优于标准的主动IRL方法在网格世界,模拟驾驶,表设置任务,同时还提供了一个基于性能的停止标准,让机器人知道它已经收到足够的演示,安全地执行任务。
2019-06-03 cs.LG stat.ML
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College(达特茅斯学院)
针对深度强化学习模型的黑箱问题,本文提出基于对抗逆强化学习的框架,通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University(西北大学);Department of Industrial Engineering and Management Sciences(工业工程与管理科学系)
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比,我们引入了一个新的目标函数,直接将专家与纳什均衡策略相比较,并且我们设计了一个算法来解决反向强化学习中的奖励函数,并将深度神经网络作为模型近似。在我们的设置中,模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡,我们还提出了一个零和随机对策的对抗训练算法,并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中,我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外,次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University(普渡大学)
逆强化学习(IRL)是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用,在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中,我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外,我们提供了一个正确的证明和形式化的保证,我们的算法的样本和时间复杂度。最后,我们提出了合成实验,以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego(加利福尼亚大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一个问题,学习奖励和政策,从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上,并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示,这有利地导致更一般化的行为,从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报,其中训练和测试环境在动态或结构方面彼此不同。结果表明,我们提出的方法不仅学习接近最优的奖励和政策,是匹配专家的行为,但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找奖励函数的任务,该奖励函数为给定的马尔可夫决策过程(MDP)生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后,将得到的系综与Fano不等式一起使用,以导出$O(n \log n)$的样本复杂度下限,其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL(洛桑联邦理工学院);The Alan Turing Institute(艾伦图灵研究所);University of Cambridge(剑桥大学)
研究了专家和学习者之间转换动力学失配下的逆强化学习(IRL)问题。具体而言,我们认为最大因果熵(MCE)IRL学习模型,并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解,我们提出了一种鲁棒的MCE IRL算法,这是一种帮助解决这种不匹配的原则性方法。最后,我们经验证明了我们的算法相比,标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Inverse Risk-Sensitive Reinforcement Learning
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
我们解决的问题,逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是,我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型,在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法,最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子,其中第一个是典型的网格世界的例子,其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中,我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University(康奈尔大学);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
逆强化学习(IRL)处理从代理的动作估计代理的效用函数。在本文中,我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL(I-IRL)。决策者应该如何选择其响应,以确保其战略的一个不良重建的对手执行IRL估计代理的战略?本文包括四个结果:第一,我们提出了一个对抗IRL算法,估计代理的策略,同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应,充分掩盖其真实策略。第三,我们给出了一个样本的复杂性结果,我们的主要I-IRL的结果时,代理人有噪声估计的对手指定的效用函数。最后,我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(剑桥大学应用数学与理论物理系)
针对现有LLM对齐方法面临的标签噪声和高成本问题,提出基于逆向强化学习的从示范中对齐(AfD)方法,通过散度最小化目标与高效算法,在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为决策和控制提供了一个强大而通用的框架,但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要,但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取,但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中,我们提出了adverserial逆强化学习(AIRL),一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数,即使在训练过程中看到的环境发生重大变化的情况下,我们也能够学习策略。我们的实验表明,AIRL大大优于以前的方法,在这些传输设置。
2018-08-13 cs.LG
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习,其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法,逆强化学习与神经进化,一个范例,修改神经网络的基础上,他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习,并进化以生成与演示类似的策略。该算法进行了讨论,并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价,神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比,这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据,以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程,其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Reinforcement Learning and Inverse Reinforcement Learning with System 1 and System 2
Facebook AI Research(脸书人工智能研究院)
从一个人的行为中推断出他的目标是AI应用中的一个重要问题(例如自动化助理,推荐系统)。这个任务的主力模型是理性行动者模型--这相当于假设人们有稳定的奖励函数,对未来进行指数贴现,并构建最优计划。在理性行动者假设下,诸如逆强化学习(IRL)之类的技术可以用来从一个人的行动中推断出他的目标。一个竞争模型是双系统模型。这里,决策是快速、自动、基于计算的系统1和较慢、谨慎、计算的系统2之间相互作用的结果。我们将双系统框架推广到马尔可夫决策问题的情况下,并展示了如何计算双系统代理的最优计划。我们发现,双系统代理表现出的行为是不符合理性的演员假设。我们表明,天真的理性演员IRL的行为的双系统代理的应用程序可以产生错误的推理代理的目标,并建议干预,实际上减少代理的整体效用。最后,我们采用一个简单的IRL算法来正确推断双系统决策者的目标。这使我们能够进行干预,帮助而不是阻碍双系统代理人实现其真正目标的能力。
2019-03-13 cs.AI cs.GT cs.LG
Receding Horizon Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)试图推断一个成本函数,解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习(RHIRL),一个新的IRL算法的高维,噪声,连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战:可伸缩性和健壮性。为了处理高维连续系统,RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本,从而避免了“维数灾难”。这与早期的算法形成鲜明对比,早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性,RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明,RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
Inverse Reinforcement Learning With Constraint Recovery
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对CMDP问题提出IRL-CR算法,利用最大熵原理将同时推断奖励函数与约束的问题转化为交替约束优化问题,并用指数梯度下降求解,在网格世界环境中验证了有效性。
2023-05-14 cs.AI cs.LG
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑了逆强化学习(IRL)从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性,我们提出了一个基于因果熵最大化问题的广义IRL模型,它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复,除了奖励功能,另一个专家的功能,将(部分)捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明,我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
Multiscale Inverse Reinforcement Learning using Diffusion Wavelets
KAIST(韩国科学技术院)
提出了一种多尺度框架来解决连续时间/状态随机系统的逆强化学习问题。我们利用相关的马尔可夫链的扩散小波表示抽象的状态空间。这不仅允许有效地处理大的(和几何复杂的)决策空间,但也提供了更多的可解释的表示演示状态轨迹,也由此产生的政策的IRL。在该框架中,问题被分为全局和局部IRL,其中最优价值函数的全局近似使用粗特征获得,局部细节使用细局部特征量化。一个复杂环境下机器人路径控制的数值例子验证了所提出的方法。
2016-11-24 cs.AI cs.LG
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley(加州大学伯克利分校);University of Sheffield(谢菲尔德大学)
提出了一种基于深度高斯过程(deep GP)模型的逆强化学习(IRL)新方法,该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示,这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题,我们开发了一个非标准的变分逼近框架,扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理,并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法,正如我们在标准基准(“对象世界”,“高速公路驾驶”)和新基准(“二进制世界”)上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Bayesian multitask inverse reinforcement learning
EPFL(洛桑联邦理工学院);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
我们从多个演示中将逆强化学习的问题推广到多个任务。每一个都可以代表一个试图解决不同任务的专家,或者是试图解决相同任务的不同专家。我们的主要贡献是通过一些结构化的先验知识,将问题正式化为统计偏好诱导,其形式捕捉了我们对不同任务或专家政策相关性的偏见。在这样做时,我们引入了一个先验的政策最优性,这是更自然的指定。我们表明,我们的框架使我们不仅能够有效地从多个专家那里学习,而且还可以有效地区分每个专家的目标。可能的应用包括分析行为实验中受试者的内在动机和从多个教师那里学习。
2011-11-17 cs.AI stat.ML
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences(数学与统计学院);Indian Institue of Technology Mandi(印度曼迪理工学院)
本研究提出基于重心的对抗逆强化学习框架BRaG,聚合多异构专家策略学习股票交易策略,在四大全球股市上表现优于经典交易规则及深度强化学习方法,风险特征更稳定。
2026-08-18 cs.LG stat.ML
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对模仿学习中次优异构演示数据利用难的问题,提出无需演示者专业度先验的IRLEED框架,结合次优性模型与最大熵IRL改进算法,经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University(杜克大学);US Air Force(美国空军);AFRL Division(空军研究实验室分部)
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题,提出基于 bundle behavior cloning 的逆向强化学习方法,利用少量轨迹克隆策略并训练神经网络估计奖励,理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Recursive Deep Inverse Reinforcement Learning
Boston Dynamics AI Institute(波士顿动力AI研究院)
针对现有深度逆强化学习方法多为离线、收敛慢难适配实时场景的问题,提出基于序列二阶牛顿更新的在线递归深度逆强化学习方法,可快速还原对手代价函数,在基准任务上表现优于多种主流算法。
2026-07-27 cs.AI cs.LG
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术,如组合有机合成和高通量筛选通常使过程异常艰难和复杂,因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物,但在某些复杂领域,设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集,并且可能很难训练。在这项研究中,我们提出了一个框架,用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明,逆强化学习路线提供了一个合理的替代方案,用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物,而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
Bayesian Inverse Reinforcement Learning for Collective Animal Movement
University of Missouri(密苏里大学);U. S. Geological Survey(美国地质调查局);Colorado State University(科罗拉多州立大学)
基于代理的方法允许定义生成复杂群体行为的简单规则。这种模型的管理规则通常是先验设置的,并且参数是根据观察到的行为轨迹来调整的。反向强化学习不是对所有预期场景进行简化假设,而是通过使用马尔可夫决策过程的属性来提供对管理长期行为策略的短期(局部)规则的推断。我们使用计算效率的线性可解马尔可夫决策过程学习的本地规则集体运动的模拟的自推进粒子(SPP)模型和数据应用程序的捕获孔雀鱼人口。行为决策成本的估计是在贝叶斯框架与基函数平滑。我们在SPP模拟中恢复了真实的成本,发现孔雀鱼更重视集体运动而不是有针对性的运动。
2022-06-11 cs.LG stat.ML
Learning a Prior over Intent via Meta-Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习在现实世界中的实际应用面临的一个重大挑战是需要指定一个正确定义任务的Oracle奖励函数。反向强化学习(IRL)试图通过从专家行为中推断奖励函数来避免这一挑战。虽然吸引人,但收集涵盖现实世界中常见变化的演示数据集(例如打开任何类型的门)可能是不切实际的昂贵。因此,在实践中,IRL通常必须仅通过有限的一组演示来执行,其中明确地恢复奖励函数可能非常困难。在这项工作中,我们利用的洞察力,从其他任务的演示可以用来约束一组可能的奖励功能,通过学习一个“先验”,这是专门优化的能力,从有限数量的演示推断表达奖励功能。我们证明,我们的方法可以有效地从图像中恢复奖励,并提供直觉,我们的方法是如何类似于学习先验。
2019-10-14 cs.LG stat.ML