A Generalized Apprenticeship Learning Framework for Capturing Evolving Student Pedagogical Strategies
North Carolina State University(北卡罗来纳州立大学);IBM Research(IBM研究院)
本文提出了一种通用的模仿学习框架THEMES,通过捕捉专家学生学习过程的复杂性,有效诱导教学策略,实验显示其在预测学生教学决策方面表现优异。
2026-02-24 cs.AI cs.LG
Interpretable Apprenticeship Learning with Temporal Logic Specifications
本文提出通过多目标优化从MDP中的行为轨迹推断LTL规范,采用违反成本概念设计状态和动作基于的目标函数,并通过遗传算法在简单领域验证方法有效性。
2017-10-28 cs.AI cs.LG cs.SY
A Generalized Apprenticeship Learning Framework for Modeling Heterogeneous Student Pedagogical Strategies
North Carolina State University(北卡罗来纳州立大学);IBM Research(IBM研究院)
针对智能辅导系统中异构教学策略建模难题,提出通用学徒学习框架EM-EDM,通过处理连续状态空间与异构奖励函数,在极少演示下有效诱导教学策略,性能优于AL与DRL基线。
2024-06-04 cs.AI cs.LG
Maximum Entropy Semi-Supervised Inverse Reinforcement Learning
CMLA, ENS Cachan(CMLA,ENS巴黎-坎帕尼昂);SequeL team, INRIA Lille - Nord Europe(SequeL团队,INRIA里尔-北欧);Adobe Research(Adobe研究)
本文提出MESSI算法,结合最大熵逆强化学习与半监督学习原理,利用未标注数据提升性能,在高速驾驶和网格世界任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Difference of Convex Functions Programming Applied to Control with Expert Data
Univ. Lille(里尔大学);CRIStAL (UMR CNRS 9189/Lille 1)(CRIStAL研究中心(UMR CNRS 9189/里尔第一大学));CentraleSupélec(巴黎中央理工-高等电力学院);IUF(法国大学研究院);Google DeepMind(谷歌DeepMind)
本文报告了凸函数差(DC)编程在基于专家数据的演示学习(LfD)和强化学习(RL)中的应用。这是可能的,因为最佳贝尔曼残差(OBR)的范数,这是许多RL和LfD算法的核心,是DC。性能的改善表现在两个特定的算法,即奖励正则化分类学徒学习(RCAL)和强化学习与专家演示(RLED),通过实验通用马尔可夫决策过程(MDP),称为石榴石。
2016-09-05 cs.LG math.OC stat.ML
Inverse Reinforcement Learning with Gaussian Process
University of Virginia(弗吉尼亚大学)
我们提出了新的算法,逆强化学习(IRL,或逆最优控制)在凸优化设置。我们认为,有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题,我们提出了一个高斯过程模型,并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL,它不做任何假设的形式的奖励函数,但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比,我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Q-based Variational Inverse Reinforcement Learning
提出新型贝叶斯逆强化学习方法QVIRL,兼具可扩展性与不确定性量化能力,在多类任务的学徒学习中表现优异,是首个可从原始像素观测训练的贝叶斯IRL方法。
2026-08-18 cs.LG
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本文讨论了逆强化学习(IRL)的问题-从观察其行为推断代理的奖励函数。IRL可以为学徒学习提供一个可概括的和紧凑的表示,并能够准确地推断人类的偏好,以帮助他们。%,并提供更准确的预测。然而,有效的IRL是具有挑战性的,因为许多奖励函数可以与观察到的行为兼容。我们专注于如何利用先前的强化学习(RL)经验,使学习这些偏好更快,更有效。我们提出了IRL算法BASIS(通过样本特征意图推断的行为获取),该算法利用多任务RL预训练和后继特征,允许代理为跨越给定域中可能目标空间的意图建立强大的基础。当暴露于优化新目标的几个专家演示时,代理使用其基础来快速有效地推断奖励函数。我们的实验表明,我们的方法是非常有效的推断和优化演示奖励功能,准确地推断奖励功能,从不到100个轨迹。
2022-08-09 cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
本文提出了一种逆强化学习(IRL)框架,当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时,该框架可以加速学习。我们的设置是由现实的情况下,一个有用的老师是不可用的,或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略:课程逆强化学习(CIRL)涵盖教师的角度,和自定进度逆强化学习(SPIRL)侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务,从一个人的演示,我们表明,我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);EPFL(洛桑联邦理工学院)
我们陈述了逆强化学习在偏好诱导方面的问题,从而得到了一个原则性的(贝叶斯)统计公式。这概括了以前的工作贝叶斯逆强化学习,并允许我们获得一个后验分布代理的偏好,政策和可选的,获得的奖励序列,从观察。通过分析和实验结果,我们研究了所得方法与其他统计方法的关系。我们表明,偏好可以准确地确定,即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下,显着改善的政策,相对于代理的喜好,获得相比,其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa, Zaragoza(萨拉戈萨国防大学中心)
逆强化学习(IRL)解决了恢复任务描述的问题,给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供,使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程(MDP)的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究,其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说,这两种方法在不同阶段近似梯度估计和准则,使算法易于处理和有效。在这项工作中,我们提供了一个详细的描述不同的方法,以突出奖励估计,政策相似性和计算成本方面的差异。我们还提供了实验结果,以评估性能的差异的方法。
2012-02-07 cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University(斯坦福大学)
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中,找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架,自动获取合适的奖励功能,从专家的示范。然而,由于理性行为的概念更为复杂,将其扩展到多代理设置是困难的。在本文中,我们提出了MA-AIRL,一个新的框架,多智能体逆强化学习,这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中,我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数,并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC(阿波美-卡拉维高等应用科学与技术学院);EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。为了做到这一点,我们扩展了以前的概率方法,在已知的MDP的情况下,未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完整的贝叶斯推断。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习,有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Handong global university(韩东国际大学)
复杂环境下的强化学习是一个具有挑战性的问题。特别是,强化学习算法的成功取决于设计良好的奖励函数。逆强化学习(IRL)解决了从专家演示中恢复奖励函数的问题。在本文中,我们解决了层次逆强化学习问题的选项框架内,这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程,从而得到报酬特征空间。利用期权参数的二阶最优性条件,选择最优的报酬函数。在离散和连续域的实验结果证实,我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象,这反过来又是有效的加速迁移学习任务。我们还表明,我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。要做到这一点,我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完全贝叶斯推理。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University(斯坦福大学)
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习(IRL)有望从演示中自动学习奖励函数,但仍然存在几个主要挑战。首先,现有的IRL方法从头开始学习奖励函数,需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次,现有的方法通常假设单一行为或任务的同质演示,而在实践中,收集异构但相关行为的数据集可能更容易。为此,我们提出了一个深度潜变量模型,该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是,我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明,我们的方法相比,国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过演示的主动学习允许机器人向人类询问特定类型的输入,以实现有效的学习。现有的工作已经探索了各种主动查询策略,但是,据我们所知,这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展,我们提出了一种风险意识主动逆强化学习算法,该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现,风险意识主动学习优于标准的主动IRL方法在网格世界,模拟驾驶,表设置任务,同时还提供了一个基于性能的停止标准,让机器人知道它已经收到足够的演示,安全地执行任务。
2019-06-03 cs.LG stat.ML
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University(西北大学);Department of Industrial Engineering and Management Sciences(工业工程与管理科学系)
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比,我们引入了一个新的目标函数,直接将专家与纳什均衡策略相比较,并且我们设计了一个算法来解决反向强化学习中的奖励函数,并将深度神经网络作为模型近似。在我们的设置中,模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡,我们还提出了一个零和随机对策的对抗训练算法,并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中,我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外,次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University(普渡大学)
逆强化学习(IRL)是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用,在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中,我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外,我们提供了一个正确的证明和形式化的保证,我们的算法的样本和时间复杂度。最后,我们提出了合成实验,以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找奖励函数的任务,该奖励函数为给定的马尔可夫决策过程(MDP)生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后,将得到的系综与Fano不等式一起使用,以导出$O(n \log n)$的样本复杂度下限,其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL(洛桑联邦理工学院);The Alan Turing Institute(艾伦图灵研究所);University of Cambridge(剑桥大学)
研究了专家和学习者之间转换动力学失配下的逆强化学习(IRL)问题。具体而言,我们认为最大因果熵(MCE)IRL学习模型,并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解,我们提出了一种鲁棒的MCE IRL算法,这是一种帮助解决这种不匹配的原则性方法。最后,我们经验证明了我们的算法相比,标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Inverse Risk-Sensitive Reinforcement Learning
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
我们解决的问题,逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是,我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型,在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法,最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子,其中第一个是典型的网格世界的例子,其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中,我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文通过将多目标优化问题表述为逆问题,证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性,并进一步证明了使用梯度下降和投影次梯度法的逆强化学习(如最大熵逆强化学习和引导代价学习)的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑了逆强化学习(IRL)从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性,我们提出了一个基于因果熵最大化问题的广义IRL模型,它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复,除了奖励功能,另一个专家的功能,将(部分)捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明,我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences(数学与统计学院);Indian Institue of Technology Mandi(印度曼迪理工学院)
本研究提出基于重心的对抗逆强化学习框架BRaG,聚合多异构专家策略学习股票交易策略,在四大全球股市上表现优于经典交易规则及深度强化学习方法,风险特征更稳定。
2026-08-18 cs.LG stat.ML
Bayesian Inverse Reinforcement Learning for Collective Animal Movement
University of Missouri(密苏里大学);U. S. Geological Survey(美国地质调查局);Colorado State University(科罗拉多州立大学)
基于代理的方法允许定义生成复杂群体行为的简单规则。这种模型的管理规则通常是先验设置的,并且参数是根据观察到的行为轨迹来调整的。反向强化学习不是对所有预期场景进行简化假设,而是通过使用马尔可夫决策过程的属性来提供对管理长期行为策略的短期(局部)规则的推断。我们使用计算效率的线性可解马尔可夫决策过程学习的本地规则集体运动的模拟的自推进粒子(SPP)模型和数据应用程序的捕获孔雀鱼人口。行为决策成本的估计是在贝叶斯框架与基函数平滑。我们在SPP模拟中恢复了真实的成本,发现孔雀鱼更重视集体运动而不是有针对性的运动。
2022-06-11 cs.LG stat.ML
Learning a Prior over Intent via Meta-Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习在现实世界中的实际应用面临的一个重大挑战是需要指定一个正确定义任务的Oracle奖励函数。反向强化学习(IRL)试图通过从专家行为中推断奖励函数来避免这一挑战。虽然吸引人,但收集涵盖现实世界中常见变化的演示数据集(例如打开任何类型的门)可能是不切实际的昂贵。因此,在实践中,IRL通常必须仅通过有限的一组演示来执行,其中明确地恢复奖励函数可能非常困难。在这项工作中,我们利用的洞察力,从其他任务的演示可以用来约束一组可能的奖励功能,通过学习一个“先验”,这是专门优化的能力,从有限数量的演示推断表达奖励功能。我们证明,我们的方法可以有效地从图像中恢复奖励,并提供直觉,我们的方法是如何类似于学习先验。
2019-10-14 cs.LG stat.ML
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
University of Texas at Austin(德克萨斯大学奥斯汀分校);Preferred Networks(首选网络)
现有的逆强化学习(IRL)方法的一个关键缺陷是它们无法显著优于演示器。这是因为IRL通常会寻求一个奖励函数,使演示者看起来接近最优,而不是推断演示者的潜在意图,这些意图在实践中可能执行得很差。在本文中,我们介绍了一种新的奖励学习从观察算法,轨迹排名奖励EXTRAPOLATION(T-REX),外推超出一组(近似)排名的演示,以推断高质量的奖励功能,从一组潜在的穷人的演示。当与深度强化学习相结合时,T-REX在多个Atari和MuJoCo基准测试任务上的表现优于最先进的模仿学习和IRL方法,并实现了通常是最佳演示性能两倍以上的性能。我们还证明了T-REX对排名噪声具有鲁棒性,并且可以通过简单地观察学习者随着时间的推移在任务中的嘈杂改进来准确地推断意图。
2019-07-09 cs.LG stat.ML
Policy Gradient for Reinforcement Learning with General Utilities
Technion(以色列理工学院);NUS(新加坡国立大学)
本文推导了面向一般效用强化学习的策略梯度定理,并基于此提出简单样本算法,以处理非线性目标函数,扩展了线性强化学习框架。
2023-08-29 cs.LG
Inverse Reinforcement Learning from a Gradient-based Learner
Politecnico Di Milano(米兰理工大学)
逆强化学习解决了从演示中推断专家的奖励函数的问题。然而,在许多应用程序中,我们不仅可以访问专家的接近最优的行为,但我们也观察她的学习过程的一部分。在本文中,我们提出了一种新的算法,这种设置,其中的目标是恢复的奖励函数被优化的代理,给定的一系列政策在学习过程中产生的。我们的方法是基于这样的假设,即观察到的代理是更新她的政策参数沿梯度方向。然后,我们扩展我们的方法来处理更现实的情况下,我们只能访问学习轨迹的数据集。对于这两种设置,我们提供了理论上的见解,我们的算法的性能。最后,我们在模拟GridWorld环境和MuJoCo环境中评估该方法,并将其与最先进的基线进行比较。
2020-07-15 cs.LG stat.ML
Teaching Inverse Reinforcement Learners via Features and Demonstrations
ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
从专家的演示中学习接近最优的行为通常依赖于学习者知道真正的奖励函数所依赖的特征的假设。在本文中,我们研究了在并非如此的情况下从演示中学习的示教学习问题,即,在学习者和专家的世界观之间存在不匹配。我们引入了一个自然量,教学风险,衡量潜在的次优政策,看起来最佳的学习者在这种情况下。我们证明了教学风险的界限保证学习者能够使用基于逆强化学习的标准算法找到一个接近最优的策略。基于这些发现,我们提出了一个教学方案,专家可以通过更新学习者的世界观来降低教学风险,从而最终使她找到一个接近最优的政策。
2019-03-27 cs.LG stat.ML
From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
Google AI Research(谷歌人工智能研究院);Google AI(谷歌人工智能)
强化学习是解决控制问题的一个很有前途的框架,但它在实际情况中的使用受到奖励函数通常难以设计的事实的阻碍。自主机器(如机器人)的目标和任务是一个重大挑战:传统上,奖励函数和目标状态已被用于传达目标。但人们可以通过简单地描述或演示来相互传达目标。我们如何才能建立学习算法,让我们告诉机器我们想让他们做什么?在这项工作中,我们调查的问题接地语言命令作为奖励功能使用逆强化学习,并认为语言条件的奖励比语言条件的政策更可转移到新的环境。我们提出了语言条件奖励学习(LC-RL),它将语言命令作为由深度神经网络表示的奖励函数。我们证明,我们的模型学习奖励,转移到新的任务和环境中的现实,高维的视觉环境与自然语言命令,而直接学习的语言条件的政策导致性能不佳。
2019-02-20 cs.LG stat.ML
Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition
University of California, Berkeley(加州大学伯克利分校)
奖励函数的设计通常对强化学习的实际应用构成重大的实际挑战。反向强化学习等方法试图克服这一挑战,但需要专家演示,这在实践中可能很难或昂贵。我们提出了变分逆控制与事件(VICE),它将逆强化学习方法推广到不需要完整演示的情况下,例如只有期望的目标状态的样本可用。我们的方法基于控制和强化学习的另一种观点,其中代理的目标是最大化一个或多个事件在未来某个时间点发生的概率,而不是最大化累积奖励。我们证明了我们的方法在连续控制任务中的有效性,重点是高维观察,如图像,其中奖励很难甚至不可能指定。
2018-11-12 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia(佐治亚大学)
逆强化学习(IRL)是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL,IRL被认为既是一个问题,也是一类方法。通过分类调查IRL的当前文献,本文可作为机器学习及其他领域的研究人员和实践者的参考,以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战,如难以进行准确的推理及其可推广性,对先验知识的敏感性,以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理:不准确和不完整的感知,不完整的模型,多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点,提出用基于势函数的奖励塑形降低子问题计算量,作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Stochastic Inverse Reinforcement Learning
Nanyang Technological University(南洋理工大学)
逆强化学习(IRL)问题的目标是从专家演示中恢复奖励函数。然而,IRL问题像任何不适定的反问题一样,具有先天的缺陷,即策略可能对许多奖励函数是最优的,并且专家论证可能对许多策略是最优的。在这项工作中,我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习(SIRL),以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化(MCEM)方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的,强大的,可转移的学习任务,并可以生成替代解决方案的IRL问题。通过我们的公式,可以从全局的角度观察IRL问题的内在属性,并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley(加州大学伯克利分校);University of Sheffield(谢菲尔德大学)
提出了一种基于深度高斯过程(deep GP)模型的逆强化学习(IRL)新方法,该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示,这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题,我们开发了一个非标准的变分逼近框架,扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理,并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法,正如我们在标准基准(“对象世界”,“高速公路驾驶”)和新基准(“二进制世界”)上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为决策和控制提供了一个强大而通用的框架,但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要,但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取,但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中,我们提出了adverserial逆强化学习(AIRL),一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数,即使在训练过程中看到的环境发生重大变化的情况下,我们也能够学习策略。我们的实验表明,AIRL大大优于以前的方法,在这些传输设置。
2018-08-13 cs.LG
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);INRIA Bordeaux Sud-Ouest(法国国立信息与自动化研究院波尔多西南分院)
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架,其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法,使学习代理查询专家提供更多的信息演示,从而导致更多的样本有效的学习。对于这种新算法(广义二进制搜索逆强化学习,或GBS-IRL),我们提供了一个理论上的样本复杂度的界限,并说明其适用于几个不同的任务。据我们所知,GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法,在文献中的其他现有的方法和它的一般适用性,在多类分类问题。最后,由最近的工作在机器人的示教学习的动机,我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在强化学习领域,最近在策略性能的安全性和高置信度界限方面取得了进展。然而,据我们所知,没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的,只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法,该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下,任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限,并实现了更紧密,更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限,这是第一个实用的方法,允许代理,从示范学习,以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多任务逆强化学习(IRL)是从专家论证中推断多个奖励函数的问题。以前的工作,建立在贝叶斯IRL,是无法扩展到复杂的环境中,由于计算的限制。本文在计算效率更高的最大因果熵(MCE)IRL框架下,提出了一种多任务IRL模型。实验表明,我们的方法可以执行一次性的模仿学习在网格世界环境中,单任务IRL算法需要数百个演示来解决。我们概述了初步工作,使用元学习扩展我们的方法,现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体,我们发现这些IRL算法的严重局限性,并得出结论,为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Model-Free Imitation Learning with Policy Optimization
Stanford University(斯坦福大学)
在模仿学习中,智能体通过模仿专家演示来学习如何在具有未知成本函数的环境中表现。现有的模仿学习算法通常涉及解决一系列规划或强化学习问题。因此,这样的算法不直接适用于大的,高维的环境,其性能可以显着降低,如果规划问题没有解决到最优。根据学徒学习形式主义,我们开发了替代无模型算法,以找到一个参数化的随机政策,执行至少以及一个专家政策的一个未知的成本函数,根据样本轨迹从专家。我们的方法,基于策略梯度,规模大的连续环境,保证收敛到局部极小值。
2016-05-26 cs.AI cs.LG
Inverse Reinforcement Learning with Missing Data
NUS School of Computing(新加坡国立大学计算学院);MIT(麻省理工学院)
我们考虑的问题,恢复专家的奖励函数与逆强化学习(IRL)时,有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下,例如,来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中,我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的,在处理大量的缺失段演示的轨迹,因为它执行的训练与不完整的数据,通过求解一系列的线性方程组的系统,这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明,我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Toward Diverse Text Generation with Inverse Reinforcement Learning
Fudan University(复旦大学)
文本生成是自然语言处理中的一项重要任务。最近,已经提出了几种对抗生成模型来改善文本生成中的暴露偏差问题。虽然这些模型取得了很大的成功,但它们仍然存在着奖励稀疏和模式坍塌的问题。为了解决这两个问题,在本文中,我们采用逆强化学习(IRL)的文本生成。具体而言,IRL框架在训练数据上学习奖励函数,然后学习最优策略以最大化期望的总奖励。与对抗模型类似,IRL中的奖励和策略函数交替优化。我们的方法有两个优点:(1)奖励函数可以产生更密集的奖励信号。(2)通过“熵正则化”策略梯度训练的生成策略,鼓励生成更多样化的文本。实验结果表明,我们提出的方法可以生成更高质量的文本比以前的方法。
2018-06-07 cs.CL cs.LG stat.ML
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará(塞阿拉联邦大学)
本文提出基于随机效用理论的逆强化学习方法,通过扩展状态和确定性最优策略假设对驾驶员轨迹建模,并证明最大熵逆强化学习为其特例,最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Xi’an Jiaotong University(西安交通大学)
逆向强化学习(IRL)中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习(RS-IRL)通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性,以模拟人类的风险偏好,表示的风险信封,在安全关键的任务。然而,像其他示教学习技术一样,RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发,本研究推导出一个概率扰动采样方案,使RS-IRL代理查询专家支持,这可能会暴露未透露的边界的专家的风险信封。实验结果表明,我们的方法加快了RS-IRL算法的收敛速度,具有较低的方差,同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China(中国科学技术大学);Princeton University(普林斯顿大学);Salesforce AI Research(Salesforce AI研究院)
本文从理论视角研究逆强化学习(IRL),首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法,通过适应悲观主义原则在更强指标下提供保证,并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University(康奈尔大学);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
逆强化学习(IRL)处理从代理的动作估计代理的效用函数。在本文中,我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL(I-IRL)。决策者应该如何选择其响应,以确保其战略的一个不良重建的对手执行IRL估计代理的战略?本文包括四个结果:第一,我们提出了一个对抗IRL算法,估计代理的策略,同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应,充分掩盖其真实策略。第三,我们给出了一个样本的复杂性结果,我们的主要I-IRL的结果时,代理人有噪声估计的对手指定的效用函数。最后,我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
逆向强化学习从专家演示中推断出奖励函数,旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点,这意味着它们编码单个行为。在常见的情况下,有各种解决方案的问题和专家表现出多才多艺的行为,这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法,通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明,我们的方法能够恢复一般的,高质量的奖励函数,并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG