Adversarial Imitation Learning via Random Search
Chung-Ang University(韩国中央大学)
开发能够执行具有挑战性的复杂任务的智能体是强化学习的目标。无模型强化学习被认为是一种可行的解决方案。然而,最先进的研究一直在开发越来越复杂的技术。这种日益增加的复杂性使得重建变得困难。此外,奖励依赖问题仍然存在。因此,从专家的演示中学习政策的模仿学习的研究开始受到关注。模仿学习直接根据专家的行为数据学习策略,而不需要环境提供明确的奖励信号。然而,模仿学习试图基于信任区域策略优化等深度强化学习来优化策略。因此,基于深度强化学习的模仿学习也带来了可复制性的危机。复杂无模型问题已经引起了广泛的关注。基于无导数优化的强化学习和策略的简化在动态复杂任务上获得了有竞争力的性能。简化的策略和无导数的方法使算法简单。研究演示的重新配置变得容易。在本文中,我们提出了一个模仿学习方法,利用简单的线性政策的导数自由优化。所提出的方法执行简单的随机搜索的参数空间的政策,并显示计算效率。实验结果表明,该模型在没有环境直接奖励信号的情况下,在MuJoCo运动任务上获得了较好的性能.
2020-08-21 cs.LG stat.ML
MPC-guided Imitation Learning of Neural Network Policies for the Artificial Pancreas
Stony Brook University(石溪大学);University of London, Royal Holloway(伦敦大学皇家霍洛威学院)
尽管模型预测控制(MPC)目前是人工胰腺(AP)中胰岛素控制的主要算法,但它通常需要复杂的在线优化,这对于资源受限的医疗设备是不可行的。MPC通常还依赖于状态估计,这是一个容易出错的过程。在本文中,我们介绍了一种新的方法,AP控制,使用模仿学习合成神经网络胰岛素政策MPC计算的演示。这样的策略在计算上是高效的,并且通过在训练时间用完整的状态信息装备MPC,它们可以直接将测量映射到最佳治疗决策中,从而绕过状态估计。我们通过Monte Carlo Dropout应用贝叶斯推理来学习策略,这使我们能够量化预测的不确定性,从而得出更安全的治疗决策。我们表明,我们的控制策略在特定的患者模型下训练容易推广(在模型参数和干扰分布方面)到患者队列,始终优于传统的MPC与状态估计。
2020-03-03 cs.LG cs.SY eess.SY
Invariant Causal Imitation Learning for Generalizable Policies
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对多环境模仿学习易受虚假相关影响、泛化差的问题,提出不变因果模仿学习ICIL,通过学习跨域不变因果特征表示、结合专家观测能量正则化,实现可泛化到未知环境的模仿策略,在控制与医疗任务上验证有效。
2023-11-02 cs.LG stat.ML
Imitation-Projected Programmatic Reinforcement Learning
Rice University(莱斯大学);Caltech(加州理工学院)
我们研究了程序化强化学习的问题,在该学习中,策略被表示为符号语言的短程序。编程策略比神经策略更容易解释、更容易推广,更容易接受形式化验证;然而,为这些策略设计严格的学习方法仍然是一个挑战。我们应对这一挑战的方法--一种名为PROPEL的元算法--基于三个见解。首先,我们将我们的学习任务视为策略空间中的优化,对所需策略具有编程表示的约束取模,并使用镜像下降的形式来解决此优化问题,该形式将梯度步骤引入无约束的策略空间,然后投影回约束空间。其次,我们将不受约束的策略空间视为神经和编程表示的混合,这使得能够采用最先进的深度策略梯度方法。第三,我们通过模仿学习将投影步骤转换为程序合成,并利用当代组合方法完成这项任务。我们目前的理论收敛结果PROPEL和经验评估的方法在三个连续的控制域。实验表明,PROPEL可以显着优于国家的最先进的方法学习程序化政策。
2021-01-19 cs.AI cs.LG cs.PL
Contractive Dynamical Imitation Policies for Efficient Out-of-Sample Recovery
McGill University(麦吉尔大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出基于收缩动态系统的模仿学习框架,利用循环均衡网络和耦合层保证策略收缩性,实现高效样本外恢复,并在模拟机器人任务中验证性能提升。
2025-03-26 cs.LG cs.RO stat.ML
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis(泰勒与弗朗西斯出版集团)
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励,而模仿学习试图提取关于专家演示的轨迹的一般知识,即,示威者因为它们中的每一个都有自己的缺点,所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而,许多方法都是启发式的,没有坚实的理论基础。在本文中,我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架,强化学习,{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放(pMDP-MO)。此外,我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架,比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明,我们的框架成功地集成了模仿和强化学习,即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Adversarial Exploitation of Policy Imitation
Kansas State University(堪萨斯州立大学)
本文研究了针对深度强化学习(DRL)策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性(例如,分类器)到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力,从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中,我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外,我们开发了概念验证攻击,利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念,缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
CompILE: Compositional Imitation Learning and Execution
University of Amsterdam(阿姆斯特丹大学);DeepMind(深度思维);Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
我们介绍组合模仿学习和执行(CompILE):一个框架,用于学习可重用的,可变长度段的分层结构的行为,从演示数据。CompILE使用一种新的无监督,完全可微的序列分割模块来学习序列数据的潜在编码,这些编码可以重新组合和执行以执行新任务。一旦经过训练,我们的模型就可以推广到更长的序列和训练过程中看不到的环境实例。我们评估CompILE在一个具有挑战性的2D多任务环境和一个连续的控制任务,并表明它可以找到正确的任务边界和事件编码在无监督的方式。由CompILE发现的潜在代码和相关行为策略可以由分层代理使用,其中高级策略选择潜在代码空间中的操作,而低级特定于任务的策略只是学习的解码器。我们发现,我们的基于Compile的代理可以学习只有稀疏的奖励,没有特定任务的政策代理斗争。
2019-05-14 cs.LG stat.ML
Policy Improvement via Imitation of Multiple Oracles
Microsoft Research(微软研究院)
尽管强化学习很有前途,但由于需要进行昂贵的探索来学习一个好的策略,它在现实世界中的应用受到了阻碍。模仿学习(IL)通过在训练期间使用oracle策略作为引导来加速学习过程,从而减轻了这一缺点。然而,在许多实际情况下,学习者可以访问多个次优的神谕,这可能会在一个状态下提供相互矛盾的建议。现有的IL文献提供了一个有限的治疗这种情况下。而在单一的甲骨文的情况下,返回的甲骨文的政策提供了一个明显的基准,学习者竞争,既不是这样的基准,也没有原则的方式超越它是已知的多甲骨文设置。在本文中,我们提出了状态明智的最大值的预言机策略的值作为一个自然的基线,以解决冲突的意见,从多个预言机。使用减少的政策优化在线学习,我们介绍了一种新的IL算法MAMBA,它可以证明学习与此基准竞争的政策。特别是,MAMBA通过使用广义优势估计(GAE)风格的梯度估计器来优化策略。我们的理论分析表明,这种设计使得MAMBA强大,使它能够超越Oracle的政策由一个更大的利润比IL国家的最先进的,即使在单Oracle的情况下。在使用GAE和AggreVaTe(D)对标准策略梯度进行的评估中,我们展示了MAMBA利用来自单个和多个弱预言机的演示的能力,并显着加快了策略优化。
2020-12-06 cs.AI cs.LG stat.ML
Injective State-Image Mapping facilitates Visual Adversarial Imitation Learning
IBM Research AI(IBM研究院人工智能部门)
在游戏和娱乐等应用中,虚拟自主智能体的使用越来越多,需要更好的控制策略来实现自然的运动和动作。与传统的硬编码运动例程的方法不同,我们提出了一种深度学习方法,通过直接模仿原始视频演示来获得控制策略。该领域的先前方法依赖于从专家视频中提取低维特征,然后是单独的手工制作的奖励估计步骤。我们提出了一个模仿学习框架,通过使用生成对抗网络(GANs)联合学习特征提取和奖励估计步骤,减少了对手工设计的奖励函数的依赖。我们在本文中的主要贡献是表明,在低级联合状态(角度和速度)轨迹和相应的原始视频流之间的内射映射下,对视频演示进行对抗性模仿学习相当于从状态轨迹中学习。实验结果表明,所提出的对抗性学习方法从原始视频产生类似的性能,以国家的最先进的模仿学习技术,同时经常优于现有的手工制作的视频模仿方法。此外,我们表明,我们的方法可以通过模仿YouTube上的视频演示来学习动作策略,其性能与来自真实奖励信号的学习代理相似。请在https://ibm.biz/BdzzNA上查看补充视频提交。
2019-10-25 cs.CV cs.LG stat.ML
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research(伯克利人工智能研究中心);Google(谷歌)
我们提出了中继策略学习,模仿和强化学习的方法,可以解决多阶段,长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段,模仿学习阶段产生目标条件的分层策略,强化学习阶段微调这些策略以提高任务性能。我们的方法,虽然不一定是完美的模仿学习,是非常适合通过环境交互进一步改进,使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题,使用一种新的数据重新标记算法学习目标条件的分层策略,其中低级别的行为只为固定数量的步骤,无论达到的目标。虽然我们依赖于演示数据来引导策略学习,但我们并不假设可以访问正在解决的每个特定任务的演示,而是利用语义上有意义的行为的非结构化和未分割的演示,这些演示不仅提供负担较轻,而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段,长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech(佐治亚理工学院)
模仿学习(IL)由一组工具组成,这些工具利用专家演示来快速学习策略。然而,如果专家是次优的,IL可以产生性能较差的政策相比,强化学习(RL)。在本文中,我们的目标是提供一个算法,结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点,表明这些算法可以被视为单一方法的变体。然后,我们提出了LOKI,策略学习的策略,首先执行一个小的,但随机数的IL迭代之前切换到策略梯度RL方法。我们表明,如果切换时间是适当的随机化,LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后,我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Neural Dynamic Policies for End-to-End Sensorimotor Learning
CMU(卡内基梅隆大学);FAIR(Meta人工智能研究院)
当前感觉运动控制的主导范式,无论是模仿还是强化学习,都是直接在原始动作空间(如扭矩、关节角度或末端执行器位置)中训练策略。这迫使智能体在训练中的每个时间步单独做出决策,因此限制了连续,高维和长期任务的可扩展性。相比之下,在经典机器人的研究,很长一段时间以来,利用动态系统作为一个政策表示学习机器人的行为,通过示范。然而,这些技术缺乏深度学习或强化学习所提供的灵活性和通用性,并且在这种环境中仍然没有得到充分的探索。在这项工作中,我们开始缩小这一差距,并通过二阶微分方程重新参数化动作空间,将动力系统的结构嵌入到基于深度神经网络的策略中。我们提出了神经动态策略(NDP),使预测的轨迹分布空间,而不是以前的策略学习方法,其中的行动表示原始的控制空间。嵌入式结构允许端到端的策略学习,用于强化学习和模仿学习设置。我们表明,NDP在几个机器人控制任务的效率或性能方面优于现有的最先进的水平,无论是模仿和强化学习设置。项目视频和代码可在https://shikharbahl.github.io/neural-dynamic-policies/上获得
2020-12-04 cs.AI cs.CV cs.LG
Generative predecessor models for sample-efficient imitation learning
College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院);DeepMind(深度思维)
我们提出了一种新的模仿学习算法,即生成前代模型的模仿学习(GPIL),匹配的状态-动作分布的专家演示中观察到的分布,使用生成模型的原因概率的替代历史演示状态。我们表明,这种方法允许代理学习强大的政策,只使用少量的专家演示和自我监督与环境的交互。我们从第一原理推导出这种方法,并将其经验比较到一个国家的最先进的模仿学习方法,表明它优于或匹配其性能上的两个模拟机器人操作任务,并表现出显着更高的样本效率通过应用该算法在一个真正的机器人。
2019-04-01 cs.LG stat.ML
Explaining Fast Improvement in Online Imitation Learning
Georgia Tech(佐治亚理工学院);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
在线模仿学习(IL)是一种算法框架,其利用与专家策略的交互来进行有效的策略优化。在这里,通过对一系列损失函数执行在线学习来优化策略,这些损失函数鼓励学习者模仿专家的动作,并且如果在线学习没有遗憾,则代理可以证明学习到类似专家的策略。在线IL已经在许多应用中取得了经验性的成功,有趣的是,在实践中观察到的其政策改进速度通常比现有理论表明的要快得多。在这项工作中,我们提供了一个解释这种现象。令$ξ$表示策略类偏差,并假设在线IL损失函数是凸的、平滑的和非负的。我们证明,$N$轮后的在线IL随机反馈,政策改善$\tilde{O}(1/N + \sqrt{ξ/N})$在预期和高概率。换句话说,我们表明,在在线IL中采用足够表达的策略类有两个好处:策略改进速度增加和性能偏差降低。
2021-02-22 cs.LG cs.RO stat.ML