Learning What to Do and What Not To Do: Offline Imitation from Expert and Undesirable Demonstrations
Singapore Management University(新加坡管理大学);Institute of High Performance Computing(高性能计算研究所);Agency for Science, Technology and Research, Singapore(新加坡科技研究局)
本文研究基于专家与不良演示的离线模仿学习,提出通过优化专家与不良数据状态-动作访问分布的KL散度差的新方法,在专家数据占优时目标转为凸优化,实现非对抗性训练,并在统一框架中处理正负演示,实验证明其优于现有基线。
2025-05-27 cs.AI cs.LG
Beyond-Expert Performance with Limited Demonstrations: Efficient Imitation Learning with Double Exploration
Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);IHPC, Agency for Science, Technology and Research, Singapore(新加坡科技研究局信息与通信技术研究所);CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局癌症研究基金会)
提出双重探索模仿学习算法(ILDE),通过乐观策略优化和好奇心驱动的状态探索,在有限样本下提升收敛速度并实现超越专家的性能,且具有次线性遗憾的理论保证。
2025-06-25 cs.AI cs.LG
Co-Imitation Learning without Expert Demonstration
针对专家示范难以获取的问题,本文提出 CoIL 框架,让两个智能体交替探索并依据价值函数预期增益筛选同伴经验进行选择性模仿,实验表明其无需外部监督即可显著提升性能。
2023-07-23 cs.AI cs.LG
Model-Free Imitation Learning with Policy Optimization
Stanford University(斯坦福大学)
在模仿学习中,智能体通过模仿专家演示来学习如何在具有未知成本函数的环境中表现。现有的模仿学习算法通常涉及解决一系列规划或强化学习问题。因此,这样的算法不直接适用于大的,高维的环境,其性能可以显着降低,如果规划问题没有解决到最优。根据学徒学习形式主义,我们开发了替代无模型算法,以找到一个参数化的随机政策,执行至少以及一个专家政策的一个未知的成本函数,根据样本轨迹从专家。我们的方法,基于策略梯度,规模大的连续环境,保证收敛到局部极小值。
2016-05-26 cs.AI cs.LG
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London(伦敦大学学院)
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷,提出基于多边缘最优传输距离的组合方法,可实现演示的合理几何平均,实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
SoftDICE for Imitation Learning: Rethinking Off-policy Distribution Matching
University of Oxford(牛津大学);Microsoft Research(微软研究院)
我们提出了SoftDICE,它实现了模仿学习的最先进的性能。SoftDICE修复了ValueDICE中的几个关键问题,ValueDICE是一种用于样本有效模仿学习的非策略分布匹配方法。具体来说,ValueDICE的目标包含期望的多项式和指数,对于这些期望,小批量梯度估计总是有偏的。其次,ValueDICE规则化的目标与重放缓冲区样本时,专家演示的数量有限,但改变了原来的分布匹配问题。第三,用于导出政策外目标的重新参数化技巧依赖于一个在训练中很少成立的隐含假设。我们利用一种新的配方的分布匹配,并考虑熵正则化的关闭政策的目标,这产生了一个完全离线的算法称为SoftDICE。我们的实证结果表明,SoftDICE恢复专家政策,只有一个演示轨迹,没有进一步的政策/政策外的样本。SoftDICE在Mujoco基准测试任务的样本效率方面也稳定地优于ValueDICE和其他基准。
2021-06-06 cs.AI cs.LG
Coupled Distributional Random Expert Distillation for World Model Online Imitation Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Hillbot(Hillbot公司);University of California, San Diego(加州大学圣地亚哥分校)
本研究提出一种基于随机网络蒸馏的耦合分布随机专家蒸馏方法,用于提升世界模型在线模仿学习的稳定性与性能。
2026-01-04 cs.AI cs.LG
Enabling Off-Policy Imitation Learning with Deep Actor Critic Stabilization
Amazon Alexa(亚马逊Alexa);Indian Institute of Science(印度科学研究院)
本文提出一种结合非策略学习的对抗模仿学习算法,通过双Q网络稳定化和价值学习(无需奖励函数推断)来提高样本效率,从而更高效地匹配专家行为。
2026-05-18 cs.AI cs.LG
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology(京东科技);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
提出策略引导离线RL方法POR,将策略分解为引导策略与执行策略,以监督解耦方式训练,实现状态组合性与分布外泛化,在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Plan Your Target and Learn Your Skills: Transferable State-Only Imitation Learning via Decoupled Policy Optimization
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
最近的进展,只有状态的模仿学习扩展的适用范围模仿学习,以现实世界的设置,减轻了需要观察专家的行动。然而,现有的解决方案只学习从数据中提取状态到动作的映射策略,而不考虑专家如何规划目标。这妨碍了利用示威的能力,限制了政策的灵活性。在本文中,我们介绍了解耦策略优化(DePO),它明确地将策略作为一个高层次的状态规划器和逆动力学模型。通过嵌入式解耦策略梯度和生成式对抗训练,DePO可以将知识转移到不同的动作空间或状态转换动态,并可以将规划器推广到非演示状态区域。我们深入的实验分析表明,DePO学习广义目标状态规划器的有效性,同时实现最佳的模仿性能。我们展示了吸引人的使用DePO通过预训练在不同的任务之间转移,以及具有各种技能的共同训练代理的潜力。
2022-09-30 cs.AI cs.LG
Imitation by Predicting Observations
DeepMind(深度思维)
模仿学习使智能体能够重用和适应他人来之不易的专业知识,为学习行为中的几个关键挑战提供了解决方案。虽然在现实世界中很容易观察到行为,但底层操作可能无法访问。我们提出了一种新的方法,模仿完全从观察,实现具有挑战性的连续控制任务的专家相当的性能,同时也表现出鲁棒性的存在下,观察无关的任务。我们的方法,我们称之为FORM(“未来观察奖励模型“)是从反向RL目标中推导出来的,并使用通过专家观察的生成模型学习的专家行为模型进行模仿,而不需要地面实况操作。我们表明,FORM在DeepMind Control Suite基准测试中的表现优于强基线IRL方法(GAIL),同时在存在与任务无关的功能时优于GAIL。
2021-07-08 cs.AI cs.LG
Generative Adversarial Imitation Learning
Stanford University(斯坦福大学)
考虑从示例专家行为中学习策略,而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数,然后用强化学习从该成本函数中提取策略。这种方法是间接的,可能会很慢。我们提出了一个新的一般框架,直接从数据中提取的政策,就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比,从中我们得到了一个无模型的模仿学习算法,该算法在模仿大型高维环境中的复杂行为时,比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Chain of Thought Imitation with Procedure Cloning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
模仿学习旨在从专家行为的记录演示中提取高性能策略。通常将模仿学习视为一个监督学习问题,在这个问题中,人们将一个函数逼近器拟合到记录的演示所展示的输入-输出映射(输入观察到输出动作)。虽然将模仿学习作为一个有监督的输入-输出学习问题的框架允许在各种各样的设置中的适用性,但在专家演示提供对专家行为更丰富的洞察力的情况下,这也是对问题的过于简单化的看法。例如,路径导航、机器人操作和策略游戏等应用程序通过规划、搜索或其他多步算法获得专家演示,不仅揭示了要模仿的输出动作,还揭示了如何确定该动作的过程。虽然这些中间计算可能使用在推理期间代理不可用的工具(例如,环境模拟器),但它们作为一种解释专家的状态到动作的映射的方式是信息丰富的。为了适当地利用专家程序信息,而不依赖于特权工具的专家可能已经用来执行的程序,我们提出了程序克隆,它适用于监督序列预测模仿一系列的专家计算。这样,过程克隆不仅学习做什么(即,输出动作),但是如何以及为什么要这样做(即,程序)。通过对导航,模拟机器人操作和游戏环境的实证分析,我们表明,模仿专家的行为的中间计算,使程序克隆学习政策表现出显着的泛化看不见的环境配置,包括那些配置,直接运行专家的程序是不可行的。
2022-05-22 cs.AI cs.LG
Off-Policy Imitation Learning from Observations
Michigan State University(密歇根州立大学);Google Research(谷歌研究院)
从观察中学习(LfO)是一种实用的强化学习场景,许多应用程序可以通过重用不完整的资源而受益。与传统的模仿学习(IL)相比,LfO由于缺乏专家的行动指导而更具挑战性。在传统IL和LfO中,分布匹配是其基础的核心。传统的分布匹配方法依赖于基于策略的转换来进行策略学习,样本开销大。为了提高样本效率,一些政策外的解决方案已经被提出,然而,这些解决方案要么缺乏全面的理论依据,要么依赖于专家行动的指导。在这项工作中,我们提出了一种样本高效的LfO方法,可以以原则性的方式实现政策外优化。为了进一步加快学习过程,我们用一个逆动作模型来调节策略更新,从模式覆盖的角度来辅助分布匹配。具有挑战性的运动任务的广泛的实证结果表明,我们的方法是与国家的最先进的采样效率和渐近性能。
2021-02-25 cs.AI cs.LG
Distilled Thompson Sampling: Practical and Efficient Thompson Sampling via Imitation Learning
Columbia Business School(哥伦比亚大学商学院);Meta
提出基于模仿学习的蒸馏汤普森采样算法,将TS策略蒸馏为显式策略,实现低延迟决策并成功部署于Meta视频系统,显著提升视频质量与观看时间。
2024-07-22 cs.AI cs.LG
Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning
Nanjing University(南京大学)
提出RECON方法,通过分离主策略与探索器,基于可恢复性条件的不确定性引导探索,提升基于模型模仿学习在运动、导航和操作任务中的交互效率与性能。
2026-09-29 cs.AI cs.LG
Deterministic and Discriminative Imitation (D2-Imitation): Revisiting Adversarial Imitation for Sample Efficiency
University of Oxford(牛津大学);Microsoft Research(微软研究院)
样本效率对于模仿学习方法在现实世界中的应用是至关重要的。许多研究通过将对抗性模仿扩展到非策略来提高样本效率,而不管这些非策略扩展可能改变原始目标或涉及复杂的优化。我们重新审视了对抗性模仿的基础,并提出了一种不需要对抗性训练或最小最大优化的非策略样本有效方法。我们的公式利用了两个关键的见解:(1)Bellman方程和静态状态-动作分布方程之间的相似性使我们能够推导出一种新的时间差(TD)学习方法;(2)使用确定性策略简化了TD学习。结合起来,这些见解产生了一个实用的算法,确定性和判别性模仿(D2-模仿),它的操作首先将样本划分到两个重放缓冲区,然后通过离线策略强化学习学习确定性策略。我们的实证结果表明,D2-模仿是有效的,在实现良好的样本效率,优于几个政策外扩展方法的对抗性模仿在许多控制任务。
2022-04-13 cs.LG
Explorative Imitation Learning: A Path Signature Approach for Continuous Environments
King’s College London(伦敦国王学院);University of Aberdeen(阿伯丁大学);Pontifícia Universidade Católica do RS(南里奥格兰德天主教大学);University of Sussex(萨塞克斯大学)
提出CILO方法,结合探索与路径签名,减少专家轨迹需求并自动编码约束,在五个环境中取得最优性能,其中两个环境超越专家。
2024-07-22 cs.AI cs.LG
$f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning
Worcester Polytechnic Institute(伍斯特理工学院);University of Minnesota(明尼苏达大学)
模仿学习(IL)的目的是从专家示范中学习一种策略,最大限度地减少学习者和专家行为之间的差异。已经提出了各种模仿学习算法,其具有不同的预定分歧以量化差异。这自然产生了以下问题:给定一组专家演示,哪种分歧可以更准确地恢复专家策略,并具有更高的数据效率?在这项工作中,我们提出了$f$ -GAIL,一个新的生成对抗模仿学习(GAIL)模型,自动学习的差异措施,从$f$分歧家庭以及能够产生专家般的行为的政策。与具有各种预定义偏差度量的IL基线相比,$f$ -GAIL在六个基于物理的控制任务中学习到更好的策略和更高的数据效率。
2020-11-19 cs.AI cs.LG stat.ML
Scalable Causal Imitation Learning
研究在模仿学习观测不匹配及有未观测混杂因素时的问题,提出因果软Q模仿学习和因果逆软Q学习算法,结合因果调整框架与逆强化学习目标,在长视任务中显著优于现有CIL算法。
2026-07-21 cs.AI cs.LG
Offline Imitation Learning with Model-based Reverse Augmentation
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);School of Intelligence Science and Technology(智能科学与技术学院);School of Artificial Intelligence(人工智能学院)
针对离线模仿学习中的协变量偏移问题,提出带自步反向增强的SRA框架,通过反向动力学模型生成增强轨迹并结合强化学习,有效缓解偏移并达到基准测试的SOTA性能。
2024-06-18 cs.AI cs.LG
Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo(东京大学)
强化学习(RL)需要大量的探索,尤其是在稀疏奖励环境中。模仿学习(Imitation Learning,IL)可以从专家的演示中学习而无需探索,但它永远不会超过专家的表现,而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发,从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论,它通过一个共同的基本原理来解释感知,行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法,在该算法中,代理学习的世界模型,内化专家演示,并在同一时间使用该模型来推断当前和未来的状态和行动,最大限度地提高回报。因此,该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本,从而获得比次优专家更高的性能。我们的实验结果表明,这种方法是有前途的视觉控制任务,特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对基于观测的离线模仿在不完整轨迹下 DICE 方法优化不稳定的问题,提出 TAILO,用判别器缩放的未来轨迹折扣和进行加权行为克隆,实验表明其更鲁棒有效。
2023-11-02 cs.AI cs.LG
Model-Based Imitation Learning Using Entropy Regularization of Model and Policy
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室)
基于生成对抗网络的模仿学习方法很有前途,因为它们在专家演示方面是样本有效的。然而,训练生成器需要与实际环境进行多次交互,因为采用无模型强化学习来更新策略。为了提高基于模型的强化学习的样本效率,在熵正则化马尔可夫决策过程下提出了基于模型的熵正则化模仿学习(MB-ERIL),以减少与实际环境的交互次数。MB-ERIL使用两个鉴别器。一个策略转换器将机器人产生的动作与专家的动作区分开来,一个模型转换器将模型产生的反事实状态转换与实际状态转换区分开来。我们推导出结构化的鉴别器,使学习的政策和模型是有效的。计算机模拟和真实机器人实验表明,MB-ERIL实现了具有竞争力的性能,并显着提高了样本效率相比,基线方法。
2022-08-31 cs.AI cs.LG
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London(帝国理工学院)
我们考虑的问题,模仿学习从一组有限的专家轨迹,没有获得强化信号。通过逆强化学习提取专家的奖励函数,然后进行强化学习的经典方法是间接的,并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布,在训练过程中可能不稳定。我们提出了一个新的框架,通过估计专家政策的支持,以计算一个固定的奖励函数,这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性,在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
How To Guide Your Learner: Imitation Learning with Active Adaptive Expert Involvement
Nanjing University(南京大学);The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。使用静态专家数据集的被动模仿学习方法通常遭受复合误差、低样本效率和高超参数敏感性。相反,主动模仿学习方法需要专家干预来解决局限性。然而,目前的主动模仿学习方法都是基于人的直觉或经验而设计的,没有理论保证。在本文中,我们提出了一个新的主动模仿学习框架的基础上,教师的目标是确定最佳的教学行为,并积极影响学生的学习过程。通过解决这个框架的优化目标,我们提出了一个实际的实现,命名为AdapMen。理论分析表明,AdapMen在较温和的条件下,可以提高误差界,避免复合误差。MetaDrive基准测试和Atari 2600游戏上的实验验证了我们的理论分析,并表明我们的方法比以前的方法具有更少的专家参与和总采样步骤,达到了接近专家的性能。该代码可在https://github.com/liuxhym/AdapMen上获得。
2023-03-03 cs.LG
RAIL: Risk-Averse Imitation Learning
IIT Kharagpur(印度理工学院卡拉格普尔分校);IIT Madras(印度理工学院马德拉斯分校);Parallel Computing Lab - Intel Labs, India(英特尔实验室印度并行计算实验室)
模仿学习算法通过在奖励信号不可用时模仿专家的行为来学习可行的策略。生成对抗模仿学习(GAIL)是一种最先进的学习策略算法,当专家的行为作为一组固定的轨迹可用时。我们评估的专家的成本函数,并观察到,分布的自动化成本往往是更重尾GAIL代理比专家在一些基准连续控制任务。因此,高成本的轨迹,对应于灾难性故障的尾端事件,更有可能遇到的GAIL代理比专家。这使得GAIL代理的可靠性在机器人手术和自动驾驶等风险敏感应用中的部署受到质疑。在这项工作中,我们的目标是通过最小化GAIL框架内的尾部风险来最大限度地减少尾部事件的发生。我们通过轨迹的条件风险价值(CVaR)来量化尾部风险,并开发了风险规避模仿学习(RAIL)算法。我们观察到,使用RAIL学习的策略显示出比普通GAIL更低的尾端风险。因此,建议的RAIL算法出现作为一个有效的替代GAIL的风险敏感的应用程序中提高可靠性。
2017-11-29 cs.AI cs.LG
Online Adaptation for Enhancing Imitation Learning Policies
School of Computing University of Eastern Finland Joensuu, Finland
本文提出在线自适应方法,将预训练模仿学习策略的动作提议与专家经验相结合,以在基础策略失败时恢复并提升智能体性能。
2024-06-07 cs.AI cs.LG
Provable Representation Learning for Imitation with Contrastive Fourier Features
Google Brain(谷歌大脑)
在模仿学习中,通常通过对收集的一组目标演示进行最大似然训练来学习行为策略以匹配未知的目标策略。在这项工作中,我们考虑使用离线经验数据集-可能远离目标分布-学习低维状态表示,可证明加速下游模仿学习的样本效率。这种设置的一个核心挑战是,未知的目标策略本身可能不会表现出低维行为,因此表示学习目标可能会混淆目标策略行为不同的状态。规避这一挑战,我们得到一个表示学习目标,提供了一个上限的目标政策和低维政策之间的性能差异训练的最大似然,这个界是紧的,无论目标政策本身是否表现出低维结构。移动到我们的方法的实用性,我们表明,我们的目标可以实现为对比学习,其中的过渡动态近似的隐式的基于能量的模型,或在某些特殊情况下,隐式的线性模型与表示随机傅立叶特征。表格环境和高维Atari游戏上的实验为我们提出的目标的实际好处提供了定量证据。
2021-10-08 cs.AI cs.LG
Cross-domain Imitation from Observations
University of California, Riverside(加州大学河滨分校);Google Research(谷歌研究院);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
模仿学习试图通过利用专家行为来规避为训练代理设计适当的奖励函数的困难。随着环境建模为马尔可夫决策过程(MDP),大多数现有的模仿算法是视情况而定的专家演示在同一MDP中的一个,其中一个新的模仿政策是要学习的。本文研究了当专家和Agent MDP之间存在差异时,如何进行任务模拟的问题。这些领域之间的差异可能包括不同的动态,观点,或形态,我们提出了一个新的框架来学习这些领域之间的对应关系。重要的是,与以前的工作相比,我们使用不成对和不对齐的轨迹只包含在专家领域的状态,学习这种对应关系。我们利用状态空间和域不可知的潜在空间的周期一致性约束来做到这一点。此外,我们通过一个归一化的位置估计函数,执行一致性的状态的时间位置,在两个域的轨迹对齐。一旦找到这种对应关系,我们就可以直接将一个域上的演示转移到另一个域上,并将其用于模仿。在各种具有挑战性的领域的实验证明了我们的方法的有效性。
2021-05-20 cs.AI cs.LG
Imitation Learning by Reinforcement Learning
Spotify(声田)
模仿学习算法从专家行为的演示中学习策略。我们表明,对于确定性专家,模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复,又限制了专家和模仿学习者之间的全变差距离,表明了与对抗性模仿学习的联系。我们进行的实验证实,我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
Regularizing Adversarial Imitation Learning Using Causal Invariance
ETH Zürich(苏黎世联邦理工学院)
针对对抗模仿学习易吸收专家数据中虚假相关性的问题,本文提出以因果不变性作为对抗训练正则化原则,并可直接用于现有框架,在二维环境和高维机器人运动任务上验证了有效性。
2023-08-17 cs.AI cs.LG
Going Beyond Expert Performance via Deep Implicit Imitation Reinforcement Learning
Department of Physics, J.K. Institute of Science(J.K.科学研究院物理系);World Scientific University(世界科学大学);University of Intelligent Studies(智能研究大学);Technical University of Crete(克里特技术大学)
本文提出深度隐式模仿强化学习框架DIIQN及异构动作扩展HA-DIIQN,通过动作推断与动态置信机制利用仅观测的次优专家数据,实现超越专家表现并处理动作集不一致场景。
2025-11-05 cs.LG
Robust Imitation Learning against Variations in Environment Dynamics
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
在本文中,我们提出了一个强大的模仿学习(IL)框架,提高了IL的鲁棒性时,环境动态扰动。在单一环境中训练的现有IL框架可能会在环境动态的扰动下灾难性地失败,因为它没有捕捉到潜在环境动态可以改变的情况。我们的框架有效地处理不同的动态环境,通过模仿多个专家在采样的环境动态,以提高在环境动态的一般变化的鲁棒性。为了鲁棒地模仿多个样本专家,我们最大限度地减少代理的政策和每个样本专家之间的詹森-香农分歧的风险。数值结果表明,我们的算法显着提高了对动态扰动的鲁棒性相比,传统的IL基线。
2022-06-19 cs.AI cs.LG
Policy Gradient Bayesian Robust Optimization for Imitation Learning
University of California, Berkeley(加州大学伯克利分校);University of New Hampshire(新罕布什尔大学)
在许多现实世界的问题中,很难指定奖励,这导致人们越来越关注从人类反馈(如演示)中学习奖励。然而,通常有许多不同的奖励函数来解释人类反馈,这使得代理人不确定真正的奖励函数是什么。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性,但许多应用程序需要规避风险的行为。我们推导出一种新的策略梯度式的鲁棒优化方法,PG-BROIL,优化了软鲁棒目标,平衡预期的性能和风险。据我们所知,PG-BROIL是第一个对奖励假设分布具有鲁棒性的策略优化算法,该算法可以扩展到连续的MDP。结果表明,PG-BROIL可以产生一个家庭的行为,从风险中性到风险厌恶,并优于国家的最先进的模仿学习算法时,从模糊的示范对冲不确定性,而不是寻求唯一识别演示的奖励功能。
2021-06-21 cs.AI cs.LG
IDIL: Imitation Learning of Intent-Driven Expert Behavior
Rice University(莱斯大学)
本文提出新型模仿学习算法IDIL,通过迭代估计专家意图并学习意图感知行为模型,模仿专家多样化意图驱动行为,无需对抗训练即可处理高维序列任务,在性能与意图推断上超越基准。
2024-04-25 cs.AI cs.LG cs.RO
Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Meituan(美团)
本文提出非对称在线策略蒸馏,通过局部散度最小化改进传统策略蒸馏,提升数学推理任务表现,实现更稳定的策略熵和持续工具使用能力。
2026-09-01 cs.AI cs.LG
Discriminator-Guided Model-Based Offline Imitation Learning
Tsinghua University(清华大学);JD Technology(京东科技);Beijing Jiaotong University(北京交通大学);Shanghai AI Laboratory(上海人工智能实验室)
离线模仿学习(IL)是一种解决决策问题的强有力的方法,从专家示范没有奖励标签。现有的离线IL方法在有限的专家数据下遭受严重的性能退化。包括学习的动态模型可以潜在地改善专家数据的状态-动作空间覆盖,然而,它也面临着具有挑战性的问题,如模型近似/泛化误差和推出数据的次优性。在本文中,我们提出了鉴别器引导的基于模型的离线模仿学习(DMIL)框架,该框架引入了一个鉴别器,以同时区分模型推出数据的动态正确性和次优性与真实的专家演示。DMIL采用了一种新颖的合作对抗学习策略,利用策略学习器引导和耦合策略和动力学模型的学习过程,从而提高了模型的性能和鲁棒性。我们的框架也可以扩展到的情况下,当演示包含很大比例的次优数据。实验结果表明,DMIL及其扩展实现了优越的性能和鲁棒性相比,国家的最先进的离线IL方法在小数据集。
2023-01-10 cs.AI cs.LG
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley(加州大学伯克利分校)
现有的政策上的模仿学习算法,如Dagger,假设访问一个固定的监督。然而,在策略学习过程中,存在许多监管者可能演变的设置,例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”,并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督,即使标签在学习过程中只从中间监督。然后,我们表明,这个框架是密切相关的一类强化学习(RL)算法称为双策略迭代(DPI),交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明,当该框架与最先进的基于深度模型的RL算法PETS一起应用时,它在连续控制任务上的性能优于深度RL基线,并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
Unveiling the Role of Expert Guidance: A Comparative Analysis of User-centered Imitation Learning and Traditional Reinforcement Learning
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Saarland University(萨尔大学)
本研究对比以用户为中心的模仿学习与传统强化学习,探究专家指导与次优演示的影响,通过Unity仿真实验分析两类方法的效能与局限,为以人为中心的AI发展提供参考。
2024-10-28 cs.AI cs.LG
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学);Polytechnique Montréal(蒙特利尔理工学院);Facebook AI Research(Facebook人工智能研究院);Element AI;Ubisoft Montreal’s La Forge R&D laboratory(育碧蒙特利尔La Forge研发实验室)
对抗性模仿学习在学习一个模型(区分专家的演示和生成的演示)和一个生成器的策略之间交替进行,以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的,因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说,我们的迭代策略明确地以两个策略为条件:来自前一个生成器的迭代的策略和可学习的策略。当优化时,该学习器直接学习最优生成器的策略。因此,我们的更新免费解决了生成器的优化问题:学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段,有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明,我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Reinforced Imitation in Heterogeneous Action Space
Jagiellonian University(雅盖隆大学);Element AI;Université de Montréal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Rutgers University(罗格斯大学)
模仿学习是一种有效的替代方法来学习策略时,奖励函数是稀疏的。在本文中,我们考虑了一个具有挑战性的设置,代理和专家使用不同的动作。我们假设代理可以访问稀疏奖励函数和仅限状态的专家观察。我们提出了一种在模仿学习代价和强化学习目标之间逐渐平衡的方法。此外,该方法根据模仿专家行为或最大化稀疏奖励来调整代理的策略。我们表明,通过导航的情况下,(i)代理是能够有效地利用稀疏奖励优于标准的状态只有模仿学习,(ii)它可以学习的政策,即使它的行动是不同的专家,和(iii)代理的性能不受限制的专家,由于稀疏奖励的优化使用。
2019-08-26 cs.AI cs.LG stat.ML
Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China(电子科技大学);Duke Kunshan University(昆山杜克大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院)
本文提出ILMAR方法,通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识,以加权行为克隆提升模仿学习性能,实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction
Department of Computer Science, University of Southern California(计算机科学系,南加州大学);Department of Information Technology and Electrical Engineering, ETH Zurich(信息科技与电气工程系,苏黎世联邦理工学院)
CRSAIL通过置信预测实现高效的专家查询控制,在主动模仿学习中减少专家查询次数,提升机器人任务的训练效率。
2025-11-29 cs.AI cs.LG cs.RO
Recent Advances in Imitation Learning from Observation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室)
模仿学习是一个智能体尝试学习如何使用另一个智能体(通常是执行相同任务的更专业的智能体)生成的信息来执行特定任务的过程。传统上,模仿者可以访问由执行任务的专家生成的状态和动作信息(例如,专家可以使用机器人手臂提供物体放置的动觉演示)。然而,要求动作信息阻止了来自大量现有的有价值的学习资源(诸如人类执行任务的在线视频)的模仿学习。为了克服这个问题,观察模仿(IfO)的具体问题最近引起了大量关注,其中模仿者只能访问状态信息(例如,视频帧)。在本文中,我们提供了一个文献综述的方法开发的IfO,然后指出一些开放的研究问题和潜在的未来工作。
2019-06-19 cs.AI cs.LG cs.RO
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning
University of Washington(华盛顿大学);Toyota Research Institute (TRI)(丰田研究院)
本研究提出利用离线强化学习算法修改,有效整合非专家数据以增强模仿学习策略的鲁棒性,显著提升操作任务的恢复与泛化能力。
2025-10-25 cs.AI cs.LG cs.RO
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego(加利福尼亚大学圣迭戈分校)
本文提出Policy Decorator,一种模型无关的残差策略方法,通过在线交互优化大型模仿学习模型,在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
Imitation with Neural Density Models
Stanford University(斯坦福大学);Tsinghua University(清华大学)
我们提出了一个新的框架,模仿学习(IL)通过密度估计的专家的占用措施,其次是最大占用熵强化学习(RL)使用的密度作为奖励。我们的方法最大限度地提高了一个非对抗性的无模型RL目标,可证明下限逆转专家和模仿者的占用测量之间的Kullback-Leibler分歧。我们提出了一个实用的IL算法,神经密度模拟(NDI),它获得了最先进的示范效率的基准控制任务。
2020-10-19 cs.AI cs.LG stat.ML
A Bayesian Solution To The Imitation Gap
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Sorbonne University(索邦大学)
本文提出BIG方法,通过贝叶斯逆强化学习结合探索代价先验推断奖励后验,学习贝叶斯最优策略,使智能体在存在模仿差距时能主动探索,而在无差距时仍能模仿专家最优行为。
2024-06-29 cs.LG
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning
Technion University(以色列理工学院);Nvidia Research(英伟达研究部门)
我们考虑的问题,使用专家数据与未观察到的混杂因素的模仿和强化学习。我们首先定义的问题,从混淆的专家数据在上下文MDP设置的学习。我们分析了在有和没有外部奖励的情况下从这些数据中学习的局限性,并提出了一种调整标准模仿学习算法以适应这种设置。然后,我们讨论的问题之间的分布偏移的专家数据和在线环境中的数据只有部分可观察。我们证明了在缺失协变量的任意分布偏移下模仿学习的可能性和不可能性结果。当提供额外的外部奖励,我们提出了一个采样过程,解决了未知的转变,并证明收敛到最优解。最后,我们验证了我们的主张经验上具有挑战性的辅助医疗和推荐系统模拟任务。
2021-10-13 cs.AI cs.LG cs.RO
Understanding Adversarial Imitation Learning in Small Sample Regime: A Stage-coupled Analysis
Nanjing University(南京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
模仿学习从专家轨迹中学习策略。虽然专家数据被认为是至关重要的模仿质量,它被发现,一种模仿学习的方法,对抗性模仿学习(AIL),可以有特殊的性能。由于只有一个专家轨迹,AIL即使在很长的时间内也可以在运动控制等任务上与专家表现相匹配。这一现象有两个神秘之处。第一,为什么AIL只需要几个专家轨迹就能表现良好?第二,为什么AIL尽管规划期很长,但仍能保持良好的业绩?本文从理论上对这两个问题进行了探讨。对于一个基于总变化距离的AIL(称为TV-AIL),我们的分析显示了一个地平线上的自由模仿差距$\mathcal O(\{\min\{1, \sqrt{|\mathcal S|/N} \})$抽象的一类实例从运动控制任务。这里,$|\mathcal S|$是表格马尔可夫决策过程的状态空间大小,而$N$是专家轨迹的数量。我们强调我们的约束的两个重要特征。首先,这个界限在小样本和大样本情况下都是有意义的。第二,这个界限表明,无论规划水平如何,TV-AIL的模仿差距最多为1。因此,这个界限可以解释经验观察。在技术上,我们利用TV-AIL的多阶段策略优化结构,通过动态规划提出了一种新的阶段耦合分析方法
2022-08-03 cs.LG
State Alignment-based Imitation Learning
University of California, San Diego(加州大学圣地亚哥分校)
考虑一个模仿学习问题,其中模仿者和专家具有不同的动力学模型。当前的大多数模仿学习方法都失败了,因为它们专注于模仿动作。我们提出了一种新的基于状态序列的模仿学习方法,以训练模仿者尽可能地遵循专家演示中的状态序列。状态对齐来自本地和全球的角度,我们结合到一个强化学习框架的规则化的政策更新目标。在标准的模仿学习环境和专家和模仿者具有不同动力学模型的模仿学习环境下,我们展示了我们的方法的优越性。
2019-11-21 cs.LG stat.ML
TaSIL: Taylor Series Imitation Learning
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);Google Brain Robotics(谷歌大脑机器人部门)
我们提出了泰勒系列模仿学习(TaSIL),一个简单的增强标准的行为克隆损失的背景下,连续控制。TaSIL惩罚学习策略和专家策略之间高阶泰勒级数项的偏差。我们表明,专家满足$\textit{incremental input-to-state stability}$的概念是很容易学习的,在这个意义上说,一个小的TaSIL增强模仿损失超过专家轨迹保证一个小的模仿损失超过轨迹所产生的学习政策。我们提供了TaSIL的样本复杂性范围,其在可实现的设置中扩展为$\tilde{\mathcal{O}}(1/n)$,对于$n$,专家演示的数量。最后,我们通过实验证明了专家策略的鲁棒性和TaSIL中所需的Taylor展开顺序之间的关系,并将标准行为克隆,DART和DAGGER与TaSIL损失增强变体进行比较。在所有情况下,我们在各种MuJoCo任务中显示出比基线的显着改进。
2023-01-16 cs.LG