Feasibility-aware Imitation Learning from Observations through a Hand-mounted Demonstration Interface
Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所)
本文提出FABCO框架,利用机器人动力学模型评估示教可行性并以视觉反馈引导示教者改进,同时将可行性作为数据权重,在移液管插入任务中验证了其对数据效率和策略鲁棒性的提升作用。
2025-03-12 cs.LG cs.RO
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
在寻找更有效的样本学习(RL)算法时,一个有希望的方向是利用尽可能多的外部非策略数据。例如,专家示范。在过去,已经提出了多种想法来充分利用添加到重放缓冲区的演示,例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法,能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节(通过重新标记),鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明,我们的方法的基础上奖励重新标记提高了性能的基础算法(SAC和DDPG)对这些任务。最后,我们最好的算法STIR $^2$(通过奖励重新标记的自我和教师模仿),它集成到我们的方法中,从以前的作品中进行了多次改进,比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Imitation Learning: Progress, Taxonomies and Challenges
University of Technology Sydney(悉尼科技大学)
模仿学习旨在从人类专家的演示或人工创建的代理中提取知识,以便复制他们的行为。它的成功已经在视频游戏、自动驾驶、机器人模拟和物体操纵等领域得到了证明。然而,这种复制过程可能是有问题的,例如性能高度依赖于演示质量,并且大多数训练有素的代理仅限于在特定任务环境中表现良好。本文对模仿学习进行了系统的综述。首先介绍了背景知识学习的发展历史和分类,然后介绍了模仿学习的不同分类和该领域的关键里程碑。然后,我们详细介绍了学习策略的挑战,并从次优演示,语音指令和其他相关的优化方案的学习策略,目前的研究机会。
2022-10-21 cs.LG cs.RO
How to Train Your Robots? The Impact of Demonstration Modality on Imitation Learning
Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文比较动觉示教、VR控制器遥操作和空间鼠标遥操作三种示教模态对模仿学习性能与用户体验的影响,发现动觉示教最直观且数据质量最高,但体力负担大,进而提出少量动觉示教与遥操作数据混合的采集方案以兼顾学习性能与采集效率。
2025-03-10 cs.LG cs.RO
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California(南加州大学);Meta AI;KAIST(韩国科学技术院);Georgia Tech(佐治亚理工学院)
我们提出了一种语义模仿的方法,该方法使用来自源域的演示,例如人类视频,以加速不同目标域中的强化学习(RL),例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作,而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境(例如从真实世界到模拟厨房)和代理实施例(例如从双手人类演示到机器人手臂)转移演示。我们评估了三个具有挑战性的跨域学习问题,并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中,我们的方法学习长视野机器人操作任务,使用不到3分钟的人类视频演示,从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习,例如,作为人类视频收集,以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
Augmented Reality Demonstrations for Scalable Robot Imitation Learning
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于增强现实的辅助框架,使非专家用户能用HoloLens 2为机器人模仿学习提供演示,实现可扩展的演示收集,并在到达、推、拾取与放置三项任务上验证了真实机器人重播演示的成功执行。
2024-03-20 cs.GR cs.LG cs.RO
To Follow or not to Follow: Selective Imitation Learning from Observations
University of Southern California(南加州大学)
示教学习是将技能从一个智能体转移到另一个智能体的有用方法。虽然大多数模仿学习方法旨在通过一步一步地跟随演示来模仿专家技能,但当学习者及其环境与演示不同时,模仿演示中的每一步往往变得不可行。在本文中,我们提出了一种方法,可以模仿演示组成的观察,这可能是不可重现的当前代理。我们的方法,被称为选择性模仿学习从观察(SILO),选择可达到的状态,在演示和学习如何达到选定的状态。我们在模拟和真实机器人环境中的实验表明,我们的方法可靠地执行一个新的任务,通过以下演示。视频和代码可在https://clvrai.com/silo上获得。
2019-12-16 cs.AI cs.LG cs.RO
Masked Imitation Learning: Discovering Environment-Invariant Modalities in Multimodal Demonstrations
多模态演示为机器人提供了丰富的信息来理解世界。然而,当涉及到从人类示范中学习感觉运动控制策略时,这种丰富可能并不总是导致良好的表现。外部数据模态可能导致状态过度规范,其中状态包含模态,这些模态不仅对决策毫无用处,而且可能改变环境中的数据分布。状态过度规范导致诸如学习策略不在训练数据分布之外泛化的问题。在这项工作中,我们提出了掩蔽模仿学习(MIL),以解决状态过度规范,有选择地使用信息模态。具体来说,我们设计了一个带有二进制掩码的掩码策略网络来阻止某些模态。我们开发了一个双层优化算法,学习这个掩码,以准确地过滤过指定的模态。我们的经验表明,MIL优于基线算法在模拟域,包括MuJoCo和机器人手臂环境中使用Robomimic数据集,并有效地恢复环境不变的模态上收集的多模态数据集上的一个真正的机器人。我们的项目网站提供了我们的结果的补充细节和视频:https://tinyurl.com/masked-il
2023-03-05 cs.LG cs.RO
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China(中国海洋大学)
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题,本文提出MAGAISIL,通过人类筛选的自生成优质轨迹逐步替换次优示范,实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies
Aarav Bedi
本研究构建受控测试平台,注入两类示范缺陷(细微扰动和结构错误),审计七种策展指标,发现仅动作指标无法检测结构错误,且部分指标评分倒置,而状态轨迹指标能部分检测但下游性能恢复有限。
2026-06-04 cs.LG cs.RO
Ergodic Imitation for Adaptive Exploration around Demonstrations
Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑校区);Idiap Research Institute(伊迪亚普研究 institute)
本文提出一种自适应遍历模仿方法,通过构建演示的几何目标分布,生成适应性插值轨迹,解决机器人模仿学习中训练与部署条件不匹配的问题。
2026-05-13 cs.RO
SAFARI: Safe and Active Robot Imitation Learning with Imagination
Imperial College London(帝国理工学院)
模仿学习的主要问题之一是智能体在面对分布外的情况时的错误行为,而专家给出的演示集没有涵盖。在这项工作中,我们解决这个问题,通过引入一种新的主动学习和控制算法,SAFARI。在训练过程中,它允许代理在满足这些分布外的情况时请求进一步的人类演示。在部署时,它将使用行为克隆的无模型行为与基于模型的规划相结合,以减少状态分布偏移,使用未来状态重建作为状态熟悉度的测试。我们经验证明,这种方法如何增加一组被动的模仿学习的操作任务的性能,通过收集更多的信息演示和最小化状态分布偏移在测试时。我们还展示了这种方法如何使代理能够快速,安全地自主预测故障。
2020-11-18 cs.LG cs.RO
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University(纽约大学)
虽然模仿学习为我们提供了一个有效的工具包来训练机器人,学习技能,是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中,我们提出了快速模仿人类技能(FISH),一种新的模仿学习方法,可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略,FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后,这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中,FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是,FISH被构造为通用的,这允许它在机器人形态(例如xArm,Allegro,Stretch)和相机配置(例如第三人称,手眼)中使用。我们对9个不同任务的实验评估表明,FISH的平均成功率为93%,比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Stochastic Action Prediction for Imitation Learning
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber Physical Systems(罗伯特·博世信息物理系统中心)
模仿学习是一种数据驱动的获取技能的方法,它依赖于专家演示来学习将观察映射到行动的策略。在执行演示时,专家并不总是一致的,可能会以略有不同的方式完成相同的任务。在本文中,我们展示了固有的随机性,收集的任务,包括线以下的遥控车和操作任务,包括达到,推动,采摘和放置一个对象的演示。我们使用自回归动作生成,生成对抗网络和变分预测来模拟数据分布的随机性,并比较这些方法的性能。我们发现,占随机性的专家数据导致任务完成的成功率大幅提高。
2020-12-26 cs.LG cs.RO
Semi-Supervised Imitation Learning with Mixed Qualities of Demonstrations for Autonomous Driving
Seoul National University(首尔国立大学);Dongguk University(东国大学);Department of Electrical and Computer Engineering(电子与计算机工程系);ASRI(ASRI(人工智能研究中心));School of Computer Science and Engineering(计算机科学与工程学院)
在本文中,我们考虑的问题,自动驾驶使用模仿学习在半监督的方式。特别是,通过估计每个未标记演示的质量,在训练期间利用标记和未标记演示。如果所提供的演示被破坏并且具有低信噪比,则模仿学习代理的性能会显著降低。为了缓解这个问题,我们提出了一种称为半监督模仿学习(SSIL)的方法。SSIL首先学习如何区分和评估每个状态-动作对的可靠性在未标记的示威分配更高的可靠性值,类似于标记的专家示威。这种可靠性值称为杠杆。在这个判别过程之后,在以半监督的方式训练策略的同时,利用具有估计杠杆值的标记和未标记的演示。实验结果表明,该算法的有效性,使用未标记的混合质量的轨迹。最后,以遥控车为例进行了硬件实验,实验结果表明该方法具有较好的实用性。
2021-09-23 cs.RO
JUICER: Data-Efficient Imitation Learning for Robotic Assembly
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出JUICER流程,通过结合表达性策略架构与数据集扩展及模拟增强技术,在少量人类演示预算下提升机器人长时程装配任务的模仿学习性能,并在模拟中实现多部件组装,优于基线方法。
2024-11-11 cs.LG cs.RO
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题,提出结合生成式单智能体策略学习与博弈论结构的框架,通过两步学习提升性能,仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
One-Shot Robust Imitation Learning for Long-Horizon Visuomotor Tasks from Unsegmented Demonstrations
School of Computing, University of Leeds(利兹大学计算学院)
针对长时域视觉运动模仿依赖语义分段演示且易受扰动、遮挡影响的问题,提出MiLa框架,结合动态运动基元与元学习,实现未分段演示学习、单次演示泛化及鲁棒执行。
2024-10-02 cs.RO
Flow-Enabled Generalization to Human Demonstrations in Few-Shot Imitation Learning
The Australian National University(澳大利亚国立大学)
本文提出SFCrP方法,通过场景流预测和流条件策略实现人类演示在少样本模仿学习中的泛化,提升机器人在现实任务中的表现和泛化能力。
2026-02-27 cs.LG cs.RO
Multi-Instance Aware Localization for End-to-End Imitation Learning
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber-Physical Systems(罗伯特·博世信息物理系统研究中心)
当呈现包含感兴趣对象的多个实例的输入图像时,使用图像到动作策略网络的用于模仿学习的现有架构表现不佳,特别是当可用于训练的专家演示的数量有限时。我们表明,端到端策略网络可以通过以下方式以样本有效的方式进行训练:(a)将视觉层的特征映射输出附加上嵌入,该嵌入可以指示实例偏好或利用专家演示中存在的隐式偏好,以及(b)采用自回归动作生成器网络用于控制层。所提出的定位架构提高了准确性和样本效率,并且可以推广到比训练期间看到的更多对象实例的存在。当用于端到端的模仿学习以在真实机器人上执行到达、推动和拾取和放置任务时,只需15个专家演示即可实现培训。
2020-12-26 cs.LG cs.RO
Robotic Imitation of Human Actions
University of Hamburg(汉堡大学);Hamburger Informatik Technologie-Center(汉堡信息技术中心)
本文提出一种新的机器人模仿人类动作学习方法,通过整合扩散动作分割模型与开放词汇物体检测器提取时空信息,并结合符号推理和逆运动学生成动作计划,使机器人能从单次人类演示中泛化并复现任务。
2024-06-03 cs.LG cs.RO
RE4: Transformation-aware Imitation of Object Interactions Using Manipulation Modes
Australian National University(澳大利亚国立大学)
提出RE4框架,通过轻量级自监督姿态估计和操作模式感知的检索、变换、重规划与执行,在保持可解释性的同时提升物体交互模仿学习的性能和鲁棒性。
2026-10-30 cs.LG cs.RO
Keyframe-Focused Visual Imitation Learning
Tsinghua University(清华大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);Shanghai Qi Zhi Institute(上海期智研究院)
模仿学习通过模仿预先录制的专家演示来训练控制策略。在部分可观察的环境中,模仿政策必须依赖于观察历史,但许多看似矛盾的结果表明,只有访问最近的观察政策更好的性能。最近的解决方案,从因果图学习到深度信息瓶颈,都显示出了有希望的结果,但未能扩展到视觉模仿等现实环境。我们提出了一个解决方案,通过增加与专家动作变点相对应的演示关键帧的权重,优于这些先前的方法。这种简单的方法很容易扩展到复杂的视觉模仿设置。我们的实验结果表明,在基于图像的健身房MuJoCo连续控制任务的所有基线上,性能得到了一致的改善。最后,在CARLA逼真的视觉为基础的城市驾驶模拟器,我们解决了一个长期存在的问题,在驾驶行为克隆从观察历史证明有效的模仿。补充材料和代码:\url{https://tinyurl.com/imitation-keyframes}。
2021-06-11 cs.LG cs.RO
Offline Imitation Learning upon Arbitrary Demonstrations by Pre-Training Dynamics Representations
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);MERL(三菱电机研究实验室)
针对离线模仿学习有限数据瓶颈问题,提出预训练动力学表示的方法,理论证明最优决策变量位于表示空间以减少参数,可复用非专家数据,实验表明单轨迹即可模仿专家策略,还能从少量真实演示中学习行走。
2025-08-20 cs.LG cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego(加州大学圣地亚哥分校)
虽然计算机视觉在理解手-物交互方面取得了重大进展,但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中,我们提出了一个新的平台和流水线DexMV(灵巧操作视频)的模仿学习。我们设计了一个平台:(i)用于具有多指机器人手的复杂灵巧操纵任务的模拟系统,以及(ii)用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中,我们从视频中提取3D手部和物体姿态,并提出了一种新的演示翻译方法,将人体运动转换为机器人演示。然后,我们应用和基准多个模仿学习算法的演示。我们表明,演示确实可以大大提高机器人学习,并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到:https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation
Carnegie Mellon University(卡内基梅隆大学)
近年来,我们看到了机器人技术中数据驱动方法的出现。然而,大多数现有的努力和数据集要么是在模拟中,要么是孤立地专注于单个任务,如抓取,推动或戳。为了取得进展并捕获操作空间,我们需要收集各种任务的大规模数据集,例如倾倒,打开瓶子,堆叠物体等,但是如何收集这样的数据集呢?在本文中,我们提出了最大的可用机器人演示数据集(MIME),其中包含8260个人类机器人演示超过20个不同的机器人任务(https://sites.google.com/view/mimedaset)。这些任务的范围从简单的推动物体的任务,以堆叠家居物品的困难任务。我们的数据集包括人类演示和机器人演示的动觉轨迹的视频。我们还建议使用该数据集来完成将第三人称视频特征映射到机器人轨迹的任务。此外,我们提出了两种不同的方法,使用这个数据集和评估预测的机器人轨迹对地面实况轨迹。我们希望我们的数据集能激发多个领域的研究,包括视觉模仿、轨迹预测和多任务机器人学习。
2018-10-16 cs.CV cs.LG cs.RO
Zero-shot Imitation Learning from Demonstrations for Legged Robot Visual Navigation
University of California, Berkeley(加州大学伯克利分校);Robotics at Google(谷歌机器人学)
模仿学习是训练视觉导航策略的一种流行方法。然而,收集足式机器人的专家演示是具有挑战性的,因为这些机器人可能难以控制,移动缓慢,并且不能长时间连续操作。在这里,我们提出了一个zero-shot模仿学习的方法,从人类(第三人称视角)的演示训练足式机器人的视觉导航政策,使高品质的导航和成本效益的数据汇集。然而,来自第三人称演示的模仿学习提出了独特的挑战。首先,这些演示是从不同的摄像机角度捕捉的,我们通过一个特征解纠缠网络(FDN)来提取透视不变的状态特征。其次,由于过渡动态系统之间的变化,我们标签丢失的动作,要么建立一个逆模型的机器人的动态特征空间,并将其应用到人类的演示或开发一个图形用户界面(GUI)标记人类的演示。为了训练导航策略,我们使用基于模型的模仿学习方法,使用FDN和标记的人类演示。我们表明,我们的框架可以学习一个有效的政策,一个足式机器人,Laikago,从模拟和现实世界的环境中的人类演示。我们的方法是zero-shot,因为机器人在训练期间从不导航相同的路径。我们证明我们的框架进行比较研究。
2020-03-04 cs.AI cs.RO
Disturbance-Injected Robust Imitation Learning with Task Achievement
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
使用干扰注入的鲁棒模仿学习克服了演示中有限变化的问题。然而,这些方法假设演示是最优的,并且可以通过简单的增强来学习政策稳定。在现实世界的场景中,演示通常具有不同的质量,而干扰注入则学习次优策略,无法复制所需的行为。为了解决这个问题,本文提出了一种新的模仿学习框架,结合了政策鲁棒性和最佳示范学习。具体而言,这种组合方法迫使策略学习和干扰注入优化主要集中在从高任务成就演示中学习,同时利用低成就演示来减少所需的样本数量。所提出的方法的有效性进行了验证,通过实验使用挖掘任务在模拟和一个真正的机器人,从而实现高的政策,更稳定和强大的多样化的质量演示。此外,该方法利用所有加权次优演示而不消除它们,从而带来实际数据效率的好处。
2022-05-09 cs.RO
Task-Centric Policy Optimization from Misaligned Motion Priors
本文提出任务导向的运动先验框架,通过将模仿视为条件正则化器,提升任务性能并抑制有害模仿,验证了在嘈杂示范下的鲁棒性。
2026-02-03 cs.LG cs.RO
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
Visual Imitation Made Easy
University of California, Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
视觉模仿学习提供了一个框架,学习复杂的操作行为,利用人类的示范。然而,目前的界面模仿,如动觉教学或遥操作禁止限制我们的能力,有效地收集大规模的数据在野外。获得如此多样化的演示数据对于将所学技能推广到新场景至关重要。在这项工作中,我们提出了一个替代接口的模仿,简化了数据汇集过程,同时允许轻松地转移到机器人。我们使用市售的伸手抓辅助工具作为数据汇集设备和机器人的末端执行器。为了从这些视觉演示中提取动作信息,除了训练手指检测网络之外,我们还使用了现成的运动恢复结构(SfM)技术。我们对两个具有挑战性的任务进行了实验评估:非弹性推动和弹性堆叠,每个任务有1000个不同的演示。对于这两个任务,我们使用标准的行为克隆从先前收集的离线演示中学习可执行策略。为了提高学习性能,我们采用了各种数据增强,并提供了广泛的分析其效果。最后,我们展示了我们的界面的实用性,通过评估真实的机器人场景与以前看不见的对象,并实现了87%的成功率推和62%的成功率堆叠。机器人视频可在https://dhiraj100892.github.io/Visual-Imitation-Made-Easy上获得。
2020-08-11 cs.CV cs.LG cs.RO
Skeletal Feature Compensation for Imitation Learning with Embodiment Mismatch
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能)
在模仿学习中,从野外的演示(例如YouTube视频)中学习是一个诱人的目标。然而,为了实现这一目标,模仿学习算法必须处理演示者和学习者可能具有彼此不同的身体的事实。这种情况--“具体化不匹配”--被许多最近的模仿学习算法所忽略。我们提出的模仿学习技术,SILEM(\textbf{S},用于\textbf{I}模仿的骨架特征补偿,\textbf{L}获得\textbf{E}实施例\textbf{M}不匹配),通过引入学习的仿射变换来补偿从学习者和专家获得的骨架特征中的差异,来解决特定类型的实施例失配。我们基于PyBullet的HalfCheetah和Ant创建了玩具域,以评估SILEM对这种类型的实施例不匹配的好处。我们还提供定性和定量的结果,更现实的问题-教学模拟人形代理,包括阿特拉斯从波士顿动力学,通过观察人类的示范走。
2022-02-12 cs.LG cs.RO
Interactive Imitation Learning in State-Space
Delft University of Technology(代尔夫特理工大学)
模仿学习技术通过演示而不是手动工程来编程代理的行为。然而,它们受到现有示范数据质量的限制。交互式模仿学习技术可以提高学习的效率,因为它们涉及教师提供反馈,而代理执行其任务。在这项工作中,我们提出了一种新的交互式学习技术,在状态空间中使用人的反馈训练和提高代理的行为(而不是替代方法,使用反馈的动作空间)。我们的方法名为教学模仿政策的状态空间~(TIPS),使提供指导的代理方面的“改变其状态”,这往往是更直观的人类示威者。通过纠正反馈的持续改进,使用TIPS的非专家演示者训练的代理优于演示者和传统的模仿学习代理。
2020-11-17 cs.LG cs.RO
Restoring Noisy Demonstration for Imitation Learning With Diffusion Models
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);Data Science Degree Program, National Taiwan University and Academia Sinica(国立台湾大学数据科学学士学位计划);Department of Electrical Engineering, National Taiwan University(国立台湾大学电子工程系)
本文提出一种过滤-恢复框架,利用条件扩散模型恢复含噪专家演示,在机器人操作和移动任务中优于现有方法。
2025-10-16 cs.RO
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab(英特尔人工智能实验室)
在这项工作中,我们提出了一种新的端到端的模仿学习方法,结合自然语言,视觉和运动信息,产生一个抽象的任务表示,这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件,并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟,并表明它实现了高的任务成功率在各种条件下,同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
Immersive Demonstrations are the Key to Imitation Learning
Imperial College London(帝国理工学院);Dyson School of Design Engineering(戴森设计工程学院)
实现成功的机器人操作是机器人在工业和家庭环境中广泛使用的重要一步。最近,许多基于学习的方法被提出来解决这个挑战,其中模仿学习显示出巨大的前景。然而,不完美的演示和缺乏反馈的遥操作系统可能会导致穷人甚至不安全的结果。在这项工作中,我们探讨了示范力量反馈的模仿学习的效果,使用反馈手套和机器人手臂,使指尖和手掌水平的力量,分别。10名参与者记录了5个演示的拾取和放置任务与3个抓手,条件下没有力反馈,指尖力反馈,指尖和手掌力反馈。结果表明,力反馈显着减少演示指尖和手掌的力量,导致演示力量的变化较小,并记录轨迹,更快地执行。使用行为克隆,我们发现,代理人训练模仿这些轨迹反映这些好处,即使代理人没有力数据显示给他们在训练过程中。我们的结论是,身临其境的演示,实现力反馈,可能是解锁更安全,更快地执行灵巧的操作策略的关键。
2023-01-22 cs.RO
Eliciting Compatible Demonstrations for Multi-Human Imitation Learning
Stanford University(斯坦福大学)
从人类提供的演示中进行模仿学习是学习机器人操作策略的强有力方法。虽然模仿学习的理想数据集是同质和低方差的-反映了执行任务的单一最佳方法-但自然的人类行为具有很大的异质性,有几种最佳方法来演示任务。这种多模态对人类用户来说是无关紧要的,任务的变化表现为潜意识的选择;例如,向下伸手,然后穿过去抓住一个物体,而不是向前伸手,然后向下。然而,这种不匹配给交互式模仿学习带来了问题,在交互式学习中,用户序列通过迭代地收集新的、可能相互冲突的演示来改进策略。为了解决这个问题的演示不兼容,这项工作设计了一种方法,1)测量一个新的演示给定的基本政策的兼容性,和2)积极引发更多的兼容性演示新用户。在两个模拟任务,需要长期的视野,灵巧的操作和现实世界的“食品电镀”任务与弗兰卡Panda手臂,我们表明,我们都可以通过事后过滤识别不兼容的演示,并应用我们的兼容性措施,积极引出新用户的兼容演示,从而提高任务成功率在模拟和真实环境。
2022-10-14 cs.AI cs.HC cs.RO
Extraneousness-Aware Imitation Learning
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
视觉模仿学习为从示范中学习技能提供了一个有效的框架。然而,所提供的演示的质量通常会显着影响代理获得所需技能的能力。因此,标准的视觉模仿学习假设接近最优的演示,这是昂贵的或有时禁止收集。以前的作品提出从嘈杂的演示学习,然而,噪声通常被假设为遵循上下文无关的分布,如均匀或高斯分布。在本文中,我们考虑了另一个关键但尚未探索的设置--模仿学习,其中演示中的任务无关但局部一致的片段(例如,在烹饪教程中切土豆时擦汗)。我们认为,这种噪音是常见的,在现实世界中的数据和术语“无关”的部分。为了解决这个问题,我们引入了外部感知模仿学习(EIL),这是一种自我监督的方法,可以从具有外部约束的第三人称演示中学习视觉策略。EIL以自我监督的方式学习动作条件观测嵌入,并在排除无关观测的同时检索视觉演示中与任务相关的观测。实验结果表明,EIL的性能优于强基线,并实现了与那些在模拟和现实世界的机器人控制任务上进行了完美演示的训练的策略相当的策略。该项目的页面可以在https://sites.google.com/view/eil-website上找到。
2023-03-01 cs.AI cs.RO
3D Perception based Imitation Learning under Limited Demonstration for Laparoscope Control in Robotic Surgery
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学)
自动腹腔镜运动控制对于外科医生有效地执行手术至关重要。然而,传统的基于工具跟踪的控制方法没有考虑手术场景中隐藏的信息,智能化程度不够,而最新的基于监督模仿学习(IL)的方法需要昂贵的传感器数据,并且由于有限的演示而导致分布不匹配问题。在本文中,我们提出了一种新的模仿学习框架腹腔镜控制(ILLC)与强化学习(RL),它可以有效地学习控制策略,从有限的手术视频剪辑。特别地,我们首先从未标记的视频中提取腹腔镜手术轨迹作为演示,并重建相应的手术场景。为了从有限的运动轨迹演示中充分学习,我们提出了形状保持轨迹增强(SPTA)来增强这些数据,并构建了一个支持并行RGB-D渲染的仿真环境,以加强RL策略,从而有效地与环境进行交互。通过对IL的对抗性训练,我们根据生成的展示和手术演示获得腹腔镜控制策略。在看不见的重建手术场景中进行了大量的实验,我们的方法优于以前的IL方法,这证明了我们的统一的基于学习的框架腹腔镜控制的可行性。
2022-04-07 cs.RO
Learning to Stack: Cube-Stacking Imitation Learning from Virtual Reality Demonstrations
University of Louisville(路易斯维尔大学)
本研究提出基于虚拟现实的数据收集流程,在Isaac Sim中收集200个立方体堆叠演示,训练行为克隆策略,实现无需重复遥操作的演示复用。
2026-09-17 cs.RO
Imitation Learning with Precisely Labeled Human Demonstrations
Yilong Song
针对现有利用人类演示的方法在精确动作推断等方面的挑战,本研究通过为手持夹具分配独特易分割颜色,结合RANSAC和ICP配准方法实现精确末端执行器位姿估计,提升了策略性能。
2025-04-18 cs.AI cs.RO
The Surprising Effectiveness of Representation Learning for Visual Imitation
New York University(纽约大学)
虽然视觉模仿学习提供了从视觉演示中学习的最有效方法之一,但从它们中概括需要数百个不同的演示,特定于任务的先验,或大型的难以训练的参数模型。出现这种复杂性的一个原因是因为标准的视觉模仿框架试图同时解决两个耦合的问题:从不同的视觉数据中学习简洁但良好的表示,同时学习将演示的动作与这些表示相关联。这种联合学习导致这两个问题之间的相互依赖性,这往往导致需要大量的学习示范。为了解决这一挑战,我们建议将表示学习与视觉模仿的行为学习解耦。首先,我们使用标准的监督和自监督学习方法从离线数据中学习视觉表示编码器。一旦表示被训练,我们使用非参数局部加权回归来预测动作。我们的实验表明,这种简单的解耦提高了离线演示数据集和真实机器人开门视觉模仿模型的性能相比,以前的工作在视觉模仿。我们生成的所有数据、代码和机器人视频都可在https://jyopari.github.io/VINN/上公开获取。
2021-12-06 cs.AI cs.CV cs.LG
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
ARCADE: Scalable Demonstration Collection and Generation via Augmented Reality for Imitation Learning
the University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出 ARCADE 框架,利用增强现实简化机器人演示收集,并从单个人类演示自动生成合成演示,在 Fetch 机器人多个操作任务及真实倒水任务中验证了其可扩展性和有效性。
2024-10-21 cs.RO
Stage Conscious Attention Network (SCAN) : A Demonstration-Conditioned Policy for Few-Shot Imitation
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Mobile Drive Technology
在Few-Shot模仿学习(FSIL)中,利用行为克隆(BC)技术解决未知任务,无需专家演示,是一个热门的研究方向。以下能力在机器人应用中是必不可少的:(1)在包含多个阶段的复合任务中表现。(2)从几个长度变化和未对准演示中检索知识。(3)向不同的专家学习。以前的工作无法同时实现这些能力。在这项工作中,我们进行FSIL问题的联合上述设置,并介绍了一种新的阶段意识的注意力网络(SCAN)检索知识,同时从几个演示。SCAN使用注意力模块来识别长度变化演示中的每个阶段。此外,它是在学习专家和代理之间的关系的示范条件下设计的。实验结果表明,SCAN可以从不同的专家学习,而无需微调,并在复杂的复合任务与可解释的可视化优于基线。
2021-12-04 cs.AI cs.RO
DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
Deakin Applied Artificial Intelligence Initiative(迪肯应用人工智能倡议)
本文提出DISEIL,通过有意选择失败模式和演示起点,用视觉-语言模型生成演示请求,在模拟任务中显著提升样本效率,实现高成功率。
2026-09-09 cs.AI cs.LG cs.RO
ReGIL: Retrieval-Guided Imitation Learning from a Single Demonstration
Aalto University(阿尔托大学)
提出ReGIL框架,将单一示范作为外部记忆,通过检索引导探索、生成正则化缓冲和构建奖励,在LIBERO和Meta-World基准及真实机器人任务中显著提升成功率和训练效率。
2026-06-08 cs.RO
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London(帝国理工学院)
提出自监督自主数据收集范式 MILES,仅用单个演示和单次环境重置即可学习机器人策略,并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO
Reinforced Imitation: Sample Efficient Deep Reinforcement Learning for Map-less Navigation by Leveraging Prior Demonstrations
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心)
这项工作提出了一个基于学习的方法为目标驱动的无地图导航的案例研究。底层导航模型是一个端到端的神经网络,它是使用专家演示,模仿学习(IL)和强化学习(RL)的组合进行训练。虽然RL和IL分别遭受大样本复杂性和分布失配问题,但我们表明,利用先前的专家演示进行预训练可以减少训练时间,以达到与普通RL相比至少相同的性能水平。我们提出了一个全面的评估专家演示,不同的RL算法和奖励函数的不同组合,无论是在模拟和一个真正的机器人平台上。我们的研究结果表明,最终的模型优于两个独立的方法在成功的导航任务的数量。此外,当使用预训练时,例如通过仅使用稀疏奖励,可以显著简化RL奖励函数。学习的导航策略能够推广到看不见的和真实世界的环境。
2018-08-31 cs.RO
Learning from demonstrations: An intuitive VR environment for imitation learning of construction robots
The University of British Columbia(不列颠哥伦比亚大学)
本文提出一个用于建筑机器人模仿学习的双模块框架,通过直观VR平台收集专家演示,并结合BC、GAIL与PPO进行策略训练,显著加速了训练过程并提升了策略性能。
2023-05-23 cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University(北京大学)
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展,但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中,我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题,其中我们假设没有手工制作的密集奖励,而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题,我们确定了几个关键问题,可以失败的以前的模仿学习算法,并阻碍了推广到看不见的实例。然后,我们提出了几个一般的,但关键的技术,包括生成对抗性自我模仿学习从示范,渐进增长的学习,和实例平衡专家缓冲区,准确地指出和解决这些问题,可以受益于类别级操作策略学习,无论任务。我们在ManiSkill基准上的实验表明,所有任务都有显着的改进,我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
Multi-Camera View Scaling for Data-Efficient Robot Imitation Learning
UC Berkeley(加州大学伯克利分校);Lambda, Inc(Lambda公司);MIT(麻省理工学院)
本文提出一种利用场景多样性提升机器人模仿学习数据效率的方法,通过摄像头视角缩放生成伪演示,增强视觉表示的视角不变性,并在仿真和现实任务中验证了其有效性。
2026-04-01 cs.CV cs.LG cs.RO
SynIL: Leveraging Synergy for Offline Imitation Learning from Imperfect Demonstration Datasets
Tohoku University(东北大学)
SynIL提出基于协同性的无标签演示质量评估框架,通过量化运动协同性生成密集奖励信号,在D4RL和Robomimic基准上超越行为克隆,媲美甚至优于真实奖励训练的离线强化学习。
2026-10-01 cs.AI cs.RO
Scaling Single Human Demonstrations for Imitation Learning using Generative Foundational Models
Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Zuse School ELIZA(泽乌斯学校ELIZA)
通过生成基础模型扩展单人示范用于模仿学习,实现从单人示范到机器人任务的高效训练与泛化
2026-02-13 cs.RO