A Geometric Perspective on Visual Imitation Learning
University of Alberta(阿尔伯塔大学)
我们考虑的问题,视觉模仿学习没有人的监督(如动觉教学或遥操作),也没有访问交互式强化学习(RL)的培训环境。我们提出了一个几何的角度来得出这个问题的解决方案。具体而言,我们提出了VGS-IL(视觉几何技能模仿学习),一个端到端的几何参数化的任务概念推理方法,推断全局一致的几何特征关联规则从人类演示视频帧。我们发现,而不是从图像像素学习动作,学习几何参数化的任务概念提供了一个可解释的和不变的表示在各种环境设置下的演示者模仿者。此外,这样的任务概念表示提供了与基于几何视觉的控制器(例如,视觉伺服)的直接链接,从而允许将高级任务概念高效映射到低级机器人动作。
2020-03-05 cs.LG cs.RO
Beyond State-as-Action: Exploiting Command-State Discrepancy for Robot Imitation Learning
本文提出命令-状态差异加权(CSDW)方法,利用命令与状态间的差异信息改进受限交互下的机器人模仿学习,无需阶段注释或架构改动,在真实机器人任务上验证了其有效性。
2026-09-30 cs.RO
Cross-Domain Imitation Learning via Optimal Transport
Berkeley AI Research(伯克利人工智能研究)
GWIL通过Gromov-Wasserstein距离实现跨领域模仿学习,有效对齐不同空间的状态,适用于连续控制领域。
2026-01-13 cs.AI cs.LG cs.RO
Watch and Match: Supercharging Imitation with Regularized Optimal Transport
New York University(纽约大学)
模仿学习在复杂决策问题的有效学习策略方面具有巨大的潜力。当前最先进的算法通常使用逆强化学习(IRL),其中给定一组专家演示,代理交替地推断奖励函数和相关联的最优策略。然而,这样的IRL方法往往需要大量的在线交互复杂的控制问题。在这项工作中,我们提出了正则化的最佳运输(ROT),一个新的模仿学习算法,建立在最佳运输的最新进展为基础的随机匹配。我们的关键技术见解是,自适应地将自动匹配奖励与行为克隆相结合,即使只有几个演示,也可以显着加速模仿。我们在DeepMind Control Suite、OpenAI Robotics Suite和Meta-World Benchmark上对20个视觉控制任务进行的实验表明,与现有最先进的方法相比,模仿速度平均提高了7.8倍,达到了专家性能的90%。在现实世界的机器人操作中,只需一次演示和一小时的在线培训,ROT在14项任务中的平均成功率为90.1%。
2023-02-20 cs.AI cs.CV cs.LG
Zero-Shot Offline Imitation Learning via Optimal Transport
ETH, Zürich, Switzerland(苏黎世联邦理工学院)
针对现有零样本模仿学习框架的短视行为问题,提出基于最优传输的方法,通过优化占用匹配目标、用世界模型近似占用度量,实现从离线次优数据学习的非短视零样本模仿,在连续基准测试中验证有效。
2025-06-12 cs.LG
Imitation Learning with Sinkhorn Distances
Imperial College London(帝国理工学院);University of Surrey(萨里大学)
模仿学习算法已被解释为分歧最小化问题的变体。在专家和学习者之间比较占用测量的能力对于他们从示范示教学习中学习的有效性至关重要。在本文中,我们提出了易于处理的解决方案,制定模仿学习之间的占用措施的Sinkhorn距离最小化。该配方结合了宝贵的性能的最佳运输指标比较非重叠的分布与余弦距离成本定义在一个adversarially学习的特征空间。这导致了一个高度区分的评论家网络和最佳的运输计划,随后指导模仿学习。我们评估所提出的方法使用奖励度量和Sinkhorn距离度量的MuJoCo实验的数量。有关实现和再现结果,请参考以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。
2022-07-02 cs.LG cs.RO stat.ML
Imitation Learning from Observation through Optimal Transport
McGill University(麦吉尔大学)
该研究提出一种简化的最优传输ILfO方法,无需学习模型或对抗学习即可生成奖励,可适配任意RL算法,在连续控制任务上超越现有最优水平,单条无动作专家轨迹即可实现专家级性能。
2024-10-03 cs.AI cs.LG cs.RO
Noise-Guided Transport for Imitation Learning
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
针对低数据场景下的模仿学习,提出噪声引导传输(NGT)方法,通过对抗训练将模仿问题转化为最优传输问题,无需预训练或特殊架构,在极低数据量下实现强性能。
2026-06-11 cs.AI cs.LG
Align Your Intents: Offline Imitation Learning via Optimal Transport
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute(人工智能研究院);University of California, Irvine(加州大学欧文分校)
离线强化学习(RL)通过预先收集的数据学习最优策略,而不与环境交互,从而解决顺序决策问题。到目前为止,它仍然有些不切实际,因为人们很少明确地知道奖励,而且很难追溯它。在这里,我们表明,模仿代理仍然可以学习所需的行为仅仅从观察专家,尽管没有明确的奖励或行动标签。在我们的方法AILOT(Aligned模仿学习via Optimal Transport)中,我们以一种意图的形式涉及状态的特殊表示,该意图在数据中包含成对的空间距离。给出这样的表示,我们定义内在的奖励函数通过最佳的专家和代理的轨迹之间的运输距离。我们报告说,AILOT在D4RL基准测试中的表现优于最先进的离线模仿学习算法,并通过在稀疏奖励任务中进行密集奖励重新标记来提高其他离线RL算法的性能。
2024-10-04 cs.AI cs.LG
Continuous Manifold-Decomposed Impedance Retargeting for Contact-Rich Imitation Learning
The University of Tokyo(东京大学)
提出CMDIR,将固定阻抗演示转化为连续变阻抗控制器,作为模仿学习监督,在真实接触任务中提升保留率并降低力波动,FastMPO加速5.8-9.4倍。
2026-09-15 cs.RO
ConceptACT: Episode-Level Concepts for Sample-Efficient Robotic Imitation Learning
Institute of Artificial Intelligence, Ulm University(人工智能研究所,乌尔姆大学);Institute of Neuroinformatics, Ulm University(神经信息研究所,乌尔姆大学)
ConceptACT通过整合事件级语义概念提升机器人模仿学习的样本效率,采用改进的Transformer架构实现概念感知的交叉注意力,实验表明其在收敛速度和样本效率上优于标准ACT。
2026-01-23 cs.LG cs.RO
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London(伦敦大学学院)
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷,提出基于多边缘最优传输距离的组合方法,可实现演示的合理几何平均,实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
Optimal Transport for Offline Imitation Learning
University College London(伦敦大学学院);Cohere(Cohere公司)
随着大型数据集的出现,离线强化学习(RL)是一种很有前途的框架,可以在不需要与真实环境交互的情况下学习良好的决策策略。然而,离线RL需要对数据集进行奖励注释,这在奖励工程很困难或获得奖励注释是劳动密集型时提出了实际挑战。在本文中,我们介绍了最佳运输奖励标签(OTR),一种将奖励分配给离线轨迹的算法,并提供了一些高质量的演示。OTR的关键思想是使用最佳传输来计算数据集中未标记轨迹与专家演示之间的最佳对齐,以获得可以解释为奖励的相似性度量,然后可以由离线RL算法用于学习策略。OTR易于实现,计算效率高。在D4RL基准测试中,我们证明了OTR与单个演示可以始终匹配离线RL的性能与地面真实奖励。
2023-03-24 cs.LG
JEPA Policy: Diffusion-Free Imitation Learning via Paired Action and Future Representation Prediction
Anyverse Dynamics
JEPA Policy通过配对动作与未来表示预测,在共享Transformer中交互,以无扩散方式提升模仿学习性能,降低延迟并优于现有基线。
2026-09-10 cs.RO
Semi-Supervised Cross-Domain Imitation Learning
Department of Computer Science, National Yang Ming Chiao Tung University(计算机科学系,国家阳明交通大学)
本文提出半监督跨领域模仿学习方法,通过结合监督与无监督学习,实现稳定且高效的数据驱动策略学习。
2026-02-11 cs.LG cs.RO
Zero-Shot Visual Imitation
UC Berkeley(加州大学伯克利分校)
当前模仿学习的主导范式依赖于对专家行为的强有力的监督,以学习模仿“什么”和“如何"。我们追求一种替代范式,其中代理人首先探索世界没有任何专家的监督,然后将其经验提炼成一个目标条件的技能政策与一个新的向前一致性损失。在我们的框架中,专家的作用只是传达目标(即,在推理过程中模仿什么)。然后采用所学习的策略来模仿专家(即,如何模仿)在看到一系列演示所需任务的图像后。我们的方法是“zero-shot”,在这个意义上,代理从来没有访问专家的行动在训练过程中或在推理的任务演示。我们评估我们的zero-shot模仿者在两个现实世界中的设置:复杂的绳索操作与巴克斯特机器人和导航在以前看不见的办公环境与TurtleBot。通过在VizDoom模拟中的进一步实验,我们提供了证据表明,更好的探索机制可以学习到更有能力的策略,从而提高最终任务的性能。视频、模型和更多详细信息,请访问https://pathak22.github.io/zeroshot-imitation/
2018-04-23 cs.AI cs.CV cs.LG
Imitation-regularized Optimal Transport on Networks: Provable Robustness and Application to Logistics Planning
Toyota Central R&D Labs., Inc.(丰田中央研究实验室有限公司);Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院);Frontier Research Center, Toyota Motor Corporation(丰田电机公司前沿研究中心)
本文提出模仿正则化最优传输(I-OT),将先验知识数学化地融入网络运输鲁棒性,并通过汽车零部件物流仿真验证其有效性与可解释性。
2025-05-06 cs.LG cs.SY eess.SY
AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations
Department of Electrical and Computer Engineering, University of California, Riverside, USA(电气与计算机工程系,加州大学河滨分校);Thomas Lord Department of Computer Science, University of Southern California, USA(汤姆斯·劳德计算机科学系,南加州大学)
AutoFocus-IL通过视觉语言模型自动生成显著性图,提升视觉模仿学习的数据效率和泛化能力,无需额外人类标注。
2025-11-25 cs.CV cs.RO
ReIL: A Framework for Reinforced Intervention-based Imitation Learning
Asian Institute of Technology(亚洲理工学院);The University of Tokyo(东京大学)
与传统的模仿学习方法如Dagger和DART相比,基于干预的模仿为用户提供了一个更方便和样本效率更高的数据汇集过程。在本文中,我们介绍了加强干预为基础的学习(ReIL),一个框架,包括一个一般的干预为基础的学习算法和多任务的模仿学习模型,旨在使非专家用户训练代理在真实的环境中很少监督或微调。ReIL通过一种算法实现了这一点,该算法结合了模仿学习和强化学习的优点,以及能够同时处理演示、过去经验和当前观察的模型。来自真实世界移动机器人导航挑战的实验结果表明,ReIL从稀疏监督校正中快速学习,而不会遭受性能恶化,这是基于监督学习的方法(如HG-匕首和IWR)的特征。结果还表明,与其他基于干预的方法(如IARL和EGPO)相比,ReIL可以利用任意的奖励函数进行训练,而无需任何额外的训练。
2022-03-29 cs.AI cs.LG cs.RO
Teleoperator Imitation with Continuous-time Safety
Princeton University(普林斯顿大学);Google Brain Robotics(谷歌大脑机器人)
学习有效地模仿人类遥控操作员,并将其推广到不可见和动态的环境中,这是一条有希望的道路,可以使机器人获得更大的自主权,使其能够从监督中稳步获得复杂的技能。我们提出了一种新的运动学习技术植根于收缩理论和平方和规划估计的控制律的形式,从一组给定的演示多项式向量场。值得注意的是,这个向量场是可证明的最佳问题的模仿损失最小化,同时提供连续时间的保证诱导模仿行为。我们的方法推广到新的初始和目标姿态的机器人,并可以在执行过程中实时适应动态障碍物,收敛到一个明确定义的安全管内的遥操作行为。我们提出了一个应用程序,我们的框架取放任务中存在的移动障碍物的7自由度库卡IIWA手臂。该方法相比,毫不逊色于其他学习从示范方法的基准手写模仿任务。
2019-05-23 cs.RO math.OC
Self-evolved Imitation Learning in Simulated World
College of Science and Engineering, Hamad Bin Khalifa University(1 科学与工程学院,哈马德·本·卡西姆大学);College of Computer Science and Technology, Zhejiang University(2 计算机科学与技术学院,浙江大学);Guangdong Provincial Key Laboratory of Sensing Physics and System Integration Applications(4 广东省传感物理与系统集成应用重点实验室)
提出自进化模仿学习框架SEIL,通过模拟器交互和双层增强及轨迹筛选,在少样本场景下实现LIBERO基准上的最先进性能。
2025-09-23 cs.AI cs.LG cs.RO
Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets
Stanford University(斯坦福大学)
提出行为检索方法,利用少量专家数据从未标注数据集中选择性查询相关行为,联合训练提升少样本模仿学习效果,在模拟和真实机器人任务中优于复杂目标条件方法20%。
2023-05-13 cs.AI cs.LG cs.RO
Transfering Hierarchical Structure with Dual Meta Imitation Learning
Tsinghua University(清华大学)
分层模仿学习(HIL)是一种有效的方法,机器人学习的子技能,从长期的地平线不分割的演示。然而,学习到的层次结构缺乏跨多任务或向新任务转移的机制,这使得他们在面对新情况时不得不从头开始学习。模块化子技能的迁移和重组需要整个层次结构的快速适应能力。在这项工作中,我们提出了双重Meta模仿学习(DMIL),一个分层的元模仿学习方法,其中的高级网络和子技能迭代元学习与模型无关的元学习。DMIL使用来自每个子技能的状态-动作对的可能性作为高级网络适配的监督,并且使用适配的高级网络来确定用于每个子技能适配的不同数据集。从理论上证明了DMIL迭代训练过程的收敛性,建立了DMIL与期望最大化算法之间的联系。从经验上讲,我们实现了最先进的Few-Shot模仿学习性能的元世界\cite{metaworld}基准和厨房环境的长期任务的竞争结果。
2022-02-19 cs.AI cs.RO
Latent Diffusion Planning for Imitation Learning
Stanford(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出潜在扩散规划(LDP),通过分离规划与动作预测,利用无动作和次优数据,在模拟视觉机器人操作任务上超越现有模仿学习方法。
2025-04-23 cs.AI cs.RO
Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion
Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);Coco Robotics(Coco机器人)
本文提出通过纠正行为扩展和多尺度模仿学习提升人行道微出行的鲁棒性和泛化能力,通过数据和模型双重改进解决传统模仿学习的局限。
2026-03-23 cs.CV cs.RO
Imitation from Observation: Learning to Imitate Behaviors from Raw Video via Context Translation
UC Berkeley(加州大学伯克利分校);OpenAI
模仿学习是一种有效的方法,自治系统获得控制策略时,显式的奖励功能是不可用的,使用监督提供的示范,从专家,通常是人类操作员。然而,标准的模仿学习方法假设代理接收可以提供给例如监督学习算法的观察-动作元组的示例。这与人类和动物的模仿方式形成鲜明对比:我们观察另一个人执行某种行为,然后找出哪些行为会实现该行为,补偿视角,环境,对象位置和类型以及其他因素的变化。我们将这种模仿学习称为“从观察中模仿”,并提出了一种基于上下文翻译和深度强化学习的视频预测的模仿学习方法。这提升了模仿学习中的假设,即演示应该包括在相同环境配置中的观察,并实现了各种有趣的应用,包括简单地通过观察人类工具使用的视频来学习涉及工具使用的机器人技能。我们的实验结果表明,我们的方法在学习广泛的现实世界中的机器人任务建模后,从视频的人类演示,包括扫地,舀杏仁,推物体以及一些任务的模拟。
2018-06-18 cs.AI cs.CV cs.LG
SurgVIL: Scaling Surgical Robot Imitation Learning with Open-source Surgical Videos
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA(英伟达公司)
SurgVIL框架结合带运动学标签的体模机器人演示与开源外科视频,以弱监督补充运动学标签,在达芬奇机器人任务上提升了策略对真实组织等场景的泛化能力,为外科机器人模仿学习提供了可扩展方案。
2026-09-29 cs.RO
Scalable Multi-Task Imitation Learning with Autonomous Improvement
UC Berkeley(加州大学伯克利分校);Robotics at Google(谷歌机器人);Stanford(斯坦福大学)
虽然机器人学习已经证明了使机器人能够自动获得新技能的有希望的结果,但部署基于学习的系统的关键挑战是规模:为机器人获得足够的数据以有效地广泛推广。特别是,模仿学习仍然是机器人学习的一种稳定而强大的方法,但严重依赖于专家操作员进行数据汇集。在这项工作中,我们针对这一挑战,旨在建立一个模仿学习系统,可以通过自主数据汇集不断改进,同时避免明确使用强化学习,以保持监督模仿的稳定性,简单性和可扩展性。为了实现这一目标,我们把自主改进的模仿问题转化为多任务设置。我们利用的洞察力,在多任务设置中,一个任务的失败尝试可能代表另一个任务的成功尝试。这使我们能够利用机器人自己的试验作为示范任务以外的机器人实际尝试。使用多任务演示数据的初始数据集,机器人自主地收集试验,这些试验仅稀疏地标记有试验是否完成任何有用任务的二进制指示。然后,我们将试验嵌入到学习的任务潜在空间中,仅使用初始演示数据集进行训练,以绘制各种试验之间的相似性,使机器人能够实现对新任务的一次性泛化。与先前的模仿学习方法相比,我们的方法可以自主收集稀疏监督的数据以进行持续改进,与强化学习算法相比,我们的方法可以有效地从稀疏的,任务不可知的奖励信号中进行改进。
2020-02-25 cs.LG cs.RO stat.ML
Spacetime Optimal-Transport Attention for Visuo-Haptic Imitation Learning of Contact-Rich Manipulation
Robotics Research Centre, School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore(机器人研究中心,机械与航空航天工程学院,南洋理工大学,新加坡);Wings Robotics(Wings机器人)
本文提出了一种三模态融合框架Spacetime Optimal-Transport Attention (SO-TA),通过熵正则化的最优传输对力-姿态衍生的子查询和视觉块进行对齐,以解决富接触操作中多模态信息融合的问题,并在真实机器人任务中实现了高成功率。
2026-05-19 cs.RO
Beyond Monotonic Progress: Retry-Supervised Value Learning for Robot Imitation
Tsinghua University(清华大学);University of Technology Sydney(技术科技大学);Microsoft Research Asia(微软亚洲研究院);KAIST(韩国科学技术院)
针对机器人模仿学习中演示数据包含错误与修正行为的问题,提出ReTVL框架,利用重试事件作为稀疏监督学习对错误敏感的值函数,通过全局进度校准与局部偏好学习捕捉错误-恢复结构,优化下游行为克隆。
2026-07-07 cs.RO
Imitation Learning from Observations by Minimizing Inverse Dynamics Disagreement
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文研究了从观察中学习(LfO)的模仿学习访问状态只有示范。与涉及行动和状态监督的示教学习(LfD)相比,LfO在利用以前不适用的资源(例如视频)方面更实用,但由于专家指导不完整,更具挑战性。本文从理论和实践两个方面探讨了LfO及其与LfD的区别。我们首先证明了LfD和LfO之间的差距实际上在于模仿者和专家之间的逆动力学模型的不一致,如果按照GAIL的建模方法。更重要的是,这个差距的上限是揭示了一个负的因果熵,可以在一个无模型的方式最小化。我们称我们的方法为逆动力学分歧最小化(IDM),它通过进一步弥合与LfD的差距来增强传统的LfO方法。具有挑战性的基准相当多的实证结果表明,我们的方法比其他LfO同行取得一致的改善。
2019-11-18 cs.AI cs.LG cs.RO
Generalizing to New Tasks via One-Shot Compositional Subgoals
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
在几乎没有监督的情况下推广到以前看不见的任务的能力是现代机器学习研究中的一个关键挑战。它也是未来“通用AI”的基石。任何部署在现实世界应用程序中的人工智能代理都必须适应未知的环境。研究人员经常依靠强化和模仿学习,通过试错学习来提供对新任务的在线适应。然而,对于需要许多时间步或大量子任务来完成的复杂任务来说,这可能具有挑战性。这些“长视野”任务的样本效率低下,可能需要非常长的训练时间之前,代理可以学习执行必要的长期规划。在这项工作中,我们引入CASE,试图通过训练一个模仿学习代理使用自适应“不久的将来”的子目标来解决这些问题。这些子目标在每一步使用组合算法在学习的潜在表示空间中重新计算。除了提高标准长期任务的学习效率外,这种方法还可以对以前看不见的任务执行一次性泛化,只要在不同环境中为任务提供单个参考轨迹。我们的实验表明,所提出的方法始终优于以前的国家的最先进的组合模仿学习方法的30%。
2022-07-25 cs.LG cs.RO
Model-Based Runtime Monitoring with Interactive Imitation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有交互式模仿学习方法需持续人工监督的问题,提出基于模型的运行时监控算法,通过学习隐空间动力学模型与故障分类器提前预测故障,减少人工工作量并提升任务成功率。
2023-10-26 cs.AI cs.LG cs.RO
ReGIL: Retrieval-Guided Imitation Learning from a Single Demonstration
Aalto University(阿尔托大学)
提出ReGIL框架,将单一示范作为外部记忆,通过检索引导探索、生成正则化缓冲和构建奖励,在LIBERO和Meta-World基准及真实机器人任务中显著提升成功率和训练效率。
2026-06-08 cs.RO
Flow-Matched Motion Priors: Online Optimal-Transport Rewards for Imitation Learning
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
针对模仿学习中对抗奖励在分布差异大时失效的问题,提出流匹配运动先验(FMP),利用最优传输耦合和流匹配神经势函数提供在线标量奖励,在Unitree G1上实现稳定行走并显著减少跌倒。
2026-09-15 cs.RO
Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
Tufts University, United States(美国塔夫茨大学);Austrian Institute of Technology, Austria(奥地利技术研究所);Human-Robot Interaction Lab(人机交互实验室)
针对模仿学习长时程任务数据需求高、泛化弱的问题,提出联合学习符号抽象与连续控制的少样本神经符号框架,仅需五次演示即可实现强泛化和可解释决策。
2025-08-29 cs.RO
One-Shot Hierarchical Imitation Learning of Compound Visuomotor Tasks
UC Berkeley(加州大学伯克利分校)
我们考虑的问题,学习多阶段的视觉为基础的任务在一个真正的机器人从一个单一的视频的人执行的任务,同时利用演示数据的子任务与其他对象。这一问题提出了若干重大挑战。没有遥操作的视频演示很容易为人类提供,但不提供任何直接的监督。从原始像素学习策略可以实现完全的通用性,但需要学习具有许多参数的大型函数逼近器。最后,复合任务可能需要不切实际的演示数据量,当被视为一个整体的技能。为了解决这些挑战,我们提出了一种方法,学习如何学习原始的行为,从视频演示和如何动态地组成这些行为来执行多阶段的任务,通过“看”一个人的演示。我们的研究结果模拟Sawyer机器人和真正的PR2机器人说明了我们的方法学习各种订单履行和厨房服务任务与新的对象和原始像素输入。
2018-10-25 cs.AI cs.CV cs.LG
Imitation Learning via Discrete and Rhythmic Primitive Composition
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对现有模仿学习方法无法泛化离散与节律运动的问题,提出神经动态组合框架,通过分阶段训练课程实现DMP的监督式组合,在2D手写和3D机器人任务上性能优于基线。
2026-10-14 cs.RO
Deep Learning of Robotic Tasks without a Simulator using Strong and Weak Human Supervision
Technion - Israel Institute of Technology(以色列理工学院)
我们提出了一个计划,培训计算机化的代理执行复杂的人类任务,如公路转向。该计划的目的是遵循自然的学习过程,其中一个人类教练教计算机化的学员。学习过程由五个要素组成:(i)无监督特征学习;(ii)有监督模仿学习;(iii)有监督奖励诱导;(iv)有监督安全模块构建;以及(v)强化学习。我们使用深度卷积网络实现了该方案的最后四个元素,并将其应用于成功创建一个能够在着名赛车游戏Assetto Corsa上自主驾驶高速公路的计算机化代理。我们证明,最后四个元素的使用是必不可少的,有效地进行转向任务,单独使用视觉,而无需访问驾驶模拟器内部,并在挂钟时间操作。这也可以通过引入安全网络来实现,这是一种防止代理在强化学习阶段执行灾难性错误的新方法。
2017-03-26 cs.AI cs.LG cs.RO
Density-Aware Federated Imitation Learning for Connected and Automated Vehicles with Unsignalized Intersection
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Information Science and Technology University(北京信息科技大学)
智能交通系统(ITS)已成为工业4.0的重要组成部分之一。效率作为智能交通系统的重要指标之一,受到了研究者的广泛关注。然而,由多个交通服务提供商承载的下一代城市交通可能会因隐私原因而禁止多个区域之间的原始数据交互,这在现有研究中容易被忽视。针对上述问题,提出了一种基于联邦学习的车辆控制框架,包括交互器、训练器和聚集器。此外,密度感知的模型聚合方法在此框架中使用,以改善车辆控制。此外,为了提高端到端学习算法在安全性方面的性能,本文提出了一种模仿学习算法,该算法可以从一组避碰规则中获得避碰能力。此外,还探索了一种损失感知的经验选择策略,通过额外的计算减少了交互者和训练者之间的通信开销。最后,实验结果表明,所提出的模仿学习算法具有避免碰撞的能力,并使不适感降低了55.71%。此外,密度感知的模型聚合可以进一步减少41.37%的不适,经验选择方案可以减少12.80%的通信开销,同时确保模型收敛。
2021-05-05 cs.MA cs.RO
Rethinking Mutual Information for Language Conditioned Skill Discovery on Imitation Learning
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
本文提出语言条件技能发现(LCSD)方法,通过向量量化和互信息最大化在无监督模仿学习中学习离散技能,并在多个语言条件机器人任务上验证其泛化性、可解释性和任务成功率优势。
2024-02-27 cs.AI cs.RO
Partial Motion Imitation for Learning Cart Pushing with Legged Manipulators
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种部分模仿学习方法,通过将运动风格从运动任务转移到推车运动中,实现稳定的运动与精确操作的结合,实验显示其在IsaacLab和MuJoCo中的有效性。
2026-03-27 cs.RO
Tri-Manual Visuomotor Imitation Learning of Robot Policies
研究针对三手动系统中操作员与机器人控制通道数量不匹配问题,提出TriManPolicy系统,核心是依赖感知三臂调度(DATS),能离线重调演示时间,训练单一同步策略,在现实任务中使策略协调更高效,改变手臂监督方式。
2026-08-12 cs.RO
Imitation Learning of Hierarchical Driving Model: from Continuous Intention to Continuous Trajectory
Zhejiang University(浙江大学)
减少机器和人类驾驶水平之间的差距的挑战之一是如何赋予系统学习能力,以处理环境,意图和动态的耦合复杂性。在本文中,我们提出了一个层次化的驾驶模型与连续意图和连续动力学的显式模型,这是在人类驾驶数据的观察到行动推理的复杂性。具体地,连续意图模块将由GPS和IMU获得的路线规划地图、来自RGB相机和LiDAR的感知作为输入,以生成用障碍物和意图编码的潜在地图,所述障碍物和意图被表达为基于网格的潜在。然后,潜在的地图被视为一个条件,连同当前的动态,生成一个连续的轨迹作为输出的连续函数逼近网络,其衍生物可以用于监督,而无需额外的参数。最后,我们在数据集和模拟器上验证了我们的方法,表明我们的方法具有更高的预测精度的位移和速度,并产生更平滑的轨迹。该方法也被部署在实车循环延迟,验证了其有效性。据我们所知,这是第一次使用连续函数逼近器网络来产生驾驶轨迹。
2021-01-09 cs.RO
Plan-Conditioned Imitation for Robust Object Retrieval under Self-Occlusion in Dense Clutter
Indian Institute of Technology Bombay(印度理工学院孟买分校);Rutgers University(罗格斯大学)
针对密集杂乱场景中自遮挡下的物体抓取,提出基于计划条件模仿的TRACE框架,利用数字孪生和教师-学生机制,在模拟和真实机器人上均取得高成功率并显著减少执行时间。
2026-10-01 cs.RO
Decentralized Real-Time Planning for Multi-UAV Cooperative Manipulation via Imitation Learning
Department for Cognitive Robotics, ME, Delft University of Technology(认知机器人系,代尔夫特理工大学)
针对多无人机协同吊运中集中式控制与通信依赖问题,提出基于模仿学习和物理信息神经网络的去中心化运动动力学规划方法,在无通信条件下达到接近集中式方法的性能。
2025-10-20 cs.RO
One-Shot Imitation under Mismatched Execution
Cornell University(康奈尔大学)
针对人机演示执行不匹配问题,提出RHyME框架,利用序列级最优传输自动配对轨迹并合成语义等价视频,无需配对数据,任务成功率提升超50%。
2025-03-28 cs.AI cs.LG cs.RO
Differentiating Bisimulation Metrics: A Framework for Parametric Markov Chain Fitting via Bicausal Optimal Transport
Universitat Pompeu Fabra(庞培法布拉大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出可微双因果最优传输(D-BOT)算法,通过将双模拟度量作为可微线性规划,利用包络定理求闭式梯度,交替优化以拟合参数马尔可夫链,适用于状态压缩、模型学习和模仿学习。
2026-09-30 cs.LG
MRIC: Model-Based Reinforcement-Imitation Learning with Mixture-of-Codebooks for Autonomous Driving Simulation
State Key Laboratory of Intelligent Green Vehicle and Mobility, School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 Mobility学院智能绿色车辆与交通全国重点实验室)
本文提出 MRIC 框架,结合可微仿真、双重策略正则化与时间抽象码本混合,提升自动驾驶仿真中异构智能体行为的多样性与真实性。
2024-04-29 cs.RO
AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies
Australian Center For Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心);College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院)
AutoIntervene是一种在线框架,通过校准的双向切换阈值在动作分块模仿学习策略与操作员间切换控制,提升了真实世界双臂操作任务的适应后成功率并降低了操作员控制时间。
2026-08-10 cs.AI cs.CV cs.HC
Unsupervised Reward Shaping for a Robotic Sequential Picking Task from Visual Observations in a Logistics Scenario
Boston University(波士顿大学);Pickle Robot Co.(Pickle机器人公司)
针对物流卸货的顺序拣选任务,本文提出一种基于专家观测的无监督奖励塑形算法,以降低强化学习对监督的依赖并提升其性能。
2023-05-27 cs.LG cs.RO cs.SY
WM-DAgger: Enabling Efficient Data Aggregation for Imitation Learning with World Models
Peking University(北京大学);JD Logistics(京东物流);Nankai University(南开大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Rutgers University(罗格斯大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Institut Polytechnique de Paris(巴黎综合理工学院)
本文提出WM-DAgger框架,利用世界模型合成OOD恢复数据,无需人工干预,提升机器人模仿学习效率,实验表明在少样本下显著提高任务成功率。
2026-04-13 cs.RO
Visual Imitation Learning of Non-Prehensile Manipulation Tasks with Dynamics-Supervised Models
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立研究开发法人产业技术综合研究所)
本文提出在视觉世界模型中加入刚体位置、速度和加速度的动力学映射监督,实验证明其可显著提升非抓握操作模仿学习性能及域内泛化。
2024-10-25 cs.RO
Asking for Help: Failure Prediction in Behavioral Cloning through Value Approximation
Stanford University(斯坦福大学);Everyday Robots(Everyday Robots公司);Waymo(Waymo公司)
端到端模仿学习方法的最新进展已经显示出在移动操作任务上有希望的结果和泛化能力。这些模型在现实世界中的部署越来越多,其中扩大规模需要机器人能够高度自主地操作,即需要尽可能少的人类监督。为了避免一对一的人工监督,机器人需要能够提前检测和预防策略失败,并寻求帮助,允许远程操作员监督多个机器人并在需要时提供帮助。然而,端到端模仿学习模型(如行为克隆)的黑盒性质,以及缺乏显式的状态值表示,使得难以预测故障。为此,我们引入行为克隆值近似(BCVA),学习状态价值函数的基础上,并与行为克隆策略,可用于预测故障的联合训练的方法。我们证明了BCVA的有效性,通过将其应用于具有挑战性的移动操作任务的锁门打开,表明我们可以识别故障场景,具有86%的准确率和81%的召回率,在超过2000个真实世界的运行,提高了10个障碍点的简单故障分类的基线。
2023-02-08 cs.AI cs.RO