Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习不同的技能是机器人技术的主要挑战之一。为此,模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行,以实现对个体行为的学习和主动控制,这限制了它们的适用性。在这项工作中,我们提出了一种合作对抗方法,通过最大限度地提高其可辨别性,从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外,我们表明,通过利用生成对抗模仿学习框架中的无监督技能发现,新的和有用的技能出现与成功的任务完成。最后,所获得的多功能的政策进行了测试,一个敏捷的四足机器人称为独奏8,并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
提出SAKI框架,从人类视频学习可复用物体中心技能,通过跨示范组装与全身运动学模仿,实现长时程移动操作,真实机器人实验验证技能复用与组合能力。
2026-09-30 cs.RO
Learning and Retrieval from Prior Data for Skill-based Imitation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);IIIS, Tsinghua(清华大学智能产业研究院);NVIDIA Research(英伟达研究院)
模仿学习为机器人学习通用行为提供了一条很有前途的途径,但由于高数据监督要求和脆弱的泛化能力,传统上表现出有限的可扩展性。受多任务模仿学习最新进展的启发,我们研究了使用以前的任务,以促进学习新的任务,在一个强大的,数据有效的方式。为了有效地利用先验数据,机器人必须从过去的经验中内化知识,并将这些知识应用于新的任务中。为此,我们开发了一个基于技能的模仿学习框架,该框架从先前数据中提取时间扩展的感觉运动技能,并随后学习调用这些学习技能的目标任务的策略。我们确定了几个关键的设计选择,显着提高性能的新任务,即表示学习目标,使更多的可预测的技能表示和检索为基础的数据增强机制,以增加监督范围的政策培训。在模拟和现实世界的操作域的集合上,我们证明了我们的方法显着优于现有的模仿学习和离线强化学习方法。视频和代码可在https://ut-austin-rpl.github.io/sailor上获得
2022-11-15 cs.LG cs.RO
Hierarchical Few-Shot Imitation with Skill Transition Models
University of California, Berkeley(加州大学伯克利分校)
自主智能体的一个理想特性是既能解决长期问题,又能推广到看不见的任务。数据驱动技能学习的最新进展表明,从离线数据中提取行为先验可以使智能体能够通过强化学习解决具有挑战性的长期任务。然而,在行为先前训练期间看不见的任务的泛化仍然是一个突出的挑战。为此,我们提出了Few-Shot Imitation with Skill Transition Models(FIST),这是一种从离线数据中提取技能并利用它们来概括看不见的任务的算法,给出了一些下游演示。FIST学习逆技能动态模型,距离函数,并利用半参数方法进行模仿。我们表明,FIST是能够推广到新的任务,并大大优于以前的基线导航实验需要穿越看不见的部分,一个大迷宫和7自由度的机械臂实验需要操纵以前看不见的物体在厨房里。
2022-03-10 cs.AI cs.LG cs.RO
SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
针对现有持续模仿学习忽视技能特性、知识迁移欠佳的问题,提出SPECI分层架构,通过技能码本与注意力机制实现技能复用,并引入模式近似增强任务迁移,实验全面超越现有方法。
2025-04-22 cs.LG cs.RO
Transfering Hierarchical Structure with Dual Meta Imitation Learning
Tsinghua University(清华大学)
分层模仿学习(HIL)是一种有效的方法,机器人学习的子技能,从长期的地平线不分割的演示。然而,学习到的层次结构缺乏跨多任务或向新任务转移的机制,这使得他们在面对新情况时不得不从头开始学习。模块化子技能的迁移和重组需要整个层次结构的快速适应能力。在这项工作中,我们提出了双重Meta模仿学习(DMIL),一个分层的元模仿学习方法,其中的高级网络和子技能迭代元学习与模型无关的元学习。DMIL使用来自每个子技能的状态-动作对的可能性作为高级网络适配的监督,并且使用适配的高级网络来确定用于每个子技能适配的不同数据集。从理论上证明了DMIL迭代训练过程的收敛性,建立了DMIL与期望最大化算法之间的联系。从经验上讲,我们实现了最先进的Few-Shot模仿学习性能的元世界\cite{metaworld}基准和厨房环境的长期任务的竞争结果。
2022-02-19 cs.AI cs.RO
Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning
Intelligent Autonomous Systems, TU Darmstadt, Germany(图腾达姆施塔特大学智能自主系统研究所);German Research Center for AI, Germany(德国人工智能研究中心);Hessian Centre for Artificial Intelligence, Germany(黑森州人工智能中心);Honda Research Institute EU, Germany(本田欧洲研究院)
本文提出一种神经符号模仿学习框架,通过学习符号表示将任务分解为子任务并利用符号规划生成抽象计划,进而学习神经技能将其转化为机器人命令,在模拟环境中提升了数据效率、泛化能力和可解释性。
2025-11-03 cs.AI cs.LG cs.RO
Robotic Imitation of Human Assembly Skills Using Hybrid Trajectory and Force Learning
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
机器人装配任务涉及复杂和低间隙的插入轨迹,在不同阶段具有不同的接触力。虽然名义上的运动轨迹可以很容易地从人的演示,通过动觉教学,遥操作,仿真,以及其他方法,力的轮廓是很难获得,特别是当一个真正的机器人是不可用的。即使使用物理引擎,在仿真中也很难获得真实的力分布。由于装配过程中的现实差距和不确定性,这种模拟的力分布往往不适合实际的机器人装配。为了解决这个问题,我们提出了一个基于学习的组合框架,通过混合轨迹学习和力学习来模仿人类的装配技能。这项工作的主要贡献是开发了一个框架,结合分层模仿学习,学习标称运动轨迹,与基于强化学习的力控制计划学习最佳的力控制政策,可以满足标称轨迹,同时适应装配任务的力要求。为了进一步改进模仿学习部分,我们开发了一个分层的架构,遵循目标条件模仿学习的思想,离线生成\textit{skill}级别的轨迹学习策略。通过实验验证,我们证实,所提出的基于学习的框架是强大的装配任务中的不确定性,可以生成高质量的轨迹,并可以找到合适的力控制政策,适应任务的力要求更有效。
2021-03-10 cs.RO
LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Peking University(北京大学)
LOTUS通过无监督技能发现和元控制器组合技能,使机器人仅凭少量演示即可持续学习新操作任务,成功率比现有最佳方法高11%以上。
2024-11-23 cs.CV cs.LG cs.RO
Rethinking Mutual Information for Language Conditioned Skill Discovery on Imitation Learning
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
本文提出语言条件技能发现(LCSD)方法,通过向量量化和互信息最大化在无监督模仿学习中学习离散技能,并在多个语言条件机器人任务上验证其泛化性、可解释性和任务成功率优势。
2024-02-27 cs.AI cs.RO
A Linearly Constrained Nonparametric Framework for Imitation Learning
Istituto Italiano di Tecnologia(意大利理工学院)
近年来,在模仿学习领域,从参数到非参数、从概率到非概率、从贝叶斯到频率论等方法,都有大量的先进成果被报道。同时,大量的应用程序(例如,抓取任务和人机协作)进一步显示了模仿学习在广泛领域中的适用性。虽然大量的文献致力于人类技能的学习在无约束的环境中,学习受限的运动技能的问题,然而,还没有得到同等的关注。事实上,受限技能广泛存在于机器人系统中。例如,当机器人被要求在板上写字时,其末端执行器轨迹必须符合板的平面约束。在本文中,我们的目标是解决问题的模仿学习与线性约束。具体来说,我们建议利用多个演示的概率特性,并随后将它们纳入一个线性约束的优化问题,最终导致非参数的解决方案。此外,我们的框架和经典的模型预测控制之间的连接。几个例子,包括模拟写作和运动任务,以显示我们的框架的有效性。
2019-09-15 cs.LG cs.RO stat.ML
T2S: Tokenized Skill Scaling for Lifelong Imitation Learning
School of Computer Science and Technology, East China Normal University, Shanghai 200062, China(东华大学计算机科学与技术学院);Shanghai Innovation Institute, Shanghai 200062, China(上海创新研究院);School of Informatics, Xiamen University, Xiamen, Fujian 361005, China(厦门大学信息学院)
T2S通过参数标记化与语言引导技能扩展,在终身模仿学习中同时缓解灾难性遗忘并高效扩展新技能,实验验证其低遗忘、低参数增长与高知识迁移性能。
2025-08-02 cs.LG cs.RO
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California(南加州大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统上,模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性,因为它们难以应用于现实世界的场景,其中机器人必须能够执行大量任务。在本文中,我们提出了一个多模态的模仿学习框架,能够分割和模仿技能,从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明,我们的方法可以有效地分离到个人技能的演示,并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
VICAR: Video Imitation with Contact-Aware Retargeting for Humanoid Interactive Skills
University of California, Berkeley(加州大学伯克利分校)
该研究提出VICAR框架,从第三人称人类视频学习人形机器人交互技能,通过接触感知重定向保留关键运动信息,经10类技能验证后成功部署到硬件,为机器人模仿学习提供新方案。
2026-10-12 cs.RO
Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation
University of California, Berkeley(加州大学伯克利分校);Embodied Intelligence;OpenAI;International Computer Science Institute (ICSI)(国际计算机科学研究所(ICSI))
模仿学习是机器人技能获取的一种有效方法。然而,获得适合于学习从原始像素映射到动作的策略的演示可能具有挑战性。在本文中,我们描述了消费级虚拟现实耳机和手跟踪硬件可以用来自然地遥控机器人执行复杂的任务。我们还描述了模仿学习如何学习深度神经网络策略(从像素到动作的映射),这些策略可以获得所展示的技能。我们的实验展示了我们的方法学习视觉技能的有效性。
2018-03-06 cs.LG cs.RO
One-Shot Robust Imitation Learning for Long-Horizon Visuomotor Tasks from Unsegmented Demonstrations
School of Computing, University of Leeds(利兹大学计算学院)
针对长时域视觉运动模仿依赖语义分段演示且易受扰动、遮挡影响的问题,提出MiLa框架,结合动态运动基元与元学习,实现未分段演示学习、单次演示泛化及鲁棒执行。
2024-10-02 cs.RO
EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance
School of Computing, University of Leeds(利兹大学计算机学院)
模仿学习作为机器人轨迹生成的一种简单易行的方法,已被视为机器人技能学习的一个重要方向。无约束模仿学习忽略了环境和机器人运动学/动力学可能产生的内部和外部约束,与此相反,约束模仿学习允许将人类技能转移到非结构化场景,进一步扩大了模仿学习的应用领域。虽然已经研究了各种约束,例如,关节限制,避障和平面约束,非线性硬约束的问题还没有得到很好的解决。在本文中,我们提出了扩展核化运动原语(EKMP),以应付大多数的关键问题,在模仿学习,包括非线性硬约束。具体来说,EKMP是能够学习的概率特性的多个演示,适应学习的技能对任意所需的关节位置和速度方面的点,避免障碍物的机器人链接的水平,以及满足任意的线性和非线性,等式和不等式硬约束。此外,EKMP和最先进的运动规划方法之间的联系进行了讨论。几个评估,包括规划关节轨迹的7自由度的机器人手臂,以验证我们的框架的有效性。
2021-03-12 cs.RO
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University(斯坦福大学);DeepMind(深度思维)
我们提出了一种无模型的深度强化学习方法,该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略,直接从RGB相机输入映射到关节速度。我们证明,我们的方法可以解决各种各样的可视化任务,工程脚本控制器将是费力的。在实验中,我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策,训练与大的视觉和动态变化,可以取得初步的成功,在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Contact Skill Imitation Learning for Robot-Independent Assembly Programming
FZI Research Center for Information Technology(FZI信息科技研究中心);IAR Institute for Anthropomatics and Robotics, HIS Humanoids and Intelligence Systems Lab, KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院(KIT)IAR人形机器人与机器人学研究所、HIS人形与智能系统实验室)
机器人自动化是技术进步的关键驱动力。然而,人类工人的技能很难编程,目前似乎无法与技术系统相匹配。在这项工作中,我们提出了一种数据驱动的方法,使用长短期记忆(LSTM)网络,从模拟环境中的人类演示中提取和学习机器人独立的接触技能。我们的模型学习从物体相对运动中生成任务空间中的力和扭矩的纠错序列,工业机器人通过笛卡尔力控制方案在实际设置中进行。该方案采用正动力学计算的虚拟条件孪生的机械手来解决逆运动学问题。我们评估我们的方法与装配实验,其中我们的算法处理部分倾斜和干扰,以取得成功。结果表明,该技能是强大的定位不确定性在任务空间和跨不同的关节配置的机器人。通过我们的方法,非专家可以轻松地以独立于机器人的方式编程力敏感装配任务。
2020-02-05 cs.RO
Do What I Want, Not What I Did: Imitation of Skills by Planning Sequences of Actions
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种从演示中学习的方法,用于从专家数据中进行接地操作,并使用这些操作在新环境中执行任务的算法。我们的方法是基于应用程序的采样为基础的运动规划搜索通过树的离散,高层次的行动从一个任务的象征性表示。递归采样为基础的规划是用来探索这些行动的可能的连续空间实例化的空间。我们证明了我们的方法的实用性与磁结构装配任务,表明机器人可以智能地选择在工作空间的不同部分,并在存在障碍物的一系列行动。这种方法可以更好地适应新的环境,为特定的环境选择正确的高层次的行动,同时考虑到人类的喜好。
2016-12-05 cs.RO
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习敏捷技能是机器人技术的主要挑战之一。为此,强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家,可以在模拟中查询,以提供一个目标控制输出,这限制了它们的适用性。在这项工作中,我们提出了一种生成对抗方法,用于从部分和潜在的物理不兼容的演示中推断奖励函数,以获得成功的技能,其中参考或专家演示不容易获得。此外,我们表明,通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入,我们能够提取的政策,是强大的,能够模仿演示的行为。最后,所获得的技能,如后空翻进行了测试,一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
One-Shot Visual Imitation Learning via Meta-Learning
University of California, Berkeley(加州大学伯克利分校);OpenAI
为了使机器人成为能够执行各种工作的多面手,它必须能够在复杂的非结构化环境中快速有效地获得各种技能。像深度神经网络这样的高容量模型可以让机器人表现复杂的技能,但是从头开始学习每一项技能就变得不可行了。在这项工作中,我们提出了一种Meta模仿学习方法,使机器人能够学习如何更有效地学习,使其能够从一个单一的演示获得新的技能。与以前的一次性模仿方法不同,我们的方法可以扩展到原始像素输入,并且需要来自显著较少的先前任务的数据来有效学习新技能。我们在模拟和真实机器人平台上的实验证明了从单个视觉演示中学习新任务的能力。
2017-09-14 cs.AI cs.CV cs.LG
Object Manipulation Learning by Imitation
University of Michigan(密歇根大学)
我们的目标是使机器人学习对象的操作模仿。鉴于外部对对象操作演示的观察,我们认为通过模仿学习要解决的两个根本问题是:1)将给定的演示分割为可以单独学习和重用的技能,以及2)制定正确的RL(强化学习)问题,该问题只考虑每个技能的相关方面,以便可以有效地学习每个技能的策略。以前的研究在这方面取得了一定的进展,但没有考虑到私人信息。公共信息是在外部观察演示中可用的信息,而私人信息是仅对执行动作的代理可用的信息,例如触觉。我们的贡献是,我们提供了一种方法,机器人自动分割成多个技能的对象操作的演示,并制定正确的RL问题,为每个技能,并自动决定是否私人信息是一个重要方面的基础上与世界的互动,每个技能。我们的实验表明,我们的机器人学会拿起一块,并通过模仿观察到的示范堆叠到另一块。评估是基于1)演示是否合理分段,2)是否制定了正确的RL问题,3)以及是否学习了良好的策略。
2017-11-19 cs.AI cs.RO
ScissorBot: Learning Generalizable Scissor Skill for Paper Cutting via Simulation, Imitation, and Sim2Real
Peking University(北京大学);Tsinghua University(清华大学)
针对可泛化机器人剪纸任务建模难的问题,提出ScissorBot方法,通过定制动作基元序列的模仿学习结合Sim2Real技术,在仿真与真实场景中性能均优于基线,达到人类单手操作水平。
2024-10-09 cs.RO
AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale
Robotics at Google(谷歌机器人部门);X, The Moonshot Factory(X(登月工厂));UC Berkeley(加州大学伯克利分校)
机器人技能可以通过模仿学习(IL)使用用户提供的演示来学习,或者通过强化学习(RL)使用大量自主收集的经验来学习。这两种方法都有互补的优点和缺点:RL可以达到高水平的性能,但需要探索,这可能非常耗时且不安全; IL不需要探索,只需要学习与所提供的演示一样好的技能。单一方法可以结合两种方法的优点吗?许多先前的方法旨在解决这个问题,提出了各种技术,整合IL和RL的元素。然而,将这些方法扩展到复杂的机器人技能,整合各种离线数据并将其推广到现实世界的场景仍然是一个重大挑战。在本文中,我们的目标是测试现有IL + RL算法的可扩展性,并设计一个系统的基础上详细的实证实验,结合现有的组件在themost有效和可扩展的方式。为此,我们提出了一系列的experimentsaimed在理解每个设计决策的影响,从而开发combined方法,可以利用示范和异构先验datato实现最佳性能的一系列现实世界和现实simulatedrobotic问题。我们的完整方法,我们称之为AW-Opt,结合了加权回归[1,2]和QT-Opt [3]的元素,为机器人操作集成演示和离线数据提供了统一的方法。请参阅https://awopt.github.io了解更多详细信息。
2021-11-11 cs.RO
PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions
Eurecat, Centre Tecnològic Catalunya, Robotics & Automation Unit(Eurecat,加泰罗尼亚技术中心,机器人与自动化单位)
PRISM通过人类指令优化机器人操作中的模仿策略,提升任务执行的鲁棒性和数据效率。
2026-03-05 cs.AI cs.RO
Cloud-Based Hierarchical Imitation Learning for Scalable Transfer of Construction Skills from Human Workers to Assisting Robots
University of Michigan(密歇根大学)
提出基于云机器人的虚拟演示框架,结合分层模仿学习分解人类操作技能,实现建筑技能从工人向辅助机器人的规模化迁移,减少重复演示并提升训练可信度。
2023-09-20 cs.AI cs.RO
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California(南加州大学);Meta AI;KAIST(韩国科学技术院);Georgia Tech(佐治亚理工学院)
我们提出了一种语义模仿的方法,该方法使用来自源域的演示,例如人类视频,以加速不同目标域中的强化学习(RL),例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作,而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境(例如从真实世界到模拟厨房)和代理实施例(例如从双手人类演示到机器人手臂)转移演示。我们评估了三个具有挑战性的跨域学习问题,并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中,我们的方法学习长视野机器人操作任务,使用不到3分钟的人类视频演示,从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习,例如,作为人类视频收集,以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
CasIL: Cognizing and Imitating Skills via a Dual Cognition-Action Architecture
Nanjing University(南京大学);Cardiff University(卡迪夫大学)
针对机器人长时序任务技能模仿难题,提出 CasIL 框架,以高层认知指导低层动作,并在多个基准和四足机器人任务中验证其鲁棒优势。
2023-09-28 cs.HC cs.LG cs.RO
Continuous Control of Diverse Skills in Quadruped Robots Without Complete Expert Datasets
Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院);Beijing Jingcheng Zhitong Robotics Technology Co.(北京京城智通机器人科技有限公司);Engineering Research Center of AI and Robotics(AI与机器人工程研究中心)
提出PASIST方法,利用GASIL框架和技能选择模块,无需完整专家数据集即可让四足机器人学习多样技能并实现平滑过渡,在仿真和Solo 8机器人上验证有效。
2025-03-05 cs.RO
Teaching a Robot Dog New Tricks: Diverse Quadruped Skills via Combined Reinforcement and Imitation Learning with Adversarial Task Selection
University of California at Santa Cruz(加州大学圣克鲁兹分校)
本文提出结合强化学习、模仿学习与对抗性任务选择的三阶段方法,训练单一策略完成22项四足任务,在Unitree B1机器人上验证了优于基线的性能与现实鲁棒性。
2026-10-09 cs.RO
Divide & Conquer Imitation Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出一种基于顺序归纳偏置的模仿学习方法,将复杂机器人任务分解为可串联的小技能,在仅有一个专家演示的极低数据条件下实现高样本效率的模仿学习。
2023-04-13 cs.AI cs.RO
NeuroCERIL: Robotic Imitation Learning via Hierarchical Cause-Effect Reasoning in Programmable Attractor Neural Networks
University of Maryland(马里兰大学);Syracuse University(雪城大学)
模仿学习允许社交机器人在没有大量手动编程的情况下从人类教师那里学习新技能,但机器人模仿学习系统很难像人类学习者那样概括演示的技能。当代模仿学习的神经计算方法以数据密集型训练为代价实现了有限的泛化,并且经常产生难以理解和调试的不透明模型。在这项研究中,我们探讨了开发纯神经控制器的社会机器人,学习模仿推理的潜在意图的演示行为的可行性。我们提出了NeuroCERIL,一个受大脑启发的神经认知架构,它使用一种新的假设演绎推理程序来产生可推广的和人类可读的解释。这种方法将自下而上的溯因推理与自上而下的预测验证相结合,并捕获了与广泛的认知领域相关的人类因果推理的重要方面。我们的实验结果表明,NeuroCERIL可以学习各种程序技能,在一个模拟的机器人模仿学习域。我们还表明,它的因果推理过程是计算效率高,它的记忆使用是由高度短暂的短期记忆,很像人类的工作记忆。我们的结论是,NeuroCERIL是一个可行的类人模仿学习的神经模型,可以提高人类与机器人的协作,并有助于人类认知的神经计算基础的调查。
2022-11-11 cs.AI cs.RO
M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning
CSIRO(联邦科学与工业研究组织);DATA61;Queensland University of Technology(昆士兰科技大学)
针对终身模仿学习中的分布偏移与灾难性遗忘问题,提出多模态蒸馏方法M2Distill,通过跨模态潜在表示对齐与GMM策略差异最小化,在LIBERO基准上全面超越现有方法。
2025-03-07 cs.AI cs.CV cs.LG
Offline Diversity Maximization Under Imitation Constraints
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);ETH Zurich(苏黎世联邦理工学院)
针对无监督技能发现方法需大量在线交互、难利用任务无关数据且缺技能效用量化指标的问题,提出带模仿约束的离线算法,结合Fenchel对偶等最大化互信息目标,在D4RL及12-DoF四足机器人数据集上验证有效且策略可迁移到真机。
2024-06-21 cs.AI cs.LG cs.RO
VLMimic: Vision Language Models are Visual Imitation Learner for Fine-grained Actions
Beijing Institute of Technology(北京理工大学);The University of Hong Kong(香港大学);Peking University(北京大学)
针对当前视觉模仿学习依赖预定义运动基元的瓶颈,该研究提出VLMimic范式,利用视觉语言模型从少量人类视频中学习细粒度动作技能,在多个任务上实现显著性能提升。
2024-10-31 cs.RO
Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Tianjin University(天津大学);Nvidia(英伟达)
从视觉数据中学习打开了一个潜力,通过利用人类示范,而不是指定每一个数学,而是通过自然的任务规范,积累了大量的操作行为。在本文中,我们提出了通过观看学习(LbW),策略学习的算法框架,通过模仿指定任务的单个视频。我们的方法的关键见解是双重的。首先,由于人类手臂可能不具有与机器人手臂相同的形态,因此我们的框架学习无监督的人到机器人翻译以克服形态不匹配问题。其次,为了捕获对学习状态表示至关重要的显著区域中的细节,我们的模型对翻译的机器人视频进行无监督的关键点检测。检测到的关键点形成包含语义上有意义的信息的结构化表示,并且可以直接用于计算奖励和策略学习。我们评估了我们的LbW框架在五个机器人操作任务上的有效性,包括达到,推动,滑动,咖啡制作和抽屉关闭。广泛的实验评估表明,我们的方法对国家的最先进的方法表现良好。
2021-11-14 cs.CV cs.LG cs.RO
OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation
UT Austin(德克萨斯大学奥斯汀分校);NVIDIA Research(英伟达研究院)
本文提出OKAMI方法,通过单个RGB-D视频演示利用对象感知重定向技术教人形机器人学习操作技能,在开放世界模仿中超越基线,并利用其轨迹训练闭环策略实现79.2%的平均成功率。
2024-10-15 cs.AI cs.CV cs.LG
NIL: No-data Imitation Learning by Leveraging Pre-trained Video Diffusion Models
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出NIL框架,利用预训练视频扩散模型生成的2D视频并结合视频嵌入距离与帧相似度奖励,引导3D运动技能模仿学习,在人形机器人运动任务上优于使用3D动捕数据的基线。
2025-03-13 cs.AI cs.CV cs.LG
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University(纽约大学)
虽然模仿学习为我们提供了一个有效的工具包来训练机器人,学习技能,是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中,我们提出了快速模仿人类技能(FISH),一种新的模仿学习方法,可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略,FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后,这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中,FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是,FISH被构造为通用的,这允许它在机器人形态(例如xArm,Allegro,Stretch)和相机配置(例如第三人称,手眼)中使用。我们对9个不同任务的实验评估表明,FISH的平均成功率为93%,比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
CRIL: Continual Robot Imitation Learning via Generative and Prediction Model
Tsinghua University(清华大学);Beijing Innovation Center for Future Chip(北京未来芯片创新中心)
模仿学习(IL)算法已经显示出机器人从专家演示中学习技能的有希望的结果。然而,他们需要同时提供多任务演示以获得不同的技能,这在现实世界中是困难的。本文研究如何实现机器人的持续模仿学习能力,使机器人能够不断地学习新任务,从而减轻多任务的学习负担,同时加快新任务的学习过程。我们提出了一种新的轨迹生成模型,该模型采用了生成对抗网络和动态感知预测模型,在新的任务学习过程中从所有学习到的任务中生成伪轨迹。我们在模拟和现实操作任务上的实验证明了我们方法的有效性。
2021-07-02 cs.AI cs.RO
Dual-Force: Enhanced Offline Diversity Maximization under Imitation Constraints
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院)
Dual-Force是一种离线算法,通过后继特征的VdW力目标和功能奖励编码,实现模仿约束下的多样化行为策略学习,在Solo12仿真任务中提升了性能与鲁棒性。
2026-08-03 cs.AI cs.LG cs.RO
Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation
ShanghaiTech University(上海科技大学)
提出AtomSkill框架,通过语义对比对齐和关键姿态想象,从演示中学习可重用原子技能,实现多任务机器人操作,优于现有方法。
2026-07-03 cs.RO
From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
RoboCopilot: Human-in-the-loop Interactive Imitation Learning for Robot Manipulation
University of California, Berkeley(加州大学伯克利分校)
本文提出RoboCopilot系统,通过柔顺双边遥操作实现人与自主策略的无缝控制切换,在双手操作任务中支持交互式人类教学,从而更高效地学习复杂操作技能。
2025-03-10 cs.RO
Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual Imitation Learning
Stanford University(斯坦福大学)
人类能够完成一系列具有挑战性的操作任务,这些任务需要对视觉、触觉和声音等模态进行联合推理。此外,许多这样的任务是部分观察到的;例如,从背包中取出笔记本将导致视觉遮挡,并需要对音频或触觉信息的历史进行推理。虽然在机器人上捕获鲁棒的触觉感知可能成本高昂,但机器人夹具附近或夹具上的麦克风是获取接触事件的音频反馈的廉价且简单的方法,这可能是在缺乏视觉的情况下感知的惊人有价值的数据源。出于声音缓解视觉遮挡的潜力,我们的目标是从视觉和音频输入中学习一组具有挑战性的部分观察到的操作任务。我们提出的系统学习这些任务相结合的离线模仿学习从一个适度数量的远程操作的演示和在线微调使用人类提供的干预。在一组模拟任务中,我们发现我们的系统受益于使用音频,并且通过使用在线干预,我们能够将离线模仿学习的成功率提高约20%。最后,我们发现我们的系统可以在Franka Panda机器人上完成一组具有挑战性的部分观察任务,例如从包中提取钥匙,成功率为70%,比不使用音频的策略高出50%。
2022-05-30 cs.LG cs.RO cs.SD
Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
Tufts University, United States(美国塔夫茨大学);Austrian Institute of Technology, Austria(奥地利技术研究所);Human-Robot Interaction Lab(人机交互实验室)
针对模仿学习长时程任务数据需求高、泛化弱的问题,提出联合学习符号抽象与连续控制的少样本神经符号框架,仅需五次演示即可实现强泛化和可解释决策。
2025-08-29 cs.RO
LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning
Department of Translational Surgical Oncology, NCT/UCC Dresden(转化外科肿瘤学系);Cluster of Excellence-CeTI, TUD, Germany(卓越中心-CeTI);Department of Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD, Germany(visceral、胸腔和血管外科系)
LAR-MoE通过潜在对齐路由在机器人模仿学习中实现无监督的专家混合,提升任务适应性和效率。
2026-03-09 cs.RO
To Follow or not to Follow: Selective Imitation Learning from Observations
University of Southern California(南加州大学)
示教学习是将技能从一个智能体转移到另一个智能体的有用方法。虽然大多数模仿学习方法旨在通过一步一步地跟随演示来模仿专家技能,但当学习者及其环境与演示不同时,模仿演示中的每一步往往变得不可行。在本文中,我们提出了一种方法,可以模仿演示组成的观察,这可能是不可重现的当前代理。我们的方法,被称为选择性模仿学习从观察(SILO),选择可达到的状态,在演示和学习如何达到选定的状态。我们在模拟和真实机器人环境中的实验表明,我们的方法可靠地执行一个新的任务,通过以下演示。视频和代码可在https://clvrai.com/silo上获得。
2019-12-16 cs.AI cs.LG cs.RO
Learning a Single Policy for Diverse Behaviors on a Quadrupedal Robot using Scalable Motion Imitation
Georgia Institute of Technology(佐治亚理工学院);Meta Platforms, Inc.(Meta平台公司)
四足机器人学习各种运动技能是一个具有挑战性的问题,需要仔细设计特定任务的数学模型或奖励描述。在这项工作中,我们提出使用深度强化学习通过模仿大量的参考运动来学习单个有能力的策略,包括行走,转弯,踱步,跳跃,坐着和躺着。在现有的运动模仿框架之上,我们首先仔细设计了观察空间,动作空间和奖励函数,以提高学习的可扩展性以及最终策略的鲁棒性。此外,我们采用了一种新的自适应运动采样(AMS)方法,它保持了成功和不成功的行为之间的平衡。这种技术允许学习算法专注于具有挑战性的运动技能,并避免灾难性遗忘。我们证明了学习的策略可以通过成功跟踪训练数据集和分布轨迹来在模拟中表现出不同的行为。我们还通过实验验证了所提出的学习公式和自适应运动采样方案的重要性。
2023-03-27 cs.RO
Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
我们通过技能发现来解决现实世界中的长视野机器人操作任务。我们提出了一个自自底向上的【形】的方法来学习一个库的可重复使用的技能,从未分割的演示,并使用这些技能来合成延长机器人的行为。我们的方法首先通过凝聚聚类从每个演示构建一个分层的任务结构。从多任务演示的任务结构中,我们识别技能的基础上的循环模式和训练目标条件的感觉运动策略与分层模仿学习。最后,我们训练一个Meta控制器来组合这些技能,以解决长期的操作任务。整个模型可以在30分钟内收集的一小组人类演示上进行训练,而无需进一步的注释,使其能够在现实世界中部署。我们系统地评估了我们的方法在模拟环境中,并在一个真正的机器人。我们的方法在多阶段操作任务中表现出优于最先进的模仿学习方法的性能。此外,与从单个任务中发现的技能相比,从多任务演示中发现的技能将平均任务成功率提高了$8\%$。
2022-01-22 cs.LG cs.RO
Vision-Language Grounded Task-Context-Aware Imitation Learning for Robotic Disassembly
University of Southern California(南加州大学)
本文提出一种结合语言任务上下文与视觉接地模仿学习的框架,解决机器人拆解中多任务长时程执行问题,无需显式标注,端到端成功率较基线提升35至75个百分点。
2026-09-17 cs.RO
Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出数据高效框架TRILL,通过VR界面收集人类演示,结合全身控制与高层动作抽象,解决高自由度仿人机器人移动操作技能的深度模仿学习难题,并在仿真和真实机器人上验证了其有效性。
2023-11-19 cs.RO
Language-Conditioned Imitation Learning with Base Skill Priors under Unstructured Data
Techinical University of Munich(慕尼黑工业大学);Chongqing University(重庆大学);University of Liverpool(利物浦大学);Sun Yat-sen University(中山大学)
针对语言条件机器人操作方法泛化性不足的问题,提出结合基础技能先验与非结构化数据模仿学习的通用方法,在模拟和真实零样本场景下均显著优于现有最优方法。
2024-09-12 cs.AI cs.RO