Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University(斯坦福大学);DeepMind(深度思维)
我们提出了一种无模型的深度强化学习方法,该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略,直接从RGB相机输入映射到关节速度。我们证明,我们的方法可以解决各种各样的可视化任务,工程脚本控制器将是费力的。在实验中,我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策,训练与大的视觉和动态变化,可以取得初步的成功,在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习敏捷技能是机器人技术的主要挑战之一。为此,强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家,可以在模拟中查询,以提供一个目标控制输出,这限制了它们的适用性。在这项工作中,我们提出了一种生成对抗方法,用于从部分和潜在的物理不兼容的演示中推断奖励函数,以获得成功的技能,其中参考或专家演示不容易获得。此外,我们表明,通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入,我们能够提取的政策,是强大的,能够模仿演示的行为。最后,所获得的技能,如后空翻进行了测试,一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
One-Shot Visual Imitation Learning via Meta-Learning
University of California, Berkeley(加州大学伯克利分校);OpenAI
为了使机器人成为能够执行各种工作的多面手,它必须能够在复杂的非结构化环境中快速有效地获得各种技能。像深度神经网络这样的高容量模型可以让机器人表现复杂的技能,但是从头开始学习每一项技能就变得不可行了。在这项工作中,我们提出了一种Meta模仿学习方法,使机器人能够学习如何更有效地学习,使其能够从一个单一的演示获得新的技能。与以前的一次性模仿方法不同,我们的方法可以扩展到原始像素输入,并且需要来自显著较少的先前任务的数据来有效学习新技能。我们在模拟和真实机器人平台上的实验证明了从单个视觉演示中学习新任务的能力。
2017-09-14 cs.AI cs.CV cs.LG
SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
针对现有持续模仿学习忽视技能特性、知识迁移欠佳的问题,提出SPECI分层架构,通过技能码本与注意力机制实现技能复用,并引入模式近似增强任务迁移,实验全面超越现有方法。
2025-04-22 cs.LG cs.RO
LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Peking University(北京大学)
LOTUS通过无监督技能发现和元控制器组合技能,使机器人仅凭少量演示即可持续学习新操作任务,成功率比现有最佳方法高11%以上。
2024-11-23 cs.CV cs.LG cs.RO
T2S: Tokenized Skill Scaling for Lifelong Imitation Learning
School of Computer Science and Technology, East China Normal University, Shanghai 200062, China(东华大学计算机科学与技术学院);Shanghai Innovation Institute, Shanghai 200062, China(上海创新研究院);School of Informatics, Xiamen University, Xiamen, Fujian 361005, China(厦门大学信息学院)
T2S通过参数标记化与语言引导技能扩展,在终身模仿学习中同时缓解灾难性遗忘并高效扩展新技能,实验验证其低遗忘、低参数增长与高知识迁移性能。
2025-08-02 cs.LG cs.RO
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California(南加州大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统上,模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性,因为它们难以应用于现实世界的场景,其中机器人必须能够执行大量任务。在本文中,我们提出了一个多模态的模仿学习框架,能够分割和模仿技能,从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明,我们的方法可以有效地分离到个人技能的演示,并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation
University of California, Berkeley(加州大学伯克利分校);Embodied Intelligence;OpenAI;International Computer Science Institute (ICSI)(国际计算机科学研究所(ICSI))
模仿学习是机器人技能获取的一种有效方法。然而,获得适合于学习从原始像素映射到动作的策略的演示可能具有挑战性。在本文中,我们描述了消费级虚拟现实耳机和手跟踪硬件可以用来自然地遥控机器人执行复杂的任务。我们还描述了模仿学习如何学习深度神经网络策略(从像素到动作的映射),这些策略可以获得所展示的技能。我们的实验展示了我们的方法学习视觉技能的有效性。
2018-03-06 cs.LG cs.RO
A Linearly Constrained Nonparametric Framework for Imitation Learning
Istituto Italiano di Tecnologia(意大利理工学院)
近年来,在模仿学习领域,从参数到非参数、从概率到非概率、从贝叶斯到频率论等方法,都有大量的先进成果被报道。同时,大量的应用程序(例如,抓取任务和人机协作)进一步显示了模仿学习在广泛领域中的适用性。虽然大量的文献致力于人类技能的学习在无约束的环境中,学习受限的运动技能的问题,然而,还没有得到同等的关注。事实上,受限技能广泛存在于机器人系统中。例如,当机器人被要求在板上写字时,其末端执行器轨迹必须符合板的平面约束。在本文中,我们的目标是解决问题的模仿学习与线性约束。具体来说,我们建议利用多个演示的概率特性,并随后将它们纳入一个线性约束的优化问题,最终导致非参数的解决方案。此外,我们的框架和经典的模型预测控制之间的连接。几个例子,包括模拟写作和运动任务,以显示我们的框架的有效性。
2019-09-15 cs.LG cs.RO stat.ML
Offline Diversity Maximization Under Imitation Constraints
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);ETH Zurich(苏黎世联邦理工学院)
针对无监督技能发现方法需大量在线交互、难利用任务无关数据且缺技能效用量化指标的问题,提出带模仿约束的离线算法,结合Fenchel对偶等最大化互信息目标,在D4RL及12-DoF四足机器人数据集上验证有效且策略可迁移到真机。
2024-06-21 cs.AI cs.LG cs.RO
M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning
CSIRO(联邦科学与工业研究组织);DATA61;Queensland University of Technology(昆士兰科技大学)
针对终身模仿学习中的分布偏移与灾难性遗忘问题,提出多模态蒸馏方法M2Distill,通过跨模态潜在表示对齐与GMM策略差异最小化,在LIBERO基准上全面超越现有方法。
2025-03-07 cs.AI cs.CV cs.LG
Skill Disentanglement for Imitation Learning from Suboptimal Demonstrations
the Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(NEC美国实验室);East China Normal University(华东师范大学)
针对模仿学习需大量高质量演示的难题,提出一种在子演示层面评估模仿的技能解耦方法,通过两阶段训练与互信息正则化等设计,在gym环境和医疗数据集上实现了更优的次优演示学习效果与可解释性。
2023-06-13 cs.LG
Lifelong Learning using Eigentasks: Task Separation, Skill Acquisition, and Selective Transfer
SRI International(SRI国际)
我们介绍了终身学习的特征任务框架。特征任务是解决一组相关任务的技能配对,与可以从技能的输入空间中采样的生成模型配对。该框架扩展了生成重放方法,主要用于避免灾难性遗忘,也可以解决其他终身学习目标,如向前知识转移。在我们的框架中,我们提出了一个交替任务学习和知识巩固学习的唤醒-睡眠周期,并将其实例化为终身监督学习和终身RL。我们在监督持续学习中实现了最先进的性能改进,并在游戏星际争霸2中的终身RL应用中显示了向前知识转移的证据。
2020-07-14 cs.AI cs.CV cs.LG
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California(南加州大学);Meta AI;KAIST(韩国科学技术院);Georgia Tech(佐治亚理工学院)
我们提出了一种语义模仿的方法,该方法使用来自源域的演示,例如人类视频,以加速不同目标域中的强化学习(RL),例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作,而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境(例如从真实世界到模拟厨房)和代理实施例(例如从双手人类演示到机器人手臂)转移演示。我们评估了三个具有挑战性的跨域学习问题,并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中,我们的方法学习长视野机器人操作任务,使用不到3分钟的人类视频演示,从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习,例如,作为人类视频收集,以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
Dual-Force: Enhanced Offline Diversity Maximization under Imitation Constraints
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院)
Dual-Force是一种离线算法,通过后继特征的VdW力目标和功能奖励编码,实现模仿约束下的多样化行为策略学习,在Solo12仿真任务中提升了性能与鲁棒性。
2026-08-03 cs.AI cs.LG cs.RO
Curriculum-Based Imitation of Versatile Skills
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对多模态人类演示导致最大似然模仿出现模式平均的问题,提出带数据权重与熵奖励的课程学习及MoE扩展,在仿真和真实机器人任务中显著优于现有SOTA。
2023-04-11 cs.LG
Automated discovery of symbolic laws governing skill acquisition from naturally occurring data
National Engineering Research Center of Educational Big Data, Central China Normal University(华中师范大学教育大数据国家工程研究中心);Faculty of Artificial Intelligence in Education, Central China Normal University(华中师范大学人工智能教育学部);National Engineering Research Center for E-learning, Central China Normal University(华中师范大学国家数字化学习工程技术研究中心)
本文提出一种两阶段算法,结合深度学习与符号回归,从大规模训练日志中自动发现技能习得定律,并在Lumosity数据上验证了其有效性和优越性。
2024-05-27 cs.AI cs.LG
OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation
UT Austin(德克萨斯大学奥斯汀分校);NVIDIA Research(英伟达研究院)
本文提出OKAMI方法,通过单个RGB-D视频演示利用对象感知重定向技术教人形机器人学习操作技能,在开放世界模仿中超越基线,并利用其轨迹训练闭环策略实现79.2%的平均成功率。
2024-10-15 cs.AI cs.CV cs.LG
NIL: No-data Imitation Learning by Leveraging Pre-trained Video Diffusion Models
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出NIL框架,利用预训练视频扩散模型生成的2D视频并结合视频嵌入距离与帧相似度奖励,引导3D运动技能模仿学习,在人形机器人运动任务上优于使用3D动捕数据的基线。
2025-03-13 cs.AI cs.CV cs.LG
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University(纽约大学)
虽然模仿学习为我们提供了一个有效的工具包来训练机器人,学习技能,是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中,我们提出了快速模仿人类技能(FISH),一种新的模仿学习方法,可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略,FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后,这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中,FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是,FISH被构造为通用的,这允许它在机器人形态(例如xArm,Allegro,Stretch)和相机配置(例如第三人称,手眼)中使用。我们对9个不同任务的实验评估表明,FISH的平均成功率为93%,比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Reference Grounded Skill Discovery
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
RGSD通过语义有意义的潜在空间实现技能发现,有效模仿和发现多样行为,在运动任务中优于模仿学习基线。
2026-03-01 cs.AI cs.LG
To Follow or not to Follow: Selective Imitation Learning from Observations
University of Southern California(南加州大学)
示教学习是将技能从一个智能体转移到另一个智能体的有用方法。虽然大多数模仿学习方法旨在通过一步一步地跟随演示来模仿专家技能,但当学习者及其环境与演示不同时,模仿演示中的每一步往往变得不可行。在本文中,我们提出了一种方法,可以模仿演示组成的观察,这可能是不可重现的当前代理。我们的方法,被称为选择性模仿学习从观察(SILO),选择可达到的状态,在演示和学习如何达到选定的状态。我们在模拟和真实机器人环境中的实验表明,我们的方法可靠地执行一个新的任务,通过以下演示。视频和代码可在https://clvrai.com/silo上获得。
2019-12-16 cs.AI cs.LG cs.RO
CasIL: Cognizing and Imitating Skills via a Dual Cognition-Action Architecture
Nanjing University(南京大学);Cardiff University(卡迪夫大学)
针对机器人长时序任务技能模仿难题,提出 CasIL 框架,以高层认知指导低层动作,并在多个基准和四足机器人任务中验证其鲁棒优势。
2023-09-28 cs.HC cs.LG cs.RO
Computational Red Teaming in a Sudoku Solving Context: Neural Network Based Skill Representation and Acquisition
School of Engineering and Information Technology University of New South Wales (Canberra Campus), Australia(澳大利亚新南威尔士大学堪培拉校区工程与信息技术学院)
在本文中,我们提供了一个洞察技能表示,技能表示被视为计算红队测试过程中的技能评估阶段的一个重要组成部分。技能表示的背景下,证明了数独难题,真正的人类技能,在数独解决,随着他们的收购,计算表示在一个认知上合理的方式,通过使用前馈神经网络与反向传播,和监督学习。然后,将基于神经网络的技能与硬编码的约束传播计算数独求解器耦合,其中求解序列保持硬编码,并且技能通过神经网络表示。本文表明,修改后的求解器可以达到不同的熟练程度,这取决于通过神经网络获得的技能量。结果是令人鼓舞的发展更复杂的技能和技能获取模型,可用于一般框架相关的技能评估方面的计算红队测试。
2018-02-27 cs.LG cs.NE
Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文系统综述了自为目的强化学习中基于知识与能力的内在动机,提出在无奖励MDP框架下通过IMGEPs实现自主目标生成与技能掌握,并给出评估探索、泛化与鲁棒性的指标。
2025-02-06 cs.AI cs.LG
Estimating Learners' Skill Acquisition Without Temporal Information
Kyoto University(京都大学);Inria(法国国家信息与自动化技术研究院)
提出一种仅利用快照数据预测技能习得的框架,通过认知诊断模型估计技能掌握模式,利用技能集包含关系诱导伪时间顺序,并引入神经网络模型捕捉潜在技能习得动态。
2026-06-23 cs.CY cs.LG
Learning Representative Trajectories of Dynamical Systems via Domain-Adaptive Imitation
German Aerospace Center (DLR)(德国航空航天中心(DLR))
本文提出深度强化学习智能体 DATI,利用循环一致生成对抗方法实现领域自适应轨迹模仿,并在合成轨迹与海上交通异常检测中验证其优势与泛化性。
2023-04-19 cs.AI cs.LG cs.RO
Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Tianjin University(天津大学);Nvidia(英伟达)
从视觉数据中学习打开了一个潜力,通过利用人类示范,而不是指定每一个数学,而是通过自然的任务规范,积累了大量的操作行为。在本文中,我们提出了通过观看学习(LbW),策略学习的算法框架,通过模仿指定任务的单个视频。我们的方法的关键见解是双重的。首先,由于人类手臂可能不具有与机器人手臂相同的形态,因此我们的框架学习无监督的人到机器人翻译以克服形态不匹配问题。其次,为了捕获对学习状态表示至关重要的显著区域中的细节,我们的模型对翻译的机器人视频进行无监督的关键点检测。检测到的关键点形成包含语义上有意义的信息的结构化表示,并且可以直接用于计算奖励和策略学习。我们评估了我们的LbW框架在五个机器人操作任务上的有效性,包括达到,推动,滑动,咖啡制作和抽屉关闭。广泛的实验评估表明,我们的方法对国家的最先进的方法表现良好。
2021-11-14 cs.CV cs.LG cs.RO
RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
Stanford University(斯坦福大学)
模仿学习通过解决强化学习的缺点,如探索和奖励规范,使机器人操作任务的学习取得了最新进展。然而,在这方面的研究一直局限于中等规模的数据集,由于难以收集大量的任务演示通过现有的机制。本文介绍了RoboTurk来应对这一挑战。RoboTurk是一个众包平台,用于通过使用广泛可用的移动设备(例如iPhone)进行高质量的基于6自由度轨迹的远程操作。我们评估RoboTurk的三个不同的时间尺度(15- 120秒)的操作任务,并观察到我们的用户界面是统计上类似的专用硬件,如虚拟现实控制器的任务完成时间。此外,我们观察到,网络条件差,如低带宽和高延迟的链接,并没有实质性地影响远程用户的能力,成功地执行任务演示RoboTurk。最后,我们通过收集一个试点数据集来展示RoboTurk的功效;使用RoboTurk,我们从远程工作人员那里收集了137.5小时的操作数据,在22小时的总系统使用中,成功完成了2200多个任务演示。我们表明,通过RoboTurk获得的数据,使策略学习的多步操作任务与稀疏奖励,并在策略学习过程中使用大量的演示提供了学习的一致性和最终性能方面的好处。有关其他结果、视频和下载我们的试点数据集,请访问$\href{http://roboturk.stanford.edu/}{\texttt{roboturk.stanford.edu}}$
2018-11-07 cs.AI cs.LG cs.RO
ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning
Department of Cognitive Robotics(认知机器人学系);Delft University of Technology(代尔夫特理工大学);Department of Computer Science(计算机科学系);RWTH Aachen University(亚琛工业大学)
ASkDAgger框架通过利用新手计划中的不确定性信息,结合三种机制减少交互式模仿学习中的查询次数,提升泛化与适应能力,并在模拟和真实环境中验证有效性。
2025-08-07 cs.AI cs.HC cs.LG
Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual Imitation Learning
Stanford University(斯坦福大学)
人类能够完成一系列具有挑战性的操作任务,这些任务需要对视觉、触觉和声音等模态进行联合推理。此外,许多这样的任务是部分观察到的;例如,从背包中取出笔记本将导致视觉遮挡,并需要对音频或触觉信息的历史进行推理。虽然在机器人上捕获鲁棒的触觉感知可能成本高昂,但机器人夹具附近或夹具上的麦克风是获取接触事件的音频反馈的廉价且简单的方法,这可能是在缺乏视觉的情况下感知的惊人有价值的数据源。出于声音缓解视觉遮挡的潜力,我们的目标是从视觉和音频输入中学习一组具有挑战性的部分观察到的操作任务。我们提出的系统学习这些任务相结合的离线模仿学习从一个适度数量的远程操作的演示和在线微调使用人类提供的干预。在一组模拟任务中,我们发现我们的系统受益于使用音频,并且通过使用在线干预,我们能够将离线模仿学习的成功率提高约20%。最后,我们发现我们的系统可以在Franka Panda机器人上完成一组具有挑战性的部分观察任务,例如从包中提取钥匙,成功率为70%,比不使用音频的策略高出50%。
2022-05-30 cs.LG cs.RO cs.SD
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria(法国国家信息与自动化研究所);Ensta-ParisTech(巴黎高等先进技术学院)
自动和有效地发现技能,没有监督,长寿的自主智能体,仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制,以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角,在模拟和现实世界的实验中都取得了可喜的成果。直到最近,这些算法还局限于实验者知识的领域,因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展,使设计这些特征提取器的新方法成为可能,直接使用代理经验。最近的工作表明,这些方法在简单但具有挑战性的模拟领域的潜力。在本文中,我们提出了最近的结果,显示了这些原则在现实世界的机器人设置中的适用性,其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
Logic Before Language: Pre-pretraining on Formal Derivations Fosters Skill Acquisition and Compressibility
该研究提出Logic-PPT策略,通过形式推导预预训练语言模型,可加速技能获取、提升性能,还能增强模型可压缩性,在少用36B token时达80%准确率,33%稀疏度下匹配密集基线性能。
2026-08-05 cs.AI cs.CL cs.LG
Skills Made to Order: Efficient Acquisition of Robot Cooking Skills Guided by Multiple Forms of Internet Data
Carnegie Mellon University(卡内基梅隆大学);Robotics Institute(机器人研究所)
针对从互联网数据学习富接触工具使用技能的挑战,本文提出从一组模板机器人行为中进行选择而非生成低级行为,结合 LLM、视频编码器和光流编码器三种方法,利用多源互联网数据协同作用构建的模板选择器在16项烹饪技能上实现了79%的成功率。
2024-09-23 cs.AI cs.LG cs.RO
Offline Imitation Learning Through Graph Search and Retrieval
UC Berkeley(加州大学伯克利分校)
提出GSR算法,通过图搜索和检索从次优演示中学习,在模拟和真实机器人操作任务中显著提升成功率和熟练度,克服了离线深度强化学习的不稳定性。
2024-07-22 cs.AI cs.LG cs.RO
Mimicking the Maestro: Exploring the Efficacy of a Virtual AI Teacher in Fine Motor Skill Acquisition
IBM Research - Israel(IBM以色列研究院);Newcastle University(纽卡斯尔大学);Universita’ Campus Bio-Medico di Roma(罗马生物医学大学)
本研究提出一个模拟人类教师特征的虚拟AI教师模型,并在强化学习环境中验证其能显著提升精细运动技能学习表现、加快习得速度并降低结果变异,展示了AI与机器人技术革新运动技能教学的潜力。
2024-01-24 cs.LG
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine(加州大学欧文分校);Google Research(谷歌研究院)
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习(RL)方面表现出了希望。直观地说,这些方法也应该有助于训练安全RL代理,因为它们强制使用有用的技能。然而,我们发现这些技术并不适合安全的策略学习,因为它们忽略了负面经验(例如,不安全或不成功),只关注积极的经验,这会损害他们安全地概括新任务的能力。相反,我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext,包括消极和积极的经验。使用这个后期变量,我们的RL框架,SAFEty skill pRiors(SAFER)提取特定于任务的安全原始技能,以安全并成功地推广到新任务。在推理阶段,使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习,并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作,其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(NVIDIA研究)
针对机器人长期操纵挑战,ReinforceGen系统结合任务分解、数据生成、模仿学习与运动规划形成初始方案,经强化学习微调,在Robosuite数据集基准测试中成功率达80%,消融研究显示微调使性能平均提升89%,实际评估也有显著改进。
2026-07-13 cs.AI cs.LG cs.RO
Mixing Backward- with Forward-Chaining for Metacognitive Skill Acquisition and Transfer
North Carolina State University(北卡罗来纳州立大学)
元认知技能通常与未来在演绎领域学习的准备有关。许多研究者认为策略意识和时间意识是两种元认知技能,分别解决如何和何时使用问题解决策略。结果表明,学生谁是战略和时间意识(StrTime)优于他们的nonStrTime同行在演绎域。在这项工作中,学生们接受了逻辑导师的培训,该导师支持默认的前向链接(FC)和后向链接(BC)策略。我们调查了BC与FC混合对nonStrTime学生的教学策略和时间意识的影响。在逻辑教学过程中,实验班学生通过两个逻辑推理实例和逻辑推理中的一些问题,练习如何以及何时使用逻辑推理。与此同时,他们的对照组(Ctrl)和StrTime同龄人没有接受这样的干预。六个星期后,所有的学生都经历了一个概率导师,只支持BC评估是否收购元认知技能是从逻辑转移。我们的结果表明,在两个导师上,Exp的表现都优于Ctrl,并赶上了StrTime。
2023-03-18 cs.AI cs.HC cs.LG
Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
Latent Plans for Task-Agnostic Offline Reinforcement Learning
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
日常任务的长视野,包括一系列的多个隐式子任务仍然是离线机器人控制的一个重大挑战。虽然许多现有方法旨在通过模仿和离线强化学习的变体来解决这种设置,但学习的行为通常很窄,并且通常难以达到可配置的长期目标。由于这两种范式具有互补的优势和劣势,我们提出了一种新的分层方法,结合了这两种方法的优势,从高维相机观察中学习任务不可知的长视野策略。具体地说,我们结合了一个低层次的政策,学习潜在的技能,通过模仿学习和高层次的政策,从离线强化学习技能链的潜在行为先验。在各种模拟和真实的机器人控制任务的实验表明,我们的配方能够产生以前看不见的技能组合,以达到暂时延长的目标,通过“缝合”在一起的潜在技能,通过目标链与一个数量级的性能改进后,国家的最先进的基线。我们甚至在现实世界中学习了25个不同操作任务的多任务可视化策略,其性能优于模仿学习和离线强化学习技术。
2022-09-19 cs.AI cs.CV cs.LG
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University(清华大学);THU-Bosch JCML center(清华-博世机器学习联合中心);University of California, Los Angeles(加州大学洛杉矶分校);Bytedance AI Lab(字节跳动人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法,如分层模仿学习(HIL)容易出现复合错误或次优解决方案。在本文中,我们提出了Option-GAIL,一种新的方法来学习技能,在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次,并通过生成对抗优化来训练策略。特别是,我们提出了一个期望最大化(EM)式的算法:一个E-步骤,采样的专家条件下的当前学习的政策的选项,和一个M-步骤,更新的低和高层次的代理政策,同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明,Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments
University of Oxford(牛津大学)
机器人技能获取的数据效率对于在各种小批量装配环境中操作机器人至关重要。为了在这样的环境中工作,机器人必须具有强大的避障能力和多功能的目标调节能力,这些能力只需要几个简单的演示就可以获得。然而,现有的方法达不到这些要求。深度强化学习(RL)使机器人能够学习复杂的操作任务,但由于样本效率低下和安全问题,通常限于现实世界中的小任务空间。运动规划(MP)可以在有障碍的环境中生成无碰撞路径,但不能解决复杂的操纵任务,并且需要通常由用户或对象特定的姿态估计器指定的目标状态。在这项工作中,我们提出了一个系统,有效的技能获取,利用对象为中心的生成模型(OCGM)的通用目标识别,以指定一个目标MP结合RL解决复杂的操作任务在障碍环境。具体来说,OCGM实现了一次性目标物体识别和新场景中的重新识别,允许MP引导机器人到达目标物体,同时避开障碍物。这与技能转换网络相结合,该网络弥合了MP的终端状态与样本高效RL策略的可行起始状态之间的差距。实验表明,我们的基于OCGM的一次性目标识别提供了竞争力的准确性,其他基线方法,我们的模块化框架优于竞争力的基线,包括国家的最先进的RL算法,由一个显着的利润率复杂的操作任务在障碍环境。
2023-03-06 cs.LG cs.RO
InSight: Self-Guided Skill Acquisition via Steerable VLAs
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出InSight框架,通过将VLA模型在基本动作层面变得可引导,实现自主技能获取,包括自动分割演示为基本动作和VLM引导的数据飞轮,无需人类演示即可学习新技能。
2026-09-22 cs.AI cs.LG cs.RO
Evolutionary Context Search for Automated Skill Acquisition
Institute of Science Tokyo, Japan(东京科学研究院)
进化上下文搜索通过进化方法发现非显而易见的上下文配对,显著提升模型性能,为自动化技能获取提供高效替代方案。
2026-02-18 cs.LG cs.NE
PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play
Carnegie Mellon University(卡内基梅隆大学)
提出 PlayFusion,用语言标注的非结构化玩耍数据训练多任务条件扩散模型,并通过离散瓶颈提取可复用的机器人技能词汇。
2023-12-07 cs.AI cs.CV cs.LG
Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Department of Computer Sciences, University of Wisconsin–Madison(威斯康星大学麦迪逊分校计算机科学系);Department of Statistics, University of Wisconsin–Madison(威斯康星大学麦迪逊分校统计学系)
本研究发现变换器在学习算术任务时表现出反直觉的组合性,其学习动态受训练数据相关性影响而非因果或程序性组合。
2026-11-13 cs.AI cs.LG
HumanPlus: Humanoid Shadowing and Imitation from Humans
Stanford University(斯坦福大学)
本文提出HumanPlus全栈系统,通过强化学习低层策略实现RGB视觉人体影子跟随,并结合遥操作数据与行为克隆,让33自由度人形机器人自主掌握多种全身任务。
2024-06-15 cs.AI cs.CV cs.LG
Learning Human-Like Badminton Skills for Humanoid Robots
本文提出Imitation-to-Interaction框架,通过强化学习使机器人从模仿者发展为具备击球能力的智能体,实现了拟人化羽毛球技能的模拟到现实的零样本迁移。
2026-09-15 cs.AI cs.LG cs.RO
Signs of Language: Embodied Sign Language Fingerspelling Acquisition from Demonstrations for Human-Robot Interaction
Centre for Robotics and AI, University of Manchester(曼彻斯特大学机器人与人工智能中心);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系)
本文提出一种无需额外信息从视频示例中学习灵巧运动模仿的方法,构建机械手URDF模型,利用深度视觉模型提取3D姿态,并采用近端策略优化和软演员-评论家算法训练策略,在六个指拼字母任务上验证了其泛化能力。
2023-06-05 cs.CL cs.CV cs.LG
Dynamics-Aware Meta-Imitation for Generalization to Unseen Robotic Manipulation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Shenyang University of Technology(沈阳工业大学)
研究针对机器人模仿学习的数据稀缺与环境泛化问题,提出动力学感知元模仿(DAMI)框架,通过整合元学习、引入视觉运动轨迹模块等方法,有效捕捉任务动力学,在模拟和真实场景实验中表现优于现有基线。
2026-11-03 cs.LG cs.RO
Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning
Yale University(耶鲁大学);Technische Universität Darmstadt(达姆施塔特工业大学)
基于模型的强化学习算法的实质性进展受到收集数据引起的模型偏差的阻碍,这通常会损害性能。同时,它们固有的样本效率保证了大多数机器人应用的实用性,限制了训练期间对机器人及其环境的潜在损害。受信息理论模型预测控制和深度强化学习进展的启发,我们引入了模型预测演员-评论家(MoPAC),这是一种基于模型/无模型的混合方法,将模型预测推出与策略优化相结合,以减轻模型偏差。MoPAC利用最优轨迹来指导策略学习,但通过其无模型方法进行探索,使算法能够学习更具表现力的动态模型。这种组合保证了最佳的技能学习,直到近似误差,并减少了与环境的必要物理交互,使其适用于真实的机器人训练。我们提供了大量的结果,展示了我们提出的方法通常如何优于当前最先进的技术,并通过评估MoPAC在执行阀门旋转和手指步态的物理机器人手上学习得出结论-这是一项需要抓取,操纵然后重新抓取物体的任务。
2021-03-25 cs.LG cs.RO