SkillComposer: Learning Reusable Skills for Natural-Language Robot Programming
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
SkillComposer是一款仿真环境下的交互式自然语言机器人编程系统，采用生成-测试架构，通过在线库学习算法生成可复用宏技能，经实验验证可提升任务成功率与可用性并减少用户工作量。
2026-08-18 cs.CL cs.LG cs.RO
Generalize by Touching: Tactile Ensemble Skill Transfer for Robotic Furniture Assembly
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
本文提出TEST框架，通过引入触觉反馈的离线强化学习方法学习技能转移模型与自适应策略，解决机器人家具组装的长周期任务泛化问题，实现90%成功率且效率提升4倍以上。
2024-04-26 cs.LG cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Learning robot motor skills with mixed reality
Brown University（布朗大学）；MERL（三菱电机研究实验室）
混合现实（MR）最近显示出巨大的成功，作为一个直观的界面，使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类，以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功，使最终用户能够教机器人复杂的运动任务仍然是一个挑战，因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架，最终用户教机器人a）运动演示，b）任务约束，c）规划表示，和d）对象信息，所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语（DMP）。我们假设，传达这个世界的知识将是直观的MR接口，并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation
Key Laboratory of AI Safety of CAS（中国科学院人工智能安全重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Uni-Skill通过自演化技能库提升机器人操作的通用性与适应性，实现高效技能检索与少样本推理。
2026-03-03 cs.LG cs.RO
Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics
Queensland University of Technology（昆士兰科技大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
基于技能的强化学习（RL）已经成为一种很有前途的策略，利用先验知识加速机器人学习。技能通常从专家演示中提取，并嵌入到一个潜在空间中，从中可以作为高级RL代理的动作进行采样。然而，这个技能空间是广阔的，并且并非所有技能都与给定的机器人状态相关，这使得探索变得困难。此外，下游RL代理仅限于学习与用于构建技能空间的任务结构相似的任务。我们首先提出了加速探索的技能空间，使用状态条件生成模型直接偏向于高层次的代理只采样技能相关的一个给定的状态的基础上先前的经验。接下来，我们提出了一个低级别的剩余策略，用于细粒度的技能适应，使下游RL代理能够适应看不见的任务变化。最后，我们在四个具有挑战性的操作任务中验证了我们的方法，这些任务与用于构建技能空间的任务不同，展示了我们在任务变化中学习的能力，同时显着加速探索，优于先前的工作。代码和视频可以在我们的项目网站上找到：https://krishanrana.github.io/reskill。
2022-11-04 cs.AI cs.LG cs.RO
A Simple Approach to Continual Learning by Transferring Skill Parameters
University of Southern California（南加州大学）；Amazon（亚马逊）
为了在现实世界中成为有效的通用机器，机器人不仅需要使其现有的操作技能适应新的环境，还需要在飞行中获得全新的技能。持续学习的一个伟大前景是赋予机器人这种能力，通过使用他们积累的知识和经验，从以前的技能。我们重新审视这个问题，通过考虑机器人仅限于以学习技能策略的形式存储知识和经验的设置。我们表明，存储技能的政策，仔细的预训练，并适当地选择何时转移这些技能的政策是足够的机器人操作的背景下，建立一个持续的学习者。我们分析了在具有挑战性的元世界模拟基准测试中需要哪些条件来转移技能。使用这种分析，我们引入了一个成对的度量相关的技能，使我们能够预测任务之间的技能转移的有效性，并使用它来减少课程选择的持续学习的问题。给定适当的课程，我们将展示如何不断地获得机器人操作技能而不会忘记，并使用比从头开始训练它们所需的样本少得多的样本。
2021-10-19 cs.LG cs.RO
Learning Agile Robotic Locomotion Skills by Imitating Animals
Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
复制动物多样而敏捷的运动技能一直是机器人技术的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为，但构建这样的控制器涉及耗时且困难的开发过程，通常需要对每个技能的细微差别进行大量的专业知识。强化学习为自动化控制器开发中涉及的手动工作提供了一种有吸引力的替代方案。然而，设计从代理中引出所需行为的学习目标也需要大量的技能特定的专业知识。在这项工作中，我们提出了一个模仿学习系统，使足式机器人学习敏捷的运动技能，模仿现实世界的动物。我们表明，通过利用参考运动数据，一个单一的学习为基础的方法是能够自动合成控制器的足式机器人的各种剧目的行为。通过将样本有效的领域自适应技术纳入到训练过程中，我们的系统能够在模拟中学习自适应策略，然后可以快速适应现实世界的部署。为了证明我们的系统的有效性，我们训练一个18自由度的四足机器人执行各种敏捷的行为，从不同的运动步态动态跳跃和转弯。
2020-07-21 cs.LG cs.RO
Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models
University of Freiburg（弗莱堡大学）
自主智能体在现实世界中的核心挑战是调整其技能库以应对其嘈杂的感知和动态。为了将技能的学习扩展到长期任务，机器人应该能够通过轨迹以结构化的方式学习并随后改进其技能，而不是在每个时间步单独做出即时决策。为此，我们提出了软演员-评论家高斯混合模型（SAC-GMM），这是一种新的混合方法，通过动态系统学习机器人技能，并通过与环境的交互在自己的轨迹分布空间中调整学习到的技能。我们的方法结合了经典的机器人技术的示教学习与深度强化学习框架，并利用其互补性。我们表明，我们的方法利用传感器只在执行初步学习的技能，以提取相关功能，导致更快的技能细化。在模拟和现实环境中的广泛评估表明，我们的方法在完善机器人技能的有效性，利用物理交互，高维传感数据，稀疏的任务完成奖励。视频、代码和预训练模型可在http://sac-gmm.cs.uni-freiburg.de上获得。
2022-09-19 cs.CV cs.LG cs.RO
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research（谷歌研究院）
强化学习为学习机器人技能提供了一个通用框架，同时最大限度地减少了工程工作量。然而，大多数强化学习算法假设提供了一个精心设计的奖励函数，并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法，在没有任何奖励功能的情况下获得各种技能，然后将这些技能重新用于下游任务？在本文中，我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法，使其适合在现实世界中执行无监督强化学习。首先，我们证明了我们提出的算法在学习效率上有了实质性的提高，使得无奖励的真实世界训练变得可行。其次，我们超越了仿真环境，并在真实的物理硬件上评估算法。在四足动物身上，我们观察到不同步态和不同方向的运动技能出现，没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航，没有任何额外的培训。
2020-04-27 cs.LG cs.RO
SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
针对现有持续模仿学习忽视技能特性、知识迁移欠佳的问题，提出SPECI分层架构，通过技能码本与注意力机制实现技能复用，并引入模式近似增强任务迁移，实验全面超越现有方法。
2025-04-22 cs.LG cs.RO
Relative Variational Intrinsic Control
DeepMind（深度思维公司）
在没有外部奖励的情况下，智能体仍然可以通过识别和掌握环境中的一系列不同技能来学习有用的行为。现有的技能学习方法使用互信息目标来激励每种技能是多样的并且与其余技能区分开。然而，如果不注意限制技能多样化的方式，可能会出现琐碎的技能组合。为了确保有用的技能多样性，我们提出了一种新的技能学习目标，相对变分内在控制（RVIC），它激励学习技能，是在他们如何改变代理的关系，其环境中区分。由此产生的一组技能平铺了智能体可用的示能表示空间。我们定性地分析了多种环境下的技能行为，并展示了RVIC技能在分层强化学习中使用时比现有方法发现的技能更有用。
2020-12-14 cs.AI cs.LG
Learning and Sequencing of Object-Centric Manipulation Skills for Industrial Tasks
Bosch Center for Artificial Intelligence（博世人工智能中心）
使机器人能够快速学习操作技能是一个重要但具有挑战性的问题。这种操作技能应该是灵活的，例如，能够适应当前的工作空间配置。此外，为了完成复杂的操作任务，机器人应该能够对几种技能进行排序，并使它们适应不断变化的情况。在这项工作中，我们提出了一个快速的机器人技能排序算法，其中的技能编码的对象为中心的隐半马尔可夫模型。学习的技能模型可以编码多模态（时间和空间）轨迹分布。这种方法大大减少了手动建模工作，同时确保了所学习技能的高度灵活性和可重用性。给定一个任务目标和一组通用技能，我们的框架计算技能实例之间的平滑过渡。为了计算任务空间中相应的最优末端执行器轨迹，我们依赖于黎曼最优控制器。我们证明了这种方法在7自由度的机器人手臂工业装配任务。
2020-08-24 cs.LG cs.RO
STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
STAR通过旋转增强的向量量化和因果技能变压器，提升机器人技能学习与组合，实现复杂行为完成，在LIBERO基准和现实任务中表现优越。
2026-04-07 cs.LG cs.RO
Simulator Predictive Control: Using Learned Task Representations and MPC for Zero-Shot Generalization and Sequencing
University of Southern California（南加利福尼亚大学）；Google Brain（谷歌大脑）
仿真到真实的转换是使强化学习在真实机器人上实用的重要策略。成功的仿真到现实迁移系统很难产生跨任务推广的策略，尽管训练了数千小时的真实机器人时间。为了解决这个缺点，我们提出了一种新的方法来有效地学习新的机器人技能直接在一个真正的机器人，基于模型预测控制（MPC）和学习任务表示的算法。简而言之，我们展示了如何将模拟从模拟到真实的方法的预训练步骤中重用为前瞻性工具，从而使模拟到真实的策略能够适应看不见的任务。我们不是针对单个任务的端到端学习策略并试图转移它们，而是首先使用模拟来同时学习（1）任务适当的原始技能的连续参数化（即技能嵌入或潜在），以及（2）以这种表示为条件的这些技能的单一策略。然后，我们直接将我们的多技能策略转移到一个真正的机器人，并通过选择启动策略的技能潜伏期序列来启动机器人，每个潜伏期对应于一个预先学习的原始技能控制器。我们通过选择新的技能潜在序列来完成看不见的任务，以使用MPC控制机器人，其中我们的MPC模型由在仿真环境中执行的预训练技能策略组成，与真实机器人并行运行。我们讨论了我们的方法的背景和原则，详细介绍了它的实际实现，并评估其性能，使用我们的方法训练一个真正的Sawyer机器人实现运动任务，如绘图和推块。
2021-01-27 cs.AI cs.LG cs.RO
Continual Learning from Demonstration of Robotics Skills
University of Innsbruck（因斯布鲁克大学）；University of Trento（特伦托大学）
本文提出基于超网络与神经常微分方程求解器的演示持续学习方法，使机器人能连续学习多个运动技能而不遗忘旧技能，并在LASA及自建真实机器人数据集上验证其优于现有持续学习方法。
2023-04-12 cs.LG cs.RO
From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity
Adaptive & Intelligent Robotics Lab（智能机器人实验室）
本文提出 URSA 框架，扩展 QDAC 以无监督方式让四足机器人在仿真和真实世界中发现并复用多样高性能运动技能，且在损伤适应任务上优于基线。
2025-08-28 cs.AI cs.LG cs.RO
Contextual Latent-Movements Off-Policy Optimization for Robotic Manipulation Skills
Technische Universität Darmstadt（达姆施塔特工业大学）
参数化运动基元已广泛用于机器人任务的模仿学习。然而，参数空间的高维性阻碍了强化学习（RL）设置中这些原语的改进，特别是对于物理机器人的学习。在本文中，我们提出了一种新的观点，处理演示轨迹获得低维，非线性潜在的动态，使用混合物的概率主成分分析（MPPCA）的运动的参数空间。此外，我们介绍了一个新的上下文的非策略RL算法，命名为LAMPO（LAtent-Movements Policy Optimization）。LAMPO可以提供梯度估计从以前的经验，使用自归一化重要性采样，因此，充分利用在以前的学习迭代中收集的样本。这些优点相结合，提供了一个完整的框架，样本有效的偏离政策优化的运动原语的机器人学习的高维操作技能。我们在仿真和真实机器人上进行的实验结果表明，LAMPO提供了样本有效的政策对文献中常见的方法。
2022-02-11 cs.LG cs.RO
Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习有用的机器人技能，从以前收集的离线数据，而不访问手动指定的奖励或额外的在线探索，一个设置，这是越来越重要的缩放机器人学习通过重用过去的机器人数据。特别是，我们提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能理解的目标。我们采用目标条件Q学习与后见之明重新标记，并开发了几种技术，使培训在一个特别具有挑战性的离线设置。我们发现，我们的方法可以在高维相机图像上操作，并在真实机器人上学习各种技能，这些技能可以推广到以前看不见的场景和物体。我们还表明，我们的方法可以通过目标链学习在多个事件中实现长期目标，并通过预训练或辅助目标学习丰富的表示，可以帮助下游任务。我们的实验视频可以在www.example.com上找到
2021-06-10 cs.LG cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe（NAVER欧洲实验室）；TU Darmstadt（达姆施塔特工业大学）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森州人工智能中心）
针对机器人操作技能学习需求，提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法，可生成交互性更强的可组合技能，适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
Where To Start? Transferring Simple Skills to Complex Environments
Imperial College London（帝国理工学院）
机器人学习提供了许多方法来教机器人简单的技能，如抓取。然而，这些技能通常是在开放、无杂乱的环境中训练的，因此可能会在更复杂、杂乱的环境中造成不希望的碰撞。在这项工作中，我们引入了一个基于环境的图形表示的示能模型，该模型在部署过程中进行了优化，以找到合适的机器人配置来启动技能，从而可以在没有任何冲突的情况下执行技能。我们证明，我们的方法可以概括先验获得的技能，以前看不见的混乱和约束的环境中，在模拟和现实世界中，抓取和放置任务。
2022-12-12 cs.LG cs.RO
Skills Made to Order: Efficient Acquisition of Robot Cooking Skills Guided by Multiple Forms of Internet Data
Carnegie Mellon University（卡内基梅隆大学）；Robotics Institute（机器人研究所）
针对从互联网数据学习富接触工具使用技能的挑战，本文提出从一组模板机器人行为中进行选择而非生成低级行为，结合 LLM、视频编码器和光流编码器三种方法，利用多源互联网数据协同作用构建的模板选择器在16项烹饪技能上实现了79%的成功率。
2024-09-23 cs.AI cs.LG cs.RO
Learning Novel Skills from Language-Generated Demonstrations
Institute of Automation Chinese Academy of Sciences（自动化研究所，中国科学院）
针对现有机器人学习新技能依赖演示数据或环境交互导致成本高、有安全风险的问题，提出DemoGen框架，通过视觉语言模型和视频扩散模型生成演示，使机器人从自然语言学习新技能，新任务完成率提升至原来三倍。
2025-05-21 cs.AI cs.LG cs.RO
Adversarial Skill Networks: Unsupervised Robot Skill Learning from Video
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
在现实世界中部署强化学习（RL）代理的关键挑战是在没有奖励函数的情况下发现，表示和重用技能。为此，我们提出了一种新的方法来学习任务无关的技能嵌入空间从未标记的多视图视频。我们的方法通过使用对抗性损失来学习独立于任务上下文的一般技能嵌入。我们将度量学习损失（利用时间视频相干性来学习状态表示）与熵正则化对抗技能转移损失相结合。度量学习损失通过吸引相同观测的同时视点和排斥来自时间邻居的视觉上相似的帧来学习解纠缠表示。对抗性技能转移损失增强了学习技能嵌入在多个任务域上的可重用性。我们表明，学习嵌入使连续控制策略的训练，以解决新的任务，需要插值以前看到的技能。我们对模拟和真实世界数据的广泛评估表明了我们的方法在从未标记的交互视频中学习可转移技能并将其用于新任务方面的有效性。代码、预训练模型和数据集可在http://robotskills.cs.uni-freiburg.de上获得
2020-02-06 cs.CV cs.LG cs.RO
Online Damage Recovery for Physical Robots with Hierarchical Quality-Diversity
Imperial College London（帝国理工学院）；University of Patras（帕特雷大学）
在现实环境中，机器人需要对损坏具有弹性，并对不可预见的情况具有鲁棒性。质量多样性（QD）算法已成功用于通过利用各种学习技能使机器人在几秒钟内适应损害。技能的高度多样性增加了机器人成功克服新情况的机会，因为有更多的潜在替代方案来解决新任务。然而，发现和存储多个技能的大量行为多样性通常会导致计算复杂性的增加。此外，在大的技能空间中进行机器人规划是随着技能数量的增加而出现的额外挑战。层次结构可以通过将技能分解为基本技能来帮助降低搜索和存储的复杂性。在本文中，我们介绍了分层试错算法，该算法使用分层行为库来学习各种技能，并利用它们使机器人在物理世界中快速适应。我们表明，技能的层次分解，使机器人能够学习更复杂的行为，同时保持学习的曲目易于处理。六足机器人的实验表明，我们的方法解决了迷宫导航任务，在模拟中减少了20%的动作，在物理世界中减少了43%的动作，对于最具挑战性的场景，比最佳基线减少了78%的完全失败。
2022-10-18 cs.AI cs.LG cs.NE
Practice Makes Perfect: Planning to Learn Skill Parameter Policies
The AI Institute（人工智能学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northeastern University（东北大学）
针对机器人长周期任务决策问题，提出一种基于胜任力评估与胜任力感知规划的主动练习选择方法，可自主高效学习技能参数策略，在仿真与真实移动操作任务中均验证有效。
2024-05-18 cs.LG cs.RO
LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）
LOTUS通过无监督技能发现和元控制器组合技能，使机器人仅凭少量演示即可持续学习新操作任务，成功率比现有最佳方法高11%以上。
2024-11-23 cs.CV cs.LG cs.RO
Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors
DeepMind（深度思维）
我们研究了利用人类和动物运动的先验知识来学习真正的足式机器人的可重复使用的运动技能。我们的方法建立在以前的工作模仿人类或狗的运动捕捉（MoCap）数据，学习运动技能模块。一旦学会，这个技能模块可以重复用于复杂的下游任务。重要的是，由于MoCap数据的先验性，我们的方法不需要广泛的奖励工程来在重用时产生合理和自然的行为。这使得创建适合在真实机器人上部署的规则化、面向任务的控制器变得容易。我们演示了我们的技能模块可以用于模仿，和训练可控的步行和运球政策的ANYmal四足动物和OP3人形。然后，这些策略通过zero-shot仿真到现实的传输部署在硬件上。相关视频可在https://bit.ly/robot-npmp上获得。
2022-03-31 cs.AI cs.LG cs.RO
Skill-based Multi-objective Reinforcement Learning of Industrial Robot Tasks with Planning and Knowledge Integration
Lund University（隆德大学）；University of Patras（帕特雷大学）；Stanford University（斯坦福大学）
在现代化的小批量工业环境中，为新任务设置机器人系统应该很容易。策略是存在的，例如技能的使用，但当涉及到处理力和扭矩时，这些系统往往不足。我们介绍了一种方法，它提供了一个组合的任务级规划与有针对性的学习，基于技能的系统的具体参数。我们提出了以下管道：（1）用户以规划语言PDDL提供任务目标，（2）规划（即，技能序列）被生成并且技能的可学习参数被自动识别。然后，操作员为学习过程选择（3）奖励函数和超参数。我们的方法的两个方面是至关重要的：（a）学习是紧密结合的知识框架，以支持符号规划，并提供先验的学习，（b）使用多目标优化。这有助于平衡关键绩效指标（KPI），例如安全和任务绩效，因为它们通常会相互影响。我们采用多目标贝叶斯优化方法，并在模拟中完全学习。我们证明了我们的方法的有效性和多功能性，通过学习两个不同的接触丰富的任务的技能参数。我们展示了他们的成功执行一个真正的7自由度KUKA-iiwa机械手和优于人工参数化的人类机器人操作员。
2022-03-18 cs.LG cs.RO
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California（南加州大学）；KAIST（韩国科学技术院）；CMU（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务）
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能，无需人工监督，使机器人通过选择技能和调整参数快速学习新任务，在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
CasIL: Cognizing and Imitating Skills via a Dual Cognition-Action Architecture
Nanjing University（南京大学）；Cardiff University（卡迪夫大学）
针对机器人长时序任务技能模仿难题，提出 CasIL 框架，以高层认知指导低层动作，并在多个基准和四足机器人任务中验证其鲁棒优势。
2023-09-28 cs.HC cs.LG cs.RO
Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization
University of Southern California（南加州大学）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
技能链是一种很有前途的方法，通过顺序组合先前学习的技能来合成复杂的行为。然而，当一个策略遇到一个在其训练过程中从未见过的初始状态时，一个幼稚的技能组合就会失败。为了成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要更大的状态分布，以覆盖更多的政策被排序，并因此限于短的技能序列。在本文中，我们提出在对抗学习框架中通过正则化终端状态分布来链接多个策略，而无需过大的初始状态分布。我们评估我们的方法对两个复杂的长期操作任务的家具装配。我们的研究结果表明，我们的方法建立了第一个无模型强化学习算法来解决这些任务;而以前的技能链方法失败了。代码和视频可在https://clvrai.com/skill-chaining上获得
2021-11-15 cs.AI cs.LG cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)（斯坦福人工智能实验室（SAIL））；Stanford University（斯坦福大学）
学习接触丰富的机器人操作技能是一个具有挑战性的问题，由于状态和动作空间的高维性，以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵，人类积极利用环境中的接触约束。通过采用类似的策略，机器人也可以实现更强大的操作。在本文中，我们使机器人能够自主修改其环境，从而发现如何减轻操作技能的学习。具体来说，我们为机器人提供了固定装置，它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此，他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统，包括两个学习循环。在外部循环中，机器人将夹具定位在工作空间中。在内部循环中，机器人学习操作技能，并在固定次数的情节后，将奖励返回到外部循环。因此，机器人被激励放置固定装置，使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务：钉插入，扳手操作和浅深度插入。我们表明，操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
SKID RAW: Skill Discovery from Raw Trajectories
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität zu Lübeck（吕贝克大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
将机器人集成到复杂的日常环境中需要解决许多问题。其中一个关键特征是为机器人配备一种机制，以简单自然的方式教它们一项新任务。当教授涉及不同技能序列的任务时，这些技能的顺序和数量不同，最好只演示完整的任务执行，而不是所有的个人技能。为此，我们提出了一种新的方法，同时学习分割轨迹到重复出现的模式和技能，以重建这些模式，从未标记的示威，而无需进一步的监督。此外，该方法学习技能条件，可用于理解可能的技能序列，例如，用于更智能和自适应机器人行为的人机交互的实用机制。贝叶斯和变分推理为基础的方法进行评估合成和真实的人类演示具有不同的复杂性和维度，显示成功的学习的分割和技能库从未标记的数据。
2021-03-26 cs.AI cs.LG cs.RO
ZeroMimic: Distilling Robotic Manipulation Skills from Web Videos
University of Pennsylvania（宾夕法尼亚大学）
提出 ZeroMimic 系统，通过蒸馏网络人类视频数据集生成可立即部署的图像目标条件化机器人操作技能策略，无需特定机器人示范，在多种真实与模拟环境中展现出色泛化能力。
2025-03-31 cs.CV cs.LG cs.RO
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）；Nvidia（英伟达）
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而，机器人技能的设计在现实世界的应用中往往是棘手的，因为它需要大量的努力和专业知识。在这项工作中，我们介绍了技能学习在多样化的环境（SLIDE），一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反，我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现，我们的方法训练每个技能专门用于配对任务，并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集，联合训练估计的多样性目标的证据下界。然后，可以将学习到的技能组合在分层强化学习算法中，以解决看不见的目标任务。我们证明，该方法可以有效地学习各种机器人的技能，在两个桌面操作域。我们的研究结果表明，与现有的强化学习和技能学习方法相比，学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
IROSA: Interactive Robot Skill Adaptation using Natural Language
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR）机器人与机电研究所）；School of Computation, Information and Technology (CIT), Technical University of Munich (TUM)（计算、信息与技术学院（CIT），慕尼黑技术大学）
本文提出IROSA框架，利用预训练大语言模型实现开放词汇技能适应，通过工具架构在语言模型与机器人硬件间保持抽象层，无需微调即可通过自然语言指令调整机器人技能。
2026-04-16 cs.AI cs.CL cs.HC
Learning Humanoid Robot Running Skills through Proximal Policy Optimization
Aeronautics Institute of Technology（航空技术学院）
在当前的足球3D发展水平中，运动控制是球队表现的关键因素。最近的工作利用基于机器学习的无模型方法来利用机器人动力学，以获得更快的运动技能，实现运行策略，因此，在足球3D环境中开辟了一个新的研究方向。在这项工作中，我们提出了一种基于深度强化学习的方法，该方法使用神经网络学习跑步技能，而无需任何先验知识，其输入与机器人的动力学相关。我们的研究结果优于以前的国家的最先进的短跑速度在足球3D文献报道的显着保证金。它还展示了样本效率的改进，能够在短短几个小时内学习如何运行。我们报告了我们的结果，分析了训练过程，并在速度，可靠性和人类相似性方面评估了策略。最后，我们提出了导致我们改进以前结果的关键因素，并分享了未来工作的一些想法。
2019-10-22 cs.AI cs.LG cs.RO
Agentic Skill Discovery
University of Hamburg（汉堡大学）
针对机器人基础技能获取难题，提出完全由大语言模型驱动的技能发现框架，通过LLM生成任务提案、采样奖励与判定函数结合强化学习训练策略，经视觉语言模型保障可靠性，实现从零构建可扩展的有意义技能库。
2024-08-16 cs.AI cs.LG cs.RO
Language-guided Skill Learning with Temporal Variational Inference
Brown University（布朗大学）；MIT（麻省理工学院）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；MILA（米拉研究所）；Microsoft Research（微软研究院）
我们提出一种利用LLM初始分割和层次变分推断的技能发现算法，通过最小描述长度目标平衡压缩与重用性，在BabyAI和ALFRED环境中加速学习并超越基线方法。
2024-05-27 cs.AI cs.CL cs.LG
Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出KIS-GMM方法，通过学习3D关键点结合模仿与强化学习，使机器人在无需新真实数据下实现零样本泛化并快速适应新环境。
2023-10-23 cs.AI cs.CV cs.LG
Learning Riemannian Manifolds for Geodesic Motion Skills
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Technical University of Denmark (DTU)（丹麦技术大学）；Max Planck Institute for Intelligent Systems (MPI-IS)（马克斯·普朗克智能系统研究所）
为了让机器人与人类一起工作并在非结构化环境中执行任务，它们必须学习新的运动技能，并使其适应飞行中看不见的情况。这就要求学习模型能够捕捉相关的运动模式，同时提供足够的灵活性，使编码技能适应新的要求，例如动态避障。我们引入了黎曼流形的角度来看这个问题，并建议学习黎曼流形上的人类示范，测地线是自然的运动技能。我们实现了这一点与变分自编码器（VAE）的位置和方向的机器人末端执行器的空间。测地线运动技能让机器人计划从数据流形上的任意点到任意点的运动。它们还提供了一种简单的方法，通过以在线方式重新定义环境指标来避免障碍。此外，测地线自然地利用多模式任务产生的流形来设计以前没有明确证明的运动。我们使用7-DoF机器人操纵器测试我们的学习框架，机器人令人满意地学习和再现具有精细运动模式的逼真技能，避免以前看不见的障碍物，并在多模式设置中生成新颖的运动。
2021-07-01 cs.AI cs.LG cs.RO
XSkill: Cross Embodiment Skill Discovery
Columbia University（哥伦比亚大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 XSkill 框架，通过从人类与机器人视频中发现跨本体技能原型，并结合条件扩散策略实现技能迁移与组合，使机器人能根据人类提示视频完成未见操作任务。
2023-09-28 cs.AI cs.LG cs.RO
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA（法国国家信息与自动化研究所）；ENSTA ParisTech（巴黎高等科技学院）
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构，称为SGIM-D，允许高效学习机器人中的高维连续感觉运动逆模型，特别是学习参数化运动策略的分布，解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法，我们描述了我们的算法的一般框架，然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中，我们说明了SGIM-D有效地结合了社会学习和内在动机的优势，并从人类演示属性中受益，以学习如何在环境中产生不同的结果，同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Skill-Space Shooting for Autonomous Robot Policy Improvement
Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
提出技能空间射击方法，利用基础模型指导通过可重用技能探索修正，将成功试验转化为策略改进，实现自主机器人在任务内和跨任务的可扩展、可泛化策略提升。
2026-09-30 cs.AI cs.LG cs.RO
Robot Program Parameter Inference via Differentiable Shadow Program Inversion
Institute for Artificial Intelligence (IAI), University of Bremen（不来梅大学人工智能研究所（IAI））；ArtiMinds Robotics（ArtiMinds机器人公司）
机器人的操作任务可以通过结合单个机器人的技能来有效地解决，这些技能必须针对具体的物理环境和手头的任务进行参数化。这对人类程序员来说既耗时又困难，特别是对于强制控制技能。为此，我们提出了影子程序反演（SPI），一种新的方法来推断最佳的技能参数直接从数据。SPI利用无监督学习来训练辅助可微程序表示（“影子程序”），并通过基于梯度的模型反演来实现参数推断。我们的方法可以使用高效的一阶优化器来推断最初不可微技能的最佳参数，包括目前在生产中使用的许多技能变体。SPI zero-shot可跨任务目标进行推广，这意味着影子程序不需要重新训练来推断不同任务变量的参数。我们在工业和家庭场景中对三种不同的机器人和技能框架进行了评估。代码和示例可在https://innolab.artiminds.com/icra2021上获得。
2022-07-14 cs.AI cs.LG cs.RO
Robot Parkour Learning
ShanghaiTech（上海科技大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；Shanghai Qi Zhi（上海期智研究院）；Tsinghua（清华大学）
本研究提出一种无需参考运动数据的端到端基于视觉的强化学习系统，通过直接配点法生成并蒸馏多种parkour技能至单一策略，使低成本四足机器人能自主选择并执行技能以穿越复杂真实环境。
2023-09-12 cs.AI cs.CV cs.LG
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC））；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
