LEAGUE: Guided Skill Learning and Abstraction for Long-Horizon Manipulation
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习难处理长程任务、任务与运动规划依赖预定义技能的问题，提出融合二者的LEAGUE框架，用规划器符号引导RL技能学习并构建抽象空间实现复用，在模拟任务中性能优于基线，且技能可跨域复用并迁移到实体机器人。
2023-08-22 cs.AI cs.RO
Prim-LAfD: A Framework to Learn and Adapt Primitive-Based Skills from Demonstrations for Insertion Tasks
Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Stanford University（斯坦福大学）
以数据有效的方式学习可概括的插入技能一直是机器人学习社区的挑战。虽然当前最先进的强化学习（RL）方法在获取操作技能方面表现出良好的性能，但这些算法数据量大，难以推广。为了克服这些问题，在本文中，我们提出了Prim-LAfD，一个简单而有效的框架来学习和适应基于演示的插入技能。Prim-LAfD利用黑盒函数优化来学习和适应利用先前经验的原始参数。人类示范建模为密集的奖励指导参数学习。我们验证了所提出的方法的有效性上八钉孔和连接器插座插入任务。实验结果表明，我们提出的框架需要不到一个小时的时间来获得插入技能和15分钟，以适应一个看不见的插入任务的物理机器人。
2022-12-02 cs.RO
Towards Interpretable Motion-level Skill Assessment in Robotic Surgery
University of Virginia（弗吉尼亚大学）
本研究分析JIGSAWS数据集中手术手势的运动原语序列，发现逆运动原语与较低GRS评分相关，可用于检测标注错误并提供可解释的技能评估反馈。
2023-11-10 cs.RO
A Unified Formulation of Geometry-aware Dynamic Movement Primitives
Mondragon Unibertsitatea（蒙德拉贡大学）；University of Trento（特伦托大学）；Aalto University（阿尔托大学）
本文提出一种基于黎曼几何的数学框架，使动态运动原语（DMPs）能够正确嵌入几何约束，从而处理单位四元数和对称正定矩阵等非欧几里得数据，并在仿真和真实机器人实验中验证了其收敛性和目标变更特性。
2024-07-30 cs.RO cs.SY eess.SY
DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们考虑的问题，顺序机器人操作的可变形物体使用工具。以前的工作已经表明，可微物理模拟器提供梯度的环境状态，并帮助轨迹优化收敛的数量级更快比无模型强化学习算法的变形对象操作。然而，这种基于梯度的轨迹优化通常需要访问完整的模拟器状态，并且由于局部最优而只能解决短期的单技能任务。在这项工作中，我们提出了一个新的框架，名为DiffSkill，它使用一个可微的物理模拟器的技能抽象来解决长期的可变形对象操作任务从感官观察。特别是，我们首先使用基于梯度的优化器中的单个工具获得短期技能，使用可微模拟器中的完整状态信息;然后我们从以RGBD图像为输入的演示轨迹中学习神经技能抽象器。最后，我们通过找到中间目标来规划技能，然后解决长期任务。我们展示了我们的方法的优势，在一组新的顺序可变形对象操作任务相比，以前的强化学习算法相比，轨迹优化。
2022-03-31 cs.CV cs.GR cs.LG
Flow Policies as Actions of Skill-Level World Models: Learned and Symbolic Abstractions for Long-Horizon Planning
Delft University of Technology（代尔夫特理工大学）
本文提出将流匹配策略的输入作为技能级动作，构建四种抽象（压缩种子、两种学习代码、符号标签），在块重排任务上验证，符号标签在六技能内成功率超90%，并分析搜索限制。
2026-10-06 cs.LG cs.RO
Learning and Composing Primitive Skills for Dual-arm Manipulation
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
为了赋予机器人复杂的操作能力，双臂拟人系统已经成为机器人领域的一个重要研究课题。文献中的大多数方法依赖于对系统行为背后的动态的深刻理解，但提供有限的自主概括能力。为了解决这些局限性，这项工作提出了一种基于动态运动原语放置在两个正交空间的双臂机械手建模。该模型的模块化和学习能力被用来制定一个新的基于端到端学习的框架，该框架（i）从人类演示中学习原始技能库，以及（ii）同时和顺序地组成这些知识以面对新的场景。该建议的可行性进行评估，通过教学的iCub人形的基本技能，成功模拟双臂拾放任务。结果表明，所提出的框架的学习和概括能力扩展到自主进行未经证明的双臂操作任务。
2019-05-25 cs.RO
Think Small, Act Big: Primitive Prompt Learning for Lifelong Robot Manipulation
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Northwestern Polytechnical University（西北工业大学）；TeleAI, China Telecom Corp Ltd（TeleAI，中国电信有限公司）；INSAIT, Sofia University（INSAIT，索菲亚大学）
提出 Primitive Prompt Learning (PPL) 框架，通过两阶段学习方案利用可重用和可扩展的基元提示词实现终身机器人操作，有效缓解灾难性遗忘并促进技能间知识转移。
2025-06-01 cs.CV cs.RO
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University（布朗大学）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
动态运动基元被广泛用于学习技能，这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力，但它们没有强有力的保证来满足任务的操作安全约束。在本文中，我们提出了受约束的动态运动基元（C），它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方，扰动的局部加权回归回归的强制权，承认归零障碍函数（ZBF），这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动，如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法，可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
InSight: Self-Guided Skill Acquisition via Steerable VLAs
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
提出InSight框架，通过将VLA模型在基本动作层面变得可引导，实现自主技能获取，包括自动分割演示为基本动作和VLM引导的数据飞轮，无需人类演示即可学习新技能。
2026-09-22 cs.AI cs.LG cs.RO
Designing a skilled soccer team for RoboCup: exploring skill-set-primitives through reinforcement learning
LIACC/LASI/FEUP, Artificial Intelligence and Computer Science Laboratory, Faculty of Engineering, University of Porto（LIACC/LASI/FEUP，人工智能与计算机科学实验室，工程学院，波尔图大学）；IEETA/LASI/DETI, Institute of Electronics and Informatics Engineering of Aveiro, Department of Electronics Telecommunications and Informatics, University of Aveiro（IEETA/LASI/DETI，埃维亚电子与信息工程研究所，电子电信与信息系，埃维亚大学）
本文介绍FC Portugal在RoboCup 3D仿真联赛中基于技能集原语和对称扩展PPO算法训练足球技能的方法，赢得2022和2023年冠军，并开源代码库。
2025-05-25 cs.RO
IntentCUA: Learning Intent-level Representations for Skill Abstraction and Multi-Agent Planning in Computer-Use Agents
Sookmyung Women's University（首尔女子大学）
IntentCUA通过意图级表示和多智能体协作提升桌面自动化效率与稳定性。
2026-02-27 cs.AI cs.HC cs.RO
QueST: Self-Supervised Skill Abstractions for Learning Continuous Control
Georgia Institute of Technology（佐治亚理工学院）；Nvidia（英伟达）
针对机器人学习泛化能力不足的问题，提出量化技能Transformer（QueST），通过带因果归纳偏置的灵活潜编码学习可迁移的时序动作抽象，在多任务和少样本基准上表现优于现有基线。
2024-09-11 cs.RO
Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning
Intelligent Autonomous Systems, TU Darmstadt, Germany（图腾达姆施塔特大学智能自主系统研究所）；German Research Center for AI, Germany（德国人工智能研究中心）；Hessian Centre for Artificial Intelligence, Germany（黑森州人工智能中心）；Honda Research Institute EU, Germany（本田欧洲研究院）
本文提出一种神经符号模仿学习框架，通过学习符号表示将任务分解为子任务并利用符号规划生成抽象计划，进而学习神经技能将其转化为机器人命令，在模拟环境中提升了数据效率、泛化能力和可解释性。
2025-11-03 cs.AI cs.LG cs.RO
Experience Reuse with Probabilistic Movement Primitives
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universität zu Lübeck（吕贝克大学）
获得新的机器人运动技能是很麻烦的，因为从头开始学习一项技能并且没有先验知识需要探索大空间的运动配置。因此，为了学习新任务，可以通过利用类似任务的解来初始化参数搜索空间来限制参数搜索空间，从而节省时间。我们提出了一个框架，这是能够这样的知识转移，从已经学到的运动技能，一个新的学习任务。该框架结合了概率运动原语的技能表示的影响的描述。新的技能首先初始化的参数推断相关的运动原语，然后通过相对熵策略搜索适应新的任务。我们比较了两种不同的转移方法来初始化的搜索空间分布与数据的已知技能具有类似的效果。我们展示了两种知识转移方法在模拟3自由度机器人的物体推送任务上的不同好处。我们可以证明，当利用过去的经验时，学习技能的质量得到了提高，学习新任务所需的迭代次数可以减少60%以上。
2020-03-16 cs.LG cs.RO stat.ML
Learning Movement Assessment Primitives for Force Interaction Skills
Universität Innsbruck（因斯布鲁克大学）
我们提出了一种新颖的，可重复使用的和任务不可知的原语，用于评估力交互机器人技能的结果，例如，用于工业制造中的质量控制等应用。所提出的方法易于编程的动觉教学，并通过机器学习模型实现所需的适应性和可重用性。原始记录在演示和再现运动期间的感觉数据。记录包括末端执行器的笛卡尔姿势和在每个时间步施加的扳手。收集的数据，然后使用训练高斯过程，创建模型的扳手作为一个功能的机器人的姿态。通过测量扳手模型的Hellinger距离，可以得出演示和机芯复制之间的相似性。这种比较创建的特征作为输入馈送到朴素贝叶斯分类器，该分类器估计运动的成功概率。该评估针对两种不同的机器人装配任务进行-卡扣装配和拧紧-共有5个用例，11个演示和200多个运动执行。性能指标证明了所提出的方法的能力，推广到不同的演示和运动。
2018-05-11 cs.RO
ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation
School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of General Artificial Intelligence and Large Models in Provincial Universities, Soochow University（苏州大学省高校通用人工智能与大模型重点实验室）；College of Mechanical and Electronic Engineering, China Jiliang University（中国计量大学机电工程学院）；College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Leju Robotics（乐聚机器人）
提出ARP框架，通过视觉-动作对比对齐和迭代残差头细化，解决离散量化技能中的语义弱对齐和精度损失问题，在LIBERO和Meta-World基准上达到最优性能。
2026-06-23 cs.RO
Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation
Stanford University（斯坦福大学）；MIT-IBM Lab（麻省理工学院-IBM实验室）
本文提出PASTA框架，结合空间与时间抽象，从点云中学习潜在表示并规划技能序列，实现真实世界中多技能组合的可变形物体顺序操作任务。
2023-06-23 cs.AI cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University（博加齐大学）；Ozyegin University（厄齐耶因大学）；Osaka University（大阪大学）；International Professional University of Technology in Osaka（大阪国际职业技术大学）
针对长技能复合误差问题，提出基于条件神经运动基元学习上下文相关修正策略，实现双臂打结技能合成，并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
High-level Features for Resource Economy and Fast Learning in Skill Transfer
Bogazici University（博阿齐奇大学）；Osaka University（大阪大学）；Ozyegin University（奥兹耶金大学）
抽象是智能的一个重要方面，它使智能体能够构建有效决策的鲁棒表示。在过去的十年中，深度网络被证明是有效的，因为它们能够形成越来越复杂的抽象。然而，这些抽象分布在许多神经元上，使得重新使用学习的技能成本高昂。以前的工作要么强制形成的抽象创建一个设计师的偏见，或使用了大量的神经元没有调查如何获得高层次的功能，可以更有效地捕捉源任务。为了避免设计师的偏见和不节省资源的使用，我们建议利用神经反应动力学，形成紧凑的表示，用于技能转移。为此，我们考虑了两种相互竞争的方法，它们基于（1）最大信息压缩原理和（2）抽象事件倾向于生成缓慢变化的信号的概念，并将它们应用于任务执行过程中生成的神经信号。具体来说，在我们的模拟实验中，我们对执行源任务时从深度网络的最后一个隐藏层收集的信号应用主成分分析（PCA）或慢速特征分析（SFA），并将这些特征用于新目标任务中的技能转移。我们比较了这些替代方案的泛化性能与技能转移的基线与全层输出和无转移设置。我们的研究结果表明，SFA单位是最成功的技能转移。SFA以及PCA，招致更少的资源相比，通常的技能转移，从而形成的许多单位表现出本地化的反应，反映末端效应障碍目标的关系。最后，具有最低特征值的SFA单元类似于与高级特征高度相关的符号表示，例如可以被认为是完全符号系统的先驱的关节角度。
2021-06-18 cs.LG cs.RO
Learning and Generalisation of Primitives Skills Towards Robust Dual-arm Manipulation
Edinburgh Centre for Robotics（爱丁堡机器人中心）；University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
机器人正在成为社会的重要组成部分。他们的一些日常任务需要在快速变化，动态和不可预测的现实世界环境中进行双臂操作技能。鉴于人类在进行这些活动方面的专业知识，研究人类的运动以将所产生的知识用于机器人控制是很自然的。考虑到这一点，这项工作利用人类的知识来制定一个更通用，实时和更少的任务特定的双臂操纵框架。所提出的框架进行评估的iCub人形机器人和几个合成实验，进行双臂取放任务的包裹中存在意想不到的障碍物。结果表明该方法对稳健和可推广的双臂操作的适用性。
2019-04-02 cs.RO
Robotic Grinding Skills Learning Based on Geodesic Length Dynamic Motion Primitives
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, Department of Mechanical Science and Engineering, Huazhong University of Science and Technology（智能制造装备与技术国家重点实验室，机械科学与工程学院，华中科技大学）
本文提出基于测地线长度动态运动基元的机器人磨削技能学习方法，解决姿态精度低、位置-姿态-力不同步及泛化受限问题，实现高精度技能编码与生成。
2025-04-24 cs.RO
Learning Generalizable Locomotion Skills with Hierarchical Reinforcement Learning
Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
在硬件上学习服从任意目标仍然是强化学习的一个具有挑战性的问题。在本文中，我们提出了一个分层的学习框架，提高样本效率和泛化的运动技能在现实世界的机器人。我们的方法分为两个子问题：学习不同的原语技能，并使用基于模型的规划序列这些技能的目标为导向的运动的问题。我们参数化我们的原语循环运动，提高样本的学习效率的18自由度机器人。然后，我们学习粗糙的原始周期的动态模型，并使用它们在一个模型预测控制框架。这使我们能够在硬件上从头开始大约两个小时的训练后，学会步行到12米远的任意目标。Daisy hexapod硬件和仿真的结果表明，我们的方法在达到遥远的目标，在不同的环境和感官噪声的有效性。
2019-09-26 cs.RO
Interaction-Stiffness-Guided Basis Allocation in Dynamic Movement Primitives for Efficient Skill Transfer
Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出阶段关键性引导的动态运动原语（SC-DMPs），利用交互刚度和轨迹一致性构建关键性指标，自适应分配基中心和带宽，提升高关键性阶段的表示密度，在多个任务上实现更优的轨迹再现和泛化性能。
2026-10-02 cs.RO
A Framework for Learning and Reusing Robotic Skills
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Persistent Autonomy and Robot Learning (PeARL) Lab（持久自主与机器人学习实验室）
本文提出一种机器人技能学习与复用框架，通过多模态分割和轨迹聚类将演示自动构建为运动基元库，并利用轨迹编辑实现基元在新环境中的复用。
2024-06-28 cs.RO
Primitive Skill-based Robot Learning from Human Evaluative Feedback
Stanford University（斯坦福大学）
针对长时程机器人操作任务中RL的样本效率低和安全问题，提出结合RLHF与原始技能的SEED框架，通过参数化技能实现执行前人类评估，显著提升样本效率、安全性并减少人力。
2023-08-02 cs.AI cs.RO
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh（爱丁堡大学）；Queen Mary University of London（伦敦玛丽女王大学）；Amazon Transportation Services（亚马逊运输服务公司）；University College London（伦敦大学学院）
DexSkills提出一种基于触觉数据的监督学习框架，将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks
Stanford University（斯坦福大学）
在本文中，我们研究的问题，从原始图像，可以排序完成长期的视觉任务的低层次技能的剧目学习。强化学习（RL）是自主获取短期技能的一种很有前途的方法。然而，强化学习算法的重点在很大程度上是这些个人技能的成功，而不是学习和建立大量技能库，这些技能可以被排序以完成扩展的多阶段任务。后者需要鲁棒性和持久性，因为技能的错误会随着时间的推移而加剧，并且可能需要机器人在其曲目中具有许多原始技能，而不仅仅是一个。为此，我们引入了EMBER，一种基于模型的RL方法，用于学习适合完成长时间视觉任务的原始技能。EMBER使用学习的模型、评论家和成功分类器进行学习和规划，其中成功分类器既作为RL的奖励函数，又作为一种基础机制，以持续检测机器人是否应该在不成功或受到干扰时重试技能。此外，学习模型是任务不可知的，并使用来自所有技能的数据进行训练，使机器人能够有效地学习许多不同的原语。这些视觉原始技能及其相关的前置和后置条件可以直接与现成的符号规划器相结合，以完成长期任务。在一个Franka Replika机器人手臂上，我们发现EMBER使机器人能够以85%的成功率完成三个长视野视觉任务，例如组织办公桌，文件柜和抽屉，这需要排序多达12个技能，涉及14个独特的学习原语，并要求泛化到新的对象。
2022-09-19 cs.AI cs.LG cs.RO
Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives
University of Oxford（牛津大学）
视觉控制（VMC）是一种有效的手段，实现基本的操作任务，如推或拾取和放置从原始图像。根据期望的目标状态调节VMC是实现通用技能原语的一种有前途的方法。然而，常见的调节方案要么依赖于特定于任务的微调-例如使用单次模仿学习（IL）-要么依赖于使用场景动态的前向模型的采样方法，即模型预测控制（MPC），使得可部署性和规划范围受到严重限制。在本文中，我们提出了一个空调方案，避免这些陷阱，通过学习控制器和它的空调端到端的方式。我们的模型预测复杂的动作序列直接基于机器人运动的动态图像表示和到给定目标观测的距离。与相关工作相比，这使我们的方法能够有效地执行复杂的操作任务，从原始图像观察，而无需预定义的控制原语或测试时间演示。我们报告了在任务成功率方面的显著改进，超过了具有代表性的MPC和IL基线。我们还展示了我们的模型在具有挑战性的、看不见的任务中的泛化能力，这些任务具有视觉噪声、混乱的场景和看不见的物体几何形状。
2021-09-24 cs.CV cs.LG cs.RO
VLM-driven Skill Selection for Robotic Assembly Tasks
Department of AI Machinery, Korea Institute of Machinery & Materials（人工智能机械系，韩国机械材料研究院）
本文提出将视觉-语言模型与模仿学习相结合，通过结构化基元技能分解实现三维空间中的机器人装配操作，在保证可解释性的同时取得了较高成功率。
2025-11-07 cs.RO
Deep Reinforcement Learning for Contact-Rich Skills Using Compliant Movement Primitives
Faculty of Mechanical Engineering（机械工程学院）
近年来，工业机器人已被安装在各个行业，以处理先进制造和高精度任务。然而，与人类操作员相比，工业机器人的进一步集成受到其有限的灵活性，适应性和决策技能的阻碍。装配任务对机器人来说尤其具有挑战性，因为它们具有丰富的接触性，对即使很小的不确定性也很敏感。虽然强化学习（RL）提供了一个很有前途的框架，从头开始学习接触丰富的控制策略，其适用性高维连续状态动作空间仍然相当有限，由于高脆性和样本的复杂性。为了解决这些问题，我们提出了不同的修剪方法，促进收敛和推广。特别是，我们将任务分为自由和接触丰富的子任务，在笛卡尔空间而不是关节空间中执行控制，并参数化控制策略。这些修剪方法自然地在动态运动基元（dynamic movement primitives，简称HMM）的框架内实现。为了处理接触丰富的任务，我们通过引入一个耦合项来扩展RISK框架，该耦合项的作用类似于人类手腕，并在与环境接触时提供主动顺应性。我们证明了所提出的方法可以学习对空间，大小，形状和密切相关的场景不变的插入技能，同时处理大的不确定性。最后，我们证明了学习的政策可以很容易地从模拟转移到现实世界中，并实现类似的性能UR5e机器人。
2020-10-25 cs.LG cs.RO
SkillComposer: Learning Reusable Skills for Natural-Language Robot Programming
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
SkillComposer是一款仿真环境下的交互式自然语言机器人编程系统，采用生成-测试架构，通过在线库学习算法生成可复用宏技能，经实验验证可提升任务成功率与可用性并减少用户工作量。
2026-08-18 cs.CL cs.LG cs.RO
Interactive Human-in-the-loop Coordination of Manipulation Skills Learned from Demonstration
College of Engineering, Peking University（北京大学工学院）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）
示教学习（LfD）提供了一种快速、直观和有效的机器人技能编程框架，在研究和工业应用中获得了越来越多的兴趣。大多数复杂的操作任务是长期的，涉及一组技能原语。因此，至关重要的是要有一个可靠的协调方案，选择正确的序列的技能原语和正确的参数为每个技能，在各种情况下。而不是依赖于一个精确的模拟器，这项工作提出了一个人在回路协调框架LfD技能：从动觉演示建立参数化的技能模型;构建一个几何任务网络（GTN）的飞行从人类的指令;学习分层控制策略在执行过程中递增。该框架可以大大减少人工设计的工作量，同时提高对新场景的适应性。我们在一个7自由度的机器人机械手上展示了所提出的方法可以在不到30分钟的时间内教授复杂的工业任务，如垃圾箱分拣和装配。
2022-03-01 cs.RO
Learning compositional models of robot skills for task and motion planning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google（谷歌）
这项工作的目的是增加机器人的基本能力，通过学习使用感觉运动原语来解决复杂的长期操作问题。这需要灵活的生成规划，可以将原始能力结合在新的组合中，从而概括各种各样的问题。为了用基本动作进行计划，我们必须有动作的模型：在什么情况下，执行这个基本动作会成功地在世界上实现某种特定的效果？我们使用最先进的方法进行主动学习和采样，并对其进行新颖的改进。我们使用高斯过程的方法来学习的限制，从少量的昂贵的收集训练样本的技能有效性。此外，我们开发了有效的自适应采样方法，用于在规划过程中生成一个全面和多样化的连续候选控制参数值序列（如杯子的浇注航点）。这些值成为传统运动规划器的末端执行器目标，然后解决执行技能的完整机器人运动。通过结合使用学习和规划方法，我们利用每种方法的优势，并为各种复杂的动态操作任务进行规划。我们在一个集成系统中展示了我们的方法，将传统的机器人原语与我们新学到的模型相结合，使用高效的机器人任务和运动规划器。我们评估我们的方法在模拟和现实世界中，通过测量选定的原始动作的质量。最后，我们将我们的集成系统应用于各种长时间模拟和现实世界的操纵问题。
2021-05-05 cs.AI cs.LG cs.RO
Contextual Latent-Movements Off-Policy Optimization for Robotic Manipulation Skills
Technische Universität Darmstadt（达姆施塔特工业大学）
参数化运动基元已广泛用于机器人任务的模仿学习。然而，参数空间的高维性阻碍了强化学习（RL）设置中这些原语的改进，特别是对于物理机器人的学习。在本文中，我们提出了一种新的观点，处理演示轨迹获得低维，非线性潜在的动态，使用混合物的概率主成分分析（MPPCA）的运动的参数空间。此外，我们介绍了一个新的上下文的非策略RL算法，命名为LAMPO（LAtent-Movements Policy Optimization）。LAMPO可以提供梯度估计从以前的经验，使用自归一化重要性采样，因此，充分利用在以前的学习迭代中收集的样本。这些优点相结合，提供了一个完整的框架，样本有效的偏离政策优化的运动原语的机器人学习的高维操作技能。我们在仿真和真实机器人上进行的实验结果表明，LAMPO提供了样本有效的政策对文献中常见的方法。
2022-02-11 cs.LG cs.RO
SPECTRA: Context-Conditioned Spectral Movement Primitives for Robot Skill Generalization
Technical University of Munich（慕尼黑工业大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Shanghai Jiao Tong University（上海交通大学）
研究机器人操作模仿学习中如何保留任务几何形状与动态可允许运动，提出频谱运动基元框架，结合任务空间与关节空间调节，经实验验证该方法在多方面表现良好，能有效实现技能泛化。
2026-07-15 cs.RO
A New Skill Based Robot Programming Language Using UML/P Statecharts
German Aerospace Center (DLR)（德国航空航天中心(DLR)）；RWTH Aachen University（亚琛工业大学）
本文介绍了一种新的机器人程序设计语言LightRocks（LightWeightRobotCodingforSkills），它是一种用于机器人编程的领域专用语言（DSL）。该语言为机器人编程提供了三个不同的抽象层次。最低级别的技能由领域专家编码。在更抽象的层面上，这些技能应该由车间工人或技术人员结合起来定义任务。该语言被设计为在最低抽象级别上允许尽可能多的灵活性，并在更抽象的层中保持尽可能简单。一个类似状态图的模型被用来描述不同层次的细节。为此，我们应用UML/P和语言工作台MontiCore。为此，我们能够生成代码，同时隐藏控制器特定的实现细节。此外，LightRocks中的开发由作为Eclipse插件实现的通用图形编辑器支持。
2014-09-22 cs.RO cs.SE
Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations
The University of Hong Kong（香港大学）；JD.com (JingDong)（京东）；Nanyang Technological University (NTU)（南洋理工大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）；Huawei Technologies（华为技术有限公司）；The Chinese University of Hong Kong (CUHK)（香港中文大学）
研究如何使机器人灵巧、长视野操作自动化，提出DR-LfD框架，将视觉运动策略集成到TAMP决策系统，基于接触关系分解示范为原子技能，经实验验证该框架在多类任务中性能强大。
2026-11-02 cs.RO
Learning Forward & Reverse Skills from a Single Unfinished Demonstration for Constrained Manipulation Tasks
Autonomous Systems Lab, Technische Universität Wien (TU Wien)（自主系统实验室，维也纳工业大学（TU Wien））；Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（机器人与机电一体化研究所，德国航空航天中心（DLR））
针对受限操作任务，提出统一一次性框架，从单个未完成演示学习正反向技能。将演示分阶段，用DMP编码非接触运动，螺旋运动原语表示接触运动，经实验验证，相比基线提升了成功率与鲁棒性。
2026-07-16 cs.RO
Conditional Neural Expert Processes for Learning Movement Primitives from Demonstration
Bogazici University（博阿齐奇大学）
提出条件神经专家过程 CNEP，无需模态标签即可将多模态演示分配给专家网络，在多模态数据集和真实机器人任务上优于多种 LfD 基线，并支持在线适应与可解释的专家选择。
2024-07-06 cs.LG cs.RO
Human-Robot Skill Transfer with Enhanced Compliance via Dynamic Movement Primitives
University of Victoria（维多利亚大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种从人类示教中自动提取动态特征以调节DMP参数的系统方法，可同时用于示教学习和强化学习，在保持高类人性和稳定性的同时显著提升机器人柔顺性与轨迹探索效率。
2023-04-12 cs.AI cs.RO
RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents
Shanghai AI Laboratory（上海人工智能实验室）；School of Software, Beihang University（北京航空航天大学软件学院）；Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）
本文提出RH20T-P原语级机器人操作数据集，包含约38k视频片段覆盖67个任务，并标准化规划-执行CGA范式，通过RA-P基线验证其能赋予智能体可组合泛化能力。
2025-02-01 cs.CV cs.RO
Recover, Discover, Plan: Learning Skills and Concepts from Robot Failures
CMU（卡内基梅隆大学）；Princeton（普林斯顿大学）；AI2（艾伦人工智能研究所）；MIT（麻省理工学院）；Centaur AI；Bosch Center for AI（博世人工智能中心）
提出ReSYNC方法，通过技能学习与概念发现的交替过程，从失败恢复经验中逐步构建抽象谓词，实现全局失败避免和长期规划，性能提升超50%。
2026-10-12 cs.RO
Learning to Segment and Represent Motion Primitives from Driving Data for Motion Planning Applications
Beijing Institute of Technology（北京理工大学）；CNRS-UM LIRMM（法国国家科学研究中心-蒙彼利埃大学机器人与微电子实验室）
开发能够执行类似人类动作的智能车辆需要能够从大量自然驾驶数据中学习基本驾驶技能。如果能将复杂的驾驶任务分解为运动基元来表示驾驶技能的基本组成，则算法将变得高效。因此，本文的目的是将未标记的轨迹数据分割成运动基元库。通过应用基于迭代期望最大化算法的概率推理，我们的方法在学习由动态运动基元表示的一组运动基元的同时对收集到的轨迹进行分段。该方法利用运动基元的分割和表示与基于驾驶的初始分割之间的相互依赖性。利用这种相互依赖性和初始条件，本文提出了如何提高分割和运动基元库建立的性能。我们还评估了原始表示方法对模仿学习和运动规划算法的适用性。利用北京理工大学智能汽车平台采集的驾驶数据对模型进行了训练和验证。实验结果表明，该方法可以在找到合适的分割点的同时建立运动基元库。
2018-09-17 cs.RO
Specializing Versatile Skill Libraries using Local Mixture of Experts
Autonomous Learning Robots, KIT（卡尔斯鲁厄理工学院自主机器人学习实验室）
机器人领域的一个长期愿景是让机器人具备与人类相匹配的多功能性和精确性。例如，当打乒乓球时，机器人应该能够以各种方式将球返回，同时将其精确地放置在所需位置。对这种通用行为建模的常见方法是使用混合专家模型（MoE）模型，其中每个专家是上下文运动原语。然而，学习这样的MoE是具有挑战性的，因为大多数目标迫使模型覆盖整个上下文空间，这防止了原语的专门化，从而导致相当低质量的组件。从最大熵强化学习（RL）开始，我们将目标分解为优化每个混合成分的个体下限。此外，我们通过允许组件专注于本地上下文区域来引入课程，使模型能够学习高度准确的技能表示。为此，我们使用本地上下文分布，适应共同与专家原语。我们的下限主张迭代添加新的组件，其中新的组件将集中在当前MoE未覆盖的本地上下文区域。这种局部和增量式学习产生了具有高准确性和多功能性的模块化MoE模型，其中这两个属性都可以通过动态添加更多组件来缩放。我们证明了这一点，通过广泛的消融和两个具有挑战性的模拟机器人技能学习任务。我们比较我们所取得的性能LaDiPS和HiREPS，一个已知的分层策略搜索方法学习不同的技能。
2022-01-10 cs.LG cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences（西挪威应用科学大学）；University of Plymouth（普利茅斯大学）
为了成功部署物理人机合作（pHRC），人类需要能够快速教会机器人新的运动技能。概率运动基元（ProMPs）是一种很有前途的方法来编码机器人的运动技能，从人类的示范pHRC设置。然而，大多数从人类演示中学习ProMP的算法都以批处理模式运行，这在pHRC中并不理想。在本文中，我们提出了一个新的学习算法，学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示，允许人类观察机器人的学习进度，并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能，现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外，我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程，并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Logic-Skill Programming: An Optimization-based Approach to Sequential Skill Planning
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
提出逻辑技能编程（LSP），一种基于优化的方法，通过张量列分解构造价值函数空间并交替符号搜索与价值优化，为长时域任务排序独立学习技能，实验证明其优于强化学习并在真实机器人上有效。
2024-07-16 cs.RO
Reconfiguration-Complete Motion Primitives with Constructive Planning for Deformable Planar Modular Robots
Institute of AI and Robotics, Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院人工智能与机器人研究所）
针对可变形平面模块化机器人重构规划的固定表示难题，提出带构造性规划的运动原语及前瞻选择器，证明N≥7的边连接非直线构型可相互重构，实验显示规划时间短于现有框架。
2026-08-19 cs.RO
Capability-based Frameworks for Industrial Robot Skills: a Survey
Siemens Technology（西门子技术）；Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）；Chair of Human-centered Assistive Robotics, Technical University of Munich (TUM)（慕尼黑工业大学以人为中心的辅助机器人学教席）；Autonomous Systems, Technische Universität Wien (TU Wien)（维也纳工业大学自主系统研究所）
本文综述了工业机器人技能框架，分析210篇论文发现研究界普遍认同基于task、skill和primitive的分类法，并指出工业应用多关注固定参数的简单能力与安全性，呼吁未来研究采用该分类法并探索参数化能力。
2024-08-26 cs.RO
AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Yinwang Intelligent Technology Co. Ltd.（云网智能技术有限公司）
AtomicVLA通过原子技能抽象和动态专家组合提升机器人长周期任务的性能
2026-09-09 cs.AI cs.CV cs.RO
Emergent Compositional Skills in Mixture-of-Experts VLAs
研究从专家演示端到端学习组合机器人策略的问题，用简化MoE动作头训练VLA，发现其能将任务分解，学习到的专家可跨任务重用，MoE在展示专家专业化时与整体基线性能匹配，向模块化、可解释机器人策略迈进。
2026-07-28 cs.AI cs.LG cs.RO
A Non-parametric Skill Representation with Soft Null Space Projectors for Fast Generalization
German Aerospace Center (DLR)（德国航空航天中心（DLR））；University of Leeds（利兹大学）
在过去的二十年里，机器人社区见证了各种运动表示的出现，这些运动表示已被广泛使用，特别是在人工克隆中，以压缩编码和概括技能。其中，概率方法赢得了相关的地方，由于其编码的变化，相关性和适应性，以新的任务条件。然而，调制这样的基元通常是麻烦的，因为需要参数重新优化，这经常需要计算上昂贵的操作。在本文中，我们推导出一个非参数的运动原语配方，其中包含一个零空间投影仪。我们表明，这样的配方允许快速和有效的运动生成与计算复杂性O（n2），而不涉及矩阵求逆，其复杂性为O（n3）。这是通过使用零空间来跟踪次级目标来实现的，精度由训练数据集确定。使用与时间输入相关联的2D例子，我们表明，我们的非参数解决方案相比，有利的国家的最先进的参数化方法。对于具有高维输入的演示技能，我们表明它也允许动态适应。
2023-03-04 cs.AI cs.LG cs.RO
Robust Locomotion on Legged Robots through Planning on Motion Primitive Graphs
California Institute of Technology（加州理工学院）
机器人系统的功能需求通常要求在干扰或不确定环境的影响下完成各种任务或行为。人们越来越感兴趣的是动态机器人的自主性，如多旋翼，机动车辆和腿式平台。在这里，干扰和环境条件可以对被称为“运动基元”的个体动态行为的成功执行具有显著影响。尽管如此，鲁棒性可以通过切换到合适的运动基元并过渡到合适的运动基元来实现。本文通过对运动基元动力学的抽象和相应的“运动基元传递函数”，提出了一种新的运动基元动力学方法。在此基础上，构造了一个离散和连续混合的“运动基元图”，并给出了一个在线搜索该图的算法。其结果是一个框架，能够实现整体的动态系统的鲁棒性。这是实验证明的一组运动原语的四足机器人，受到各种环境和故意的干扰。
2022-09-15 cs.RO
DROM: A Language-Guided Diffusion Framework for Multi-Skill Robotic Manipulation
University of Applied Science and Arts of Southern Switzerland (SUPSI)（瑞士南部应用科学与艺术大学）；Institute of Systems and Technologies for Sustainable Production (ISTePS)（可持续生产系统与技术研究所）；Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA)（达勒莫尔人工智能研究所）
DROM提出语言引导的扩散框架，利用DMPs扩充示范并扩展MPD，实现多技能操作与长时程任务，在真实机器人和模拟中优于基线，仅需少量示范。
2026-09-30 cs.RO
