Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
Skill-based Model-based Reinforcement Learning
University of Southern California(南加州大学);KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
基于模型的强化学习(RL)是一种通过利用学习到的单步动力学模型来规划想象中的动作来学习复杂行为的样本高效方式。然而,为长期任务规划每一个动作是不切实际的,就像人类规划每一个肌肉运动一样。相反,人类利用高水平的技能来有效地计划解决复杂的任务。基于这种直觉,我们提出了一个基于技能的基于模型的RL框架(SkiMo),它可以使用技能动态模型在技能空间中进行规划,该模型直接预测技能结果,而不是逐步预测中间状态中的所有小细节。为了准确有效地进行长期规划,我们共同学习技能动态模型和来自先前经验的技能库。然后,我们利用学习的技能动态模型来准确地模拟和规划技能空间中的长期视野,这使得长期视野,稀疏奖励任务的有效下游学习成为可能。在导航和操作领域的实验结果表明,SkiMo扩展了基于模型的方法的时间范围,提高了基于模型的RL和基于技能的RL的样本效率。代码和视频可在https://clvrai.com/skimo上获得
2022-12-11 cs.AI cs.LG cs.RO
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
近年来,强化学习(RL)在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中,我们提出了一种方法来增强基于对抗运动先验的RL的概念,以允许多种离散可切换的风格。我们表明,多种风格和技能可以同时学习,没有显着的性能差异,即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化,如躲避和行走,和新的技能,如四足和人形配置之间的切换。对于后一项技能,机器人需要站起来,在两个轮子上导航,然后坐下。而不是调整坐下来的运动,我们验证了站起来的运动的反向播放,帮助机器人发现可行的坐下的行为,并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
UniExo: Unified Multi-Skill Policies for Musculoskeletal Locomotion and Co-Adaptive Exoskeleton Control
New Jersey Institute of Technology(新泽西理工学院);Kessler Foundation(凯斯勒基金会)
UniExo通过多技能人体策略蒸馏与多智能体协同强化学习,训练统一髋部外骨骼控制器,实现行走、转弯、跑步和倒走及其转换的无标签控制,提升跟踪成功率与鲁棒性。
2026-09-18 cs.LG cs.RO
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Self-Imitation Learning of Locomotion Movements through Termination Curriculum
Aalto University(阿尔托大学)
动画和机器学习研究在过去的十年中取得了巨大的进步,导致了学习复杂的基于物理的动画的强大而强大的方法。然而,学习可能需要数小时或数天,特别是在没有参考运动数据的情况下。在本文中,我们提出并评估了一种新的技术组合,通过自模仿学习的合成动画,加速学习稳定的运动动作。首先,我们使用最近的在线树搜索方法产生合成和循环参考运动,该方法可以在几分钟内发现稳定的步行步态。这使我们能够使用强化学习与参考状态跟踪(RSI),以找到一个神经网络控制器来模仿合成的参考运动。我们进一步加快学习使用一种新的课程学习方法称为终止课程(TC),适应事件终止阈值随着时间的推移。RSI和TC的组合确保了仿真预算不会浪费在最终策略未访问的状态空间区域中。因此,我们的智能体可以在几个小时内在一台普通的4核计算机上学习运动技能。我们证明了这一点,通过生产运动的各种字符。
2019-09-21 cs.GR cs.LG cs.RO
ACNMP: Skill Transfer and Task Extrapolation through Learning from Demonstration and Reinforcement Learning via Representation Sharing
Bogazici University(海峡大学);Ozyegin University(厄兹耶因大学);University of Luebeck(吕贝克大学)
为了使机器人具有灵巧的技能,一种有效的方法是首先通过示教学习(LfD)传递所需的技能,然后通过强化学习(RL)让机器人通过自我探索来改进它。在本文中,我们提出了一种新的LfD+RL框架,即自适应条件神经运动原语(ACNMP),它允许在新的环境中进行有效的策略改进,并在不同的代理之间进行有效的技能转移。这是通过利用由底层条件神经过程(CNP)模型学习的潜在表示来实现的,并且通过监督学习(SL)同时训练模型以获取演示的轨迹,并且通过RL进行新的轨迹发现。通过模拟实验,我们表明:(i)ACNMP使系统能够外推到纯LfD失败的情况下;(ii)通过SL和RL同时训练系统,由于两个学习者使用的共享表示,系统保持了演示的形状,同时适应新的情况;(iii)与现有方法相比,ACNMP使数量级样本有效的RL外推达到任务;(iv)ACNMP可用于实现具有不同形态的机器人之间的技能转移,具有竞争力的学习速度,重要的是与最先进的方法相比具有较少的假设。最后,我们通过真实的机器人实验,包括避障,拾取和放置,倾倒行动,显示ACNMPs的现实世界的适用性。
2020-11-09 cs.AI cs.LG cs.RO
ELSIM: End-to-end learning of reusable skills through intrinsic motivation
Univ Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);LIRIS(里昂信息与图像系统实验室)
从发展学习中获得灵感,我们提出了一种新的强化学习架构,它以端到端的方式分层学习和表示自我生成的技能。在这种架构下,智能体只关注任务奖励的技能,同时保持自下而上的技能学习过程。这种自下而上的方法允许学习技能,1-在任务之间可转移,2-在奖励稀疏时提高探索。要做到这一点,我们结合了一个新的课程学习算法,创建一个无限的和可探索的技能树先前定义的互信息目标。我们在简单的网格世界环境中测试我们的代理,以了解和可视化代理如何区分其技能。然后,我们证明了我们的方法可以在更困难的MuJoCo环境中扩展,在这种环境中,我们的代理能够建立一个技能表示,当奖励稀疏时,该技能表示可以在基线上提高迁移学习和探索。
2020-06-23 cs.AI cs.LG
ComSD: Balancing Behavioral Quality and Diversity in Unsupervised Skill Discovery
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanjing Institute of Software Technology(南京软件技术研究院)
ComSD通过对比动态奖励平衡状态探索与技能多样性,生成多样且具探索性的无监督技能,在多关节机器人和2D迷宫任务中实现最先进的适应性能。
2025-02-22 cs.AI cs.LG cs.RO
Experience Reuse with Probabilistic Movement Primitives
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
获得新的机器人运动技能是很麻烦的,因为从头开始学习一项技能并且没有先验知识需要探索大空间的运动配置。因此,为了学习新任务,可以通过利用类似任务的解来初始化参数搜索空间来限制参数搜索空间,从而节省时间。我们提出了一个框架,这是能够这样的知识转移,从已经学到的运动技能,一个新的学习任务。该框架结合了概率运动原语的技能表示的影响的描述。新的技能首先初始化的参数推断相关的运动原语,然后通过相对熵策略搜索适应新的任务。我们比较了两种不同的转移方法来初始化的搜索空间分布与数据的已知技能具有类似的效果。我们展示了两种知识转移方法在模拟3自由度机器人的物体推送任务上的不同好处。我们可以证明,当利用过去的经验时,学习技能的质量得到了提高,学习新任务所需的迭代次数可以减少60%以上。
2020-03-16 cs.LG cs.RO stat.ML
Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors
DeepMind(深度思维)
我们研究了利用人类和动物运动的先验知识来学习真正的足式机器人的可重复使用的运动技能。我们的方法建立在以前的工作模仿人类或狗的运动捕捉(MoCap)数据,学习运动技能模块。一旦学会,这个技能模块可以重复用于复杂的下游任务。重要的是,由于MoCap数据的先验性,我们的方法不需要广泛的奖励工程来在重用时产生合理和自然的行为。这使得创建适合在真实机器人上部署的规则化、面向任务的控制器变得容易。我们演示了我们的技能模块可以用于模仿,和训练可控的步行和运球政策的ANYmal四足动物和OP3人形。然后,这些策略通过zero-shot仿真到现实的传输部署在硬件上。相关视频可在https://bit.ly/robot-npmp上获得。
2022-03-31 cs.AI cs.LG cs.RO
Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
Meta AI;Sorbonne University(索邦大学);Inria Scool(法国国家信息与自动化研究所Scool项目组);Ubisoft La Forge(育碧La Forge实验室)
在没有奖励的情况下学习有意义的行为是强化学习中的一个难题。一个理想的和具有挑战性的无监督目标是学习一组不同的技能,这些技能在被引导的同时提供对状态空间的全面覆盖,即,可靠地到达环境的不同区域。在本文中,我们建立在互信息框架的技能发现和介绍UPSIDE,它解决了覆盖导向的权衡在以下方面:1)我们设计的政策与定向技能的解耦结构,训练到达一个特定的区域,其次是扩散部分,诱导局部覆盖。2)我们通过在每个策略到达环境的不同区域的约束下最大化它们的数量来优化策略(即,它们是充分可辨别的)并且证明这用作原始互信息目标的下界。3)最后,我们将学习到的定向技能组合成一棵自适应覆盖环境的生长树。我们在几个导航和控制环境中说明了UPSIDE学习的技能如何比现有基线更好地解决稀疏奖励下游任务。
2022-04-30 cs.LG
Playing Go without Game Tree Search Using Convolutional Neural Networks
Stanford University(斯坦福大学)
围棋在东亚国家有着悠久的历史,但计算机围棋领域直到最近几年才赶上人类。虽然围棋的规则很简单,但游戏的策略和组合学非常复杂。即使在过去的几年里,依靠神经网络来评估董事会位置的新程序仍然比专业人士每秒能探索出多出许多数量级的董事会位置。我们试图通过创建一个卷积神经策略网络来模仿人类在游戏中的直觉,该网络在没有任何树搜索的情况下,应该以或高于大多数人类的水平玩游戏。我们介绍了三种结构和训练方法,旨在创建一个强大的围棋选手:非矩形卷积,这将更好地学习棋盘上的形状,监督学习,在53,000场专业比赛的数据集上进行训练,以及强化学习,在不同版本的网络之间进行比赛的训练。我们的网络已经超越了仅仅使用监督学习的中级业余爱好者的技能水平。非矩形卷积和强化学习的进一步训练和实现可能会进一步提高这种技能水平。
2019-07-02 cs.AI cs.LG
Learning Movement Assessment Primitives for Force Interaction Skills
Universität Innsbruck(因斯布鲁克大学)
我们提出了一种新颖的,可重复使用的和任务不可知的原语,用于评估力交互机器人技能的结果,例如,用于工业制造中的质量控制等应用。所提出的方法易于编程的动觉教学,并通过机器学习模型实现所需的适应性和可重用性。原始记录在演示和再现运动期间的感觉数据。记录包括末端执行器的笛卡尔姿势和在每个时间步施加的扳手。收集的数据,然后使用训练高斯过程,创建模型的扳手作为一个功能的机器人的姿态。通过测量扳手模型的Hellinger距离,可以得出演示和机芯复制之间的相似性。这种比较创建的特征作为输入馈送到朴素贝叶斯分类器,该分类器估计运动的成功概率。该评估针对两种不同的机器人装配任务进行-卡扣装配和拧紧-共有5个用例,11个演示和200多个运动执行。性能指标证明了所提出的方法的能力,推广到不同的演示和运动。
2018-05-11 cs.RO
Skill Reinforcement Learning and Planning for Open-World Long-Horizon Tasks
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文针对开放世界长程任务提出将多任务学习转化为基础技能学习与技能规划,在Minecraft中利用内在奖励RL和大型语言模型构建技能图,实现40个任务的高效无示范求解。
2023-12-04 cs.AI cs.LG
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
动态运动基元被广泛用于学习技能,这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力,但它们没有强有力的保证来满足任务的操作安全约束。在本文中,我们提出了受约束的动态运动基元(C),它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方,扰动的局部加权回归回归的强制权,承认归零障碍函数(ZBF),这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动,如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法,可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
Conditional Neural Expert Processes for Learning Movement Primitives from Demonstration
Bogazici University(博阿齐奇大学)
提出条件神经专家过程 CNEP,无需模态标签即可将多模态演示分配给专家网络,在多模态数据集和真实机器人任务上优于多种 LfD 基线,并支持在线适应与可解释的专家选择。
2024-07-06 cs.LG cs.RO
Interaction-Stiffness-Guided Basis Allocation in Dynamic Movement Primitives for Efficient Skill Transfer
Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出阶段关键性引导的动态运动原语(SC-DMPs),利用交互刚度和轨迹一致性构建关键性指标,自适应分配基中心和带宽,提升高关键性阶段的表示密度,在多个任务上实现更优的轨迹再现和泛化性能。
2026-10-02 cs.RO
One-Shot Learning for Double-Shot Latte Art: Adapting Cobot Pouring Skills with Dynamic Movement Primitives
UTS Robotics Institute(UTS机器人研究所);School of Electrical, Mechanical and Biomedical Engineering(电气、机械与生物医学工程学院);University of Technology Sydney(悉尼科技大学)
本研究提出采用单次学习系统,将咖啡师演示分割为五个阶段编码为CDMP,可降低误差并适配不同容量杯子,还能推广到其他演示任务。
2026-10-16 cs.RO
Rate of Orientation Change as a New Metric for Robot-Assisted and Open Surgical Skill Evaluation
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Intuitive Surgical Inc.(直觉外科公司)
外科医生的技术技能直接影响患者的结局。迄今为止,在客观的技能评估中,乐器的角运动在很大程度上被忽视了。为了填补这一空白,我们开发了基于手术器械方向的手术技能评估指标。我们在两个具有不同条件的数据集上测试了我们的新指标:(1)经验丰富的机器人外科医生和非医疗用户在干燥的实验室模型上进行针驱动的数据集,以及(2)由外科医生在猪模型上进行训练的小数据集。我们评估了我们的新指标(角位移和方向变化率)的性能,以及经典指标(任务时间和路径长度)的性能。我们在运动的不同部分计算每个指标。我们的研究结果强调了分割的重要性,而不是计算整个运动的指标。我们的新指标,方向变化率,显示有经验的外科医生和非医疗用户/新手外科医生之间的统计学显着差异,这与经典的任务时间指标是一致的。方向变化率捕获外科医生培训期间教授的技术方面,并且与经典度量一起可以导致更全面的技能区分。
2021-05-09 cs.RO
Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots
School of Future Technology, Shanghai University(上海大学未来技术学院)
本文提出Tree Learning框架,通过参数继承机制和多模态适应机制,实现双足机器人多技能连续学习,避免灾难性遗忘,提升技能切换和交互控制性能。
2026-04-14 cs.RO
SPECTRA: Context-Conditioned Spectral Movement Primitives for Robot Skill Generalization
Technical University of Munich(慕尼黑工业大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Shanghai Jiao Tong University(上海交通大学)
研究机器人操作模仿学习中如何保留任务几何形状与动态可允许运动,提出频谱运动基元框架,结合任务空间与关节空间调节,经实验验证该方法在多方面表现良好,能有效实现技能泛化。
2026-07-15 cs.RO
Exploration of Surgeons' Natural Skills for Robotic Catheterization
Research Center for Medical Robotics and MIS Devices, Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院医学机器人与微创医疗器械研究中心)
尽管机器人导管系统最近已成为进行心血管介入的安全方式,但仍有许多重要挑战有待研究。其中之一是探索外科医生在使用机器人系统进行血管导管插入术期间的自然技能。在这项研究中,外科医生的自然手部动作进行了调查,以确定四个基本的运动用于血管内导管插入术。对照实验设置为获取表面肌电图(sEMG)信号从六个肌肉受神经支配时,与导管技术的主题,使开放设置的四个动作。k-means和k-NN模型在平均EMG和均方根特征上实现,以唯一地识别运动。结果表明,sEMG分析对设计安全有效的机器人导管插入的智能机器人控制的巨大潜力。
2020-03-06 cs.RO eess.IV eess.SP
Learning Riemannian Manifolds for Geodesic Motion Skills
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Technical University of Denmark (DTU)(丹麦技术大学);Max Planck Institute for Intelligent Systems (MPI-IS)(马克斯·普朗克智能系统研究所)
为了让机器人与人类一起工作并在非结构化环境中执行任务,它们必须学习新的运动技能,并使其适应飞行中看不见的情况。这就要求学习模型能够捕捉相关的运动模式,同时提供足够的灵活性,使编码技能适应新的要求,例如动态避障。我们引入了黎曼流形的角度来看这个问题,并建议学习黎曼流形上的人类示范,测地线是自然的运动技能。我们实现了这一点与变分自编码器(VAE)的位置和方向的机器人末端执行器的空间。测地线运动技能让机器人计划从数据流形上的任意点到任意点的运动。它们还提供了一种简单的方法,通过以在线方式重新定义环境指标来避免障碍。此外,测地线自然地利用多模式任务产生的流形来设计以前没有明确证明的运动。我们使用7-DoF机器人操纵器测试我们的学习框架,机器人令人满意地学习和再现具有精细运动模式的逼真技能,避免以前看不见的障碍物,并在多模式设置中生成新颖的运动。
2021-07-01 cs.AI cs.LG cs.RO
Composing Diffusion Policies for Few-shot Learning of Movement Trajectories
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本文提出DSE扩散分数均衡方法,通过概率组合基础扩散策略实现机器人运动轨迹的少样本学习,并提出MMD-FK度量评估运动与演示误差,实验显示MMD-FK降低超30%,并在5次演示中完成真实机器人新轨迹教学。
2024-10-22 cs.AI cs.RO
Human-Robot Skill Transfer with Enhanced Compliance via Dynamic Movement Primitives
University of Victoria(维多利亚大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种从人类示教中自动提取动态特征以调节DMP参数的系统方法,可同时用于示教学习和强化学习,在保持高类人性和稳定性的同时显著提升机器人柔顺性与轨迹探索效率。
2023-04-12 cs.AI cs.RO
Interactive incremental learning of generalizable skills with local trajectory modulation
German Aerospace Center (DLR)(德国航空航天中心);School of Computation, Information and Technology (CIT), Technical University of Munich (TUM)(慕尼黑工业大学计算、信息与技术学院)
提出基于KMP的交互式模仿学习框架,结合局部和全局轨迹调制,利用人类纠正反馈和经由点机制增量提升模型精度、添加新物体并扩展技能区域。
2025-02-21 cs.AI cs.LG cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University(博加齐大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);International Professional University of Technology in Osaka(大阪国际职业技术大学)
针对长技能复合误差问题,提出基于条件神经运动基元学习上下文相关修正策略,实现双臂打结技能合成,并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
A Unified Formulation of Geometry-aware Dynamic Movement Primitives
Mondragon Unibertsitatea(蒙德拉贡大学);University of Trento(特伦托大学);Aalto University(阿尔托大学)
本文提出一种基于黎曼几何的数学框架,使动态运动原语(DMPs)能够正确嵌入几何约束,从而处理单位四元数和对称正定矩阵等非欧几里得数据,并在仿真和真实机器人实验中验证了其收敛性和目标变更特性。
2024-07-30 cs.RO cs.SY eess.SY
Learning robot motor skills with mixed reality
Brown University(布朗大学);MERL(三菱电机研究实验室)
混合现实(MR)最近显示出巨大的成功,作为一个直观的界面,使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类,以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功,使最终用户能够教机器人复杂的运动任务仍然是一个挑战,因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架,最终用户教机器人a)运动演示,b)任务约束,c)规划表示,和d)对象信息,所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语(DMP)。我们假设,传达这个世界的知识将是直观的MR接口,并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Learning to Transfer Human Hand Skills for Robot Manipulations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔大学)
本文提出从人类手部示范学习联合运动流形并生成伪监督三元组,以推断合理机器人动作,显著提升真实机器人灵巧操作的重定向效果。
2025-01-07 cs.AI cs.LG cs.RO
Arc-Length-Based Warping for Robot Skill Synthesis from Multiple Demonstrations
Faculty of Electrical Engineering, Mathematics and Computer Science, University of Twente(代尔夫特理工大学电子工程、数学和计算机科学学院);Department of Electrical Engineering, Wright State University(威斯汀豪斯大学电气工程系)
本文提出基于弧长的变形方法,用于提升多示教机器人技能合成的轨迹同步和技能提取质量。
2025-02-28 cs.RO
Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires
University of Oxford(牛津大学);Yale University(耶鲁大学)
本文提出神经关联技能记忆框架,通过自监督预测编码统一技能学习与表达,实现故障检测与上下文感知执行,提升机器人安全性和生物传感器运动学习研究。
2025-05-14 cs.NE cs.RO
MOVE: Multi-skill Omnidirectional Legged Locomotion with Limited View in 3D Environments
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院 cyber-system 研究所);State Key Laboratory of Industrial Control Technology(工业控制技术国家重点实验室)
针对低成本四足机器人前向视野狭窄与外部感知噪声问题,提出端到端MOVE框架,融合伪孪生网络、监督与对比学习,实现有限视野下多技能全向运动。
2024-12-04 cs.RO
Kernelized Movement Primitives
Istituto Italiano di Tecnologia(意大利技术研究院)
模仿学习作为一种将人类技能转移到机器人身上的便捷方式得到了广泛的研究。这种学习方法的目的是从人体演示中提取相关的运动模式,并随后将这些模式应用于不同的情况。尽管已经取得了许多进步,但用于应对不可预测情况的解决方案(例如,障碍和外部扰动)和高维输入仍然很大程度上是开放的。在本文中,我们提出了一种新的内核化的运动原语(KMP),它允许机器人适应学习的运动技能,并履行各种额外的限制在任务的过程中产生的。具体来说,KMP能够学习与高维输入相关联的轨迹,这是由于核处理,这反过来又使模型具有更少的开放参数,而不是依赖于基函数的方法。此外,我们扩展我们的方法,利用本地轨迹表示在不同的坐标系,描述手头的任务,赋予KMP可靠的外推能力,在更广泛的领域。我们将KMP应用于时间驱动轨迹的学习作为一种特殊情况,其中利用了描述轨迹及其一阶导数的紧凑参数表示。为了验证我们的方法的有效性,提供了几个例子的轨迹调制和外推与时间输入,以及与高维输入的轨迹适应。
2018-03-06 cs.RO
Continual Learning from Demonstration of Robotics Skills
University of Innsbruck(因斯布鲁克大学);University of Trento(特伦托大学)
本文提出基于超网络与神经常微分方程求解器的演示持续学习方法,使机器人能连续学习多个运动技能而不遗忘旧技能,并在LASA及自建真实机器人数据集上验证其优于现有持续学习方法。
2023-04-12 cs.LG cs.RO
Geometry-aware Dynamic Movement Primitives
Aalto University(阿尔托大学)
在许多机器人控制问题中,刚度和阻尼矩阵以及可操作性椭球等因素自然地表示为对称正定(SPD)矩阵,该矩阵捕获了这些因素的特定几何特征。然而,典型的学习技能模型,如动态运动基元(DMP),不能直接与表示为SPD矩阵的量一起使用,因为它们限于欧几里得空间中的数据。在本文中,我们提出了一种新的数学原理框架,使用黎曼度量重新制定DMP,使所得到的配方可以与SPD数据的SPD流形。该方法的评价表明,DMPs的有益特性,如操作过程中目标的变化也适用于拟定制剂。
2020-03-12 cs.RO
Beyond Predefined Actions: Integrating Behavior Trees and Dynamic Movement Primitives for Robot Learning from Demonstration
Center for Applied Autonomous Sensor Systems (AASS)(应用自主传感系统中心)
提出将 DMP 控制器集成进 BT 框架的方法,从单次演示联合学习任务结构与运动动作,消除预定义动作需求并提升策略可解释性、模块化与适应性。
2025-05-13 cs.RO
Imitation Learning for Robotic Assisted Ultrasound Examination of Deep Venous Thrombosis using Kernelized Movement Primitives
University of Verona(维罗纳大学);University of Southern Denmark(南丹麦大学);Ropca ApS
针对DVT超声检查依赖操作者技能的问题,提出基于核化运动原语的模仿学习方法,利用超声技师演示训练机器人控制器,实现力控制和图像质量的专家级复制,优于手动力配置文件方法,提高检查标准化。
2024-11-08 cs.RO
Learning Feedback Terms for Reactive Planning and Control
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
随着机器人技术、机器学习和机器感知的进步,越来越多的机器人将进入人类环境,协助完成日常任务。然而,动态变化的人类环境需要反应式运动计划。反应性可以通过重新规划来实现,例如模型预测控制,或者通过反应性反馈策略来实现,该反应性反馈策略响应于感觉事件来修改正在进行的行为。在本文中,我们研究了如何使用机器学习,以增加反应,以前学到的名义熟练的行为。我们通过学习由非线性微分方程表示的运动计划的反应性修改项来实现这一点。特别是,我们使用动态运动原语(DMPs)来表示一个技能和一个神经网络来学习一个反应性的政策,从人类示威。我们使用的机器人操作的避障作为一个试验台,以及探索域。我们的方法演示了如何将神经网络与物理洞察相结合,以确保在不同的障碍设置和运动持续时间上的稳健行为。对拟人机器人系统的评价证明了我们工作的有效性。
2017-03-03 cs.RO
Careful with That! Observation of Human Movements to Estimate Objects Properties
Università degli Studi di Genova(热那亚大学);Italian Institute of Technology(意大利技术研究院)
人类在解释伴侣动作的微妙特性方面非常有效,并利用这种技能来促进顺畅的互动。因此,在日常活动中支持人类伙伴的机器人平台应该获得类似的能力。在这项工作中,我们专注于人类运动动作的特征,这些动作传达了对物体重量的见解以及在操纵时所需的谨慎。我们的最终目标是使机器人能够自主推断物体处理所需的护理程度,并仅通过观察人类操作来区分物品是轻还是重。这一初步研究代表了一个有希望的一步,实现这些能力的机器人观察现场与相机。事实上,我们成功地证明了,通过依赖于来自机器人相机或运动捕捉系统的视觉采集流的机器学习算法,可以可靠地推断人类操作员在处理物体时是否小心。另一方面,我们注意到,同样的方法不足以区分轻重物体。
2021-03-10 cs.LG cs.RO
Contract-Grounded Behavior Tree Synthesis via Coding Agents
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究从自然语言合成机器人行为树时基础设定易出现的问题,提出基于契约的合成架构,编码代理查询服务器获取契约后合成行为树,经实验评估两个大语言模型,结果显示该架构能实现高验证率和成功率,且可转移到物理硬件。
2026-07-15 cs.RO
Skill-Nav: Enhanced Navigation with Versatile Quadrupedal Locomotion via Waypoint Interface
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
Skill-Nav通过路点接口将四足运动技能与分层导航框架结合,利用深度强化学习训练策略,实现复杂地形中的自主导航与避障,实验验证其有效性。
2025-09-07 cs.RO
Exoskeleton-Based Multimodal Action and Movement Recognition: Identifying and Developing the Optimal Boosted Learning Approach
University of Cincinnati(辛辛那提大学)
本文对基于外显式的动作和运动识别领域做出了两项科学贡献。首先,它提出了一种新颖的基于机器学习和模式识别的框架,可以检测广泛的动作和运动-步行,上楼,走下楼,坐,站,躺,站到坐,坐到站,坐到躺,躺到坐,站到躺,躺到站,总体准确率为82. 63%。其次,它提出了一个全面的比较研究不同的学习方法-随机森林,人工神经网络,决策树,多路决策树,支持向量机,k-NN,梯度提升树,决策树桩,AutoMLP,线性回归,向量线性回归,随机树,朴素贝叶斯,朴素贝叶斯(核),线性判别分析,二次判别分析,和深度学习应用于这个框架。通过使用AdaBoost算法提高了这些学习方法的性能,并使用交叉验证方法进行训练和测试。结果表明,在提升的形式,k-NN分类器优于所有其他的提升学习方法,因此,是最佳的学习方法,为此目的。提出和讨论的结果支持这项工作的重要性,以促进增强基于exoadion的辅助和独立生活的老年人在未来的物联网为基础的生活环境,如灵巧家庭的能力。作为一个特定的用例,我们还讨论了我们的工作结果如何与增强混合辅助肢体外骨骼(一种功能强大的下肢外骨骼)的能力相关。
2022-04-27 cs.CY cs.HC cs.LG
Bootstrapping Motor Skill Learning with Motion Planning
Brown University(布朗大学)
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中,学习必须使用从人类演示中获得的良好技能策略来引导。然而,依赖人类的示范必然会降低机器人的自主性,因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的,样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示:打开一个抽屉的动态运动原语表示,并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务,学习打一个球的发球台,其中运动学计划的基础上处理的场景作为静态是不够的,以解决任务,但足以引导一个更动态的政策。在所有这三种情况下,我们的方法与人工演示的初始化相比都具有竞争力,并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略,而无需人类演示。
2021-01-12 cs.AI cs.RO
A Generalized Robotic Handwriting Learning System based on Dynamic Movement Primitives (DMPs)
Georgia Institute of Technology(佐治亚理工学院)
示教学习(Learning from demonstration,LfD)是一种功能强大的学习方法,它能够使机器人在一个或多个人类演示的情况下推断出如何执行所需任务。通过从最终用户演示中学习,而不是要求领域专家手动编程每项技能,机器人可以更容易地应用于更广泛的现实世界应用。书写机器人作为LfD的应用之一,由于人类手写轨迹的复杂性,已经成为一个具有挑战性的研究课题。在本文中,我们介绍了一个广义的手写学习系统的物理机器人学习从人类的笔迹的例子,以绘制字母数字字符。我们的机器人系统能够模仿人类演示者的书写方式重写字母,并以类似的书写风格创建新的字母。对于这个系统,我们开发了一个增强的动态运动基元(dynamic movement primitive,简称MOM)算法,MOM *,它增强了我们的机器人系统的鲁棒性和泛化能力。
2020-12-07 cs.RO
BT-TL-DMPs: A Novel Robot TAMP Framework Combining Behavior Tree, Temporal Logic and Dynamical Movement Primitives
Institute of Robotics and Automatic Information Systems, College of Artificial Intelligence, Nankai University(机器人与自动信息系统研究所,人工智能学院,南开大学);Tianjin Key Laboratory of Intelligent Robotics, Nankai University(智能机器人重点实验室,南开大学);College of Artificial Intelligence, Nankai University(人工智能学院,南开大学);Department of Computing, The Hong Kong Polytechnic University(计算学院,香港理工大学)
本文提出BT-TL-DMPs分层框架,结合行为树、时序逻辑与动态运动基元,通过STL约束优化DMP,实现长时程复杂操作任务的可靠泛化。
2025-07-19 cs.RO
Dynamic Movement Primitive based Motion Retargeting for Dual-Arm Sign Language Motions
Zhejiang University(浙江大学);ABB Corporate Research Center(ABB企业研究中心)
我们的目标是开发一种有效的编程方法,为装备服务机器人的技能,执行手语运动。针对以往运动重定向技术研究中很少考虑的双臂手语复杂动作从人到机器人的传递问题,提出了一种新的手势重定向方法。在本文中,我们提出了一种新的运动重定向方法,利用图优化和动态运动原语(DMPS)的这个问题。我们采用DMPs的领导者-追随者的方式参数化的原始轨迹,同时保持运动节奏和人体部位之间的相对运动,并采用了三步优化过程,找到变形的轨迹机器人运动规划,同时确保机器人执行的可行性。在ABB的YuMi双臂协作机器人(14-DOF)上成功地进行了几种中国手语(CSL)运动的实验结果,该机器人具有两个6-DOF Inspire-Robotics的多指手,总共有26个自由度。
2021-03-05 cs.RO
Tactile-Morph Skills: Energy-Based Control Meets Data-Driven Learning
Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究所);Technical University of Munich(慕尼黑工业大学)
提出触觉-形变技能框架,结合力-阻抗控制与数据驱动学习,通过 Temporal Convolutional Network 估计能量分布实现技能迁移,提升工业机器人的准确性、安全性和零样本迁移能力。
2024-08-23 cs.RO
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)(德国航空航天中心(DLR),机器人与机电一体化研究所(RMC));Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
提出CLASP架构,结合任务参数化核化运动基元(TP-KMP)与预训练视觉语言模型(VLM),通过自然语言命令实现技能选择、组合和主动学习,无需微调,在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
PREVENT: Proactive Risk Evaluation and Vigilant Execution of Tasks for Mobile Robotic Chemists using Multi-Modal Behavior Trees
Department of Chemistry and Material Innovation Factory, University of Liverpool(化学系和材料创新工厂,利物浦大学);Center for Life Science Automation, University of Rostock(生命科学自动化中心,罗斯托克大学)
针对移动机器人化学家缺乏工作流感知导致异常中断的问题,提出基于多模态行为树的PREVENT系统,通过分层感知机制实现高效决策,在模拟风险场景中完全避免误报漏报,并提升部署准确率。
2025-10-24 cs.RO
Suturing Tasks Automation Based on Skills Learned From Demonstrations: A Simulation Study
Worcester Polytechnic Institute(伍斯特理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究开发开源手术仿真环境,利用基于DMP和LWR的LfD算法学习针轨迹实现自主缝合,实验表明从经验丰富者学习时泛化率约91.5%。
2024-06-04 cs.RO
Learning Agile Locomotion Skills with a Mentor
Robotics at Google(谷歌机器人);Georgia Institute of Technology(佐治亚理工学院)
开发足式机器人的敏捷行为仍然是一个具有挑战性的问题。虽然深度强化学习是一种很有前途的方法,但学习真正的敏捷行为通常需要繁琐的奖励塑造和仔细的课程设计。我们制定敏捷运动作为一个多阶段的学习问题,其中导师指导整个训练的代理。导师被优化为放置检查点以引导机器人的质心的移动,而学生(即机器人)学习到达这些检查点。一旦学生能够解决任务,我们就会教学生在没有导师的情况下执行任务。我们评估我们提出的学习系统与一个模拟的四足机器人的课程,包括随机生成的差距和障碍。我们的方法显著优于没有导师的单级RL基线,并且四足机器人可以敏捷地跑和跳过间隙和障碍物。最后,我们对学习行为的可行性和有效性进行了详细的分析。
2020-11-11 cs.RO