Learning Novel Skills from Language-Generated Demonstrations
Institute of Automation Chinese Academy of Sciences(自动化研究所,中国科学院)
针对现有机器人学习新技能依赖演示数据或环境交互导致成本高、有安全风险的问题,提出DemoGen框架,通过视觉语言模型和视频扩散模型生成演示,使机器人从自然语言学习新技能,新任务完成率提升至原来三倍。
2025-05-21 cs.AI cs.LG cs.RO
Task and Skill Planning: Hierarchical Robot Planning with Black-Box Skills
本文提出了一种基于通用技能的分层机器人规划框架,通过可组合交互原语整合运动规划与闭合回路控制器,实现在复杂长期任务中的高效执行。
2026-07-30 cs.AI cs.RO
Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors
DeepMind(深度思维)
我们研究了利用人类和动物运动的先验知识来学习真正的足式机器人的可重复使用的运动技能。我们的方法建立在以前的工作模仿人类或狗的运动捕捉(MoCap)数据,学习运动技能模块。一旦学会,这个技能模块可以重复用于复杂的下游任务。重要的是,由于MoCap数据的先验性,我们的方法不需要广泛的奖励工程来在重用时产生合理和自然的行为。这使得创建适合在真实机器人上部署的规则化、面向任务的控制器变得容易。我们演示了我们的技能模块可以用于模仿,和训练可控的步行和运球政策的ANYmal四足动物和OP3人形。然后,这些策略通过zero-shot仿真到现实的传输部署在硬件上。相关视频可在https://bit.ly/robot-npmp上获得。
2022-03-31 cs.AI cs.LG cs.RO
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California(南加州大学);KAIST(韩国科学技术院);CMU(卡内基梅隆大学);Amazon Web Services(亚马逊网络服务)
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能,无需人工监督,使机器人通过选择技能和调整参数快速学习新任务,在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization
University of Southern California(南加州大学);NVIDIA(英伟达);California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
技能链是一种很有前途的方法,通过顺序组合先前学习的技能来合成复杂的行为。然而,当一个策略遇到一个在其训练过程中从未见过的初始状态时,一个幼稚的技能组合就会失败。为了成功的技能链接,先前的方法试图扩大策略的起始状态分布。然而,这些方法需要更大的状态分布,以覆盖更多的政策被排序,并因此限于短的技能序列。在本文中,我们提出在对抗学习框架中通过正则化终端状态分布来链接多个策略,而无需过大的初始状态分布。我们评估我们的方法对两个复杂的长期操作任务的家具装配。我们的研究结果表明,我们的方法建立了第一个无模型强化学习算法来解决这些任务;而以前的技能链方法失败了。代码和视频可在https://clvrai.com/skill-chaining上获得
2021-11-15 cs.AI cs.LG cs.RO
Weights or Skills? A Survey of Robot-Learning Techniques: from Action-Predicting Weights to Robots that Write their Own Skills
San Jose State University(圣何塞州立大学);Meta;Apple(苹果公司);Pragya Lab, BITS Pilani Goa(毕拉尼戈亚分校普拉gya实验室)
本综述围绕机器人学习的“权重vs技能”轴,梳理两类技术的分类、自我提升机制与开放问题,考察77个代表性系统,为机器人学习领域提供分析框架。
2026-08-04 cs.AI cs.RO
Online Damage Recovery for Physical Robots with Hierarchical Quality-Diversity
Imperial College London(帝国理工学院);University of Patras(帕特雷大学)
在现实环境中,机器人需要对损坏具有弹性,并对不可预见的情况具有鲁棒性。质量多样性(QD)算法已成功用于通过利用各种学习技能使机器人在几秒钟内适应损害。技能的高度多样性增加了机器人成功克服新情况的机会,因为有更多的潜在替代方案来解决新任务。然而,发现和存储多个技能的大量行为多样性通常会导致计算复杂性的增加。此外,在大的技能空间中进行机器人规划是随着技能数量的增加而出现的额外挑战。层次结构可以通过将技能分解为基本技能来帮助降低搜索和存储的复杂性。在本文中,我们介绍了分层试错算法,该算法使用分层行为库来学习各种技能,并利用它们使机器人在物理世界中快速适应。我们表明,技能的层次分解,使机器人能够学习更复杂的行为,同时保持学习的曲目易于处理。六足机器人的实验表明,我们的方法解决了迷宫导航任务,在模拟中减少了20%的动作,在物理世界中减少了43%的动作,对于最具挑战性的场景,比最佳基线减少了78%的完全失败。
2022-10-18 cs.AI cs.LG cs.NE
OpenGo: An OpenClaw-Based Robotic Dog with Real-Time Skill Switching
本文提出OpenGo,一种基于OpenClaw的机器人狗,具备实时根据场景和任务切换技能的能力,通过可定制技能库、技能调度器和自学习框架实现技能的自主组织与切换。
2026-04-02 cs.AI cs.RO
Learning Humanoid Robot Running Skills through Proximal Policy Optimization
Aeronautics Institute of Technology(航空技术学院)
在当前的足球3D发展水平中,运动控制是球队表现的关键因素。最近的工作利用基于机器学习的无模型方法来利用机器人动力学,以获得更快的运动技能,实现运行策略,因此,在足球3D环境中开辟了一个新的研究方向。在这项工作中,我们提出了一种基于深度强化学习的方法,该方法使用神经网络学习跑步技能,而无需任何先验知识,其输入与机器人的动力学相关。我们的研究结果优于以前的国家的最先进的短跑速度在足球3D文献报道的显着保证金。它还展示了样本效率的改进,能够在短短几个小时内学习如何运行。我们报告了我们的结果,分析了训练过程,并在速度,可靠性和人类相似性方面评估了策略。最后,我们提出了导致我们改进以前结果的关键因素,并分享了未来工作的一些想法。
2019-10-22 cs.AI cs.LG cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架,通过操作技能适应和技能专业化聚合,实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
Deliberate Practice: Learning Robot Skills under a Budget
研究有限预算下机器人序列任务技能学习问题,提出刻意练习算法,通过双线性规划计算预算最优分配,经仿真与真实实验验证可提升机器人长程规划能力。
2026-08-14 cs.AI cs.RO
A Capability and Skill Model for Heterogeneous Autonomous Robots
Helmut-Schmidt-University(赫尔穆特·施密特大学)
异构自主机器人团队变得越来越重要,因为他们促进各种复杂的任务。对于这样的异构机器人,目前没有一致的方式来描述每个机器人提供的功能。在制造领域,能力建模被认为是一种很有前途的方法,语义模型的功能提供不同的机器。本文研究了如何将能力模型从制造业扩展到自主机器人领域,并提出了一种建立能力模型的方法。
2023-02-09 cs.AI cs.RO
Continual Robot Skill and Task Learning via Dialogue
Arizona State University(亚利桑那州立大学)
本文提出通过对话交互实现机器人持续学习任务和视觉-运动技能,开发了ACT-LoRA政策在模拟中优于基线,且在真实场景中成功教授烹饪技能。
2026-03-28 cs.AI cs.CL cs.RO
Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出KIS-GMM方法,通过学习3D关键点结合模仿与强化学习,使机器人在无需新真实数据下实现零样本泛化并快速适应新环境。
2023-10-23 cs.AI cs.CV cs.LG
IROSA: Interactive Robot Skill Adaptation using Natural Language
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)(德国航空航天中心(DLR)机器人与机电研究所);School of Computation, Information and Technology (CIT), Technical University of Munich (TUM)(计算、信息与技术学院(CIT),慕尼黑技术大学)
本文提出IROSA框架,利用预训练大语言模型实现开放词汇技能适应,通过工具架构在语言模型与机器人硬件间保持抽象层,无需微调即可通过自然语言指令调整机器人技能。
2026-04-16 cs.AI cs.CL cs.HC
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg(汉堡大学)
认知科学认为,自我表征对学习和解决问题至关重要。然而,缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中,我们通过开发一个模型来弥合这一差距,该模型学习双向动作-效果关联,以从多感官信息中编码身体图式和近个人空间的表征,称为多模态BidAL。通过三个不同的机器人实验,我们证明,这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下,它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
Robot Parkour Learning
ShanghaiTech(上海科技大学);CMU(卡内基梅隆大学);Stanford(斯坦福大学);Shanghai Qi Zhi(上海期智研究院);Tsinghua(清华大学)
本研究提出一种无需参考运动数据的端到端基于视觉的强化学习系统,通过直接配点法生成并蒸馏多种parkour技能至单一策略,使低成本四足机器人能自主选择并执行技能以穿越复杂真实环境。
2023-09-12 cs.AI cs.CV cs.LG
Learning Locomotion Skills in Evolvable Robots
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
机器人复制的挑战--通过重组两个现有的机器人来制造新的机器人--最近已经被破解,物理上不断进化的机器人系统已经触手可及。在这里,我们解决了下一个大障碍:为新生机器人制造足够的大脑。特别是,我们解决的任务,有针对性的运动,这可以说是一个基本的技能,在任何实际的实施。我们介绍了一个控制器的架构和一个通用的学习方法,让一个模块化的机器人与任意形状的学习走向一个目标,并按照这个目标,如果它移动。我们的方法是验证三个机器人,蜘蛛,壁虎,和他们的后代,在三个现实世界的情况下。
2020-10-19 cs.AI cs.NE cs.RO
Visuospatial Skill Learning for Robots
Georgia Institute of Technology(佐治亚理工学院);University of Genova(热那亚大学);Imperial College London(帝国理工学院)
提出了一种新的技能学习方法,允许机器人获得类似人类的视觉空间技能的对象操作任务。视觉空间技能是通过演示来观察物体之间的空间关系。建议的视觉空间技能学习(VSL)是一个基于目标的方法,专注于实现所需的目标配置的对象相对于彼此,同时保持操作的顺序。VSL能够从一次演示中学习和概括多操作技能,同时需要关于对象和环境的最小先验知识。与许多现有的方法相比,VSL提供了简单,高效和用户友好的人机交互。我们还表明,VSL可以很容易地扩展到3D对象操作任务,只需采用点云处理技术。此外,一个机器人学习框架,VSL-SP,提出了集成VSL,模仿学习,和传统的规划方法。在VSL-SP中,执行动作的顺序是使用VSL学习的,而感觉运动技能是使用传统的基于记忆的学习方法学习的。这样的集成很容易将机器人的能力扩展到新的情况,即使用户没有编程能力。在VSL-SP中,VSL的内部规划器与现有的动作级符号规划器相集成。使用任务的底层约束和提取的符号谓词,由VSL识别,更新任务的符号表示。因此,规划器将每个技能的一般化表示保持为可重用的动作,其可以用于规划并在学习阶段独立执行。所提出的方法是通过几个真实世界的实验进行验证。
2017-06-03 cs.AI cs.RO
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);Mohamed bin Zayed University of Artificial Intelligence(马斯达尔大学人工智能学院)
本文提出NBAgent,通过持续学习技能共享和特定属性,解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
Learning Robotic Ultrasound Scanning Skills via Human Demonstrations and Guided Explorations
Wuhan University(武汉大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于人类示范和引导探索的学习方法,将超声扫描技能建模为多模态模型,利用模仿学习训练并后优化,以实现机器人自主超声扫描。
2021-11-02 cs.AI cs.RO
Cloud-Based Hierarchical Imitation Learning for Scalable Transfer of Construction Skills from Human Workers to Assisting Robots
University of Michigan(密歇根大学)
提出基于云机器人的虚拟演示框架,结合分层模仿学习分解人类操作技能,实现建筑技能从工人向辅助机器人的规模化迁移,减少重复演示并提升训练可信度。
2023-09-20 cs.AI cs.RO
SurgiCLAW: An Interpretable Atomic-Skill Agent for Precision Robotic Micromanipulation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
SurgiCLAW是用于精密机器人显微操作的可解释原子技能智能体,通过分层技能框架结合MLLM与确定性控制程序,在脑机接口植入任务中实现了94.6%技能选择准确率与88.0%真实机器人任务成功率。
2026-10-14 cs.AI cs.RO
Learning Autonomous Ultrasound via Latent Task Representation and Robotic Skills Adaptation
Wuhan University(武汉大学);Hospital of Wuhan University(武汉大学医院)
本文提出潜在任务表示与机器人技能自适应方法,通过自监督概率模型融合多模态超声技能,实现自主超声检查并适应不同患者,实验验证其性能显著优于先前方法。
2023-07-25 cs.AI cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot
Shanghai Jiao Tong University(上海交通大学)
本文构建并公开发布 RH20T 真实机器人数据集,以视觉、力、音频、动作及人类演示等多模态数据支持一次性模仿学习多样化富接触操作技能。
2023-09-26 cs.AI cs.CV cs.RO
MCP: Learning Composable Hierarchical Control with Multiplicative Compositional Policies
University of California, Berkeley(加州大学伯克利分校)
人类能够通过利用从先前经验中获得的技能来执行无数复杂的任务。自主智能体要具备这种能力,就必须能够从过去的经验中提取可重复使用的技能,这些技能可以以新的方式重新组合,用于后续任务。此外,当控制复杂的高维形态时,例如人形身体,任务通常需要同时协调多种技能。为每种技能组合学习离散原语很快就变得令人望而却步。可以重新组合以创建各种行为的可组合原语可能更适合于对这种组合爆炸进行建模。在这项工作中,我们提出了乘法组合策略(MCP),学习可重复使用的运动技能,可以组成产生一系列复杂的行为的方法。我们的方法将代理的技能分解为一组原语,其中多个原语可以通过乘法组合同时激活。这种灵活性允许原语被转移和重组,以引发新任务所需的新行为。我们证明了MCP能够从预训练任务(如运动模仿)中提取高度复杂的模拟角色的可组合技能,然后重用这些技能来解决具有挑战性的连续控制任务,如将足球运球到目标,捡起物体并将其运送到目标位置。
2019-05-23 cs.LG stat.ML
When Search Becomes Memory: Accelerating Robot Design Discovery with Self-Evolving Skills
University of Michigan(密歇根大学)
提出Auto-Robotist,一种自进化LLM代理,通过将形态搜索轨迹提炼为自然语言技能库,实现可迁移的机器人设计知识,在EvoGym任务中提升冷启动搜索并跨设计空间迁移技能。
2026-09-25 cs.AI cs.CL cs.CV
AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Yinwang Intelligent Technology Co. Ltd.(云网智能技术有限公司)
AtomicVLA通过原子技能抽象和动态专家组合提升机器人长周期任务的性能
2026-09-09 cs.AI cs.CV cs.RO
Towards a Simple Framework of Skill Transfer Learning for Robotic Ultrasound-guidance Procedures
King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本文提出一个用于机器人超声引导程序的技能迁移学习简单框架,通过初步实验发现经验丰富的临床医生操作更快更平滑,并指出未来需剪枝和量化神经网络模型以实现实时应用。
2023-05-06 cs.AI cs.AR cs.RO
ComposableNav: Instruction-Following Navigation in Dynamic Environments via Composable Diffusion
Department of Computer Science, The University of Texas at Austin(德克萨斯大学计算机科学系);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能)
ComposableNav利用扩散模型分别学习各运动基元并在部署时并行组合,通过监督预训练加强化学习微调的两阶段流程,使机器人能够跟随包含训练中未见规范组合的指令进行动态导航,显著优于非组合基线。
2025-09-22 cs.AI cs.CV cs.LG
RMP2: A Structured Composable Policy Class for Robot Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
我们考虑的问题,学习运动策略的加速度为基础的机器人系统与RMPflow指定的结构化政策类。RMPflow是一个多任务控制框架,已成功应用于许多机器人问题。使用RMPflow作为学习中的结构化策略类有几个好处,例如足够的表达能力,注入不同级别的先验知识的灵活性以及在机器人之间传输策略的能力。然而,实现用于端到端学习RMPflow策略的系统面临若干计算挑战。在这项工作中,我们重新审视了RMPflow的消息传递算法,并提出了一种更有效的替代算法,称为RMP 2,它使用现代自动微分工具(如TensorFlow和PyTorch)来计算RMPflow策略。我们的新设计保留了RMPflow的优势,同时带来了自动微分的优势,包括1)简单的编程接口来设计复杂的转换; 2)支持通用有向无环图(DAG)转换结构; 3)端到端的可微性策略学习; 4)提高计算效率。由于这些特征,RMP 2可以被视为一个结构化的策略类,用于有效的机器人学习,这是合适的编码领域知识。实验结果表明,在强化学习任务中,使用RMP 2给出的结构化策略类可以提高策略的性能和安全性。
2021-03-10 cs.LG cs.RO cs.SY
VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出VoxPoser,利用LLM与VLM组合3D价值图,并结合基于模型的规划零样本合成鲁棒机器人轨迹,支持开放语言指令下的多样日常操作任务。
2023-11-02 cs.AI cs.CL cs.CV
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia(意大利技术研究院);Università di Genova(热那亚大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
处理复杂任务的昂贵的强化学习(RL)的一个常见策略是将它们分解为一系列子任务,这些子任务通常更容易学习,并且可用于新问题。然而,当机器人学习这些子任务的策略时,常见的方法单独对待每个策略学习过程。因此,在通过策略组合处理复杂任务的学习过程之前,需要学习所有这些单独的(可组合的)策略。此外,这种单个策略的组合通常是顺序执行的,这不适合需要并发执行子任务的任务。在本文中,我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量,从而在一个复杂的高斯政策,这是一个函数的手段和协方差矩阵的组合政策。此外,我们提出了一种算法,用于学习复合和组合政策在同一个学习过程中,利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上,有利于学习过程中的探索。实验结果表明,收集的经验与复合政策允许不仅要解决复杂的任务,但也获得有用的组合策略,成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics
Queensland University of Technology(昆士兰科技大学);CSIRO(澳大利亚联邦科学与工业研究组织)
基于技能的强化学习(RL)已经成为一种很有前途的策略,利用先验知识加速机器人学习。技能通常从专家演示中提取,并嵌入到一个潜在空间中,从中可以作为高级RL代理的动作进行采样。然而,这个技能空间是广阔的,并且并非所有技能都与给定的机器人状态相关,这使得探索变得困难。此外,下游RL代理仅限于学习与用于构建技能空间的任务结构相似的任务。我们首先提出了加速探索的技能空间,使用状态条件生成模型直接偏向于高层次的代理只采样技能相关的一个给定的状态的基础上先前的经验。接下来,我们提出了一个低级别的剩余策略,用于细粒度的技能适应,使下游RL代理能够适应看不见的任务变化。最后,我们在四个具有挑战性的操作任务中验证了我们的方法,这些任务与用于构建技能空间的任务不同,展示了我们在任务变化中学习的能力,同时显着加速探索,优于先前的工作。代码和视频可以在我们的项目网站上找到:https://krishanrana.github.io/reskill。
2022-11-04 cs.AI cs.LG cs.RO
Deep Reinforcement Learning to Acquire Navigation Skills for Wheel-Legged Robots in Complex Environments
移动机器人在复杂动态环境中的导航是一个具有挑战性的重要问题。强化学习方法无法有效地解决这些问题,由于奖励稀疏,时间复杂性和高维的感觉运动空间,这是固有的问题。我们提出了一种新的方法来训练行动政策,以获得导航技能的轮足式机器人使用深度强化学习。该策略将高度图图像观察映射到运动命令,以在避开障碍物的同时导航到目标位置。我们建议通过学习和利用一些可管理的导航行为来获得多方面的导航技能。我们还引入了一个域随机化技术,以提高训练样本的通用性。我们的实验表明,数据效率,成功率,对不相关的感官数据的鲁棒性,以及机动技能的质量方面的显着改善。
2018-04-27 cs.LG cs.RO stat.ML
Skills Made to Order: Efficient Acquisition of Robot Cooking Skills Guided by Multiple Forms of Internet Data
Carnegie Mellon University(卡内基梅隆大学);Robotics Institute(机器人研究所)
针对从互联网数据学习富接触工具使用技能的挑战,本文提出从一组模板机器人行为中进行选择而非生成低级行为,结合 LLM、视频编码器和光流编码器三种方法,利用多源互联网数据协同作用构建的模板选择器在16项烹饪技能上实现了79%的成功率。
2024-09-23 cs.AI cs.LG cs.RO
MuTT: A Multimodal Trajectory Transformer for Robot Skills
ArtiMinds Robotics(阿蒂明兹机器人公司);Autonomous Learning Robots, KIT(卡尔斯鲁厄理工学院自主学习机器人实验室)
本文提出MuTT,一种融合视觉、轨迹与技能参数的编码器-解码器Transformer架构,用于预测环境感知的机器人技能执行,结合基于模型的优化器实现免真实执行的参数优化。
2024-08-22 cs.LG cs.RO
Learning Robot Skills with Temporal Variational Inference
Facebook AI Research(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们解决了发现机器人的选项,从演示中的无监督的方式。具体来说,我们提出了一个框架,共同学习低级别的控制政策和更高级别的政策,如何使用它们从演示的机器人执行各种任务。通过将选项表示为连续的潜变量,我们将学习这些选项的问题框架为潜变量推理。然后,我们提出了一个时间公式的变分推理的基础上的时间因式分解的轨迹似然,这使我们能够推断选项在无监督的方式。我们展示了我们的框架在三个机器人演示数据集上学习这些选项的能力。
2020-06-29 cs.LG cs.RO stat.ML
SKID RAW: Skill Discovery from Raw Trajectories
Technische Universität Darmstadt(达姆施塔特工业大学);Universität zu Lübeck(吕贝克大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
将机器人集成到复杂的日常环境中需要解决许多问题。其中一个关键特征是为机器人配备一种机制,以简单自然的方式教它们一项新任务。当教授涉及不同技能序列的任务时,这些技能的顺序和数量不同,最好只演示完整的任务执行,而不是所有的个人技能。为此,我们提出了一种新的方法,同时学习分割轨迹到重复出现的模式和技能,以重建这些模式,从未标记的示威,而无需进一步的监督。此外,该方法学习技能条件,可用于理解可能的技能序列,例如,用于更智能和自适应机器人行为的人机交互的实用机制。贝叶斯和变分推理为基础的方法进行评估合成和真实的人类演示具有不同的复杂性和维度,显示成功的学习的分割和技能库从未标记的数据。
2021-03-26 cs.AI cs.LG cs.RO
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达)
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而,机器人技能的设计在现实世界的应用中往往是棘手的,因为它需要大量的努力和专业知识。在这项工作中,我们介绍了技能学习在多样化的环境(SLIDE),一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反,我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现,我们的方法训练每个技能专门用于配对任务,并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集,联合训练估计的多样性目标的证据下界。然后,可以将学习到的技能组合在分层强化学习算法中,以解决看不见的目标任务。我们证明,该方法可以有效地学习各种机器人的技能,在两个桌面操作域。我们的研究结果表明,与现有的强化学习和技能学习方法相比,学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
Agentic Skill Discovery
University of Hamburg(汉堡大学)
针对机器人基础技能获取难题,提出完全由大语言模型驱动的技能发现框架,通过LLM生成任务提案、采样奖励与判定函数结合强化学习训练策略,经视觉语言模型保障可靠性,实现从零构建可扩展的有意义技能库。
2024-08-16 cs.AI cs.LG cs.RO
SkillComposer: Learning Reusable Skills for Natural-Language Robot Programming
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
SkillComposer是一款仿真环境下的交互式自然语言机器人编程系统,采用生成-测试架构,通过在线库学习算法生成可复用宏技能,经实验验证可提升任务成功率与可用性并减少用户工作量。
2026-08-18 cs.CL cs.LG cs.RO
Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
我们通过技能发现来解决现实世界中的长视野机器人操作任务。我们提出了一个自自底向上的【形】的方法来学习一个库的可重复使用的技能,从未分割的演示,并使用这些技能来合成延长机器人的行为。我们的方法首先通过凝聚聚类从每个演示构建一个分层的任务结构。从多任务演示的任务结构中,我们识别技能的基础上的循环模式和训练目标条件的感觉运动策略与分层模仿学习。最后,我们训练一个Meta控制器来组合这些技能,以解决长期的操作任务。整个模型可以在30分钟内收集的一小组人类演示上进行训练,而无需进一步的注释,使其能够在现实世界中部署。我们系统地评估了我们的方法在模拟环境中,并在一个真正的机器人。我们的方法在多阶段操作任务中表现出优于最先进的模仿学习方法的性能。此外,与从单个任务中发现的技能相比,从多任务演示中发现的技能将平均任务成功率提高了$8\%$。
2022-01-22 cs.LG cs.RO
Composable Learning with Sparse Kernel Representations
University of Pennsylvania(宾夕法尼亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
提出了一种在再生核Hilbert空间中学习稀疏非参数控制器的强化学习算法。我们通过一个归一化的优势函数(NAF)的状态-动作函数的结构,提高了这种方法的样本复杂度。策略的这种表示能够有效地组合多个学习模型,而无需额外的训练样本或与环境的交互。我们证明了该算法的性能,学习避障政策,在多个模拟的机器人配备了激光扫描仪,同时在2D环境中导航。我们将组合操作应用于各种策略组合,并对其进行测试,以表明组合策略保留了其组件的性能。我们还将组合策略直接转移到在具有障碍物的竞技场中操作的物理平台,以展示一定程度的泛化。
2021-03-29 cs.LG cs.RO
Generalize by Touching: Tactile Ensemble Skill Transfer for Robotic Furniture Assembly
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
本文提出TEST框架,通过引入触觉反馈的离线强化学习方法学习技能转移模型与自适应策略,解决机器人家具组装的长周期任务泛化问题,实现90%成功率且效率提升4倍以上。
2024-04-26 cs.LG cs.RO
Customizable Combination of Parameter-Efficient Modules for Multi-Task Learning
AntGroup(蚂蚁集团)
提出 Customized Polytropon C-Poly,通过低秩参数化结合可定制的任务共有与任务特定技能并联合学习分配矩阵,提升多任务学习的跨任务泛化与样本效率。
2023-12-06 cs.AI cs.LG
Learning robot motor skills with mixed reality
Brown University(布朗大学);MERL(三菱电机研究实验室)
混合现实(MR)最近显示出巨大的成功,作为一个直观的界面,使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类,以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功,使最终用户能够教机器人复杂的运动任务仍然是一个挑战,因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架,最终用户教机器人a)运动演示,b)任务约束,c)规划表示,和d)对象信息,所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语(DMP)。我们假设,传达这个世界的知识将是直观的MR接口,并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models
University of Freiburg(弗莱堡大学)
自主智能体在现实世界中的核心挑战是调整其技能库以应对其嘈杂的感知和动态。为了将技能的学习扩展到长期任务,机器人应该能够通过轨迹以结构化的方式学习并随后改进其技能,而不是在每个时间步单独做出即时决策。为此,我们提出了软演员-评论家高斯混合模型(SAC-GMM),这是一种新的混合方法,通过动态系统学习机器人技能,并通过与环境的交互在自己的轨迹分布空间中调整学习到的技能。我们的方法结合了经典的机器人技术的示教学习与深度强化学习框架,并利用其互补性。我们表明,我们的方法利用传感器只在执行初步学习的技能,以提取相关功能,导致更快的技能细化。在模拟和现实环境中的广泛评估表明,我们的方法在完善机器人技能的有效性,利用物理交互,高维传感数据,稀疏的任务完成奖励。视频、代码和预训练模型可在http://sac-gmm.cs.uni-freiburg.de上获得。
2022-09-19 cs.CV cs.LG cs.RO
A Simple Approach to Continual Learning by Transferring Skill Parameters
University of Southern California(南加州大学);Amazon(亚马逊)
为了在现实世界中成为有效的通用机器,机器人不仅需要使其现有的操作技能适应新的环境,还需要在飞行中获得全新的技能。持续学习的一个伟大前景是赋予机器人这种能力,通过使用他们积累的知识和经验,从以前的技能。我们重新审视这个问题,通过考虑机器人仅限于以学习技能策略的形式存储知识和经验的设置。我们表明,存储技能的政策,仔细的预训练,并适当地选择何时转移这些技能的政策是足够的机器人操作的背景下,建立一个持续的学习者。我们分析了在具有挑战性的元世界模拟基准测试中需要哪些条件来转移技能。使用这种分析,我们引入了一个成对的度量相关的技能,使我们能够预测任务之间的技能转移的有效性,并使用它来减少课程选择的持续学习的问题。给定适当的课程,我们将展示如何不断地获得机器人操作技能而不会忘记,并使用比从头开始训练它们所需的样本少得多的样本。
2021-10-19 cs.LG cs.RO
Learning Agile Robotic Locomotion Skills by Imitating Animals
Google Research(谷歌研究院);University of California, Berkeley(加利福尼亚大学伯克利分校)
复制动物多样而敏捷的运动技能一直是机器人技术的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为,但构建这样的控制器涉及耗时且困难的开发过程,通常需要对每个技能的细微差别进行大量的专业知识。强化学习为自动化控制器开发中涉及的手动工作提供了一种有吸引力的替代方案。然而,设计从代理中引出所需行为的学习目标也需要大量的技能特定的专业知识。在这项工作中,我们提出了一个模仿学习系统,使足式机器人学习敏捷的运动技能,模仿现实世界的动物。我们表明,通过利用参考运动数据,一个单一的学习为基础的方法是能够自动合成控制器的足式机器人的各种剧目的行为。通过将样本有效的领域自适应技术纳入到训练过程中,我们的系统能够在模拟中学习自适应策略,然后可以快速适应现实世界的部署。为了证明我们的系统的有效性,我们训练一个18自由度的四足机器人执行各种敏捷的行为,从不同的运动步态动态跳跃和转弯。
2020-07-21 cs.LG cs.RO
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research(谷歌研究院)
强化学习为学习机器人技能提供了一个通用框架,同时最大限度地减少了工程工作量。然而,大多数强化学习算法假设提供了一个精心设计的奖励函数,并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法,在没有任何奖励功能的情况下获得各种技能,然后将这些技能重新用于下游任务?在本文中,我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法,使其适合在现实世界中执行无监督强化学习。首先,我们证明了我们提出的算法在学习效率上有了实质性的提高,使得无奖励的真实世界训练变得可行。其次,我们超越了仿真环境,并在真实的物理硬件上评估算法。在四足动物身上,我们观察到不同步态和不同方向的运动技能出现,没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航,没有任何额外的培训。
2020-04-27 cs.LG cs.RO
SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
针对现有持续模仿学习忽视技能特性、知识迁移欠佳的问题,提出SPECI分层架构,通过技能码本与注意力机制实现技能复用,并引入模式近似增强任务迁移,实验全面超越现有方法。
2025-04-22 cs.LG cs.RO