From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
Skill-Space Shooting for Autonomous Robot Policy Improvement
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校);Shanghai Qi Zhi Institute(上海期智研究院)
提出技能空间射击方法,利用基础模型指导通过可重用技能探索修正,将成功试验转化为策略改进,实现自主机器人在任务内和跨任务的可扩展、可泛化策略提升。
2026-09-30 cs.AI cs.LG cs.RO
MetaWorld: Skill Transfer and Composition in a Hierarchical World Model for Grounding High-Level Instructions
Beijing University of Technology(北京理工大学);Fudan University(复旦大学);Tsinghua University(清华大学)
MetaWorld通过整合语义规划与物理控制,利用专家策略迁移提升人形机器人在定位-操作任务中的性能。
2026-01-24 cs.RO
Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models
National University of Singapore(新加坡国立大学);University of Toronto(多伦多大学);Peking University(北京大学);Sichuan University(四川大学);Zhejiang University(浙江大学)
本文提出 Manual2Skill 框架,利用 VLM 解析手册图像、构建分层组装图,并结合 6D 位姿估计与运动规划,实现真实 IKEA 家具的高效精确组装。
2025-10-18 cs.AI cs.RO
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google(谷歌机器人部门);University of Toronto(多伦多大学)
本文提出DIAL方法,利用预训练视觉语言模型CLIP的语义理解能力,为大规模未标注机器人演示数据自动生成语言标签,使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架,通过操作技能适应和技能专业化聚合,实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity
Adaptive & Intelligent Robotics Lab(智能机器人实验室)
本文提出 URSA 框架,扩展 QDAC 以无监督方式让四足机器人在仿真和真实世界中发现并复用多样高性能运动技能,且在损伤适应任务上优于基线。
2025-08-28 cs.AI cs.LG cs.RO
AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);BIGAI(北京智源人工智能研究院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
提出AnySkill分层方法,通过低层原子动作与高层CLIP图像奖励策略,实现交互智能体遵循开放词汇指令的物理技能学习。
2024-03-19 cs.CV cs.RO
Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models
University of California, Merced(加州大学默塞德分校)
本研究利用视觉-语言-动作模型,通过指令条件规划提升自动驾驶的鲁棒性和轨迹对齐性能。
2026-02-04 cs.AI cs.CV cs.LG
Learning Adaptive Dexterous Grasping from Single Demonstrations
University of California, San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学);Hillbot
提出 AdaDexGrasp 框架,通过单次演示学习抓取技能库并利用 VLM 进行上下文选择,结合轨迹跟随奖励与课程学习提升 RL 效率,实现零样本真实世界迁移且成功率达 90%。
2025-08-09 cs.AI cs.LG cs.RO
Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion
Georgia Institute of Technology(佐治亚理工学院)
本文提出新型学习框架SDAX,利用无监督技能发现自主获取多样化技能以克服障碍,并通过双层优化动态调节探索程度,使四足机器人学会爬行、攀爬、跳跃等敏捷行为并成功迁移至真实硬件。
2025-08-12 cs.AI cs.LG cs.RO
Dual-Process Atomic Skill Learning: Decoupling Semantic Reasoning and Real-Time Control
University of Electronic Science and Technology of China(电子科技大学);Huazhong University of Science and Technology(华中科技大学);Southern University of Science and Technology(南方科技大学);South China University of Technology(华南理工大学);EbTech Co. Ltd.(依比特科技有限公司)
研究针对语言条件模仿学习推广到多步组合任务的挑战,提出双过程原子技能学习框架DASL,通过解耦语义推理与实时控制,含低频和高频策略,有效减轻技能码本干扰问题,性能显著优于现有基线。
2026-09-14 cs.RO
Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion
DeepMind;TU Darmstadt(达姆施塔特工业大学)
现代强化学习(RL)算法有望直接从原始感觉输入解决困难的运动控制问题。它们的吸引力部分是因为它们可以代表一种通用的方法,即使在人类专家难以或昂贵的情况下,也可以通过合理设置的奖励和最小的先验知识来学习解决方案。然而,为了让RL真正实现这一承诺,我们需要算法和学习设置,这些算法和学习设置可以在最小的问题特定调整或工程的情况下解决广泛的问题。在本文中,我们研究这种思想的一般性在运动域。我们开发了一个学习框架,可以学习复杂的运动行为的广泛的足式机器人,如两足动物,三足动物,四足动物和六足动物,包括轮式变种。我们的学习框架依赖于一个数据高效的、非策略的多任务RL算法和一小组在机器人之间语义相同的奖励函数。为了强调该方法的普遍适用性,我们在实验中保持超参数设置和奖励定义不变,并完全依赖于板载传感。对于九种不同类型的机器人,包括现实世界中的四足机器人,我们证明了相同的算法可以快速学习不同的和可重复使用的运动技能,而无需任何平台特定的调整或额外的仪器的学习设置。
2020-08-06 cs.AI cs.LG cs.RO
Lifelong Robot Learning with Human Assisted Language Planners
Improbable AI Lab(Improbable人工智能实验室);University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院)
提出一种基于LLM的规划器方法,使机器人能以数据和时间高效的方式学习新技能并复用于未来任务,克服了现有规划器技能集固定的局限,实现了开放世界的终身学习。
2023-10-24 cs.LG cs.RO
Generalizable Skill Learning for Construction Robots with Crowdsourced Natural Language Instructions, Composable Skills Standardization, and Large Language Model
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
针对建筑机器人技能泛化性差、重编程成本高的问题,提出结合众包自然语言指令、技能标准化与LLM的可泛化学习架构,经工业机械臂石膏板安装实验验证,可低工作量实现高质量多任务重编程。
2025-09-02 cs.RO
MistyPilot: Enabling Social-Robot Control through Multi-Agent LLM Skill Orchestration
State University of New York at Buffalo(纽约州立大学布法罗分校)
该研究提出多智能体大语言模型框架MistyPilot,可解释自然语言指令并编排Misty社交机器人技能,经评估其在多项任务上准确率高、方差低,用户反馈积极,代码将公开。
2026-08-18 cs.AI cs.RO
Boosting Offline Reinforcement Learning for Autonomous Driving with Hierarchical Latent Skills
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Jiao Tong University(上海交通大学);QCraft Inc(轻舟智航公司)
本文提出一种基于分层潜在技能的框架,通过变分自编码器学习驾驶技能并作为动作,增强离线强化学习在自动驾驶中的长时域规划能力,在CARLA上优于强基线。
2023-11-17 cs.AI cs.RO
SPRINT: Scalable Policy Pre-Training via Language Instruction Relabeling
University of Southern California(南加州大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对机器人策略预训练需大量人工标注指令的问题,提出SPRINT方法,通过大语言模型指令重标记和离线强化学习跨轨迹技能链自动扩展预训练任务,显著提升长时序新任务的学习效率。
2024-01-29 cs.AI cs.LG cs.RO
A novel Skill-based Programming Paradigm based on Autonomous Playing and Skill-centric Testing
University of Innsbruck(因斯布鲁克大学)
我们介绍了一种新的范例,机器人编程,我们的目标是使机器人编程更容易为没有经验的用户。为了做到这一点,我们将两个主要组成部分在一个单一的框架:自主技能的机器人演奏和可视化编程。简单的机器人程序骨架解决一个特定情况下的任务,所谓的基本行为,由用户提供。然后,机器人通过自主游戏学习如何在许多不同的情况下解决相同的任务,这减少了没有经验的机器人程序员的障碍。程序员可以混合使用可视化编程和动觉教学,以提供这些简单的程序框架。机器人程序可以通过可视化编程和动觉示教的方式交互地实现。我们进一步整合了基于经验的技能为中心的机器人软件测试的工作,使用户能够不断测试实现的技能,而不必处理特定组件的细节。
2017-09-18 cs.RO
Semi-Autonomous Teleoperation via Learning Non-Prehensile Manipulation Skills
Korea University(高丽大学);Chung-ang University(中央大学)
在本文中,我们提出了一个半自主的遥操作框架的拾取和放置任务,使用RGB-D传感器。特别是,我们假设目标物体位于一个杂乱的环境中,其中两个灵活的把握和非灵活的操作相结合,有效的遥操作。一个基于语义的强化学习被用于学习非易失性操作,以重新安排的对象,使直接抓取。从杂乱环境的深度图像和目标对象的位置,学习的策略可以为人类操作员提供多个非易失性操纵选项。我们仔细设计了一个奖励函数的重新安排任务的政策是在模拟环境中训练。然后,训练的策略被转移到现实世界中,并在一些现实世界的实验中与不同数量的对象进行评估,我们表明,所提出的方法优于手动键盘控制的抓持持续时间。
2022-05-25 cs.AI cs.RO
Adaptive Decision Making at the Intersection for Autonomous Vehicles Based on Skill Discovery
Beijing Institute of Technology(北京理工大学)
在城市环境中,复杂和不确定的交叉口场景对自动驾驶具有挑战性。为了确保安全性,开发一个能够处理与其他车辆交互的自适应决策系统至关重要。手动设计的基于模型的方法在常见情况下是可靠的。但在不确定环境中,它们是不可靠的,因此提出了基于学习的方法,特别是强化学习(RL)方法。然而,当前的RL方法需要重新训练时,场景发生变化。换句话说,目前的RL方法不能重用积累的知识。当新的场景出现时,他们会忘记所学的知识。为了解决这个问题,我们提出了一个分层的框架,可以自主积累和重用知识。该方法结合了运动基元(MP)和分层强化学习(HRL)的思想。它将复杂问题分解为多个基本子任务,以降低难度。基于CARLA仿真器,在一个具有挑战性的交叉口场景中对所提出的方法和其他基线方法进行了测试。交叉口场景包含三个不同的子任务,可以反映实际交通流的复杂性和不确定性。经过离线学习和测试,该方法被证明是所有方法中性能最好的。
2022-07-24 cs.AI cs.RO
Efficient Reinforcement Learning for Autonomous Driving with Parameterized Skills and Priors
University of Toronto(多伦多大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);McGill University(麦吉尔大学)
针对自动驾驶在交互式密集交通中学习效率低的问题,提出ASAP-RL算法,通过参数化运动技能和双重初始化利用专家先验,在稀疏奖励下实现更高学习效率和更好驾驶性能。
2023-05-08 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning for Autonomous Driving using Task-Agnostic and Ego-Centric Motion Skills
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
连续空间中的高效探索是将强化学习(RL)应用于自动驾驶的核心问题。从专家演示中学到的技能或为特定任务设计的技能可以使探索受益,但它们通常是昂贵的,不平衡的/次优的,或无法转移到不同的任务。然而,人类驾驶员可以通过在整个技能空间中进行有效和结构性的探索,而不是在有限的空间中使用特定于任务的技能,来适应各种驾驶任务,而无需进行演示。受上述事实的启发,我们提出了一种RL算法,探索所有可行的运动技能,而不是一组有限的特定于任务和以对象为中心的技能。在没有演示的情况下,我们的方法仍然可以在不同的任务中表现良好。首先,我们建立一个任务不可知和自我为中心(TaEc)的运动技能库在一个纯粹的运动的角度来看,这是多样化的,足以在不同的复杂任务中可重用。然后将运动技能编码到一个低维的潜在技能空间中,RL可以在其中进行有效的探索。在各种具有挑战性的驾驶场景中的验证表明,我们提出的方法,TaEc-RL,优于其同行显着的学习效率和任务性能。
2022-09-24 cs.RO
ARO: Large Language Model Supervised Robotics Text2Skill Autonomous Learning
National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院)
本文提出ARO框架,利用大规模语言模型替代人类参与机器人技能学习的奖励函数设计与性能评估,实现无需人工干预的完全自主技能学习,并分析了其在任务理解和优化稳定性上的局限。
2024-03-23 cs.AI cs.RO
Autonomous Skill-centric Testing using Deep Learning
Universität Innsbruck(因斯布鲁克大学)
软件测试是保证软件质量的重要工具。由于动态环境以及测试用例的昂贵开发和耗时执行,这在机器人技术中是一项艰巨的任务。大多数测试方法使用基于模型和/或基于模拟的测试来克服这些问题。我们提出了以技能为中心的无模型测试,其中机器人在现实世界中自主执行技能,并将其与以前的经验进行比较。通过最大化关于错误软件功能的分布的预期信息增益来选择技能。我们使用深度学习来对在先前成功的技能执行过程中观察到的传感器数据进行建模,并检测异常情况。传感器数据连接到函数调用配置文件,使得某些不当行为可以与特定函数相关。我们评估我们的方法在模拟和实验中与库卡LWR 4+机器人故意引入错误的软件。我们证明,这些错误可以检测到高精度,而不需要实施特定的测试或特定于任务的模型。
2017-08-13 cs.RO
Robust Skills, Brittle Grounding: Diagnosing Restricted Generalization in Vision-Language Action Policies via Multi-Object Picking
Naver Labs Europe(纳维尔实验室欧洲)
通过多对象拾取实验发现,视觉语言动作策略在复杂环境下执行基本操作比遵循指令更可靠,表明技能获取与指令遵循脱节,需改进基准测试以更准确诊断泛化能力。
2026-02-27 cs.RO
Autonomous Integration and Improvement of Robotic Assembly using Skill Graph Representations
Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于技能图表示的机器人装配系统自主集成与持续改进框架,通过语义级规划与执行接口实现系统配置、执行、评估与学习的统一,提升装配系统的适应性与可重用性。
2026-03-13 cs.RO
SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution
Shanghai AI Laboratory(上海人工智能实验室);University of California, Berkeley(加州大学伯克利分校);The University of Hong Kong(香港大学)
SkillDiffuser提出一种端到端分层规划框架,通过从视觉和语言中学习可解释技能表示并条件化扩散模型生成轨迹,在Meta-World和LOReL等基准上实现了最先进的长程多技能任务执行性能。
2024-03-28 cs.CV cs.LG cs.RO
Text2Motion: From Natural Language Instructions to Feasible Plans
Stanford University(斯坦福大学)
本研究提出基于语言的规划框架Text2Motion,结合技能库Q函数的可行性启发式规则引导大语言模型任务规划,主动解决技能序列几何依赖,在长时程序列操作任务上成功率达82%,显著优于现有方法。
2023-11-26 cs.AI cs.LG cs.RO
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Amazon Transportation Services(亚马逊运输服务公司);University College London(伦敦大学学院)
DexSkills提出一种基于触觉数据的监督学习框架,将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
Skill Learning by Autonomous Robotic Playing using Active Learning and Creativity
University of Innsbruck(因斯布鲁克大学);Max Planck Institute for Physics Munich(慕尼黑马克斯·普朗克物理学研究所);University of Konstanz(康斯坦茨大学)
我们对待的问题,自主收购的操作技能,解决问题的策略最初只适用于范围狭窄的情况。我们建议通过自主玩对象来扩展可解决情况的范围。通过应用先前训练的技能和行为,机器人学习如何准备已经知道成功策略的情况。在自主游戏期间收集的信息还用于学习环境模型。这种模式被用于主动学习和创造性地产生新的准备行为。我们将我们的方法应用于各种不同的操作任务,例如书抓取,通过选择不同的抓取策略抓取不同大小的物体,放置在货架上,以及塔拆卸。我们表明,创造性的行为生成机制,使机器人解决以前无法解决的任务,例如塔拆卸。我们使用在真实世界的实验中获得的成功统计数据来模拟我们的系统的收敛行为。实验表明,在书本抓取场景中,主动学习可以将学习速度提高9%左右。
2017-06-26 cs.RO
Bootstrapping Motor Skill Learning with Motion Planning
Brown University(布朗大学)
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中,学习必须使用从人类演示中获得的良好技能策略来引导。然而,依赖人类的示范必然会降低机器人的自主性,因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的,样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示:打开一个抽屉的动态运动原语表示,并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务,学习打一个球的发球台,其中运动学计划的基础上处理的场景作为静态是不够的,以解决任务,但足以引导一个更动态的政策。在所有这三种情况下,我们的方法与人工演示的初始化相比都具有竞争力,并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略,而无需人类演示。
2021-01-12 cs.AI cs.RO
SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
针对现有自动驾驶场景生成方法对抗行为不真实的问题,提出SEAL,利用学习目标函数和类人对抗技能进行场景扰动,有效提升了场景真实性与自车任务成功率。
2025-07-14 cs.AI cs.LG cs.RO
Learning Diffusion Policy from Primitive Skills for Robot Manipulation
Dong Xu(东旭教授)
本文提出SDP,一种基于技能的扩散策略,通过整合可解释的技能学习与条件动作规划,提升机器人操作中技能一致性与性能。
2026-01-05 cs.RO
LocoVLM: Grounding Vision and Language for Adapting Versatile Legged Locomotion Policies
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(电气工程学院,韩国科学技术院)
LocoVLM通过整合高层常识推理和视觉语言模型,实现了基于指令的实时腿式运动策略适应,准确率达87%。
2026-02-11 cs.RO
SkiNet, A Petri Net Generation Tool for the Verification of Skillset-based Autonomous Systems
ONERA(法国航空航天实验室);Université de Toulouse(图卢兹大学);LIRMM(法国计算机科学、机器人学与微电子实验室);Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);Univ. de Montpellier(蒙彼利埃大学)
在动态和远程环境中,对自治系统的高度自治和鲁棒性的需求推动了开发人员提出新的软件架构。一种常见的架构风格是将机器人系统的能力总结为基本动作(称为技能),在此基础上实现技能管理层以构建、测试和控制功能层。然而,目前可用的验证工具只提供任务特定的验证或验证的模型,不复制系统的实际执行,这使得它很难确保其鲁棒性的意外事件。为此,一个工具,SkiNet,已经开发到一个Petri网模型的技能和他们处理的资源的状态机行为的系统的技能为基础的架构转换。Petri网允许使用模型检查,如线性时态逻辑(LTL)或计算树逻辑(CTL),供用户分析和验证系统的模型。
2022-09-28 cs.FL cs.RO
ManiUnit: A Manipulation Skill Dataset and Benchmark for Long-Horizon Tasks
Nanjing University of Science and Technology(南京理工大学);Northwestern Polytechnical University(西北工业大学);Intellifusion(云天励飞)
本研究针对长 horizon 移动操作技能学习与评估的挑战,构建了 ManiUnit 数据集与基准,实验表明基于该数据集训练的技能策略可显著提升操作成功率与完整任务成功率。
2026-10-09 cs.RO
Programming Manipulators by Instructions
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
提出基于指令的机器人编程方法,通过脚本语言发指令,利用行为树控制器协调技能,并用知识图谱跟踪状态,支持远程操作与技能复用,并在拾取放置场景仿真验证。
2024-07-28 cs.RO
DreamControl-v2: Simpler and Scalable Autonomous Humanoid Skills via Trainable Guided Diffusion Priors
General Robotics, USA(美国通用机器人公司);Brown University, USA(美国布朗大学);University of California, Berkeley, USA(美国加州大学伯克利分校)
本文提出改进的DreamControl框架,通过在人形机器人运动空间中训练引导扩散模型,整合多样化的人类和机器人数据集,提升技能范围和自动化程度,验证了生成参考轨迹的扩展性对下游RL策略的重要性。
2026-03-31 cs.RO
V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
Technische Universität Wien (TU Wien)(维也纳工业大学);German Aerospace Center (DLR)(德国航空航天中心)
V2-STRep通过VLM生成结构化任务表示,将生成视频中的运动转化为可复用机器人技能,实现零样本跨场景迁移,并在六个真实任务中提升执行成功率。
2026-10-23 cs.RO
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria(法国国家信息与自动化研究所);Ensta-ParisTech(巴黎高等先进技术学院)
自动和有效地发现技能,没有监督,长寿的自主智能体,仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制,以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角,在模拟和现实世界的实验中都取得了可喜的成果。直到最近,这些算法还局限于实验者知识的领域,因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展,使设计这些特征提取器的新方法成为可能,直接使用代理经验。最近的工作表明,这些方法在简单但具有挑战性的模拟领域的潜力。在本文中,我们提出了最近的结果,显示了这些原则在现实世界的机器人设置中的适用性,其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
近年来,我们见证了自动端到端驾驶领域越来越高的性能。特别是,越来越多的研究正在做的城市环境中,汽车必须遵循高级别的命令来导航驾驶。然而,很少有评价的能力,这些代理人在一个意想不到的情况下作出反应。具体地,在坏的高级命令的情况下,不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法,即一个基准,允许评估的代理的鲁棒性,并欣赏其理解的环境,通过其能力,以保持一个安全的行为,无论指令。
2021-05-20 cs.AI cs.CV cs.LG
Secure Encoded Instruction Graphs for End-to-End Data Validation in Autonomous Robots
University of Turku(图尔库大学);Massachusetts Institute of Technology(麻省理工学院)
随着自主机器人的普及,机器人操作的安全性越来越受到关注。自主机器人可以被视为网络物理系统:它们可以在虚拟,物理和人类领域中运行。因此,保护自主机器人的操作不仅需要保护它们的数据(例如,传感器输入和任务指令),但是保护它们与其环境的交互。目前缺乏方法,可以让机器人在没有外部反馈的情况下安全地确保其传感器和执行器正确运行。本文介绍了一种编码方法和端到端的验证框架的自主机器人的任务。特别是,我们提出了一个概念证明的地图编码方法,它允许机器人导航现实的环境和验证操作指令几乎为零{ \it先验}知识。我们展示了我们的框架,使用两种不同的编码地图在模拟和真实的机器人实验。我们的编码地图具有与典型的基于地标的导航相同的优势,但具有加密哈希的额外优势,可以实现端到端的信息验证。我们的方法适用于机器人操作的任何方面,其中有一个预定义的一组动作或指令给机器人。
2022-04-10 cs.CR cs.RO
Align2Act: Instruction-Tuned Models for Human-Aligned Autonomous Driving
New York University(纽约大学)
提出Align2Act框架,通过结构化驾驶指令和Align2ActChain逐步推理模块,将指令微调LLM转化为与人类行为对齐的可解释规划器,在nuPlan闭环基准上显著提升了规划质量与类人性。
2025-10-12 cs.AI cs.LG cs.RO
Growable and Interpretable Neural Control with Online Continual Learning for Autonomous Lifelong Locomotion Learning Machines
Embodied AI and Neurorobotics Laboratory, SDU Biorobotics, The Mærsk Mc-Kinney Møller Institute, The University of Southern Denmark, Odense, Denmark(具身体验人工智能与神经机器人实验室,SDU生物机器人学,马士克麦金尼·莫勒研究所,南丹麦大学,丹麦欧登塞);Bio-Inspired Robotics and Neural Engineering Laboratory, School of Information Science and Technology, Vidyasirimedhi Institute of Science and Technology, Rayong, Thailand(生物启发机器人与神经工程实验室,信息科学与技术学院,维达西里梅迪科技研究所,泰国拉耶昂)
提出可解释、可生长的在线持续学习框架GOLLUM,通过神经发生、参数迁移与技能组合,使六足机器人在一小时内无干预习得多种运动技能并避免遗忘。
2025-05-17 cs.RO
Specification mining and automated task planning for autonomous robots based on a graph-based spatial temporal logic
University of Notre Dame(圣母大学)
我们的目标是使自主机器人能够从演示视频中学习新技能,并使用这些新学到的技能来完成重要的高级任务。开发这种自主机器人的目标涉及到知识表示、规范挖掘和自动任务规划。对于知识表示,我们使用基于图的时空逻辑(GSTL)来捕获演示视频所演示的相关技能的时空信息。我们设计了一个规范挖掘算法,通过归纳构造空间项和时间公式,从演示视频中生成一组参数化的GSTL公式。从规范挖掘得到的参数化GSTL公式作为域理论,用于自主机器人的自动任务规划。提出了一种基于GSTL的自动任务规划方法,其中提出者用于生成有序动作,验证者用于生成可执行的任务计划。文中以表格设置为例说明了本文的主要思想。
2020-07-16 cs.AI cs.RO cs.SY
Robot Tasks with Fuzzy Time Requirements from Natural Language Instructions
University of Bayreuth(拜罗伊特大学)
针对自然语言中模糊时间指令难以被传统机器人系统执行的问题,提出模糊技能与满意度函数以实现基于满意度的最优调度,并通过用户研究验证梯形函数能最好地近似用户满意度。
2024-11-14 cs.CL cs.HC cs.RO
Autonomous Generation of Sub-goals for Lifelong Learning in Robots
CITIC research center(CITIC研究中心);Universidade da Coruña(拉科鲁尼亚大学)
针对机器人终身学习中需自主生成子目标的问题,提出结合自上而下内在动机推导与自下而上显化潜在关系的双子路径方法,可提升机器人目标发现、技能泛化及无显式奖励下的环境适应能力。
2025-03-24 cs.RO
Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video
Georgia Institute of Technology(佐治亚理工学院);University of Pennsylvania(宾夕法尼亚大学);Toyota Research Institute(丰田研究所);Carnegie Mellon University(卡内基梅隆大学)
提出Video2Sim2Real框架,从单个人类操作视频中重建数字孪生并提取运动先验,通过物体关键帧优化机器人配置,结合残差强化学习与碰撞感知规划,实现从仿真到真实世界的灵巧技能迁移。
2026-06-07 cs.RO
Open-Ended Instruction Realization with LLM-Enabled Multi-Planner Scheduling in Autonomous Vehicles
Jilin University(吉林大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Tongji University(同济大学);NKIARI;Nankai University(南开大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE(教育部知识驱动人机智能工程研究中心)
本文提出一种基于大语言模型的指令实现框架,通过实时反馈调度多个基于模型预测控制的运动规划器,提高任务完成率并降低LLM查询成本,同时确保安全性和可追溯性。
2026-04-09 cs.CV cs.RO
Autonomous skill discovery with Quality-Diversity and Unsupervised Descriptors
Imperial College London(帝国理工学院)
质量多样性优化是一种新的优化算法家族,它不是搜索单个最优解来解决任务,而是搜索大量的解决方案,这些解决方案都以不同的方式解决任务。这种方法对于学习机器人中的行为库特别有前途,因为这种行为的多样性使机器人变得更加多才多艺和有弹性。然而,这些算法需要用户手动定义行为描述符,用于确定两个解决方案是不同还是相似。行为描述符的选择是至关重要的,因为它完全改变了算法推导的解决方案类型。在本文中,我们介绍了一种新的方法来自动定义这个描述符相结合的质量多样性算法与无监督降维算法。这种方法使机器人能够在与环境交互的同时自主发现其能力范围。两个实验场景的结果表明,机器人可以自主发现大范围的可能的行为,没有任何先验知识的形态和环境。此外,这些行为被认为类似于使用领域知识的手工解决方案,并且比使用现有的无监督方法时更加多样化。
2019-05-28 cs.NE cs.RO
Automated Data Curation Using GPS & NLP to Generate Instruction-Action Pairs for Autonomous Vehicle Vision-Language Navigation Datasets
Machine Intelligence, Interaction, and Imagination (Mi 3 ) Laboratory(机器智能、交互与想象(Mi 3)实验室);University of California, Merced(加州大学默塞德分校)
本文提出利用GPS语音指令与NLP自动生成自动驾驶指令-动作数据对,并构建ADVLAT-Engine原型系统,以低成本高效扩展高质量VLA训练数据集。
2025-05-06 cs.CV cs.LG cs.RO
AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild
Southeast University(东南大学);Purple Mountain Labs(紫金山实验室);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
AutoFly是一种面向野外无人机自主导航的视觉-语言-动作模型,通过伪深度编码器和渐进两阶段训练策略,实现自主避障和规划,提升导航成功率。
2026-02-10 cs.RO
Autonomously Acquiring Robot Manipulation Skills with Language-Driven Quality-Diversity
ISIR, Sorbonne Université(ISIR,索邦大学)
本文提出仅需自然语言任务描述,即可自主生成多样化机器人运动原语档案的方法,在4项操作任务上优于经典QD算法。
2026-09-01 cs.RO