Verifiably Following Complex Robot Instructions with Foundation Models
Brown University（布朗大学）
提出LIMP方法，通过符号指令表示使机器人无需预建语义地图即可可验证地遵循复杂开放式指令，在150条指令上验证，复杂时空指令成功率79%，远超基线38%。
2025-03-30 cs.AI cs.RO
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University（康奈尔大学）
我们研究的问题，学习机器人的政策，遵循自然语言的指令，可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据，使用范例来识别对象，并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示，编码对象的位置和它们的指示使用，并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施，以下政策，从而使它能够在测试时，通过简单地添加样本以前看不见的对象的原因。我们评估的任务，学习映射原始的观察和指示，以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术，即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Understanding User Instructions by Utilizing Open Knowledge for Service Robots
理解自然语言中的用户指令是人工智能和机器人领域的一个活跃的研究课题。通常，自然用户指令是高级的，并且可以被简化为以常见动词（例如，“take”、“get”、“put”）。对于机器人理解这些指令，一个关键的挑战是处理高层用户指令，并实现指定的任务与机器人的原始行动。为了解决这个问题，我们提出了新的算法，利用语义词典中定义的常见动词的语义角色，并集成多个开放的知识来生成任务计划。具体来说，我们提出了一种新的方法，用于匹配和恢复语义的用户指令和一个新的任务规划器，利用机器人的动作模型的功能知识。为了验证和评估我们的方法，我们实现了一个原型系统使用的知识，从几个开放的资源。在我们的系统上的实验证实了我们的算法的正确性和效率。值得注意的是，我们的系统已经部署在科佳机器人，参加了年度RoboCup@Home比赛在过去三年中，并取得了令人瞩目的高分数的基准测试。
2016-06-09 cs.AI cs.RO
HandMeThat: Human-Robot Communication in Physical and Social Environments
Tsinghua University（清华大学）
本研究提出人机交互基准HandMeThat，含1万段交互情节，可结合物理与社会信息消解指令歧义，测试发现现有强化学习算法表现不佳，为相关研究指明方向。
2023-10-05 cs.AI cs.CL cs.LG
Learning from Implicit Information in Natural Language Instructions for Robotic Manipulations
Koç University（科奇大学）；KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）；Osnabrück University（奥斯纳布吕克大学）
人机交互通常以人类向机器人发出指令的形式发生。为了让机器人成功地遵循指令，人类和机器人之间应该共享世界和物体的共同表示，以便指令可以接地。实现这种表征可以通过学习来完成，其中世界表征和语言基础都是同时学习的。然而，在机器人技术中，由于数据的成本和稀缺性，这可能是一项艰巨的任务。在本文中，我们通过分别学习机器人的世界表示和语言基础来解决这个问题。虽然这种方法可以解决获取足够数据的挑战，但它可能会导致两个学习组件之间的不一致。因此，我们进一步提出贝叶斯学习，以解决这种不一致的自然语言接地和机器人的世界表示，利用空间关系的信息，这是隐含在人类给出的指令。此外，我们证明了我们的方法的可行性，涉及在物理世界中的机器人手臂的情况下。
2019-04-30 cs.AI cs.RO
Mobile Robots through Task-Based Human Instructions using Incremental Curriculum Learning
University of Tsukuba（筑波大学）
本文提出将增量课程学习与深度强化学习结合，用于基于任务型人类指令的移动机器人导航，实验证明该方法能提升训练效率与泛化能力，优于无课程学习的方法。
2024-12-26 cs.AI cs.RO
Translating Navigation Instructions in Natural Language to a High-Level Plan for Behavioral Robot Navigation
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；P. Universidad Católica de Chile（智利天主教大学）
我们提出了一个端到端的深度学习模型，用于将自由形式的自然语言指令转换为行为机器人导航的高级计划。我们使用注意力模型来连接来自用户指令和环境的拓扑表示的信息。我们在一个包含10,050对导航指令的新数据集上评估了我们的模型的性能。我们的模型显著优于基线方法。此外，我们的研究结果表明，有可能利用环境地图作为相关的知识库，以促进自由形式的导航指令的翻译。
2018-09-24 cs.AI cs.CL
REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
MARS Lab, School of Mechanical and Aerospace Engineering（MARS实验室，机械与航空航天工程学院）
本文研究模糊参照表达对LLM任务规划的影响，提出REI-Bench基准，发现模糊性会显著降低机器人规划性能，提出任务导向上下文认知方法提升表现。
2026-05-09 cs.AI cs.CL cs.RO
INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM
针对传统机器人控制依赖精确模型、难以泛化的问题，提出INTENTION框架，结合VLM场景推理与交互记忆，使机器人能凭直觉在新场景中自主操作。
2025-08-06 cs.AI cs.RO
DeComplex: Task planning from complex natural instructions by a collocating robot
TCS Research & Innovation（塔塔咨询服务研究与创新部）
随着我们日常环境中的机器人数量的迅速增加，如家庭，办公室，餐馆，工厂车间等，自然的人机交互机制的发展变得更加重要，因为它决定了机器人的可用性和可接受性。这种同居机器人的重要特征之一是它执行以自然语言指示的任务。然而，由于自然语言表达可能具有很大的语言变化，因此执行人类预期的任务并不是微不足道的。现有的工作假设要么单一的任务指令给机器人在一个时间或有多个独立的任务在一个指令。然而，由多个相互依赖的任务组成的复杂任务指令在文献中没有被有效地处理。在任务之间可以存在排序依赖性，即，任务必须以特定顺序执行或者可能存在执行依赖性，即，一个任务的输入参数或执行取决于另一个任务的结果。如果允许使用无约束的自然语言，那么理解复杂指令中的这种依赖性就不是微不足道的。在这项工作中，我们提出了一种方法来找到多个相互依赖的任务在自然语言指令的执行顺序。基于我们的实验，我们表明，我们的系统是非常准确的从一个复杂的指令生成一个可行的执行计划。
2020-08-23 cs.AI cs.RO
Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks
Heriot-Watt University（赫瑞瓦特大学）
本文提出综合评估框架，从架构、跨模态输入扰动和任务复杂度考察机器人操作多模态模型的泛化性，发现其抗指令扰动但易受观测变化影响，指出需改进架构与训练。
2024-10-28 cs.AI cs.CL cs.RO
Watch, Infer, Coordinate: Inferring Robot Partner Constraints for Zero-Shot Coordination
Honda Research Institute USA（本田美国研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出观察、推断、协调方法，通过观察联合行为推断机器人伙伴的物理约束，显著提升零样本协调性能，接近真实约束预言机。
2026-10-02 cs.AI cs.MA cs.RO
Extensible Grounding of Speech for Robot Instruction
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
口语是一个方便的界面，用于指挥移动机器人。然而，要做到这一点，一些基本术语必须以感知和运动技能为基础。我们详细介绍了我们的机器人ELI上使用的语言处理，并解释了这种接地是如何执行的，它如何与用户手势交互，以及它如何处理回指等现象。然而，更重要的是，有一些概念是机器人无法预先编程的，例如家庭中各种物体的名称或它可能被要求执行的特定任务的性质。在这些情况下，至关重要的是要有一种方法来扩大基础，基本上是“通过被告知来学习”。我们描述了这是如何成功地实现学习新的名词和动词在桌面设置。创建这种语言学习内核可能是机器人需要的最后一个明确的编程-核心机制最终可以用于传授大量的知识，就像孩子从父母和老师那里学习一样。
2018-07-31 cs.AI cs.CL cs.RO
FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning
Google（谷歌）
理解和遵循人类提供的方向可以使机器人在未知的情况下有效地导航。我们提出了FollowNet，这是一种用于学习多模态导航策略的端到端可微分神经架构。FollowNet将自然语言指令以及视觉和深度输入映射到运动原语。FollowNet使用注意力机制处理指令，该机制以视觉和深度输入为条件，在执行导航任务时专注于命令的相关部分。深度强化学习（RL）是一种稀疏奖励，它同时学习状态表示、注意力函数和控制策略。我们评估我们的代理上的数据集的复杂的自然语言的方向，引导代理通过一个丰富的和现实的数据集的模拟家园。我们表明，FollowNet代理学习执行以前看不见的指令描述了类似的词汇，并成功地沿着训练过程中没有遇到的路径导航。该代理显示出比没有注意力机制的基线模型提高了30%，在新指令下的成功率为52%。
2018-05-16 cs.AI cs.CL cs.LG
Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation
Indian Institute of Technology Mandi（印度理工学院曼迪分校）
Instruct2Act通过机器人操作网络实现从人类指令到动作序列的解析与执行，达到91.5%的子动作预测准确率和90%的任务成功率。
2026-02-10 cs.AI cs.RO
DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation
DeepLeap Research（DeepLeap研究院）
本文提出无需视频生成的机器人操纵模型DELE-w0.5，通过从捕获动作相关物理结果的未来隐状态推断动作，在4项长程操纵任务的480次试验中，其性能优于最强基线47.5和30.7个百分点，实现最优表现。
2026-09-01 cs.AI cs.CV cs.LG
Reference Wording Shapes Retrieval of Robot Task Instructions
本研究以RLBench操作基准为对象，探究参考措辞对机器人任务指令检索的影响，对比5种无训练词汇排序器，发现字符n-gram TF-IDF表现最优，添加索引描述可提升检索准确率。
2026-10-14 cs.AI cs.CL cs.IR
Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
提出一种基于分层视觉-语言-动作模型的开放式指令遵循系统，通过高层推理处理复杂指令与情境反馈，并利用低级动作执行任务，在单臂、双臂及移动机器人上验证了其执行清理桌面、制作三明治等复杂任务的能力。
2025-07-15 cs.AI cs.LG cs.RO
PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Johns Hopkins University（约翰霍普金斯大学）；ShanghaiTech University（上海科技大学）
本研究推出首个面向细粒度机器人操作的部件级指令基准PartInstruct，包含丰富标注的物体实例与任务、合成专家演示及测试套件，实验发现现有模型在部件概念落地和长时序部件操作上存在不足。
2025-06-16 cs.AI cs.RO
Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Johns Hopkins University（约翰霍普金斯大学）；Brown University（布朗大学）
针对嘈杂语音下的人机协作指令跟随难题，提出基于心智理论的神经符号模型SIFToM，利用视觉语言模型进行务实推断，在模拟和真实环境中显著提升性能并接近人类水平。
2025-10-06 cs.AI cs.HC cs.MA
InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment
Peking University（北京大学）；Southeast University（东南大学）；University of Oxford（牛津大学）
InstructNav提出动态导航链与多源价值地图，首次实现零样本通用指令导航，在R2R-CE、Habitat ObjNav和DDN等任务上显著超越现有方法。
2024-06-07 cs.AI cs.CL cs.CV
Natural Language Instructions for Intuitive Human Interaction with Robotic Assistants in Field Construction Work
University of Michigan（密歇根大学）；Texas A&M University（德克萨斯农工大学）
针对建筑现场人机沟通难题，本文提出由NLU、IM和RC组成的自然语言指令框架，并通过石膏墙板安装案例验证其支持直观人机协作的潜力。
2023-07-11 cs.AI cs.HC cs.RO
Robotic Visual Instruction
Imperial College London（伦敦帝国理工学院）；Shanghai AI Laboratory（上海人工智能实验室）；UC San Diego（加州大学圣地亚哥分校）；VIVO；South China University of Technology（华南理工大学）
该研究提出 RoVI 手绘视觉指令范式及 VIEW 流程，利用 VLM 将二维符号约束转换为三维机器人动作，并通过 15K 数据集和 11 项任务验证其泛化性能。
2025-07-27 cs.AI cs.CV cs.RO
EDITH: Teaching Robot to Follow Nonverbal Human Intent from Egocentric Vision and Gaze
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
提出EDITH框架，通过智能眼镜捕捉人类第一人称视角、注视和语言信号，设计分层策略将非语言信号与语言指令结合，实现更自然的人机交互，减少用户表达意图的负担。
2026-10-20 cs.AI cs.RO
Premover: Fast Vision-Language-Action Control via Early Execution During Instruction Delivery
UNIST（全南大学）；The Catholic University of Korea（韩国天主教大学）
Premover通过在用户指令完成前进行预计算，减少机器人交互时间，同时保持高成功率。
2026-10-06 cs.AI cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan（名古屋大学）
本文提出一种基于可供性推理的机器人手术助手框架，结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义，并利用双重集合共形预测保障安全，在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
LLM-based ambiguity detection in natural language instructions for collaborative surgical robots
Institutes of Innovation for Future Society, Nagoya University（未来社会创新研究所，名古屋大学）；Department of Micro-Nano Mechanical Science and Engineering, Nagoya University（微纳米机械科学与工程系，名古屋大学）
提出基于LLM评估器集成与保形预测的框架，用于检测协作手术机器人自然语言指令中的歧义，分类准确率超60%，提升了人机协作安全性。
2025-07-15 cs.HC cs.RO
Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies
Thomas Lord Department of Computer Science, University of Southern California（南加州大学托马斯·洛德计算机科学系）；Sony AI（索尼AI）；Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学西布利机械与航空航天工程学院）
本文提出Q-DIG方法，通过生成多样化且相关的语言指令来发现VLA模型的漏洞，提升机器人策略的鲁棒性。
2026-04-03 cs.AI cs.CL cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）
研究基于大语言模型的机器人操作中策略代码不可靠问题，设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性，通过实验识别四种不可靠行为及原因，还引入优化方法，可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Interactive Learning of State Representation through Natural Language Instruction and Explanation
Michigan State University（密歇根州立大学）
机器人学习的一个重要简化是封闭世界假设，其中机器人被假定提前知道一组完整的谓词描述的物理世界的状态。然而，机器人不太可能拥有完整的世界模型，特别是在学习新任务时。为了解决这个问题，这个扩展的摘要简要介绍了我们正在进行的工作，旨在使机器人通过与人类的语言交流获得新的状态表示。
2017-10-07 cs.AI
WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model
Fudan University（复旦大学）
本文提出WALL-E系统，集成大型语言模型与视觉定位及机器人抓取技术，通过多轮对话理解用户偏好并生成指令，实现实体机器人自主抓取，实验验证了其可行性与有效性。
2023-08-31 cs.AI cs.RO
Your instruction may be crisp, but not clear to me!
TCS Research & Innovation（塔塔咨询服务研究与创新部）
部署在我们日常生活中的机器人数量正在不断增加。即使在工业设置中，同事机器人的使用也在迅速增加。这些同居机器人执行各种任务的指示，由共同定位的人类。因此，自然的交互机制在机器人的可用性和可接受性中起着很大的作用，特别是对于非专家用户。自然语言处理（NLP）的最新发展为聊天机器人为用户的查询生成自动响应铺平了道路。机器人可以配备有这样的对话系统。然而，人机交互的目标并不集中在生成对查询的响应上，而是经常涉及在物理世界中执行一些任务。因此，需要一种系统，该系统可以从自然指令以及前置条件和后置条件的集合中检测用户意图的任务。在这项工作中，我们开发了一个对话引擎的机器人，可以分类和映射任务指令的机器人的能力。如果在指令中有一些歧义或缺少一些所需的信息，这在自然对话中经常发生，它会提出一个适当的问题来解决它。目标是为用户生成最小的和精确的查询来解决歧义。我们评估我们的系统的远程呈现的情况下，远程用户指示机器人的各种任务。我们的研究基于12个人表明，建议的对话策略可以帮助新手用户有效地与机器人进行交互，从而获得满意的用户体验。
2020-08-23 cs.RO
Learning Neuro-symbolic Programs for Language Guided Robot Manipulation
IIT Delhi（印度理工学院德里分校）
本文提出一种端到端可训练的神经符号方法，通过分层指令解析器和动作模拟器在潜在对象中心表示上进行符号推理，无需中间监督即可从自然语言指令生成机器人操作程序，并在泛化实验中显著优于基线。
2023-03-10 cs.AI cs.LG cs.RO
Expressing and Inferring Action Carefulness in Human-to-Robot Handovers
Italian Institute of Technology（意大利技术研究院）；University of Genoa（热那亚大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Institute for Systems and Robotics (ISR Lisboa)（系统与机器人研究所（里斯本））
本研究提出一种生态学方法，通过分析人类操作物体时的运动学调制来推断物体特征，并设计“表达性”控制器调制机器人运动以传达属性，实验证明该方法能在线推断交接谨慎性并提升任务效率。
2023-09-30 cs.RO
Language-Conditioned Change-point Detection to Identify Sub-Tasks in Robotics Domains
Arizona State University（亚利桑那州立大学）
提出语言条件下的变化点检测方法，利用语言指令将长机器人轨迹分割为子任务片段，相比基线提升1.78%，并研究了样本复杂度。
2023-09-01 cs.AI cs.CL cs.RO
ManipDreamer: Boosting Robotic Manipulation World Model with Action Tree and Visual Guidance
State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Computer Science, Peking University（北京大学计算机学院）；Hong Kong University of Science and Technology（香港科技大学）；Autonomous Driving Development, NIO（蔚来自动驾驶研发）
ManipDreamer通过动作树建模指令关系并融合深度与语义视觉引导，显著提升机器人操作世界模型的指令跟随能力和视频质量。
2025-04-23 cs.AI cs.RO
MIND: Instruction-Conditioned Incremental Grounding for Robots
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Incheon National University（仁川国立大学）
本研究提出MIND框架，通过指令条件依赖维护机器人的目标房间决策，减少语义评估次数，在ProcTHOR、AI2-THOR及Unitree G1实验中均能保留全部或匹配重计算的决策。
2026-10-15 cs.AI cs.RO
Tell Robot What Not to Do: A Negation Understanding Perspective
South China University of Technology（华南理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出NegaAlign框架，通过引入否定变换层和教师引导对齐机制，结合NegaBench基准，提升了VLAs遵循否定指令的成功率，且不影响肯定指令性能。
2026-10-09 cs.RO
Autonomous Improvement of Instruction Following Skills via Foundation Models
UC Berkeley（加州大学伯克利分校）
提出一种利用视觉语言模型和任务分解方法，使机器人从自主收集的数据中无需人类监督即可提升指令跟随能力，实验显示在未见环境中性能提升2倍。
2024-10-15 cs.AI cs.RO
InstructRobot: A Model-Free Framework for Mapping Natural Language Instructions into Robot Motion
University of Campinas（坎皮纳斯大学）；São Paulo State University（圣保罗州立大学）
本文提出InstructRobot无模型框架，通过强化学习联合学习语言表示与逆运动学，将自然语言指令映射为机器人运动，无需大型数据集或先验运动学知识。
2025-02-18 cs.RO
Naming Objects for Vision-and-Language Manipulation
Sony Group Corporation（索尼集团公司）
机器人通过自然语言指令完成的操作任务需要人与机器人之间对目标物体的共同理解。然而，指令往往具有解释歧义，因为指令缺少重要信息，或者没有正确地表达目标对象以完成任务。为了解决这个模糊性问题，我们假设提前“命名”目标对象将减少自然语言指令的模糊性。我们提出了一种机器人系统和方法，它将命名与物体的外观提前，以便在以后的操作任务，指令可以执行其唯一的名称，以消除歧义的对象容易。为了证明我们的方法的有效性，我们建立了一个系统，可以记住的目标对象，并表明，命名的对象有利于检测的目标对象，提高了操作指令的成功率。在模糊指令情况下，该方法使对象操作任务的成功率提高了31%。
2023-03-06 cs.AI cs.HC cs.RO
Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation
The Chinese University of Hong Kong（香港中文大学）；Xiaomi Corporation（小米集团）；National University of Defense Technology（国防科技大学）
本文提出 Orchestra 框架，将任务规划与执行管理同动作生成分离，引入 RMBench-Compose 基准，在 RMBench 任务及现实多步骤任务中均显著优于现有方法，可提升机器人长序列操作能力。
2026-10-14 cs.AI cs.RO
Talk-to-Resolve: Combining scene understanding and spatial dialogue to resolve granular task ambiguity for a collocated robot
TCS Research（塔塔咨询服务公司研究院）
配置机器人的效用在很大程度上取决于与人类的简单直观的交互机制。如果机器人接受自然语言的任务指令，首先，它必须通过解码指令来理解用户的意图。然而，在执行任务时，由于观察到的场景的变化，机器人可能面临不可预见的情况，因此需要进一步的用户干预。在这篇文章中，我们提出了一个系统，称为谈话解决（TTR），使机器人发起一个连贯的对话交流与教师通过观察现场视觉解决僵局。通过对话，它要么找到一个线索，按照原计划前进，要么找到一个可接受的替代原计划的方案，要么找到一个肯定，完全放弃任务。为了实现可能的僵局，我们利用观察到的场景的密集字幕和给定的指令联合计算机器人的下一个动作。我们评估我们的系统的基础上的数据集的初始指令和情景场景对。我们的系统可以识别僵局，并以82%的准确率通过适当的对话交流解决它们。此外，一项用户研究表明，与最先进的系统（平均3.08）相比，我们系统中的问题更自然（平均4.02，1到5分）。
2022-06-22 cs.AI cs.CV cs.RO
Scaling Robot Policy Learning via Zero-Shot Labeling with Foundation Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；UC Berkeley（加州大学伯克利分校）
针对机器人语言标注稀缺问题，提出 NILS 零样本自动标注框架，利用视觉-语言基础模型处理长时程数据，并在多个数据集上验证其规模与质量。
2024-10-26 cs.AI cs.CV cs.LG
OpenGo: An OpenClaw-Based Robotic Dog with Real-Time Skill Switching
本文提出OpenGo，一种基于OpenClaw的机器人狗，具备实时根据场景和任务切换技能的能力，通过可定制技能库、技能调度器和自学习框架实现技能的自主组织与切换。
2026-04-02 cs.AI cs.RO
Learning 6-DoF Object Poses to Grasp Category-level Objects by Language Instructions
Fudan University（复旦大学）
本文研究了用自由形式语言指令从已知范畴中抓取任意物体的任务。这项任务需要计算机视觉、自然语言处理和机器人技术。我们将这些学科聚集在一起，共同应对这个开放的挑战，这对人机交互至关重要。关键是，关键的挑战在于从语言指令中推断对象的类别，并从已知的类别中准确地估计看不见的对象的6-DoF信息。相比之下，以前的作品侧重于推断的对象候选人在实例级别的姿态。在本文中，我们提出了一个语言引导的6-DoF类别级对象定位模型，通过理解人类的意图来实现机器人抓取。为此，我们提出了一种新的两阶段方法。特别地，第一阶段通过对象的名称、属性和空间关系的语言描述，将目标在RGB图像中接地。第二阶段从裁剪的深度图像中提取和分割点云，并在类别级别估计完整的6-DoF对象姿态。在这种方式下，我们的方法可以通过遵循人类指令来定位特定对象，并估计类别已知但不可见的实例的完整6-DoF姿态，该实例不用于训练模型。大量的实验结果表明，我们的方法是有竞争力的国家的最先进的语言条件掌握方法。重要的是，我们将我们的方法部署在物理机器人上，以验证我们的框架在现实世界中的应用程序的可用性。有关我们的机器人实验的演示视频，请参阅补充资料。
2022-05-09 cs.CV cs.RO
FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies
XLANG Lab, The University of Hong Kong（XLANG实验室，香港大学）；Qwen Team, Alibaba Inc.（通义团队，阿里巴巴公司）
提出FineVLA框架，通过构建细粒度数据集和训练策略，在保持任务成功率的同时实现机器人动作的细粒度可控性。
2026-09-03 cs.AI cs.RO
JEPA-WAM: Connecting Generated Visual Instructions to World Action Models through JEPA Latent Representations
JEPA-WAM通过为文本指令生成多样视觉指令，利用V-JEPA编码器提取任务级语义，提升世界动作模型的指令跟随能力，在真实机器人基准上显著优于现有方法。
2026-09-18 cs.AI cs.RO
User Experience of the CoSTAR System for Instruction of Collaborative Robots
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们如何让新手用户为协作机器人创建有效的任务计划？在通用性和易用性之间必须有一个权衡吗？为了回答这些问题，我们进行了一项用户研究与CoSTAR系统，它集成了感知和推理到一个基于行为树的任务计划编辑器。在我们的研究中，我们要求新手用户在不同的感知和规划能力下执行简单的拾取和放置装配任务。我们的研究表明，用户发现行为树是一种有效的方式来指定任务计划。此外，用户还能够更快，更有效地，并与CoSTAR的规划，感知和推理能力的增加一般作者的任务计划。尽管有这些改进，但与这些功能相关的概念被用户评为不太可用，我们的研究结果表明了进一步改进的方向。
2017-03-23 cs.RO
Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
Casper系统利用预训练视觉语言模型的常识知识，通过开放世界感知、VLM意图推断和技能库，在辅助遥操作中实时推断多样化人类意图并执行灵活技能，实验证明其优于直接遥操作和现有辅助遥操作基线。
2025-07-04 cs.AI cs.RO
Risk-Aware Semantic Grounding for Trustworthy LLM-Based Robot Planning
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所）
本文提出风险感知语义锚定框架，通过多维风险估计建模不确定性，使LLM机器人规划器能决定执行、澄清或拒绝指令，并在TRUST-NAV基准上显著提升模糊检测与冲突拒绝能力。
2026-09-30 cs.AI cs.RO
Trajectory Adaptation using Large Language Models
Robert Bosch Centre for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）；Indian Institute of Science（印度科学学院）
针对机器人轨迹需按人类指令适配新情况的问题，提出基于预训练大语言模型生成代码策略调整轨迹路点的框架，无需任务特定训练，在多仿真环境验证其适配复杂指令的有效性。
2025-04-17 cs.AI cs.RO
Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot
Louisville Automation and Robotics Research Institute (LARRI), University of Louisville（路易斯维尔自动化与机器人研究研究所（LARRI）、路易斯维尔大学）
本文利用BVP和EDA多模态生理信号及CNN/LSTM模型，比较纸质与社交机器人装配指令下的工人负荷，发现CNN结合多模态数据预测效果最佳。
2025-06-01 cs.HC cs.RO
Accurately and Efficiently Interpreting Human-Robot Instructions of Varying Granularities
Brown University（布朗大学）
人类可以将自然语言命令应用于抽象和细粒度的特定任务。例如，可以指示叉车操作员执行高级动作，如“抓住托盘”或低级动作，如“向后倾斜一点”。虽然机器人也能够将语言命令与任务联系起来，但以前的方法隐含地假设所有命令和任务都位于一个固定的抽象级别。此外，不使用多个抽象级别的方法遇到低效的规划和执行时间，因为它们在单个抽象级别上解决任务，具有与现实世界复杂性非常相似的大型棘手的状态动作空间。在这项工作中，通过接地命令的所有任务或子任务中可用的一个层次规划框架，我们到达一个模型，能够解释语言在多个层次的具体性，从粗糙到更细粒度。我们发现，接地过程的准确性得到提高，同时推断的抽象程度的语言用于沟通的任务。利用层次结构也提高了效率：我们提出的方法使机器人能够在一秒内对90%的任务做出响应，而基线在一半的任务上需要20秒以上。最后，我们证明了一个真正的，物理的机器人可以地面命令在多个层次的抽象，使其能够有效地计划不同的子任务在同一规划层次。
2018-06-19 cs.AI
