DINOBot: Robot Manipulation via Retrieval and Alignment with Vision Foundation Models
Imperial College London(伦敦帝国学院)
DINOBot 提出一种基于 DINO 视觉 Transformer 特征的模仿学习框架,通过检索相似物体并对齐末端执行器,实现高效且泛化的机器人操控。
2024-02-20 cs.LG cs.RO
What went wrong?: Identification of Everyday Object Manipulation Anomalies
Istanbul Technical University(伊斯坦布尔理工大学)
扩展服务机器人的能力对于扩展它们在日常操作任务中可以实现的目标非常重要。另一方面,也必须确保他们确定在某些情况下由于任务执行期间的异常或永久故障而无法实现的内容。机器人需要识别这些情况,并揭示这些情况背后的原因,以克服并从中恢复。在本文中,我们提出并分析了一个基于长短期记忆(基于LSTM)的意识方法,以揭示背后的异常情况下,发生在一个非结构化的环境中的操作情节的原因。所提出的方法考虑到机器人的实时观察,融合视觉,听觉和本体感觉的感觉方式来实现这一任务。我们还提供了一个比较分析,我们的方法与隐马尔可夫模型(HMM)和条件随机场(CRF)。异常的症状首先从给定的训练集中学习,然后可以根据学习的模型实时分类。巴克斯特机器人执行对象操作方案的方法进行评估。结果表明,基于LSTM的方法优于其他方法的0.94的分类率在揭示异常的原因,在意外的偏差的情况下。
2020-01-24 cs.RO eess.SP
Ontology-Assisted Generalisation of Robot Action Execution Knowledge
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);RWTH Aachen University(亚琛工业大学)
当一个自主机器人学习如何执行动作,它是感兴趣的,知道是否以及何时执行策略可以推广到学习场景的变化。这可以通知机器人额外学习的必要性,因为使用不完整或不合适的策略可能导致执行失败。当机器人必须在不同的环境中处理各种各样的物体时,泛化尤其重要。在本文中,我们提出并分析了一种策略,概括参数化的执行模型的操作动作在不同的对象的基础上的对象本体。特别是,机器人根据本体将已知的执行模型转移到相关类的对象,但只有在没有其他证据表明该模型可能不合适的情况下。这允许使用本体论知识作为先验信息,然后通过机器人自己的经验进行细化。我们验证了我们的算法的两个动作-抓住和存放日常物品-这样,我们表明,机器人可以推断的情况下,现有的政策可以概括为其他对象,当额外的执行知识必须获得。
2021-07-20 cs.RO
ConditionNET: Learning Preconditions and Effects for Execution Monitoring
Technische Universität Wien (TU Wien)(维也纳工业大学);German Aerospace Center(德国航空航天中心)
提出 ConditionNET,通过数据驱动方式学习动作前置条件与效果,显式建模依赖关系并优化特征表示,在异常检测和阶段预测任务上优于基线,并在真实机器人上验证了其实用性。
2025-02-03 cs.LG cs.RO
Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy
提出OmniAct框架,通过分层异步架构统一规划、记忆和验证,实现机器人在非结构化环境中的持久自主,在40项真实任务中提升成功率并降低token消耗。
2026-06-26 cs.AI cs.RO
FRAME: Factored Retrieval via Attribute Readouts for Object-Centric Scene Memory
Seoul National University(首尔大学)
针对语言引导机器人场景记忆中的多属性组合检索问题,提出FRAME方法,将语言转化为属性权重,利用学习读出器聚合对象嵌入证据进行排序,在保留场景上超越基线并实现高效计算。
2026-09-09 cs.CV cs.RO
COOL: Curiosity-Driven Object Ownership Learning for Personalized Robotic Assistance
Kiel University(基尔大学)
提出COOL框架,通过好奇心驱动的数据收集从日常观察中学习物体所有权,维护长时空间记忆,实现个性化机器人辅助的导航与任务执行。
2026-10-08 cs.RO
CIRRA: Dual-Level Continual Instruction Reconciliation with Ongoing Execution for Embodied Robot Agents in Interactive Household Tasks
University of Georgia(佐治亚大学);Northeastern University(东北大学);EmbodyX Inc.(EmbodyX公司)
针对家庭机器人在执行任务时需整合新指令的问题,提出双层级框架CIRRA,结合LLM语义推理与结构整合,保留执行主干,减少冗余,在CHIRP基准上决策一致性达74.2%,并在人形机器人上验证有效性。
2026-10-14 cs.CV cs.RO
Visual Foresight Trees for Object Retrieval from Clutter with Nonprehensile Rearrangement
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
本文考虑的问题,检索一个对象从许多紧密包装的对象,使用机器人推和把握行动的组合。密集杂波中的物体检索是机器人在家庭和日常环境中有效操作的重要技能。所提出的解决方案,视觉模糊树(VFT),智能地重新安排周围的目标对象,使它可以很容易地掌握杂波。嵌套的非线性行为的重排是具有挑战性的,因为它需要预测复杂的对象相互作用的组合大配置空间的多个对象。我们首先展示了一个深度神经网络可以被训练来准确地预测机器人推动其中一个包装物体时的姿态。预测网络提供视觉预见,并在树搜索中用作场景图像空间中的状态转换函数。树搜索返回一系列连续的推动动作,产生最佳的混乱安排,以抓住目标对象。仿真实验以及使用真实机器人和物体的实验表明,在几项具有挑战性的任务上,所提出的方法在成功率和执行动作数量方面都优于无模型技术以及基于模型的近视方法。一个介绍VFT的视频,以及机器人实验,可以在https://youtu.be/7cL-hmgvyec上访问。完整的源代码可以在https://github.com/arc-l/vft上找到。
2022-03-09 cs.RO
ARRC: Advanced Reasoning Robot Control - Knowledge-Driven Autonomous Manipulation Using Retrieval-Augmented Generation
Department of Mechanical, Industrial and Mechatronics Engineering, Toronto Metropolitan University(机械、工业与机电工程系,多伦多 Metropolitan 大学)
ARRC系统结合检索增强生成与RGB-D感知,在低成本机械臂上实现安全自主操作,通过向量检索知识库和LLM生成JSON计划,显著提升计划有效性与适应性。
2025-10-07 cs.RO
Retrieval-grounded robot program generation and simulation-based correction via Model Context Protocol
Chalmers University of Technology(查尔姆斯理工大学)
该研究针对柔性制造中机器人快速重编程需求,提出结合RAG与MCP的工作流,可生成并修正ABB RAPID机器人程序,借助仿真暴露代码执行故障,减少专家监督需求。
2026-08-25 cs.AI cs.RO
Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine
Keio University(庆应义塾大学)
针对人机协同下家用机器人从开放指令中检索目标物体的问题,提出MultiRankIt方法,利用跨模态编码器建模指代与区域关系,新数据集上优于基线,物理实验成功率达80%。
2023-12-26 cs.CL cs.CV cs.RO
GuideFetch: A Task Coordination Framework for Concurrent Navigation and Object Retrieval in Assistive Robot Dogs
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学)
针对异构辅助机器狗的导航与物体检索并发任务,提出GuideFetch协调框架,通过LLM规划与状态验证提升执行效率,并行执行可缩短41.3%平均总完成时间。
2026-08-25 cs.CV cs.RO
Complete, Scalable, and Robust Prioritized Planning for Multi-Robot Ordered Storage and Retrieval at Maximum Capacity
Rutgers University(罗格斯大学)
该研究针对最大容量下多机器人有序存取问题,提出利用无重排布局特性的在线优先多智能体路径规划算法,实现可扩展且鲁棒的规划,完工时间随机器人数量近线性提升,处理不确定性时执行速度无显著损失。
2026-08-20 cs.AI cs.MA cs.RO
Retrieval-Augmented Hierarchical in-Context Reinforcement Learning and Hindsight Modular Reflections for Task Planning with LLMs
Rutgers University–New Brunswick(罗格斯大学新不伦瑞克分校)
本文提出RAHL框架,用LLM高层策略将复杂任务分解为子任务,并结合事后模块化反思提升多轮执行效率,在三个基准环境和SPOT机器人上验证了决策能力的显著提升。
2024-10-04 cs.CL cs.RO
Knowledge Retrieval for Robotic Cooking
University of South Florida(南佛罗里达大学)
搜索算法应用于需要指定规格的数据检索。在功能面向对象网络中开发搜索算法的动机是,大多数时候,需要检索某个配方或确定某个配方的成分。根据介绍,有时机器人无法执行整个食谱,因此需要检索某个食谱或配料。有了高质量的FOON,机器人可以破译任务目标,在所需的状态下找到正确的对象进行操作,并输出一系列正确的操作动作。本文展示了几种建议的加权FOON和任务规划算法,这些算法允许机器人和人类一起成功完成复杂的任务,成功率高于人类单独完成这些任务。
2022-11-16 cs.AI cs.RO
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
From Cooking Recipes to Robot Task Trees -- Improving Planning Correctness and Task Efficiency by Leveraging LLMs with a Knowledge Network
University of South Florida(南佛罗里达大学)
本文提出利用LLM检索食谱并用微调GPT-3生成任务树,再通过任务树检索合并多输出为图以剔除可疑和高成本节点,从而提升机器人烹饪规划的正确性与执行效率。
2023-09-17 cs.AI cs.RO