From Cooking Recipes to Robot Task Trees -- Improving Planning Correctness and Task Efficiency by Leveraging LLMs with a Knowledge Network
University of South Florida(南佛罗里达大学)
本文提出利用LLM检索食谱并用微调GPT-3生成任务树,再通过任务树检索合并多输出为图以剔除可疑和高成本节点,从而提升机器人烹饪规划的正确性与执行效率。
2023-09-17 cs.AI cs.RO
OnionBot: A System for Collaborative Computational Cooking
Imperial College London(帝国理工学院)
烹饪自动化中一个尚未解决的挑战是设计共享厨房。特别是,机器人在非结构化和动态的厨房环境中与灵巧性作斗争。我们建议,人机协作可以实现没有机器人操作。我们描述了一种新的系统设计,使用计算机视觉通知智能烹饪干预。这种以人为本的方法不需要执行器,并促进动态,自然的协作。我们表明,辅助用户主导的行动的自动化可以提供有意义的烹饪帮助,并可以生成未来完全自主的机器人系统所需的图像数据库。我们为我们的工作提供了一个开源的实现,并鼓励研究社区在此基础上建立。
2020-11-10 cs.HC cs.RO
Joint Object and State Recognition using Language Knowledge
University of South Florida(南佛罗里达大学)
物体的状态是机器人应用中的一个重要知识。状态和对象交织在一起,这意味着对象信息可以帮助识别图像的状态,反之亦然。本文讨论了烹饪相关图像的状态识别问题,并使用状态和对象的预测一起提高分类精度的对象和他们的状态从一个单一的图像。本文提出的流水线包括一个具有双分类层的CNN和位于其上的概念网络语言知识图谱。语言知识在对象和状态之间创建语义可能性。从深层架构得到的对象和状态置信度与来自语言知识图谱的对象和状态相关性估计一起使用,以产生对象和状态的边际概率。将对象(或状态)的边缘概率和置信度融合在一起,以改善最终的对象(或状态)分类结果。在烹饪对象数据集上的实验表明,在深度神经网络之上使用语言知识图谱有效地增强了对象和状态分类。
2019-05-13 cs.AI cs.CV
Approximate Task Tree Retrieval in a Knowledge Network for Robotic Cooking
University of South Florida(南佛罗里达大学);Brown University(布朗大学)
灵活的任务规划仍然是机器人面临的一个困难的挑战,机器人无法创造性地调整他们的任务计划,以适应新的或看不见的问题,这主要是由于它对自己的行动和世界的知识有限。出于人类的适应能力,我们探讨如何从一个知识图谱,被称为功能面向对象的网络(FOON)的任务计划,可以产生新的问题,需要的概念是不容易获得的机器人在其知识库。来自140个烹饪食谱的知识被构造在FOON知识图谱中,该知识图谱用于获取被称为任务树的任务计划序列。任务树可以被修改以复制FOON知识图谱格式的配方,这可以通过依赖于语义相似性而用于用包含未知对象和状态组合的新配方来丰富FOON。我们展示了任务树生成的强大功能,可以创建具有前所未有的成分和状态组合的任务树,如Recipe1M+数据集的食谱中所示,我们根据它们对新添加成分的准确描述来评估树的质量。我们的实验结果表明,我们的系统是能够提供任务序列与76%的正确性。
2022-07-08 cs.RO
Zero-Shot Imitating Collaborative Manipulation Plans from YouTube Cooking Videos
University of Southern California(南加州大学)
人们经常在网上观看视频,学习如何烹饪新食谱,组装家具或修理电脑。我们希望让机器人拥有同样的能力。这是具有挑战性的;在操纵动作中存在很大的变化,并且一些视频甚至涉及多个人,这些人通过共享和交换对象和工具来协作。此外,学习的表示需要足够通用,以便可转移到机器人系统。另一方面,以前的工作已经表明,人类操作动作的空间具有语言的,层次结构,涉及到操作对象和工具的行动。基于这种理论的语言的行动,我们提出了一个系统的理解和执行演示动作序列从全长,现实世界的烹饪视频在网络上。该系统将一个新的、以前看不见的、用对象标签和边界框注释的烹饪视频作为输入,并输出一个或多个机器人手臂的协作操纵行动计划。我们展示了该系统的性能,在一个标准化的数据集的100个YouTube烹饪视频,以及在6个完整长度的YouTube视频,包括两个参与者之间的合作行动。我们将我们的系统与由最先进的动作检测基线组成的基线系统进行比较,并显示我们的系统实现了更高的动作检测精度。此外,我们还提出了一个开源平台,用于在模拟环境中执行学习到的计划,以及与实际的机器人手臂。
2022-09-26 cs.CV cs.RO
Cooking Task Planning using LLM and Verified by Graph Network
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科);National Inst. of Advanced Industrial Science and Technology(日本国立先进工业科学技术研究所)
本研究提出结合LLM与FOON的烹饪任务规划方法,从带字幕视频生成可执行计划,通过图网络验证,实验表明成功率显著高于仅用LLM的方法。
2025-03-27 cs.RO
Knowledge Retrieval using Foon
University Of South Florida(南佛罗里达大学)
灵活的任务规划仍然是机器人面临的一个重大挑战。机器人无法创造性地调整其任务计划以应对新的或不可预见的挑战,这在很大程度上是由于它们对自身活动和环境的了解有限。例如,烹饪需要一个人偶尔冒一些机器人会觉得非常危险的风险。我们可以通过采用从许多视频源中提取的知识来获得操纵序列,这要归功于通过图搜索进行的知识检索。
2022-11-06 cs.AI cs.RO
A Survey of Knowledge Representation in Service Robotics
University of South Florida(南佛罗里达大学)
本文综述服务机器人中的知识表示,梳理其收集、表示与复现方式,区分于机器学习等模型,并探讨设计有效知识表示的关键原则。
2023-06-21 cs.AI cs.RO
STAR: A Foundation Model-driven Framework for Robust Task Planning and Failure Recovery in Robotic Systems
University of South Florida(南佛罗里达大学)
STAR框架将基础模型与动态扩展的知识图谱相结合,通过基础模型驱动推理实现机器人任务规划和自主故障恢复,实验显示其任务规划准确率达86%、恢复成功率达78%,显著优于基线方法。
2025-03-08 cs.AI cs.CV cs.RO
Manipulation Motion Taxonomy and Coding for Robots
University of South Florida(南佛罗里达大学)
本文介绍了一种分类的操作,特别是在烹饪1)分组操作从机器人的角度来看,2)巩固别名和消除运动类型的歧义,和3)提供了一条路径,将学习的操作新的未学习的操作。使用教学视频作为参考,我们选择了一个列表中常见的操作动作在烹饪活动中看到的分组为类似的运动的基础上的几个轨迹和接触属性。操作代码,然后开发的分类属性的基础上表示的操作运动。操作分类,然后用于比较日常交互式操作(DIM)数据集中的运动数据,以揭示它们的运动相似性。
2020-07-31 cs.CV cs.RO
A Perception-Manipulation Robotics System for Food Cutting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究烹饪机器人切割任务,核心方法是用初步固定试验切割的力数据选刀,再用强化学习自适应切割,贡献是选刀模块成功率达100%,性能与人类相当。
2026-07-07 cs.RO
ROSER: Few-Shot Robotic Sequence Retrieval for Scalable Robot Learning
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);University of Toronto(多伦多大学);LatentWorlds AI
ROSER通过少样本检索框架有效解决机器人序列数据稀缺问题,提升机器人学习的数据可用性。
2026-03-05 cs.RO
Retrieval-Augmented Robots via Retrieve-Reason-Act
University of California, Santa Cruz(加州大学圣克ruz分校)
本文提出检索增强型机器人学(RAR)范式,通过检索-推理-行动循环,使机器人能从外部文档获取未见程序知识,提升复杂任务执行能力。
2026-03-03 cs.AI cs.RO
Extended Reality System for Robotic Learning from Human Demonstration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Insper(因斯佩尔学院);ITAM(墨西哥理工大学)
针对物理机器人示范困难或不安全的任务,提出扩展现实中的机器人动作示范(RADER)系统,作为从示范学习的通用扩展现实界面,应用于现有最先进方法并取得与物理机器人示范相当的结果。
2024-09-19 cs.HC cs.RO
Planning for target retrieval using a robotic manipulator in cluttered and occluded environments
Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出了一种具有固定基座的机器人机械手的规划算法,以在杂乱的环境中抓取目标物体。我们考虑一个配置的对象在一个有限的空间中具有高密度,所以没有碰撞的自由路径的目标存在。机器人必须重新定位一些对象,以检索目标,同时避免碰撞。为了快速完成检索任务,机器人需要计算优化与重新定位计划的执行时间直接相关的适当目标值的计划。我们提出了规划算法,旨在尽量减少要重新定位的对象的数量。我们的目标值是适当的对象检索任务,因为抓住和释放对象往往占主导地位的总运行时间。除了在完全已知的和静态的环境中工作的算法,我们提出了算法,可以处理不确定的和动态的情况下所引起的闭塞的意见。所提出的算法是完整的,并运行在多项式时间。与基线方法相比,我们的方法显著减少了总运行时间(例如,在已知静态环境中减少25.1%,有10个物体
2019-07-09 cs.RO
DRAE: Dynamic Retrieval-Augmented Expert Networks for Lifelong Learning and Task Adaptation in Robotics
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(重庆绿色智能技术研究所,中国科学院)
DRAE通过动态检索增强专家网络实现机器人终身学习和任务适应,显著提升长期任务保留和知识重用能力。
2025-12-23 cs.RO
A List of Household Objects for Robotic Retrieval Prioritized by People with ALS (Version 092008)
Georgia Institute of Technology(佐治亚理工学院)
本技术报告旨在作为佐治亚理工学院医疗机器人实验室于2008年9月在其网站上发布的原始优先对象列表的可引用参考。在发表详细的同行评审论文之前,它还有望作为与该列表相关的研究的主要可引用参考。对象类的原始优先级列表是由涉及8名肌萎缩侧索硬化症(ALS)运动障碍患者的需求评估和15名运动障碍ALS患者的有针对性的面对面访谈得出的。所有这些参与者都来自埃默里ALS中心。优先级对象列表由43个对象类组成,按参与者认为每个类对辅助机器人检索的重要性进行排名。我们打算让研究人员使用这个列表来为机器人系统的设计和基准测试提供信息,特别是与自主移动操作相关的研究。
2009-02-12 cs.HC cs.RO
Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation
本文提出RobMRAG框架,通过3D高斯点云增强多模态检索增强生成,提升零样本机器人操作的泛化能力和可解释性。
2026-02-28 cs.RO
SayComply: Grounding Field Robotic Tasks in Operational Compliance through Retrieval-Based Language Models
Stanford University(斯坦福大学);Field AI(菲尔德人工智能公司)
提出SayComply框架,利用分层数据库和基于树的检索增强生成技术,将机器人任务规划与操作合规性相落地,在现实场景中有效生成遵循指令且合规的任务,优于标准RAG方法。
2024-11-18 cs.RO
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
Robotic State Recognition with Image-to-Text Retrieval Task of Pre-Trained Vision-Language Model and Black-Box Optimization
The University of Tokyo(东京大学)
该研究提出利用预训练视觉语言模型的图像-文本检索能力结合黑盒优化的机器人状态识别方法,无需重训练模型或手动编程,仅通过提示词及权重优化即可高精度识别多种此前难识别的环境与物体状态,便于资源管理。
2024-10-30 cs.AI cs.CV cs.RO
Contact-Aware Non-prehensile Robotic Manipulation for Object Retrieval in Cluttered Environments
Tsinghua University(清华大学)
非弹性操纵方法通常使用简单的末端执行器,一根单独的杆来操纵物体。与抓取方法相比,这样的末端执行器是紧凑和灵活的,因此它可以在受约束的工作空间中执行任务;作为权衡,它具有相对较少的自由度(DoF),导致在规划和控制的复杂约束下的致动不足问题。本文提出了一种新的非易失性操作方法,在混乱的环境中的目标检索任务,使用棒状推杆。具体来说,首先在一个混乱的环境中产生的候选轨迹与改进的快速探索随机树(RRT)规划器,然后,模型预测控制(MPC)计划被施加到稳定滑块的姿态,通过必要的接触障碍物。与现有方法不同的是,该方法具有接触感知的特点,能够实现主动清除障碍物、回避行为和切换接触面的综合效果,提高灵巧性。从而大大提高了任务的可行性和效率。所提出的方法的性能进行了验证,在一个平面的对象检索任务,其中的目标对象,周围有许多固定或可移动的障碍物,被操纵和隔离。仿真和实验结果。
2023-03-07 cs.RO
RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Michigan(密歇根大学)
本文提出在陶轮上持续塑形黏土的机器人任务与 RoPotter 流程,利用横截面投影、结构先验和网格状态恢复实现长时域制陶,最终形状误差较 SOTA 基线降低 44.4%。
2024-08-05 cs.RO
EmbodiedLGR: Integrating Lightweight Graph Representation and Retrieval for Semantic-Spatial Memory in Robotic Agents
Department of Electronics, Information, and Bioengineering (DEIB), Politecnico di Milano(电子、信息与生物工程系(DEIB),米兰理工大学)
本文提出EmbodiedLGR-Agent,通过参数高效VLM构建语义-空间记忆,实现高效的环境记忆表示与检索,实验证明其在推理和查询时间上达到SOTA,且在实际部署中表现出良好的实用性。
2026-09-07 cs.RO
RAG-RUSS: A Retrieval-Augmented Robotic Ultrasound for Autonomous Carotid Examination
Computer-Aided Medical Procedures and Augmented Reality (CAMP), Technical University of Munich (TUM), Germany(计算机辅助医学程序与增强现实(CAMP),慕尼黑技术大学(TUM),德国);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国)
RAG-RUSS通过可解释框架实现自主颈动脉检查,结合检索增强生成提升泛化能力,减少对大规模数据的依赖。
2026-03-01 cs.RO
Laser2Vec: Similarity-based Retrieval for Robotic Perception Data
College of Information and Computer Sciences, University of Massachusetts(马萨诸塞大学信息与计算机科学学院)
随着移动机器人能力的提高和部署时间的增加,分析不断增长的数据量的工具变得越来越必要。当前最先进的记录、回放和探索系统对于寻求发现机器人系统中的系统故障点的从业者来说是不够的。本文提出了一套基于相似性的机器人感知数据查询算法,并实现了一个系统,用于廉价地存储来自许多部署的2D LiDAR数据,并有效地评估完整或部分扫描的top-k查询。我们通过卷积变分自编码器生成激光扫描的压缩表示,并将其存储在数据库中,在查询时运行用于距离函数近似的轻量级密集网络。我们的查询评估器利用嵌入空间的局部连续性来生成评估顺序,在预期中,占主导地位的数据库的全线性扫描。我们的系统的准确性,鲁棒性,可扩展性和效率在从数十个部署收集的真实数据和通过破坏真实数据生成的合成数据上进行了测试。我们发现我们的系统准确有效地识别了机器人遇到相同位置或类似室内结构或物体的多个场景中的类似扫描。
2020-07-30 cs.LG cs.RO
Safety-Critical Manipulation for Collision-Free Food Preparation
California Institute of Technology(加州理工学院);Miso Robotics(味噌机器人公司)
最新的进展允许在高通量环境中自动化食物制备,但这些机器人的成功部署需要规划和执行快速,稳健,最终无碰撞的行为。在这项工作中,我们展示了一种新的框架,用于修改以前生成的轨迹的机器人操作器在高度详细和动态的碰撞环境中使用控制障碍函数(CBFs)。这种方法在不断变化的环境中动态地重新规划先前验证过的行为--并且以计算效率高的方式这样做。此外,该方法提供了严格的安全保证所产生的轨迹,在真正的底层动力学的机械手的因素。该方法在真实烹饪环境中的全尺寸机器人操纵器上进行了广泛验证,并在重新规划的计算时间和鲁棒性方面取得了实质性改进。
2022-05-02 cs.RO cs.SY eess.SY
RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
University of Southern California(南加州大学);Peking University(北京大学);Stanford University(斯坦福大学)
本文提出 RAM 框架,通过从多源演示构建可供性记忆并分层检索、将域外2D可供性零样本迁移为域内3D可执行可供性,实现跨物体、环境和具身形态的机器人操作泛化。
2024-07-05 cs.CV cs.RO
RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
RESETTLE是一种模型无关的机器人恢复框架,通过分歧触发检索与高效校正控制,在仿真和真实任务中提升机器人操作成功率,且计算延迟显著低于对比方法,兼容高层智能体规划。
2026-10-09 cs.RO
Coordination of two robotic manipulators for object retrieval in clutter
Korea Institute of Science and Technology(韩国科学技术研究院);Inha University(仁荷大学)
我们考虑的问题检索的目标对象从一个有限的空间由两个机器人机械手,不允许上手掌握。如果其他可移动障碍物遮挡目标,则应重新定位多个对象以清除到达目标对象的路径。使用两个机器人,可以通过同时执行重新定位任务来有效地完成重新定位。然而,任务之间的优先约束(例如,在前面的一些对象应该被删除,以操作在后面的对象)使得同时执行任务变得困难。我们提出了一种协调方法,确定哪个机器人重新定位哪个对象,以便同时执行任务。给定一组要重新定位的对象,目标是最大限度地提高机器人在执行重新定位任务时的转弯次数。因此,一个机器人可以在杂物中拾取物体,而另一个机器人将手中的物体放在杂物的外面。然而,要被重新定位的对象可能不是所有机器人都可以访问的,因此轮流并不总是能够实现的。我们的方法是基于最优的均匀成本搜索,所以转向次数被证明是最大化。我们还提出了一个贪婪的变种,其计算时间更短。从实验中,我们表明,我们的方法减少了至少22.9%(最多27.3%)的任务的完成时间相比,不考虑话轮转换的方法。
2021-09-30 cs.RO
Play to the Score: Stage-Guided Dynamic Multi-Sensory Fusion for Robotic Manipulation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Shenzhen Taobotics Co., Ltd.(深圳桃机器人有限公司);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
针对机器人操作中多感官信息需随任务阶段动态调整的问题,提出 MS-Bot,利用由粗到细的阶段理解引导视觉、听觉和触觉融合,并在倾倒与键槽销钉插入任务中验证了更有效、可解释且贴近人类的融合表现。
2024-10-25 cs.CV cs.RO
An Integrated Actuation-Perception Framework for Robotic Leaf Retrieval: Detection, Localization, and Cutting
Univ. of California, Riverside(加州大学河滨分校)
精准农业中的当代机器人主要集中在自动收割或遥感监测作物健康。相对而言,在实地收集树叶实物样本并将其保留以供进一步分析方面所做的工作较少。通常,果园种植者手动收集样本叶片,并利用它们进行茎水势测量,以分析树木健康状况并确定灌溉程序。虽然这项技术有利于果园管理,但收集,评估和解释测量结果的过程需要大量的人力劳动,并且通常导致不频繁的采样。自动化采样可以为种植者提供高度准确和及时的信息。这种自动化原位叶片分析的第一步是从树上识别和切割叶子。这个检索过程需要新的驱动和感知方法。我们提出了一种技术,用于检测和定位候选叶使用点云数据从深度相机。这项技术是测试从鳄梨树的室内和室外点云。然后,我们使用一个定制的6自由度机械臂上的切叶末端执行器,通过从鳄梨树切叶来测试所提出的检测和定位技术。一个真正的鳄梨树的实验测试表明,我们提出的方法可以使我们的移动机械手和自定义的末端执行器系统,成功地检测,定位和切割树叶。
2022-08-09 cs.RO cs.SY eess.SY
Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map
Ritsumeikan University(立命馆大学);Soka University(早稻田大学);Kyoto University(京都大学)
针对辅助机器人InstanceImageNav任务中多视角下物体实例难识别的问题,提出SimView方法,结合3D语义地图多视角图像与SimSiam自监督学习现场训练模型,在Habitat Matterport 3D上验证较CLIP准确率提升1.7倍。
2024-09-13 cs.RO
RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation
RAG-3DSG通过重拍引导的不确定性估计缓解3D场景图中的语义不一致问题,利用对象级检索增强生成方法提升机器人任务中的场景表示可靠性。
2026-08-11 cs.AI cs.CV cs.RO
Minimizing Robot Digging Times to Retrieve Bins in Robotic-Based Compact Storage and Retrieval Systems
University of Waterloo(滑铁卢大学)
针对机器人紧凑型仓储中的料箱挖掘问题,提出动态维持高频料箱靠近网格顶部的最优布局策略,仿真显示检索时间降低逾30%、超时请求减少近50%。
2023-12-08 cs.RO math.OC
MORPHeus: a Multimodal One-armed Robot-assisted Peeling System with Human Users In-the-loop
Cornell University(康奈尔大学)
针对机器人辅助削皮任务现有研究不足、双臂部署难度大的问题,提出了名为MORPHeus的单臂机器人辅助削皮系统,结合多模态感知、人在环规划和柔顺控制,在12种特征差异较大的食物上完成了验证。
2024-05-12 cs.RO
Retrieval-Augmented Embodied Agents
Midea Group(美的集团);AI Lab(人工智能实验室)
提出检索增强的具身智能体(RAEA),通过策略检索器从外部记忆库获取相关策略,并利用策略生成器将其融入学习过程,使机器人能基于多模态输入制定有效任务响应,在模拟和真实场景中性能优于传统方法。
2024-04-17 cs.RO
RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation
POSTECH(浦项科技大学);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程学院);Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院)
该研究针对VLA模型面对新任务分布时的脆弱性问题,提出RA-VLA检索增强VLA框架,在LIBERO基准和UR5e环境中验证其可提升机器人操纵的任务适应成功率与计算效率。
2026-10-09 cs.RO
Advancing Shared and Multi-Agent Autonomy in Underwater Missions: Integrating Knowledge Graphs and Retrieval-Augmented Generation
本文提出融合知识图谱、领域分类体系与RAG增强LLM的框架,以支持水下任务中的多智能体自主和人机共享自主,并通过实验验证其任务完整性与抗幻觉价值。
2025-07-27 cs.RO
Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
提出Spot-Compose框架,结合3D重建的开放词汇实例分割与抓取姿态估计,实现点云中动态目标拾取和抽屉打开,真实实验中分别达到51%和82%成功率。
2024-04-18 cs.CV cs.RO
SRSA: Skill Retrieval and Adaptation for Robotic Assembly Tasks
NVIDIA Corporation(英伟达公司);University of Southern California(南加州大学);University of Washington(华盛顿大学)
针对机器人富接触装配任务的数据高效学习问题,提出 SRSA 框架,通过预测技能库中各技能在新任务上的零样本迁移成功率来指导技能检索与微调,显著提升了成功率、稳定性和样本效率,并在真实世界部署中达到 90% 平均成功率。
2025-03-06 cs.RO
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
University of Virginia(弗吉尼亚大学)
本文针对预训练机器人策略微调时易出现表示漂移、泛化能力下降的问题,提出RARA方法,经两阶段适配后在13项机器人操纵任务及真实机器人上,分布内、外成功率均显著优于基线。
2026-10-20 cs.CV cs.LG cs.RO
Robotic Ultra-Long-Horizon Manipulation Skills via Human-guided Lifelong Code Generation
Beijing Academy of Artificial Intelligence (BAAI)(北京智源人工智能研究院)
提出人机协同终身代码生成框架,将人类修正编码为可复用技能,结合外部记忆与提示机制,在长时程操作任务中实现0.93成功率与42%效率提升。
2026-10-08 cs.RO
Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation
Carnegie Mellon University(卡内基梅隆大学);Apochs, Inc(阿波克斯公司)
提出Embodied-RAG框架,为非参数具身记忆系统,通过语义森林结构实现层级知识存储,支持导航与语言生成,成功处理250余个跨公里级查询。
2025-01-21 cs.AI cs.LG cs.RO
Task-agnostic Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation
College of Design and Engineering National University of Singapore(设计与工程学院新加坡国立大学);Jacobs School of Engineering University of California San Diego(工程学院加州大学圣地亚哥分校);Massachusetts General Hospital Harvard University(麻省总医院哈佛大学);Faculty of Electrical Engineering, Mathematics and Computer Science Delft University of Technology(电子工程、数学和计算机科学学院代尔夫特技术大学);Faculty of Mechanical Engineering Delft University of Technology(机械工程学院代尔夫特技术大学)
本文提出一种基于检索加权局部适应的任务无关终身机器人学习框架,通过经验回放与局部适应技术缓解灾难性遗忘,在无任务ID和边界信息下有效恢复知识,提升开放场景表现。
2025-09-14 cs.AI cs.RO
Bi-Manual Manipulation and Attachment via Sim-to-Real Reinforcement Learning
Google Research(谷歌研究院)
机器人操作的大多数成功都局限于单臂机器人,这将可解决的任务范围限制在拾取和放置,插入和对象重排。相比之下,双臂和多臂机器人平台可以解决各种各样的问题,例如衣物折叠和烹饪技能。然而,开发多臂机器人的控制器是复杂的一些独特的挑战,如需要协调双手的行为,和机器人之间的碰撞避免。考虑到这些挑战,在这项工作中,我们研究如何使用在模拟中训练的强化学习(RL)来解决双手动任务,这样所产生的策略就可以在真正的机器人平台上执行。我们的RL方法由于使用实时(4 Hz)联合空间控制并直接将未过滤的观察结果传递给神经网络策略,从而实现了显着的简化。我们还广泛讨论了我们的模拟环境,导致有效的培训RL政策的修改。除了设计控制算法外,一个关键的挑战是如何为强调双手协调的双手机器人设计公平的评估任务,同时消除正交复杂因素,如高级感知。在这项工作中,我们设计了一个连接任务,其目标是两个机器人手臂拿起并连接两个具有磁性连接点的块。我们使用两个xArm 6机器人和带有磁性附件的3D打印块来验证我们的方法,并发现我们的系统在拾取块时具有100%的成功率,在连接任务中具有65%的成功率。
2022-03-15 cs.AI cs.LG cs.RO
A Collaborative Team of UAV-Hexapod for an Autonomous Retrieval System in GNSS-Denied Maritime Environments
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
提出一种用于GNSS拒止海洋环境的UAV-六足机器人协同系统,通过UAV绞盘机制实现自主部署与回收,结合光流、LiDAR和深度数据传感器融合精确定位,并在MBZIRC 2023 Maritime Challenge现场测试中验证了其有效性。
2024-10-12 cs.RO
Early Fusion for Goal Directed Robotic Vision
University of Washington(华盛顿大学);Cornell University(康奈尔大学);NVIDIA(英伟达)
为机器人构建在紧张的计算预算下表现良好的感知系统需要重新思考传统计算机视觉流水线的新架构。现代视觉架构要求智能体构建整个场景的摘要表示,即使大多数输入与智能体的当前目标无关。在这项工作中,我们通过引入EarlyFusion视觉模型来翻转这种范式,该模型以构建下游任务的自定义表示为目标。我们表明,这些目标的具体表示可以更快地学习,是更有效的参数,更强大的比现有的注意力机制在我们的领域。我们证明了这些方法的有效性,通过模仿学习,在一个完全端到端的方式训练的模拟机器人项目检索问题。
2019-08-07 cs.CV cs.RO
Interleaving Monte Carlo Tree Search and Self-Supervised Learning for Object Retrieval in Clutter
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
在这项研究中,工作与目标检索的任务,在混乱中,我们已经开发了一个机器人学习框架,其中蒙特卡罗树搜索(MCTS)首先应用于使深度神经网络(DNN)学习机器人手臂和复杂的场景包含许多对象之间的复杂的相互作用,允许DNN部分克隆MCTS的行为。反过来,经过训练的DNN被集成到MCTS中,以帮助指导其搜索工作。我们称这种方法为学习引导的蒙特卡罗树搜索的对象检索(MORE),它提供了显着的计算效率增益和增加的解决方案的最优性。MORE是一个能够在现实世界中工作的自监督机器人框架/管道,它成功地体现了Kahneman提出的从系统2到系统1的学习哲学,在这种哲学中,正确使用所学的知识可以大大加快耗时的决策过程。视频和补充材料可以在https://github.com/arc-l/more上找到
2022-03-23 cs.RO
A Case Study on Visual-Audio-Tactile Cross-Modal Retrieval
本文提出VAT-CMR模型,融合视觉、音频和触觉三种模态,通过分类训练阶段选择主导模态以缓解语义鸿沟,显著提升了多模态物体检索和跨检索准确率。
2024-07-30 cs.RO
Prompt-responsive Object Retrieval with Memory-augmented Student-Teacher Learning
Autonomous Intelligent Systems Group, University of Bonn, Germany(波恩大学自主智能系统小组);Lamarr Institute for ML and AI, Bonn, Germany(贝勒人工智能与机器学习研究所)
本文提出记忆增强师生学习框架,将SAM 2可提示基础模型与强化学习结合,利用不完美检测的时间序列进行隐式状态估计,使机器人能够根据用户提示在杂乱场景中完成灵巧抓取任务。
2025-05-04 cs.AI cs.LG cs.RO
Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities
Bournemouth University(伯恩茅斯大学)
提出RL4IL方法,利用强化学习策略从训练库中检索最相关专家演示,并通过软交叉注意力融合生成动作,有效处理传感器缺失问题,在LIBERO基准上超越现有方法。
2026-06-16 cs.LG cs.RO
Shake-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Manipulations and Liquid Mixing
Skoltech(斯科尔科沃科技学院)
本研究提出基于VLA模型的Shake-VLA双臂鸡尾酒调制系统,集成多模块实现配料检测、指令解析与精准操作,实验验证各组件及整体调制均具高成功率。
2025-01-12 cs.RO
Offline Imitation Learning Through Graph Search and Retrieval
UC Berkeley(加州大学伯克利分校)
提出GSR算法,通过图搜索和检索从次优演示中学习,在模拟和真实机器人操作任务中显著提升成功率和熟练度,克服了离线深度强化学习的不稳定性。
2024-07-22 cs.AI cs.LG cs.RO