DRAE: Dynamic Retrieval-Augmented Expert Networks for Lifelong Learning and Task Adaptation in Robotics
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(重庆绿色智能技术研究所,中国科学院)
DRAE通过动态检索增强专家网络实现机器人终身学习和任务适应,显著提升长期任务保留和知识重用能力。
2025-12-23 cs.RO
Task Tree Retrieval Algorithms for Robotic Cooking Using The Functional Object-Oriented Network
University of South Florida(南佛罗里达大学)
使用功能面向对象的网络,我们已经实现了三个搜索算法,为给定的目标节点生成任务树。方法,过程和结果写在本文中。
2022-11-12 cs.AI cs.RO
Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation
本文提出RobMRAG框架,通过3D高斯点云增强多模态检索增强生成,提升零样本机器人操作的泛化能力和可解释性。
2026-02-28 cs.RO
Task Tree Retrieval for Robotic Cooking
机器人被用来培养创造力。人类可以根据情况以其独特的方式完成工作。这种情况适用于烹饪食物。厨房中的机器人技术可以加快这一过程并减少其工作量。然而,机器人在厨房中的潜力仍未实现。在这篇文章中,FOON的想法,一个结构化的知识表示建立在人类操作的见解,介绍。为了降低失败率,并确保任务有效地完成,已经实现了三种不同的算法,其中根据运动的成功率将加权值分配给操作。这个知识表示是使用开源食谱的视频创建的
2022-11-03 cs.AI cs.RO
SayComply: Grounding Field Robotic Tasks in Operational Compliance through Retrieval-Based Language Models
Stanford University(斯坦福大学);Field AI(菲尔德人工智能公司)
提出SayComply框架,利用分层数据库和基于树的检索增强生成技术,将机器人任务规划与操作合规性相落地,在现实场景中有效生成遵循指令且合规的任务,优于标准RAG方法。
2024-11-18 cs.RO
Task-agnostic Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation
College of Design and Engineering National University of Singapore(设计与工程学院新加坡国立大学);Jacobs School of Engineering University of California San Diego(工程学院加州大学圣地亚哥分校);Massachusetts General Hospital Harvard University(麻省总医院哈佛大学);Faculty of Electrical Engineering, Mathematics and Computer Science Delft University of Technology(电子工程、数学和计算机科学学院代尔夫特技术大学);Faculty of Mechanical Engineering Delft University of Technology(机械工程学院代尔夫特技术大学)
本文提出一种基于检索加权局部适应的任务无关终身机器人学习框架,通过经验回放与局部适应技术缓解灾难性遗忘,在无任务ID和边界信息下有效恢复知识,提升开放场景表现。
2025-09-14 cs.AI cs.RO
Contact-Aware Non-prehensile Robotic Manipulation for Object Retrieval in Cluttered Environments
Tsinghua University(清华大学)
非弹性操纵方法通常使用简单的末端执行器,一根单独的杆来操纵物体。与抓取方法相比,这样的末端执行器是紧凑和灵活的,因此它可以在受约束的工作空间中执行任务;作为权衡,它具有相对较少的自由度(DoF),导致在规划和控制的复杂约束下的致动不足问题。本文提出了一种新的非易失性操作方法,在混乱的环境中的目标检索任务,使用棒状推杆。具体来说,首先在一个混乱的环境中产生的候选轨迹与改进的快速探索随机树(RRT)规划器,然后,模型预测控制(MPC)计划被施加到稳定滑块的姿态,通过必要的接触障碍物。与现有方法不同的是,该方法具有接触感知的特点,能够实现主动清除障碍物、回避行为和切换接触面的综合效果,提高灵巧性。从而大大提高了任务的可行性和效率。所提出的方法的性能进行了验证,在一个平面的对象检索任务,其中的目标对象,周围有许多固定或可移动的障碍物,被操纵和隔离。仿真和实验结果。
2023-03-07 cs.RO
A Survey of Knowledge Representation in Service Robotics
University of South Florida(南佛罗里达大学)
本文综述服务机器人中的知识表示,梳理其收集、表示与复现方式,区分于机器学习等模型,并探讨设计有效知识表示的关键原则。
2023-06-21 cs.AI cs.RO
EmbodiedLGR: Integrating Lightweight Graph Representation and Retrieval for Semantic-Spatial Memory in Robotic Agents
Department of Electronics, Information, and Bioengineering (DEIB), Politecnico di Milano(电子、信息与生物工程系(DEIB),米兰理工大学)
本文提出EmbodiedLGR-Agent,通过参数高效VLM构建语义-空间记忆,实现高效的环境记忆表示与检索,实验证明其在推理和查询时间上达到SOTA,且在实际部署中表现出良好的实用性。
2026-09-07 cs.RO
RAG-RUSS: A Retrieval-Augmented Robotic Ultrasound for Autonomous Carotid Examination
Computer-Aided Medical Procedures and Augmented Reality (CAMP), Technical University of Munich (TUM), Germany(计算机辅助医学程序与增强现实(CAMP),慕尼黑技术大学(TUM),德国);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国)
RAG-RUSS通过可解释框架实现自主颈动脉检查,结合检索增强生成提升泛化能力,减少对大规模数据的依赖。
2026-03-01 cs.RO
A List of Household Objects for Robotic Retrieval Prioritized by People with ALS (Version 092008)
Georgia Institute of Technology(佐治亚理工学院)
本技术报告旨在作为佐治亚理工学院医疗机器人实验室于2008年9月在其网站上发布的原始优先对象列表的可引用参考。在发表详细的同行评审论文之前,它还有望作为与该列表相关的研究的主要可引用参考。对象类的原始优先级列表是由涉及8名肌萎缩侧索硬化症(ALS)运动障碍患者的需求评估和15名运动障碍ALS患者的有针对性的面对面访谈得出的。所有这些参与者都来自埃默里ALS中心。优先级对象列表由43个对象类组成,按参与者认为每个类对辅助机器人检索的重要性进行排名。我们打算让研究人员使用这个列表来为机器人系统的设计和基准测试提供信息,特别是与自主移动操作相关的研究。
2009-02-12 cs.HC cs.RO
Difference-Aware Retrieval Policies for Imitation Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Toyota Research Institute(丰田研究所);Google DeepMind(谷歌DeepMind);Mila
提出DARP,一种半参数检索式模仿学习方法,通过基于k近邻的局部邻域结构重参数化,解决行为克隆的分布外泛化问题,在连续控制和机器人操作任务中性能提升15-46%。
2026-06-08 cs.AI cs.LG cs.RO
Offline Imitation Learning Through Graph Search and Retrieval
UC Berkeley(加州大学伯克利分校)
提出GSR算法,通过图搜索和检索从次优演示中学习,在模拟和真实机器人操作任务中显著提升成功率和熟练度,克服了离线深度强化学习的不稳定性。
2024-07-22 cs.AI cs.LG cs.RO
Knowledge Retrieval for Robotic Cooking
University of South Florida(南佛罗里达大学)
搜索算法应用于需要指定规格的数据检索。在功能面向对象网络中开发搜索算法的动机是,大多数时候,需要检索某个配方或确定某个配方的成分。根据介绍,有时机器人无法执行整个食谱,因此需要检索某个食谱或配料。有了高质量的FOON,机器人可以破译任务目标,在所需的状态下找到正确的对象进行操作,并输出一系列正确的操作动作。本文展示了几种建议的加权FOON和任务规划算法,这些算法允许机器人和人类一起成功完成复杂的任务,成功率高于人类单独完成这些任务。
2022-11-16 cs.AI cs.RO
Approximate Task Tree Retrieval in a Knowledge Network for Robotic Cooking
University of South Florida(南佛罗里达大学);Brown University(布朗大学)
灵活的任务规划仍然是机器人面临的一个困难的挑战,机器人无法创造性地调整他们的任务计划,以适应新的或看不见的问题,这主要是由于它对自己的行动和世界的知识有限。出于人类的适应能力,我们探讨如何从一个知识图谱,被称为功能面向对象的网络(FOON)的任务计划,可以产生新的问题,需要的概念是不容易获得的机器人在其知识库。来自140个烹饪食谱的知识被构造在FOON知识图谱中,该知识图谱用于获取被称为任务树的任务计划序列。任务树可以被修改以复制FOON知识图谱格式的配方,这可以通过依赖于语义相似性而用于用包含未知对象和状态组合的新配方来丰富FOON。我们展示了任务树生成的强大功能,可以创建具有前所未有的成分和状态组合的任务树,如Recipe1M+数据集的食谱中所示,我们根据它们对新添加成分的准确描述来评估树的质量。我们的实验结果表明,我们的系统是能够提供任务序列与76%的正确性。
2022-07-08 cs.RO
RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
RESETTLE是一种模型无关的机器人恢复框架,通过分歧触发检索与高效校正控制,在仿真和真实任务中提升机器人操作成功率,且计算延迟显著低于对比方法,兼容高层智能体规划。
2026-10-09 cs.RO
Coordination of two robotic manipulators for object retrieval in clutter
Korea Institute of Science and Technology(韩国科学技术研究院);Inha University(仁荷大学)
我们考虑的问题检索的目标对象从一个有限的空间由两个机器人机械手,不允许上手掌握。如果其他可移动障碍物遮挡目标,则应重新定位多个对象以清除到达目标对象的路径。使用两个机器人,可以通过同时执行重新定位任务来有效地完成重新定位。然而,任务之间的优先约束(例如,在前面的一些对象应该被删除,以操作在后面的对象)使得同时执行任务变得困难。我们提出了一种协调方法,确定哪个机器人重新定位哪个对象,以便同时执行任务。给定一组要重新定位的对象,目标是最大限度地提高机器人在执行重新定位任务时的转弯次数。因此,一个机器人可以在杂物中拾取物体,而另一个机器人将手中的物体放在杂物的外面。然而,要被重新定位的对象可能不是所有机器人都可以访问的,因此轮流并不总是能够实现的。我们的方法是基于最优的均匀成本搜索,所以转向次数被证明是最大化。我们还提出了一个贪婪的变种,其计算时间更短。从实验中,我们表明,我们的方法减少了至少22.9%(最多27.3%)的任务的完成时间相比,不考虑话轮转换的方法。
2021-09-30 cs.RO
Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map
Ritsumeikan University(立命馆大学);Soka University(早稻田大学);Kyoto University(京都大学)
针对辅助机器人InstanceImageNav任务中多视角下物体实例难识别的问题,提出SimView方法,结合3D语义地图多视角图像与SimSiam自监督学习现场训练模型,在Habitat Matterport 3D上验证较CLIP准确率提升1.7倍。
2024-09-13 cs.RO
Task Tree Retrieval For Robotic Cooking
University Of South Florida(南佛罗里达大学)
本研究围绕机器人烹饪的任务规划问题,基于FOON知识表示框架,通过知识检索调取功能单元信息生成任务子图,实现给定食谱的任务树规划,支持机器人按指令完成烹饪。
2023-11-27 cs.AI cs.RO
Laser2Vec: Similarity-based Retrieval for Robotic Perception Data
College of Information and Computer Sciences, University of Massachusetts(马萨诸塞大学信息与计算机科学学院)
随着移动机器人能力的提高和部署时间的增加,分析不断增长的数据量的工具变得越来越必要。当前最先进的记录、回放和探索系统对于寻求发现机器人系统中的系统故障点的从业者来说是不够的。本文提出了一套基于相似性的机器人感知数据查询算法,并实现了一个系统,用于廉价地存储来自许多部署的2D LiDAR数据,并有效地评估完整或部分扫描的top-k查询。我们通过卷积变分自编码器生成激光扫描的压缩表示,并将其存储在数据库中,在查询时运行用于距离函数近似的轻量级密集网络。我们的查询评估器利用嵌入空间的局部连续性来生成评估顺序,在预期中,占主导地位的数据库的全线性扫描。我们的系统的准确性,鲁棒性,可扩展性和效率在从数十个部署收集的真实数据和通过破坏真实数据生成的合成数据上进行了测试。我们发现我们的系统准确有效地识别了机器人遇到相同位置或类似室内结构或物体的多个场景中的类似扫描。
2020-07-30 cs.LG cs.RO
RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
University of Southern California(南加州大学);Peking University(北京大学);Stanford University(斯坦福大学)
本文提出 RAM 框架,通过从多源演示构建可供性记忆并分层检索、将域外2D可供性零样本迁移为域内3D可执行可供性,实现跨物体、环境和具身形态的机器人操作泛化。
2024-07-05 cs.CV cs.RO
Knowledge Retrieval Using Functional Object-Oriented Networks
机器人代理通常执行的任务,通过功能运动将输入对象集转换为输出对象。这项工作描述了FOON知识表示模型的机器人任务。我们定义了FOON的结构和关键组件,并描述了创建通用FOON数据集的过程。本文介绍了各种搜索算法和启发式函数,我们用来搜索FOON内的对象。我们使用这些算法对我们的通用FOON进行了多次搜索,并讨论了每个算法的有效性。
2022-11-27 cs.AI cs.RO
Retrieval-Augmented Embodied Agents
Midea Group(美的集团);AI Lab(人工智能实验室)
提出检索增强的具身智能体(RAEA),通过策略检索器从外部记忆库获取相关策略,并利用策略生成器将其融入学习过程,使机器人能基于多模态输入制定有效任务响应,在模拟和真实场景中性能优于传统方法。
2024-04-17 cs.RO
RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation
POSTECH(浦项科技大学);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程学院);Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院)
该研究针对VLA模型面对新任务分布时的脆弱性问题,提出RA-VLA检索增强VLA框架,在LIBERO基准和UR5e环境中验证其可提升机器人操纵的任务适应成功率与计算效率。
2026-10-09 cs.RO
Advancing Shared and Multi-Agent Autonomy in Underwater Missions: Integrating Knowledge Graphs and Retrieval-Augmented Generation
本文提出融合知识图谱、领域分类体系与RAG增强LLM的框架,以支持水下任务中的多智能体自主和人机共享自主,并通过实验验证其任务完整性与抗幻觉价值。
2025-07-27 cs.RO
SRSA: Skill Retrieval and Adaptation for Robotic Assembly Tasks
NVIDIA Corporation(英伟达公司);University of Southern California(南加州大学);University of Washington(华盛顿大学)
针对机器人富接触装配任务的数据高效学习问题,提出 SRSA 框架,通过预测技能库中各技能在新任务上的零样本迁移成功率来指导技能检索与微调,显著提升了成功率、稳定性和样本效率,并在真实世界部署中达到 90% 平均成功率。
2025-03-06 cs.RO
RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset
Southern University of Science and Technology(南方科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Spatialtemporal AI(时空人工智能)
RADAR通过语义规划和自主因果环境重置实现闭环机器人数据生成,具备高适应性和可扩展性,在仿真和现实部署中均表现出卓越的性能。
2026-07-16 cs.AI cs.CV cs.RO
STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(保罗·G·艾伦计算机科学与工程学院,华盛顿大学);Robot Learning Lab, Bosch Center for Artificial Intelligence(机器人学习实验室,博世人工智能中心);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
本文提出 STRAP 方法,通过预训练视觉基础模型和动态时间规整在子轨迹粒度上检索相关数据,以解决通用策略在单任务上因负迁移而性能不佳的问题,并在仿真和真实实验中验证了其在数据利用、泛化和鲁棒控制策略学习上的优势。
2025-08-18 cs.LG cs.RO cs.SY
Minimizing Robot Digging Times to Retrieve Bins in Robotic-Based Compact Storage and Retrieval Systems
University of Waterloo(滑铁卢大学)
针对机器人紧凑型仓储中的料箱挖掘问题,提出动态维持高频料箱靠近网格顶部的最优布局策略,仿真显示检索时间降低逾30%、超时请求减少近50%。
2023-12-08 cs.RO math.OC
An Integrated Actuation-Perception Framework for Robotic Leaf Retrieval: Detection, Localization, and Cutting
Univ. of California, Riverside(加州大学河滨分校)
精准农业中的当代机器人主要集中在自动收割或遥感监测作物健康。相对而言,在实地收集树叶实物样本并将其保留以供进一步分析方面所做的工作较少。通常,果园种植者手动收集样本叶片,并利用它们进行茎水势测量,以分析树木健康状况并确定灌溉程序。虽然这项技术有利于果园管理,但收集,评估和解释测量结果的过程需要大量的人力劳动,并且通常导致不频繁的采样。自动化采样可以为种植者提供高度准确和及时的信息。这种自动化原位叶片分析的第一步是从树上识别和切割叶子。这个检索过程需要新的驱动和感知方法。我们提出了一种技术,用于检测和定位候选叶使用点云数据从深度相机。这项技术是测试从鳄梨树的室内和室外点云。然后,我们使用一个定制的6自由度机械臂上的切叶末端执行器,通过从鳄梨树切叶来测试所提出的检测和定位技术。一个真正的鳄梨树的实验测试表明,我们提出的方法可以使我们的移动机械手和自定义的末端执行器系统,成功地检测,定位和切割树叶。
2022-08-09 cs.RO cs.SY eess.SY
Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets
Stanford University(斯坦福大学)
提出行为检索方法,利用少量专家数据从未标注数据集中选择性查询相关行为,联合训练提升少样本模仿学习效果,在模拟和真实机器人任务中优于复杂目标条件方法20%。
2023-05-13 cs.AI cs.LG cs.RO
Future Robotics Database Management System along with Cloud TPS
Thiagarajar School of management(蒂亚加拉贾管理学院);Sastra University(萨斯特拉大学)
本文讨论机器人技术中的存储管理问题。在我们的建议中,我们打破了创造人形的主要问题之一。.数据库问题是机器人模式设计中的一个复杂问题,在我们的建议中,我们提出了一个新的概念,称为NOSQL数据库,用于有效的数据检索,使人形机器人将获得大量的思维能力,在搜索每个项目使用链指令。对于机器人中的查询事务,我们需要一个有效的一致性事务,因此通过使用最新的技术CloudTPS,它保证了完整的ACID属性,以便机器人可以使用多项事务进行查询,通过这个我们在数据检索中获得数据一致性。此外,我们还引入了map reduce概念,它可以将作业拆分到各个工作者,以便以并行的方式处理数据。
2011-12-09 cs.DB cs.RO
Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
提出Spot-Compose框架,结合3D重建的开放词汇实例分割与抓取姿态估计,实现点云中动态目标拾取和抽屉打开,真实实验中分别达到51%和82%成功率。
2024-04-18 cs.CV cs.RO
Retrieval-Augmented Robots via Retrieve-Reason-Act
University of California, Santa Cruz(加州大学圣克ruz分校)
本文提出检索增强型机器人学(RAR)范式,通过检索-推理-行动循环,使机器人能从外部文档获取未见程序知识,提升复杂任务执行能力。
2026-03-03 cs.AI cs.RO
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
University of Virginia(弗吉尼亚大学)
本文针对预训练机器人策略微调时易出现表示漂移、泛化能力下降的问题,提出RARA方法,经两阶段适配后在13项机器人操纵任务及真实机器人上,分布内、外成功率均显著优于基线。
2026-10-20 cs.CV cs.LG cs.RO
Robotic State Recognition with Image-to-Text Retrieval Task of Pre-Trained Vision-Language Model and Black-Box Optimization
The University of Tokyo(东京大学)
该研究提出利用预训练视觉语言模型的图像-文本检索能力结合黑盒优化的机器人状态识别方法,无需重训练模型或手动编程,仅通过提示词及权重优化即可高精度识别多种此前难识别的环境与物体状态,便于资源管理。
2024-10-30 cs.AI cs.CV cs.RO
EmbodiedRAG: Dynamic 3D Scene Graph Retrieval for Efficient and Scalable Robot Task Planning
Johns Hopkins University(约翰斯·霍普金斯大学)
针对大语言模型机器人规划中3D场景图输入规模超限的问题,提出动态3D场景子图检索框架EmbodiedRAG,可随环境和任务动态检索子图,显著降低token消耗与规划时间并提升任务成功率,适配模拟及真实边缘机器人部署。
2024-10-31 cs.RO
A Collaborative Team of UAV-Hexapod for an Autonomous Retrieval System in GNSS-Denied Maritime Environments
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
提出一种用于GNSS拒止海洋环境的UAV-六足机器人协同系统,通过UAV绞盘机制实现自主部署与回收,结合光流、LiDAR和深度数据传感器融合精确定位,并在MBZIRC 2023 Maritime Challenge现场测试中验证了其有效性。
2024-10-12 cs.RO
Unsupervised robotic sorting: Towards autonomous decision making robots
Arts et Métiers ParisTech(巴黎高等工程技术学院)
自动分拣是工业机器人中的一项重要任务,根据预期的自动化程度,这可能非常具有挑战性。通常,为了决定在哪里对对象进行排序,系统需要解决实例检索(已知对象)或监督分类(预定义的类集)问题。在本文中,我们介绍了一个新的决策模块,其中机器人系统选择如何排序的对象在一个无监督的方式。我们称这个问题为无监督机器人排序(URS),并提出了一个工业机器人系统上的实现,使用深度CNN特征提取和标准聚类算法。我们在各种标准数据集上进行了广泛的实验,以证明所提出的图像聚类管道的效率。为了评估我们的URS实现的鲁棒性,我们还介绍了一个复杂的现实世界的数据集,包含各种背景和光照条件下的对象的图像。该数据集用于微调URS的设计选择(CNN和聚类算法)。最后,我们提出了一种将我们的管道与集成聚类相结合的方法,以使用每个对象的多个图像。这种冗余的对象的信息,以增加聚类结果。
2018-04-12 cs.RO
RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation
RAG-3DSG通过重拍引导的不确定性估计缓解3D场景图中的语义不一致问题,利用对象级检索增强生成方法提升机器人任务中的场景表示可靠性。
2026-08-11 cs.AI cs.CV cs.RO
FlowPlan: Zero-Shot Task Planning with LLM Flow Engineering for Robotic Instruction Following
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学)
提出FlowPlan,一种结构化多阶段LLM工作流,通过模块化分解规划过程,在零样本场景下生成逻辑连贯的动作序列并提取上下文指导,实现与数据驱动方法相媲美的机器人指令跟随性能。
2025-03-04 cs.RO
Grounding Robot Generalization in Training Data via Retrieval-Augmented VLMs
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
本文提出RADAR框架,通过检索和视觉语言模型分析,评估机器人策略在不同场景下的泛化能力,验证了其在大规模数据集中的有效性。
2026-08-18 cs.RO
RoboRetriever: Single-Camera Robot Object Retrieval via Active and Interactive Perception with Dynamic Scene Graph
RoboRetriever提出仅用单个腕部RGB-D相机和自然语言指令,通过动态分层场景图及主动、交互式感知与操作协同,在杂乱真实场景中实现鲁棒的目标取回。
2025-08-18 cs.RO
Path planning for Robotic Mobile Fulfillment Systems
University of Paderborn(帕德博恩大学);Leuphana University of Lüneburg(吕讷堡莱法纳大学)
本文提出了一个收集的路径规划算法的实时移动的多个机器人在机器人移动履行系统(RMFS)。机器人被指派将存储单元移动到工作站的拣选员,而不是要求拣选员去存储区域。路径规划算法的目标是为机器人找到路径,以满足没有冲突或死锁的请求。最先进的路径规划算法,包括WHCA*,FAR,BCP,OD&ID和CBS,经过调整以适应RMFS中的路径规划,并集成在仿真工具中,以引导机器人在存储和检索过程中从起点到目的地。在模拟研究中考虑了十种不同的布局,其中包括各种数量的机器人,楼层,吊舱,车站和存储区域的大小。性能指标的吞吐量,路径长度和搜索时间进行了监测。仿真结果表明,最好的算法的基础上,每个性能指标。
2018-11-19 cs.AI cs.RO
Garbage Segmentation and Attribute Analysis by Robotic Dogs
ZhejiangLab(浙江实验室)
提出GSA2Seg方法,利用四足机器狗结合垃圾分割与属性分析技术,准确识别垃圾位置与放置状态以增强机械臂抓取能力,并贡献GSA2D数据集验证其有效性。
2024-04-28 cs.CV cs.RO
ARRC: Advanced Reasoning Robot Control - Knowledge-Driven Autonomous Manipulation Using Retrieval-Augmented Generation
Department of Mechanical, Industrial and Mechatronics Engineering, Toronto Metropolitan University(机械、工业与机电工程系,多伦多 Metropolitan 大学)
ARRC系统结合检索增强生成与RGB-D感知,在低成本机械臂上实现安全自主操作,通过向量检索知识库和LLM生成JSON计划,显著提升计划有效性与适应性。
2025-10-07 cs.RO
Beyond End-Task Success: How to Audit Visual Experience Retrieval in Robotics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Centific
本文提出一种审计机器人视觉经验检索的方法,通过穷举执行所有经验来区分选择规则与经验库质量,发现视觉规则易集中于单一经验且排序能力有限,并建议报告经验分布与事后最佳经验成功率。
2026-09-28 cs.CV cs.RO
RTAGrasp: Learning Task-Oriented Grasping from Human Videos via Retrieval, Transfer, and Alignment
Southern University of Science and Technology(南方科技大学)
本文提出RTAGrasp框架,通过从人类演示视频中检索、迁移和对齐TOG约束,实现无需训练的任务导向抓取,在公开数据集和真实实验中均展现竞争力。
2024-09-24 cs.RO
Visual Foresight Trees for Object Retrieval from Clutter with Nonprehensile Rearrangement
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
本文考虑的问题,检索一个对象从许多紧密包装的对象,使用机器人推和把握行动的组合。密集杂波中的物体检索是机器人在家庭和日常环境中有效操作的重要技能。所提出的解决方案,视觉模糊树(VFT),智能地重新安排周围的目标对象,使它可以很容易地掌握杂波。嵌套的非线性行为的重排是具有挑战性的,因为它需要预测复杂的对象相互作用的组合大配置空间的多个对象。我们首先展示了一个深度神经网络可以被训练来准确地预测机器人推动其中一个包装物体时的姿态。预测网络提供视觉预见,并在树搜索中用作场景图像空间中的状态转换函数。树搜索返回一系列连续的推动动作,产生最佳的混乱安排,以抓住目标对象。仿真实验以及使用真实机器人和物体的实验表明,在几项具有挑战性的任务上,所提出的方法在成功率和执行动作数量方面都优于无模型技术以及基于模型的近视方法。一个介绍VFT的视频,以及机器人实验,可以在https://youtu.be/7cL-hmgvyec上访问。完整的源代码可以在https://github.com/arc-l/vft上找到。
2022-03-09 cs.RO
Fail-RAG : A Retrieval Augmented Generation Informed Framework for Robot Failure Identification
Hitachi America, Ltd.(日立美国有限公司)
提出Fail-RAG框架,利用检索增强生成和视觉语言模型,通过嵌入故障图像和上下文信息并查询数据库,实现机器人操作故障的高效检测,在仓库自动化任务中平均检测准确率提升25个百分点。
2026-06-19 cs.RO
Are we done with object recognition? The iCub robot's perspective
Istituto Italiano di Tecnologia(意大利理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们报告了对当前机器人视觉场景中物体识别的深度学习方法的优点和局限性的广泛研究,介绍了用于我们调查的新数据集。为了避免目前可用的数据集的偏见,我们考虑一个自然的人机交互设置设计的iCub人形机器人上的视觉对象识别的数据采集协议。通过分析在大规模图像检索数据集上离线训练的现成模型的性能,我们展示了知识转移的必要性。我们评估了完成最后一步的不同方法,并确定了影响机器人场景的主要瓶颈。通过研究对象分类和识别问题,我们突出了机器人应用中的对象识别与图像检索任务之间的关键差异,所考虑的深度学习方法最初就是为此设计的。简而言之,我们的研究结果证实了深度学习在这种情况下产生的显着改进,同时指出了机器人无缝部署需要解决的具体开放挑战。
2019-01-03 cs.AI cs.CV cs.LG
Open-Set 3D Scene Graphs for Field Robotics: An Outdoor Case Study
Brigham Young University(杨百翰大学)
该研究分析户外3DSG的挑战,以Terra 3DSG为案例,引入一致性指标,验证其用于物体检索的可行性,同时指出其在语义模式、可通行性等方面的开放问题。
2026-09-07 cs.RO
N-QR: Natural Quick Response Codes for Multi-Robot Instance Correspondence
Georgia Institute of Technology(佐治亚理工学院);Bowery Farming(鲍里农场)
针对多机器人系统图像匹配难的问题,提出类似QR码的N-QR自然快速响应码方法,在生产级农场实现高准确率匹配,大幅降低带宽并提升速度,还验证了播种策略与发芽的关联。
2024-03-09 cs.RO
RobotSmith: Generative Robotic Tool Design for Acquisition of Complex Manipulation Skills
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Massachusetts Institute of Technology(麻省理工学院);National University of Singapore(新加坡国立大学);NVIDIA(英伟达);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
针对现有机器人工具设计方法的局限,提出RobotSmith自动化流程,结合VLM隐式物理知识与物理仿真,迭代设计工具、生成轨迹并联合优化,在多类操作任务中成功率优于基线,且可迁移到真实场景。
2025-06-17 cs.RO