Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation
SCFields通过融合视觉语义与密集接触估计,实现类别级可泛化的触觉工具操作,显著优于视觉和原始触觉基线。
2026-02-14 cs.RO
PartManip: Learning Cross-Category Generalizable Part Manipulation Policy from Point Cloud Observations
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
学习一个可推广的对象操作策略是至关重要的具体代理工作在复杂的现实世界的场景。部件作为不同对象类别中的共享组件,具有提高操作策略泛化能力和实现跨类别对象操作的潜力。在这项工作中,我们建立了第一个大规模的,基于部分的跨类别对象操作基准,PartManip,它是由11个对象类别,494个对象,1432个任务在6个任务类。与以前的工作相比,我们的基准也更加多样化和现实,即,具有更多的对象并且使用稀疏视点云作为输入,而不需要像零件分割那样的Oracle信息。为了解决基于视觉的策略学习的困难,我们首先训练一个基于国家的专家与我们提出的部分基于规范化和部分意识到的奖励,然后提取的知识,以视觉为基础的学生。我们还发现,一个富有表现力的骨干是必不可少的,以克服不同对象的巨大多样性。对于跨类别泛化,我们引入了领域对抗学习来进行领域不变的特征提取。大量的仿真实验表明,我们学习的策略可以大大优于其他方法,特别是在看不见的对象类别上。我们还证明了我们的方法可以成功地操纵现实世界中的新对象。
2023-03-29 cs.CV cs.RO
GRIP: Generative Robust Inference and Perception for Semantic Robot Manipulation in Adversarial Environments
University of Michigan(密歇根大学);Brown University(布朗大学)
最近的进步已经导致用于在广泛的任务中协助人类的机器学习系统的扩散。然而,我们离这些系统的准确、可靠和资源有效的操作还很远。对于机器人感知,用于目标检测和姿态估计的卷积神经网络(CNN)最近开始广泛使用。然而,众所周知,神经网络在训练过程中会受到过拟合的影响,并且在不可见的条件下鲁棒性较差,特别容易受到对抗性场景的影响。在这项工作中,我们提出了生成鲁棒推理和感知(GRIP)作为一个两阶段的目标检测和姿态估计系统,其目的是结合相对优势的判别CNN和生成推理方法,以实现鲁棒估计。我们的研究结果表明,基于样本的生成推理的第二阶段能够从CNN的错误目标检测中恢复,并在对抗条件下产生鲁棒的估计。我们通过与最先进的基于学习的姿态估计器和在黑暗和混乱的环境中的拾取和放置操作进行比较,证明了GRIP鲁棒性的有效性。
2019-12-19 cs.CV cs.RO
S$^2$-Diffusion: Generalizing from Instance-level to Category-level Skills in Robot Manipulation
Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology(机器人、感知与学习部门,皇家理工学院)
提出S$^2$-Diffusion,一种开放词汇的空间-语义扩散策略,利用可提示语义模块和空间表示,结合深度估计网络,实现从实例级到类别级的机器人操作技能泛化,在模拟和真实世界中验证了其有效性。
2025-10-23 cs.AI cs.RO
You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
最近在类别级操作中已经取得了令人满意的结果,这些操作概括了对象实例。然而,它通常需要昂贵的真实世界的数据汇集和手动规范的语义关键点的每个对象类别和任务。此外,粗略的关键点预测和忽略中间动作序列阻碍了在拾取和放置之外的复杂操作任务中的采用。这项工作提出了一种新的,类别级的操作框架,利用以对象为中心的,类别级的表示和无模型的6自由度运动跟踪。规范对象表示仅在模拟中学习,然后用于解析来自单个演示视频的类别级任务轨迹。演示通过规范表示被重新投影到针对新对象定制的目标轨迹。在执行过程中,操作地平线被分解为远程,无碰撞的运动和最后一英寸的操作。对于后一部分,类别级行为克隆(CatBC)方法利用运动跟踪来执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级别坐标框架的目标轨迹。通过局部注意力机制沿着操纵水平线自动选择帧。该框架允许通过仅提供单个演示来教授不同的操作策略,而无需复杂的手动编程。广泛的实验证明了它在高精度装配中一系列具有挑战性的工业任务中的有效性,这些任务涉及学习复杂的、长期的政策。该过程表现出鲁棒性对不确定性,由于动态以及泛化对象实例和场景配置。补充视频可在www.example.com上获得v = WAr8ZY3mYyw
2022-05-06 cs.AI cs.CV cs.RO
Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance
University of Minnesota, Twin Cities(明尼苏达大学 Twin Cities 分校)
提出面向对象的模仿学习框架,利用RGB观测实现四足移动机械臂在最后米阶段的精确导航,无需深度或地图先验,在类别级泛化中达到高成功率。
2026-07-02 cs.RO
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai AI Lab(上海人工智能实验室)
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下,仅仅是一个单一的对象实例上的抓取姿势示范?在本文中,我们试图通过使用USEEK来解决这个有趣的挑战,USEEK是一种无监督的SE(3)-等变关键点方法,可以在类别中的实例之间进行对齐,以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE(3)-等变关键点检测。有了USEEK,机器人可以以有效和可解释的方式推断类别级任务相关的对象框架,从而能够从任何姿势操纵任何类别内对象。通过大量的实验,我们证明了USEEK产生的关键点具有丰富的语义,从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比,USEEK是更自适应的,在面对大的类别内的形状变化,更强大的有限的演示,更有效的推理时间。
2023-02-17 cs.CV cs.RO
kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion
Massachusetts Institute of Technology(麻省理工学院)
操作规划是计算机器人轨迹的任务,该轨迹将一组对象移动到其目标配置,同时满足物理可行性。与现有的作品,假设已知的对象模板相比,我们感兴趣的是操纵规划一类对象与潜在的未知实例和大的类别内形状变化。为了实现这一目标,我们需要一个对象表示与操纵规划可以原因的物理可行性和所需的对象配置,同时被推广到新的实例。广泛使用的姿势表示是不合适的,因为从一个固定的模板表示一个对象的参数化变换不能捕捉大的类别内形状变化。因此,我们提出了一种新的混合对象表示的语义关键点和密集的几何(点云或网格)作为感知模块和运动规划器之间的接口。利用基于学习的关键点检测和形状完成方面的进步,可以从原始传感器输入中感知密集的几何形状和关键点。使用建议的混合对象表示,我们制定的操作任务作为一个运动规划问题,编码的对象目标配置和物理可行性的一类对象。以这种方式,许多现有的操纵规划器可以被推广到对象的类别,并且所得到的感知到动作操纵流水线对大的类别内形状变化是鲁棒的。大量的硬件实验表明,我们的流水线可以产生机器人轨迹,完成与以前从未见过的对象的任务。
2019-09-16 cs.CV cs.RO
TransNet: Transparent Object Manipulation Through Category-Level Pose Estimation
University of Michigan(密歇根大学);University of Southern California(南加州大学)
针对透明物体视觉感知与位姿估计的难点,本文提出两阶段流水线TransNet,通过局部深度补全和表面法向量估计实现类别级透明物体位姿估计,精度优于现有方法,并可用于构建机器人透明物体操作系统。
2023-07-23 cs.CV cs.RO
DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo
Stanford University(斯坦福大学);IIIS, Tsinghua University(清华大学交叉信息研究院);UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Tepan Inc.(特潘公司)
该研究针对类别级机器人操作的3D语义对应问题,提出DenseMatcher方法,通过多视角特征投影与3D网络优化顶点特征,结合功能映射计算对应,构建首个跨类别3D匹配数据集,显著提升匹配性能并验证下游操作与颜色映射有效性。
2024-12-06 cs.CV cs.RO
Manipulation-Oriented Object Perception in Clutter through Affordance Coordinate Frames
University of Michigan(密歇根大学);Robotics Institute(机器人研究所)
为了在非结构化环境中实现鲁棒操作,机器人应该能够将操作动作推广到新的对象实例。例如,要倒饮料和提供饮料,机器人应该能够识别承担任务的新容器。最重要的是,机器人应该能够操纵这些新颖的容器来完成任务。为了实现这一目标,我们的目标是提供强大的和广义的感知对象的启示和他们的相关操作构成可靠的操作。在这项工作中,我们结合了启示和类别级姿态的概念,并引入了启示坐标框架(ACF)。使用ACF,我们根据各个启示部件及其之间的兼容性来表示每个对象类,其中每个部件与机器人操作的部件类别级姿势相关联。在我们的实验中,我们证明了ACF优于最先进的目标检测方法,以及对象部分的类别级姿态估计。我们进一步证明了ACF的机器人操作任务的适用性,通过在模拟环境中的实验。
2022-10-11 cs.CV cs.RO
KeyGen: Unsupervised Keypoint based Object-Centric Representations for Category-Level Policy Generalization
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学)
KeyGen通过无监督学习规范化3D关键点作为对象中心表示,结合扩散策略实现类别级操作泛化,在模拟和真实世界中均优于现有方法。
2026-09-25 cs.AI cs.RO
Cross-Category Functional Grasp Transfer
School of Information and Communication Engineering, Dalian University of Technology(大连理工大学信息与通信工程学院)
本文构建包含51类、1768个工具物体的抓取相似性知识图谱与语义抓取表征,提出跨类别功能性抓取合成方法,实现向未知新类别物体的抓取迁移。
2024-10-24 cs.RO
GIFT: Geometry-Induced Functional Transfer for Category-level Object Manipulation
Extreme Robotics Laboratory, School of Metallurgy and Materials, University of Birmingham(伯明翰大学冶金与材料学院极端机器人实验室);Munich Institute of Robotics & Machine Intelligence, Technische Universität München (TUM)(慕尼黑工业大学机器人与人工智能研究所);School of Computer Science, University of Nottingham(诺丁汉大学计算机科学学院);Sorbonne Université, ISIR, Paris, France(巴黎法国索邦大学ISIR研究所)
提出GIFT框架,利用功能映射和螺旋插值,从单次人类演示中迁移复杂物体操作技能到新物体,无需额外训练。
2026-05-30 cs.LG cs.RO
MetaFold: Language-Guided Multi-Category Garment Folding Framework via Trajectory Generation and Foundation Model
School of Computing, National University of Singapore(新加坡国立大学计算机学院);NUS Guangzhou Research Translation and Innovation Institute(新加坡国立大学广州翻译与创新研究院);School of Computer Science, Nanjing University(南京大学计算机学院);School of Computer Science, Peking University(北京大学计算机学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
本文提出MetaFold框架,通过将任务规划与动作预测解耦,结合语言引导的点云轨迹生成与低层基础模型,实现了灵活适应多类别的衣物折叠机器人操作。
2025-08-13 cs.RO
Multi-Fingered In-Hand Manipulation with Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors
Waseda University(早稻田大学)
多指手可以用来完成许多灵巧的操作任务,类似于人类,和触觉感知可以提高各种对象的操作稳定性。然而,多指手上的触觉传感器具有各种尺寸和形状。卷积神经网络(CNN)可以用于处理触觉信息,但是来自多指手的信息需要任意预处理,因为CNN需要矩形形状的输入,这可能导致不稳定的结果。因此,如何处理这种复杂形状的触觉信息,并利用它来实现操作技能仍然是一个悬而未决的问题。本文提出了一种基于图卷积网络(GCN)的控制方法,该方法从具有复杂传感器排列的触觉数据中提取大地线特征。此外,对象属性标签被提供给GCN以调整手内操纵运动。分布式三轴触觉传感器安装在指尖,手指指骨和手掌的快板手,导致1152触觉测量。利用数据手套采集训练数据,将人的灵巧操作直接传递给机器人手。GCN实现了高成功率的手操作。我们还证实,当向GCN提供正确的对象标签时,易碎对象变形较少。当用PCA可视化GCN的激活时,我们验证了网络获得了测地线特征。我们的方法实现了稳定的操作,即使当实验者拉一个把握对象和未经训练的对象。
2022-05-09 cs.RO
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
Georgia Institute of Technology(佐治亚理工学院)
关于场景的示能表示信息提供关于在追求满足指定目标状态时可以执行什么动作的重要线索。因此,将基于可供性的推理集成到符号动作规划管道中将增强机器人操纵的灵活性。不幸的是,表现最好的示能表示识别方法使用对象类别先验来提高示能表示检测和分割的准确性。对象先验限制了对未知对象类别的泛化。本文描述了一种基于类别无关区域建议网络的示能表示识别管道,用于跨类别建议图像的实例区域。为了在没有类别先验的情况下指导示能表示学习,训练过程包括明确推断提议内的现有示能表示的辅助任务。其次,一个自我注意力机制被训练来解释每个提议,学会通过该区域捕捉丰富的上下文依赖关系。视觉基准测试表明,经过训练的网络,称为AffContext,减少了对象不可知和对象知情的启示识别之间的性能差距。AffContext与规划域定义语言(PDDL)相关联,并具有增强的状态保持器,用于跨时间间隔的目标导向任务进行行动规划。操作实验表明,AffContext可以成功地解析场景内容,种子一个符号规划器的问题规格说明,其执行完成目标任务。此外,以任务为导向的抓取切割和冲击行动表明,利用多个启示,为一个给定的对象,以完成指定的任务。
2020-09-12 cs.CV cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego(加州大学圣地亚哥分校)
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比,模仿学习的最新进展大大提高了样本效率,但由于专家演示有限,学习的策略很难推广到操纵新对象。在本文中,我们建议学习灵巧的操作,使用大规模的示范与不同的3D对象的类别,这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策,我们提出了一个新的模仿学习目标与几何表示学习目标,使用我们的演示。通过在模拟中重新定位不同对象的实验,我们表明,我们的方法在操纵新对象时优于基线,具有很大的优势。我们还消融了3D对象表示学习的重要性,为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Bi-Adapt: Few-shot Bimanual Adaptation for Novel Categories of 3D Objects via Semantic Correspondence
Bi-Adapt通过语义对应实现双臂操作在新3D物体类别中的少样本适应,利用视觉基础模型实现跨类别的 affordance 映射,有效提升泛化能力。
2026-02-10 cs.RO
Towards Fine-Grained Object Manipulation: SAM3-Guided Visuomotor Policy with Persistent Memory Learning and Focused Visual Conditioning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);State Key Laboratory of Brain Cognition and Brain-Inspired Intelligence Technology(脑认知与类脑智能技术国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
提出SAM3引导的视觉运动框架,通过持久记忆令牌和聚焦空间-外观编码,解决细粒度物体操作中的相似物区分与干扰物鲁棒性问题,并在真实机器人任务中验证了有效性。
2026-10-06 cs.RO
ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation
Peking University(北京大学)
ManipLLM利用多模态大语言模型的推理能力,通过微调适配器实现对象中心机器人操作,提升泛化性和稳定性,并在模拟和真实环境中验证了有效性。
2023-12-24 cs.CV cs.RO
HeteroGenManip: Generalizable Manipulation For Heterogeneous Object Interactions
Peking University(北京大学);Tianjin University(天津大学)
本文提出HeteroGenManip框架,通过两阶段方法解决机器人异构物体交互中的接触点定位和轨迹规划问题,实现跨类型物体的鲁棒泛化。
2026-09-09 cs.AI cs.RO
Tactile Pose Estimation and Policy Learning for Unknown Object Manipulation
Northeastern University(东北大学)
对象姿态估计方法允许在非结构化环境中找到对象的位置。这是一个高度期望的自主机器人操作的技能,因为机器人需要估计对象的精确姿态,以便操纵它们。在本文中,我们探讨的问题,触觉姿态估计和操纵的类别级对象。我们提出的方法使用贝叶斯滤波器与学习触觉观察模型和确定性运动模型。之后,我们使用深度强化学习训练策略,其中代理使用贝叶斯过滤器的信念估计。我们的模型在模拟中进行训练并转移到现实世界。我们通过一系列的模拟和真实世界的实验,分析我们的框架的可靠性和性能,并比较我们的方法的基线工作。我们的研究结果表明,学习的触觉观察模型可以本地化的姿态,新的对象在2毫米和1度的位置和方向的分辨率,分别。此外,我们的实验上的瓶子打开任务的抓手需要达到所需的把握状态。
2022-03-21 cs.RO
Model-Driven Feed-Forward Prediction for Manipulation of Deformable Objects
Columbia University(哥伦比亚大学)
可变形物体的机器人操作是一个困难的问题,特别是因为物体可以变形的许多不同方式的复杂性。搜索这样的高维状态空间使得识别、跟踪和操纵可变形对象变得困难。在本文中,我们介绍了一种预测,模型驱动的方法来解决这一挑战,使用预先计算,模拟数据库的可变形对象模型。利用重力作用下不同姿态拾取的服装模拟了常见可变形服装的网格模型,并将其存储在数据库中,以实现快速有效的检索。为了验证这种方法,我们开发了一个全面的管道,用于在典型的洗衣任务中处理衣服。首先,该数据库用于在任意位置的服装的类别和姿态估计。实时构建服装的全功能3D模型,然后使用体积特征来获得数据库中最相似的模型,以预测对象类别和姿势。第二,数据库可以通过非刚性配准显著地有益于可变形对象的操纵,提供重建的对象模型和数据库模型之间的准确对应。第三,精确的模型仿真还可以用于优化可变形物体的操纵轨迹,例如服装的折叠。使用各种不同的服装显示了上述任务的广泛实验结果。
2016-07-15 cs.CV cs.GR cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro(阿威罗大学电子与电信研究所);University of Groningen(格罗宁根大学)
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人,由于需要准确和实时的响应,物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法,同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献,因为无论用于批量学习的训练数据有多广泛,机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置(即,末端执行器位置和方向)来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验,以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度,可扩展性和把握成功率的性能。
2019-04-04 cs.RO
Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);University of Toronto(多伦多大学)
我们提出了神经描述符字段(NDF),这是一种对象表示,通过类别级描述符对对象和目标(如机器人抓手或用于悬挂的机架)之间的点和相对姿态进行编码。我们使用这种表示来进行对象操作,在给定任务演示的情况下,我们希望在同一类别的新对象实例上重复相同的任务。我们建议通过搜索(通过优化)其描述符与演示中观察到的描述符相匹配的姿势来实现这一目标。NDF通过3D自动编码任务以自我监督的方式方便地训练,该任务不依赖于专家标记的关键点。此外,NDF是SE(3)-等变的,保证了在所有可能的3D对象平移和旋转中推广的性能。我们展示了学习的操作任务,从几个(5-10)在模拟和一个真正的机器人演示。我们的性能概括了对象实例和6-DoF对象姿势,并显着优于最近的基线,依赖于2D描述符。项目网址:https://yilundu.github.io/ndf/。
2021-12-09 cs.AI cs.CV cs.LG
PartDexTOG: Generating Dexterous Task-Oriented Grasping via Language-driven Part Analysis
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
PartDexTOG通过语言驱动的部件分析生成灵活的任务导向抓取,提升抓取性能和泛化能力。
2026-01-09 cs.RO
RelAfford6D: Relational 6D Affordance Graphs for Constraint-Driven Robotic Manipulation
School of Computer Science, Shanghai Jiaotong University(上海交通大学计算机科学学院)
提出RelAfford6D框架,通过构建关系型6D可操作图将语义指令转化为SE(3)位姿约束,并利用运动学约束求解实现零样本操作,在仿真和真实环境中优于数据驱动方法。
2026-06-26 cs.RO
Category-Level 3D Non-Rigid Registration from Single-View RGB Images
University of Bonn(波恩大学)
在本文中,我们提出了一种新的方法来解决三维非刚性配准问题,从RGB图像使用卷积神经网络(CNN)。我们的目标是找到一个变形场(通常用于在实例之间传递知识,例如,掌握技能),其将给定的3D规范模型扭曲成由单视图RGB图像观察到的新颖实例。这是通过训练CNN来完成的,该CNN为规范模型的可见部分推断变形场,并且通过采用学习的形状(潜在)空间来推断被遮挡部分的变形。作为配准的结果,重建所观察的模型。因为我们的方法不需要深度信息,所以它可以配准通常难以用RGB-D传感器感知的物体,例如具有透明或闪亮表面的物体。即使没有深度数据,我们的方法优于相干点漂移(CPD)注册方法的评估对象类别。
2020-08-17 cs.CV cs.RO
Vi-TacMan: Articulated Object Manipulation via Vision and Touch
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);School of Psychological and Cognitive Sciences, Peking University(北京大学心理与认知科学学院);State Key Lab of General AI, Peking University(北京大学通用人工智能国家重点实验室);Beijing Key Laboratory of Behavior and Mental Health, Peking University(北京大学行为与心理健康北京市重点实验室);LeapZenith AI Research(跃臻人工智能研究院);Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence(北京大学武汉人工智能研究院具身智能实验室)
本文提出Vi-TacMan,结合视觉和触觉反馈实现关节物体的精确操控,通过表面法线作为几何先验并利用von Mises-Fisher分布建模方向,显著优于基线方法,且无需显式运动学模型。
2026-04-02 cs.RO
FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg(汉堡大学信息学院TAMS(多模态系统技术));Technical University of Munich(慕尼黑技术大学);Agile Robots SE(敏捷机器人有限公司)
本文提出FUNCanon框架,通过功能对象规范化学习姿态感知的动作原语,以实现通用的机器人操作,该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段,从而提升策略的可组合性和可重用性。
2026-05-17 cs.AI cs.CV cs.RO
ZeroDex: Zero-Shot Long-Horizon Dexterous Manipulation via Multi-View 3D-Grounded VLM Reasoning
Seoul National University(首尔国立大学)
提出零样本框架,利用多视图RGB图像通过VLM生成3D任务规划,结合三角测量和射线投票实现精确3D接地,支持抓取和工具使用,在真实实验中优于基线方法。
2026-10-21 cs.RO
Estimation and Exploitation of Objects' Inertial Parameters in Robotic Grasping and Manipulation: A Survey
University of Surrey(萨里大学);University of Birmingham(伯明翰大学)
惯性参数描述了物体在外力作用下的运动,可以为规划和控制机器人操纵物体的动作提供强有力的先验信息。然而,这些参数在机器人遇到新物体的情况下是不可用的。在本文中,我们描述和分类的方式,机器人可以识别物体的惯性参数。我们还讨论了掌握和操纵方法,其中惯性参数的知识是利用各种方式。我们首先讨论的文献,研究人类如何估计物体的惯性参数,提供背景和动机,这一领域的机器人研究。根据与物体的交互量,我们将机器人技术文献的讨论分为三类估计方法:纯视觉、探索性和固定物体。每一个类别都进行了分析和讨论。为了证明惯性估计研究的有用性,我们描述了一些把握和操纵应用程序,利用物体的惯性参数。本文的目的是彻底审查和分类现有的工作在一个重要的,但未充分探索,机器人研究领域,目前其背景和应用,并提出未来的发展方向。请注意,本文不检查机器人的惯性参数的识别方法,而是机器人的任务是操纵的其他对象的惯性参数的识别。
2019-11-11 cs.RO
6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
我们提出了6-PACK,这是一种深度学习方法,用于在RGB-D数据上进行类别级6D对象姿态跟踪。我们的方法实时跟踪已知的对象类别,如碗,笔记本电脑和杯子的新对象实例。6-PACK学习用少量的3D关键点来压缩表示对象,基于这些关键点,可以通过关键点匹配来估计对象实例的帧间运动。这些关键点是端到端学习的,无需人工监督,以便最有效地进行跟踪。我们的实验表明,我们的方法在NOCS类别级6D姿态估计基准上的性能大大优于现有方法,并支持物理机器人执行简单的基于视觉的闭环操作任务。我们的代码和视频可以在https://sites.google.com/view/6packtracking上找到。
2019-10-23 cs.CV cs.RO
Real-time object detection and robotic manipulation for agriculture using a YOLO-based learning approach
Imperial College(帝国理工学院);University of Sheffield(谢菲尔德大学);University of Manchester(曼彻斯特大学);University of Southampton(南安普顿大学);Fudan University(复旦大学);Iowa State University(爱荷华州立大学)
本研究针对农业作物采收优化需求,提出融合两种CNN架构的框架,在仿真环境中结合YOLO与视觉几何组模型,同步实现作物实时检测与机器人抓取定位,助力采收自动化效率提升。
2024-01-28 cs.CV cs.LG cs.RO
Touch if it's transparent! ACTOR: Active Tactile-based Category-Level Transparent Object Reconstruction
BMW Group(宝马集团);University of Glasgow(格拉斯哥大学);Donders Institute for Brain and Cognition, Radboud University(拉德堡德大学唐德斯脑与认知研究所)
针对透明物体视觉重建困难的问题,提出基于主动触觉的类别级透明物体重建框架ACTOR,利用合成数据与自监督学习实现高效形状重建与位姿估计,并在真实机器人实验中超越现有方法。
2023-07-30 cs.RO
Bin-picking of novel objects through category-agnostic-segmentation: RGB matters
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本文提出一种结合物体中心实例分割与仿真训练的类别无关分割方法,通过域随机化应对深度噪声,在真实分拣抓取中实现对透明与不透明新物体高达98%和97%的准确率,超越现有基准。
2023-12-27 cs.RO
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego(加州大学圣地亚哥分校);HKUST(香港科技大学)
我们提出了一个模拟到真实的灵巧操作框架,可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化:(i)使用想象的手部点云作为增强输入;(ii)设计新颖的基于接触的奖励。我们经验性地评估我们的方法,使用快板手抓住新的对象在模拟和现实世界中。据我们所知,这是第一个基于策略学习的框架,可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
DeLTa: Demonstration and Language-Guided Novel Transparent Object Manipulation
KAIST(韩国科学技术院);NVIDIA(英伟达);KIMM(韩国智能媒体实验室)
DeLTa通过整合深度估计、6D姿态估计和视觉-语言规划,实现基于自然语言指令的精确长周期透明物体操控,无需额外训练或类别先验。
2026-02-24 cs.CV cs.RO
Adaptive Articulated Object Manipulation On The Fly with Foundation Model Reasoning and Part Grounding
Beijing University of Posts and Telecommunications(北京邮电大学);School of Computer Science, Peking University(北京大学计算机学院);School of EECS, Peking University(北京大学电子工程学院)
本文提出 AdaRPG 框架,利用基础模型进行部件提取、可供性推理与机制推理,结合部件级数据集和原语技能控制,实现机器人对未见类别铰接物体的自适应操作泛化。
2025-07-24 cs.CV cs.RO
FCBV-Net: Category-Level Robotic Garment Smoothing via Feature-Conditioned Bimanual Value Prediction
University of Waterloo(多伦多大学)
本文提出FCBV-Net,通过预训练的密集几何特征条件预测双臂动作价值,提升机器人服装平滑任务的类别级泛化能力,实验显示其在未见过的服装上效率下降仅为11.5%。
2026-04-15 cs.AI cs.RO
SCOPE: Semantic Conditioning for Sim2Real Category-Level Object Pose Estimation in Robotics
Vision for Robotics Laboratory, Automation and Control Institute, TU Wien(机器人视觉实验室,自动化与控制研究所,维也纳技术大学)
针对开放环境下机器人物体位姿估计的泛化难题,提出基于扩散模型的SCOPE方法,以DINOv2特征为连续语义先验缩小Sim2Real差距,在类别级位姿估计上实现31.9%的相对提升,未知类别物体抓取成功率最高达100%。
2025-09-29 cs.CV cs.RO
PASG: A Closed-Loop Framework for Automated Geometric Primitive Extraction and Semantic Anchoring in Robotic Manipulation
MoE key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(人工智能教育部重点实验室、人工智能研究院、上海交通大学)
针对机器人操作中高层语义与低层几何特征割裂的问题,提出闭环框架PASG,通过自动提取几何基元并结合VLM驱动的语义锚定,实现了细粒度的语义-可供性理解,性能媲美人工标注。
2025-08-08 cs.CV cs.RO
Robo-ABC: Affordance Generalization Beyond Categories via Semantic Correspondence for Robot Manipulation
Shanghai Qi Zhi Institute(上海期智研究院);IIIS, Tsinghua University(清华大学交叉信息研究院);Shanghai AI Lab(上海人工智能实验室);School of Software, Tsinghua University(清华大学软件学院);Shanghai Jiao Tong University(上海交通大学)
Robo-ABC 通过从人类视频中构建可供性记忆,并利用预训练扩散模型建立语义对应,实现零样本跨类别机器人操作泛化,在检索准确率和真实抓取成功率上均显著提升。
2024-01-15 cs.CV cs.RO
Category-Independent Articulated Object Tracking with Factor Graphs
TU Darmstadt(达姆施塔特工业大学);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
部署在以人为中心的环境中的机器人可能需要操纵各种各样的铰接对象,例如门,洗碗机和橱柜。铰接对象通常具有与分类先验不一致的意外铰接机制:例如,抽屉可能绕铰链关节旋转而不是滑动打开。我们提出了一个类别独立的框架,用于从RGB-D图像序列中预测未知对象的清晰度模型。预测由两步过程执行:首先,视觉感知模块从原始图像跟踪对象部分姿态,其次,因子图获取这些姿态并推断包括部分之间的当前配置的关节模型作为6D扭曲。我们还提出了一个面向操作的度量来评估预测的关节扭曲方面如何以及一个兼容的机器人控制器将能够操纵铰接对象的预测扭曲。我们证明了我们的视觉感知和因子图模块在模拟数据上的表现优于基线,并显示了我们的因子图在现实世界数据上的适用性。
2023-01-18 cs.CV cs.RO
Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning
Yonsei University(延世大学);Samsung Research(三星研究院)
针对视觉机器人操作端到端学习样本效率低的问题,提出基于李群表示理论的SE(3)-等变能量基模型,仅需5~10次演示即可从零学习,且在新位姿、新实例、有干扰的任务中泛化性良好。
2023-02-27 cs.AI cs.RO
BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models
Rutgers(罗格斯大学)
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。然而,大多数先前的努力通常假设目标对象的CAD模型至少在类别级别上可用于离线训练或在线模板匹配期间。这项工作提出了BundleTrack,6D姿态跟踪的新对象,它不依赖于3D模型,无论是在实例或类别级别的一般框架。它利用深度学习最新进展的互补属性进行分割和鲁棒的特征提取,以及内存增强的姿态图优化以实现时空一致性。这使得在各种具有挑战性的场景下,包括显著的遮挡和物体运动,都能实现长期、低漂移的跟踪。给出两个公共基准的综合实验表明,所提出的方法显着优于最先进的类别级6D跟踪或动态SLAM方法。当与依赖于对象实例CAD模型的最先进的方法相比时,尽管所提出的方法的信息要求降低,但仍实现了相当的性能。CUDA中的高效实现为整个框架提供了10Hz的实时性能。代码可在:https://github.com/wenbowen123/BundleTrack
2021-08-01 cs.AI cs.CV cs.GR
GarmentTracking: Category-Level Garment Pose Tracking
Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Jiao Tong University(上海交通大学);Cornell University(康奈尔大学)
针对类别级服装姿态跟踪任务,提出含VR-Garment记录系统、VR-Folding数据集及GarmentTracking端到端跟踪框架的完整方案,该框架在非刚性变形场景下性能优异,速度与精度均超基线,为相关研究提供平台。
2025-04-15 cs.CV cs.RO
Achieving Autonomous Cloth Manipulation with Optimal Control via Differentiable Physics-Aware Regularization and Safety Constraints
University of California San Diego(加州大学圣地亚哥分校)
本文提出基于XPBD的可微布料动力学框架,结合轨迹平滑与弹性势能正则化及SDF安全约束,将布料操作建模为可微约束优化问题,并在手术机器人上验证了轨迹可行性。
2023-09-20 cs.RO cs.SY eess.SY
GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Hefei University of Technology(合肥工业大学)
针对铰接物体跨类别、未见实例泛化不足的问题,提出GAMMA框架,联合学习铰接建模与抓取可供性,并通过自适应操作迭代修正误差,在仿真和真实机器人上均优于现有SOTA方法。
2024-03-01 cs.CV cs.RO
DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation
Tongji University(同济大学)
提出DeMaVLA模型,采用VLM骨干与动作专家结合流匹配生成连续动作,通过剪枝Transformer层提升效率,并利用大规模真实世界数据和人类反馈数据聚合训练,实现可变形物体折叠操作的多类别泛化。
2026-06-17 cs.AI cs.RO
Flow6D: Discrete-to-Continuous Flow Matching for Efficient and Accurate Category-Level 6D Pose Estimation
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
提出Flow6D分层流匹配框架,通过两阶段离散潜空间定位-连续姿态回归策略,先离散化姿态参数并用离散流匹配缩小搜索空间,再连续流匹配预测局部残差优化姿态,在合成和真实数据集上以70 FPS实现实时推理,性能优于现有方法。
2026-06-23 cs.CV cs.RO
Category-Level Object Shape and Pose Estimation in Less Than a Millisecond
Massachusetts Institute of Technology(麻省理工学院);Laboratory for Information and Decision Systems(信息与决策系统实验室);Boston University(波士顿大学)
本文提出了一种快速求解器,通过自一致场迭代在毫秒级时间内实现类别级物体形状和姿态估计,结合线性主动形状模型和最大后验优化,提供高效的全局最优性证书。
2026-03-04 cs.CV cs.RO
CaTGrasp: Learning Category-Level Task-Relevant Grasping in Clutter from Simulation
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
任务相关的抓取是工业装配的关键,下游的操作任务限制了有效的抓取集。然而,学习如何执行这项任务是具有挑战性的,因为任务相关的把握标签很难定义和注释。对于用于执行任务相关抓握的建模或现成工具的适当表示也没有达成共识。这项工作提出了一个框架,学习任务相关的工业对象,而不需要耗时的现实世界的数据汇集或手动注释的抓持。为了实现这一目标,整个框架仅在模拟中进行训练,包括具有合成标签生成和自我监督的手-对象交互的监督训练。在这个框架的背景下,本文提出了一种新的,以对象为中心的规范表示在类别级别,它允许建立密集的对象实例之间的对应关系,并将任务相关的把握新的实例。大量的实验任务相关的密集杂乱的工业对象的抓取进行了模拟和现实世界的设置,证明了所提出的框架的有效性。代码和数据可在https://sites.google.com/view/catgrasp上获得。
2022-02-25 cs.AI cs.CV cs.RO