Pick2Place: Task-aware 6DoF Grasp Estimation via Object-Centric Perspective Affordance
Columbia University(哥伦比亚大学);Samsung AI Center(三星人工智能中心)
本文提出Pick2Place算法,通过构建以物体为中心的动作空间和放置可供性图,实现任务感知的6DoF抓取估计,在仿真和真实机器人实验中达到超89%准确率并泛化至新场景。
2023-04-08 cs.RO
Human-Centric Grasp State Assessment: Toward Transferring Subjective Evaluation to Robots
Kyushu Institute of Technology(九州工业大学);Research Center for Neuromorphic AI Hardware, Kyushu Institute of Technology(九州工业大学神经形态AI硬件研究中心)
提出一个集成VLM半自动监督生成器与轻量级预测器的框架,利用少量人工标注将主观抓取标准迁移至机器人,实现对可变形物体的自适应抓取力调整。
2026-09-17 cs.RO
Physics-Aware Object-Centric SE(3) Forecasting for Real-Time Proactive Dynamic Grasping
The Hong Kong Polytechnic University(香港理工大学);Technical University of Munich(慕尼黑工业大学)
该研究提出物理感知以物体为中心的SE(3)预测框架,用于实时主动动态抓取,提升了模拟与真实世界抓取任务的成功率,运行速度远快于密集视觉预测。
2026-10-14 cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro(阿威罗大学电子与电信研究所);University of Groningen(格罗宁根大学)
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人,由于需要准确和实时的响应,物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法,同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献,因为无论用于批量学习的训练数据有多广泛,机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置(即,末端执行器位置和方向)来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验,以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度,可扩展性和把握成功率的性能。
2019-04-04 cs.RO
CoGrasp: 6-DoF Grasp Generation for Human-Robot Collaboration
Purdue University(普渡大学)
机器人抓取是机器人学中一个活跃的研究领域,主要集中在物体操作的抓取质量。然而,尽管取得了进步,这些方法没有考虑机器人和人类必须同时抓取相同物体的人机协作设置。因此,生成与同时保持物体的人类偏好兼容的机器人抓握变得必要,以确保安全和自然的协作体验。在本文中,我们提出了一种新的,深神经网络为基础的方法,称为CoGrasp,产生人类感知的机器人掌握的上下文环境中的对象抓取到机器人把握选择过程中的偏好模型。我们验证我们的方法对现有的国家的最先进的机器人抓取方法,通过模拟和真实的机器人实验和用户研究。在真实的机器人实验中,我们的方法在产生稳定的抓握方面实现了约88%的成功率,这也允许人类以社会兼容的方式同时交互和抓握物体。此外,我们对10名独立参与者的用户研究表明,与标准机器人抓取技术相比,我们的方法能够实现安全,自然和社会意识的人机对象的共同抓取体验。
2022-10-06 cs.CV cs.HC cs.LG
QDGset: A Large Scale Grasping Dataset Generated with Quality-Diversity
University of Alicante(阿利坎特大学);Sorbonne Université(索邦大学)
本文提出一种结合物体网格变换与迁移学习的数据增强方法,将 QDG-6DoF 框架扩展用于大规模生成 QDGset 抓取数据集,使每发现一个鲁棒抓取所需评估次数最多减少 20%,且抓取与物体数量分别约为先前最优数据集的 3.5 倍和 4.5 倍。
2024-10-03 cs.LG cs.RO
ContactGen: Generative Contact Modeling for Grasp Generation
Adobe Research(奥多比研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出以物体为中心的新型接触表征ContactGen,结合条件生成模型与基于模型的优化,可生成多样且几何可行的高保真人类抓取姿态,为手-物交互抓取生成提供新方案。
2023-10-05 cs.CV cs.LG cs.RO
Grasp-Oriented Non-Prehensile Manipulation via Learning a Graspability Field
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
提出通过学习物体配置的抓取能力场,将非抓取操作优化为最大化抓取成功概率,而非达到预设位姿,实现闭环操作到抓取的单一策略。
2026-06-29 cs.RO
Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Object Category-agnostic Temporal Localization
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
提出HOWTransfer框架,通过接触定位从人类视频中提取接触感知的机器人轨迹,无需物体特定描述,在多样化操作任务中实现86%的成功率。
2026-09-22 cs.RO
ContactGrasp: Functional Multi-finger Grasp Synthesis from Contact
Georgia Tech(佐治亚理工学院);NVIDIA Robotics(英伟达机器人部门)
抓取和操纵物体是人类的一项重要技能。由于大多数物体被设计成由人手操纵,拟人化的手可以实现更丰富的人机交互。理想的抓握不仅是稳定的,而且是功能性的:它们使物体的抓握后动作成为可能。然而,高自由度的拟人的手从物体形状的功能性把握合成是具有挑战性的,因为大的优化空间。我们提出了ContactGrasp,从物体形状和物体表面上的接触的功能把握合成的框架。可以手动指定联系人或通过演示获取联系人。我们的接触表示是以对象为中心的,并允许功能把握合成,即使手模型不同于用于演示。使用数据集的接触演示从人类掌握不同的家居用品,我们合成功能性把握三个手模型和两个功能性意图。该项目的网页是https://contactdb.cc.gatech.edu/contactgrasp.html。
2019-07-25 cs.CV cs.RO
GraspGen: A Diffusion-based Framework for 6-DOF Grasping with On-Generator Training
NVIDIA
GraspGen 提出基于扩散变换器的六自由度抓取生成框架,结合生成器上训练的判别器进行抓取筛选,并发布超5300万抓取数据集,在仿真、FetchBench 和真实机器人上均取得领先性能。
2025-07-17 cs.AI cs.RO
Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions
NVIDIA(英伟达);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
当前机器人拾取和放置方法的流水线通常由几个阶段组成:抓取姿势检测,为检测到的姿势找到逆运动学解,规划无碰撞轨迹,然后用低级跟踪控制器执行到抓取姿势的开环轨迹。虽然这些抓取方法在抓取桌面上的静态物体时表现出良好的性能,但在受限环境中抓取动态物体的问题仍然是一个悬而未决的问题。我们提出了神经运动场,一种新的对象表示编码的对象点云和相对的任务轨迹作为一个隐式的价值函数参数化的神经网络。这种以对象为中心的表示对SE(3)空间上的连续分布进行建模,并允许我们通过利用基于采样的MPC来优化该价值函数,从而被动地执行抓取。
2022-06-29 cs.CV cs.RO
GraspLDM: Generative 6-DoF Grasp Synthesis using Latent Diffusion Models
针对自主机器人操作中未知物体抓取的挑战,提出GraspLDM框架,在VAE潜在空间用扩散模型生成6自由度抓取姿态,可高效训练任务特定模型,仿真训练模型无需微调迁移至现实,现实场景抓取成功率达80%。
2024-11-23 cs.RO
Steer2Grasp: Inference-Time Embodiment-Aware Steering for Diverse Physically Feasible Grasp Diffusion
Robotics Research Center, IIIT Hyderabad(国际信息技术研究所海得拉巴机器人研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
Steer2Grasp提出一种无需训练的推理时具身感知引导框架,通过Feynman-Kac粒子重加权与重采样,将冻结的扩散模型引导至可行抓取模式,显著提升单双臂在受限环境中的可行抓取生成。
2026-09-29 cs.RO
Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions
Carnegie Mellon University(卡内基梅隆大学);Nvidia(英伟达);National University of Singapore(新加坡国立大学);UT Austin(德克萨斯大学奥斯汀分校)
提出从网络图像中提取人手抓取信息,利用3D重建和交互中心模型学习功能性抓取,在仿真和真实实验中优于基线方法。
2026-06-29 cs.CV cs.LG cs.RO
Multimodal Human-Intent Modeling for Contextual Robot-to-Human Handovers of Arbitrary Objects
Departmant of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出一种统一方法,利用人类口头和非口头命令选择目标物体,并情境化人类隐性和显性偏好以生成机器人抓取和顺从交接运动,通过真实实验和用户研究验证了其在任意日常物体交接任务中的有效性。
2025-08-05 cs.RO
HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
HOGraspFlow通过多模态SE(3)抓取生成方法,在无需显式几何先验的情况下实现高保真的抓取合成。
2026-02-11 cs.RO
AnyDexGrasp: General Dexterous Grasping for Different Hands with Human-level Learning Efficiency
Shanghai Jiao Tong University(上海交通大学)
提出一种数据高效的灵巧抓取方法,通过通用表示和逐手决策模型,仅用数百次尝试即实现多种机械手在杂乱环境中的高成功率抓取。
2025-02-23 cs.CV cs.RO
MVGrasp: Real-Time Multi-View 3D Object Grasping in Highly Cluttered Environments
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学)
如今机器人在我们的日常生活中扮演着越来越重要的角色。在以人为中心的环境中,机器人经常会遇到成堆的物体、打包的物品或孤立的物体。因此,机器人必须能够在各种情况下抓取和操纵不同的物体,以帮助人类完成日常任务。在本文中,我们提出了一种多视图深度学习方法来处理以人为中心的领域中的鲁棒对象抓取。特别是,我们的方法需要一个任意对象的点云作为输入,然后,生成给定对象的正交视图。所获得的意见,最后用于估计每个对象的像素级把握合成。我们使用一个小的物体抓取数据集对模型进行端到端的训练,并在模拟和真实数据上对其进行测试,而无需进行任何进一步的微调。为了评估所提出的方法的性能,我们在三种情况下进行了大量的实验,包括孤立的对象,包装的物品,和一堆对象。实验结果表明,我们的方法在所有模拟和真实机器人场景中表现非常好,并且能够在各种场景配置中实现可靠的闭环抓取新对象。
2022-10-05 cs.RO
PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation
School of Automation, Guangdong University of Technology(广东工业大学自动化学院);University of Liverpool(利物浦大学);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系)
研究如何将视频衍生的6D对象运动转换为机器人可执行轨迹,提出PhysV2A框架,通过可达性门控选择和语义掩码约束细化可操作性,经真实机器人实验验证,该框架能提升任务成功率、减少运动可行性失败并产生更好轨迹。
2026-07-13 cs.RO
Contact Map Transfer with Conditional Diffusion Model for Generalizable Dexterous Grasp Generation
Department of Computer Science and Engineering, The Chinese University of Hong Kong(计算机科学与工程系,香港中文大学)
本文提出一种基于条件扩散模型的抓取迁移框架,通过生成接触图、部件图和方向图实现形状模板到新物体的高质量抓取迁移,有效平衡了抓取质量、生成效率和泛化性能。
2025-11-03 cs.RO
HUGS: Guiding Unified Dexterous Grasp Synthesis Across Modes and Scales via Learned Human Priors
Tsinghua University(清华大学)
研究跨尺度物体的灵巧抓取问题,提出HUGS框架,通过学习物体条件下的人类先验知识指导优化,平衡成功率和多样性,提升了接触模式覆盖与合成成功率,合成大量机器人抓取数据。
2026-07-07 cs.RO
Language-guided Robot Grasping: CLIP-based Referring Grasp Synthesis in Clutter
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
针对杂乱场景中指代抓取合成任务,提出基于CLIP的端到端模型CROG,直接学习图像-文本对到抓取姿态的映射,并在OCID基准及真实机器人实验中显著提升定位与抓取性能。
2023-11-09 cs.CV cs.RO
A Joint Modeling of Vision-Language-Action for Target-oriented Grasping in Clutter
Zhejiang University(浙江大学)
针对杂乱场景下语言条件抓取现有方法依赖手工规则、泛化性差的问题,提出视觉-语言-动作联合建模方法,利用预训练模型先验提升样本效率,在仿真和真实场景中实现了更高成功率与更好的泛化能力。
2024-10-31 cs.RO
Grasping by interconnection: robust closing motions from coarse object templates
University of Liège(列日大学);University of Cambridge(剑桥大学)
针对物体形状、尺寸和位姿近似未知的抓取问题,提出基于粗略模板和顺应性滑动接触的闭合运动规划器,在无反馈下容忍较大误差,优于现有方法,并成功抓取多数日常物体。
2026-09-18 cs.RO
Generalizable task-oriented object grasping through LLM-guided ontology and similarity-based planning
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
本文提出基于LLM的本体和相似性规划方法,解决任务导向抓取中部分识别和抓取区域选择的稳定性问题,提升抓取的通用性和鲁棒性。
2026-03-27 cs.RO
CaTGrasp: Learning Category-Level Task-Relevant Grasping in Clutter from Simulation
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
任务相关的抓取是工业装配的关键,下游的操作任务限制了有效的抓取集。然而,学习如何执行这项任务是具有挑战性的,因为任务相关的把握标签很难定义和注释。对于用于执行任务相关抓握的建模或现成工具的适当表示也没有达成共识。这项工作提出了一个框架,学习任务相关的工业对象,而不需要耗时的现实世界的数据汇集或手动注释的抓持。为了实现这一目标,整个框架仅在模拟中进行训练,包括具有合成标签生成和自我监督的手-对象交互的监督训练。在这个框架的背景下,本文提出了一种新的,以对象为中心的规范表示在类别级别,它允许建立密集的对象实例之间的对应关系,并将任务相关的把握新的实例。大量的实验任务相关的密集杂乱的工业对象的抓取进行了模拟和现实世界的设置,证明了所提出的框架的有效性。代码和数据可在https://sites.google.com/view/catgrasp上获得。
2022-02-25 cs.AI cs.CV cs.RO
More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning
研究视觉运动模仿学习,对比全局场景嵌入等传统视觉模型,测试以对象为中心的插槽表示,发现其结构优势,如更高成功率,还通过故障分类法分析故障类型,指出遮挡是主要瓶颈,为视觉运动模仿学习提供新方法和见解。
2026-07-14 cs.AI cs.RO
DexEvolve: Evolutionary Optimization for Robust and Diverse Dexterous Grasp Synthesis
DexEvolve通过进化优化生成多样且物理可行的抓取,提升现实部署的鲁棒性。
2026-02-16 cs.RO
MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);National University of Singapore(新加坡国立大学)
MANGO-Grasp是面向几何的三维高斯模型上的马氏场框架,用于跨异构多指手的灵巧抓取,在仿真、零样本迁移及真实实验中均优于现有基准。
2026-11-19 cs.AI cs.RO
Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method
Carnegie Mellon University(卡内基梅隆大学)
针对机器人难以从少量物理人类反馈中适应新任务的问题,提出以对象为中心的 OPA 方法,仅需一次在线干预即可更新对象偏好并在 7DOF 机器人上生成新行为。
2023-06-02 cs.AI cs.HC cs.LG
CoToGrasp: Contact-Topology-Conditioned Dexterous Grasp Synthesis via Canonical Workspace Learning
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Ecole Centrale Lyon(里昂中央理工学院);Institut Universitaire de France (IUF)(法国大学研究院)
针对现有灵巧抓取规划器的局限,提出CoToGrasp框架,通过规范工作空间学习实现接触拓扑条件下的灵巧抓取合成,在DexGraspNet数据集上达到最优性能,且可在物理机器人平台验证可行性。
2026-10-09 cs.AI cs.RO
FSAG: Enhancing Human-to-Dexterous-Hand Finger-Specific Affordance Grounding via Diffusion Models
本文提出FSAG框架,通过扩散模型提取语义affordance,实现稳定多接触抓取,无需硬件特定数据集,且单模态深度信息即可实现高性能抓取合成。
2026-03-12 cs.RO
SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
SimToolReal提出了一种通用的模拟到现实强化学习策略,通过程序生成多种工具状物体并训练单一策略,实现无需特定任务或物体训练的零样本灵巧工具操作。
2026-10-07 cs.AI cs.RO
Learning to Grasp Anything by Playing with Random Toys
University of California, Berkeley(加州大学伯克利分校);Sapienza University of Rome(罗马大学);ItalAI;Panasonic(松下)
本文通过随机组装的简单玩具训练机器人,使其具备泛化抓取能力,采用对象中心视觉表示实现零样本性能,实现在YCB数据集上的67%抓取成功率。
2026-04-05 cs.CV cs.RO
TossingBot: Learning to Throw Arbitrary Objects with Residual Physics
Princeton University(普林斯顿大学);Google(谷歌);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究机器人手臂是否可以学习快速准确地将任意物体拾取并扔到选定的盒子中。投掷有可能提高机械臂的物理可达性和拾取速度。然而,在非结构化环境中精确投掷任意物体存在许多挑战:从获得可靠的投掷前条件(例如,机械臂中物体的初始姿态)到处理不同的以物体为中心的属性(例如,质量分布,摩擦,形状)和动力学(例如,空气动力学)。在这项工作中,我们提出了一个端到端的配方,共同学习推断控制参数的把握和投掷运动基元从视觉观察(图像中的任意对象在一个箱子)通过试错。在这个公式中,我们研究了抓取和投掷之间的协同作用(即,能够更精确投掷的学习抓握)以及在模拟和深度学习之间(即,使用深度网络在由物理模拟器预测的控制参数之上预测残差)。由此产生的系统TossingBot能够以每小时500+次的平均拾取(每小时600+次,投掷准确率为85%)将任意物体抓取并投掷到其最大范围之外的盒子中;并推广到新的物体和目标位置。视频可在https://tossingbot.cs.princeton.edu上获得
2020-05-30 cs.AI cs.CV cs.LG
X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets
Applied Intuition
X-Reset框架通过将人类手-物体演示运动学重定向为噪声机器人状态并采样为重置,解决以物体为中心的强化学习探索难题,在三个具身上对20个物体训练通用策略,并实现零样本迁移。
2026-09-29 cs.AI cs.LG cs.RO
SurgFlow: 3D Object-Centric Contact Flow for Surgical Robot Manipulation
SurgFlow提出从立体手术视频中学习三维物体中心接触流,无需动作标签即可预测轨迹和接触点,在dVRK上优于基线并零样本迁移至人形机器人,成功率高达85%。
2026-09-29 cs.RO
ControlVLA: Few-shot Object-centric Adaptation for Pre-trained Vision-Language-Action Models
Tsinghua University(清华大学);State Key Lab of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI);Peking University(北京大学);Astribot Inc.(Astribot公司)
针对少样本机器人操作,提出ControlVLA框架,利用ControlNet风格架构和零初始化投影层,将预训练VLA模型适应对象中心条件,仅需10-20个演示即在6个任务中达到76.7%成功率,优于传统方法。
2025-06-19 cs.RO
A Survey of Embodied Learning for Object-Centric Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
该综述系统梳理了面向以物体为中心的机器人操作的具身学习领域最新进展,将现有工作分为具身感知、策略、任务导向学习三大分支,同时讨论了数据集、挑战与未来方向,并上线了相关项目。
2024-08-21 cs.AI cs.CV cs.LG
Concurrent Prehensile and Nonprehensile Manipulation: A Practical Approach to Multi-Stage Dexterous Tasks
本文提出DexMulti方法,通过分解示范为以物体为中心的技能,实现高效多阶段灵巧任务操作,在实际测试中达到66%的成功率,优于基线方法。
2026-08-04 cs.RO
Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks
Tandon School of Engineering, New York University(纽约大学坦登工程学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);AMI Labs(AMI实验室)
提出WorldDP分层框架,结合高层世界模型进行运行时子目标优化和低层扩散策略执行,利用对象中心表示解耦环境实体,实现多阶段机器人操作任务的有效规划与执行。
2026-10-08 cs.AI cs.RO
Egocentric Robots in a Human-Centric World? Exploring Group-Robot-Interaction in Public Spaces
TH Köln - University of Applied Sciences(科隆应用技术大学);Cologne Cobots Lab(科隆协作机器人实验室)
本研究探讨了社交机器人在公共空间群组-机器人交互(GRI)中的社交动态,评估二元与三元交互条件对机器人感知外向性的影响,以提升其在现实场景中的交互有效性。
2024-07-25 cs.RO
HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands
Northeastern University(东北大学)
上肢和手的功能对于许多日常生活活动是至关重要的,并且其中一个的截肢可能导致个体的显著功能丧失。从这个角度来看,预计未来的先进假手将受益于机器人手和其人类用户之间的改进的共享控制,但更重要的是,受益于从多模态传感器数据推断人类意图的改进能力,以提供关于操作环境的机器人手感知能力。这样的多模态传感器数据可以包括各种环境传感器,包括视觉,以及人类生理和行为传感器,包括肌电图和惯性测量单元。一种用于环境状态和人类意图估计的融合方法可以将这些证据源相结合,以帮助假手运动规划和控制。在本文中,我们提出了这种类型的数据集,收集与相机内置到假肢手的预期,和计算机视觉方法将需要评估这个手视图的视觉证据,以估计人类的意图。具体而言,在抓取试验的初始状态下,已经捕获了来自以不同取向放置的各种物体的人眼视图和手视图的配对图像,随后是在抓取、提升、放下和缩回式试验结构期间来自人的手臂的配对视频、EMG和IMU。对于每个试验,基于显示桌子上的手和物体的场景的眼睛视图图像,多个人被要求以偏好的降序排序,五种抓握类型适合于相对于手的给定配置中的物体。通过训练一个卷积神经网络来处理手视图图像,以预测人类分配的眼睛视图标签,说明了成对的眼睛视图和手视图图像的潜在效用。
2021-03-08 cs.AI cs.RO
ProgressLabeller: Visual Data Stream Annotation for Training Object-Centric 3D Perception
University of Michigan(密歇根大学);Robotics Institute(机器人研究所)
视觉感知任务通常需要大量的标记数据,包括3D姿态和图像空间分割掩模。创建这样的训练数据集的过程可能证明难以或时间密集地扩展到一般用途的功效。考虑刚性物体的姿态估计任务。基于深度神经网络的方法在大型公共数据集上训练时表现出良好的性能。然而,使这些网络适应其他新对象,或针对不同环境微调现有模型,需要大量的时间投资来生成新标记的实例。为此,我们建议ProgressLabeller作为一种方法,更有效地产生大量的6D姿态训练数据,从彩色图像序列的自定义场景中的可扩展的方式。ProgressLabeller还旨在支持透明或半透明对象,对于这些对象,以前基于深度密集重建的方法将失败。我们通过快速创建超过100万个样本的数据集来证明ProgressLabeller的有效性,我们使用该数据集微调了最先进的姿态估计网络,以显着提高下游机器人抓取成功率。ProgressLabeller在https://github.com/huijieZH/ProgressLabeller上是开源的。
2022-08-01 cs.CV cs.RO
Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
提出Spot-Compose框架,结合3D重建的开放词汇实例分割与抓取姿态估计,实现点云中动态目标拾取和抽屉打开,真实实验中分别达到51%和82%成功率。
2024-04-18 cs.CV cs.RO
Touch100k: A Large-Scale Touch-Language-Vision Dataset for Touch-Centric Multimodal Representation
Beijing Jiaotong University(北京交通大学);WeChat AI, Tencent Inc.(腾讯公司微信人工智能实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文构建了10万规模的多粒度触觉-语言-视觉数据集Touch100k,并提出课程链接预训练方法TLV-Link,在材料属性识别和机器人抓取预测任务上实现了触觉中心多模态表示的新最优性能。
2024-06-06 cs.RO
GOTT: Object-centric Dexterous Manipulation with a Reusable Cross-Embodiment Primitive
Amazon FAR(亚马逊FAR);UC San Diego(加州大学圣迭戈分校);University of Chicago(芝加哥大学);UC Berkeley(加州大学伯克利分校)
GOTT提出跨形态接触获取原语,结合到达-获取-移动框架,将对象轨迹转化为灵巧手操作,在多样对象和手形态上实现稳健接触并提升任务成功率。
2026-10-12 cs.AI cs.CV cs.RO
Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations
College of Connected Computing, Vanderbilt University(连接计算学院,范德比尔特大学);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学);School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
提出联合流轨迹优化(JFTO)框架,通过以物体为中心的引导和SE(3)流匹配,在视频演示下实现可行的抓取姿态生成与物体轨迹模仿,兼顾抓取相似性、轨迹似然和碰撞惩罚。
2025-09-25 cs.AI cs.CV cs.RO
TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models
Sun Yat-sen University(中山大学);Guangdong Key Lab of Big Data Analysis & Processing(广东大数据分析与处理重点实验室);X-Era AI Lab(X-Era人工智能实验室)
本文提出TAG目标无关引导,通过对比原始观察和物体擦除观察下的策略预测差异,减少干扰和外观偏差,提升视觉-语言-动作模型在复杂场景中的鲁棒性。
2026-03-25 cs.CV cs.RO
Informative Object-centric Next Best View for Object-aware 3D Gaussian Splatting in Cluttered Scenes
Interdisciplinary Program in Artificial Intelligence, SNU(人工智能交叉学科项目,SNU);Dept. of Mechanical Engineering, SNU(机械工程系,SNU)
本文提出了一种基于对象的下一步最佳视角策略,通过利用对象特征提升3D高斯散射在杂乱场景中的重建鲁棒性,实验表明深度误差显著降低。
2026-02-09 cs.CV cs.RO