DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions
ETH（苏黎世联邦理工学院）；Meta
本文提出DiffH2O方法，通过将任务分解为抓取与文本操控两阶段并使用独立扩散模型，结合紧凑姿态表示与双重引导方案，从文本和物体几何合成逼真的单/双手3D交互运动，优于基线方法。
2024-12-23 cs.AI cs.CV cs.GR
Egocentric View Hand Action Recognition by Leveraging Hand Surface and Hand Grasp Type
Korea University（高丽大学）；Purdue University（普渡大学）；Korea Electric Technology Institute（韩国电气技术研究院）；DigiCAP Inc.（DigiCAP公司）
我们引入了一个多阶段的框架，使用平均曲率的手表面，并专注于学习手和物体之间的互动，通过分析手抓类型的手动作识别以自我为中心的视频。所提出的方法不需要对象的3D信息，包括6D对象姿态，这是难以注释的学习对象的行为，而它与手交互。相反，该框架合成手网格模型的平均曲率，以在3D空间中编码手表面几何形状。此外，我们的方法学习了与手部动作高度相关的手部抓握类型。从实验中我们注意到，使用手的抓握类型和平均曲率的手提高了手部动作识别的性能。
2021-09-08 cs.CV
ContactPose: A Dataset of Grasps with Object Contact and Hand Pose
Georgia Tech（佐治亚理工学院）；Facebook Reality Labs（Facebook现实实验室）；Argo AI
抓取是人类的天性。然而，它涉及复杂的手部构造和软组织变形，这可能导致手部和物体之间的复杂接触区域。理解和建模这种接触可以潜在地改进手部模型、AR/VR体验和机器人抓取。然而，我们目前缺乏与其他数据形式配对的手-物体接触数据集，这对于开发和评估接触建模技术至关重要。我们介绍了ContactPose，这是第一个手-物体接触的数据集，与手姿势，物体姿势和RGB-D图像配对。ContactPose拥有50名参与者对25种家居物品的2306次独特抓握，以及超过2.9 M的RGB-D抓握图像。对ContactPose数据的分析揭示了手部姿势和接触之间有趣的关系。我们使用这些数据来严格评估各种数据表示，文献中的逻辑学，以及接触建模的学习方法。数据、代码和训练模型可在https://contactpose.cc.gatech.edu上获得。
2020-07-19 cs.CV
Driver Hand Localization and Grasp Analysis: A Vision-based Real-time Approach
University of California, San Diego（加州大学圣地亚哥分校）
实时、鲁棒地从图像中提取手部区域及其抓握信息对于乘员安全和车载信息娱乐应用至关重要。然而，必须注意的是，自然主义的驾驶场景受到快速变化的照明和遮挡的影响。手是高度可变形的物体，并且外观经常变化，这一事实加剧了这种情况。这项工作解决的任务，准确地定位司机的手和分类的把握状态的每只手。我们使用快速ConvNet首先检测可能的手部区域。接下来，考虑到全局照明变化的基于像素的皮肤分类器被用于改进手部检测并去除假阳性。此步骤为每只手生成像素级蒙版。最后，我们研究每个这样的掩蔽区域，并检测驾驶员是否正在抓住方向盘，或者在某些情况下是手机。通过评估，我们证明了我们的方法可以优于最先进的基于像素的手检测器，同时运行速度（35 fps）比其他基于深度ConvNet的框架更快，即使是抓取分析。手面具线索被证明是至关重要的，当分析一组司机手势（车轮/手机把握和无把握）在自然驾驶设置。因此，所提出的检测和定位流水线可以作为实时手部检测和手势分类的一般框架。
2018-02-22 cs.CV
Hand-Object Contact Consistency Reasoning for Human Grasps Generation
UC San Diego（加州大学圣迭戈分校）
虽然预测机器人的平行颚式抓取已经得到了很好的研究和广泛的应用在机器人的操作任务，自然的人类多指手的抓取生成的研究仍然是一个非常具有挑战性的问题。在本文中，我们提出了在世界上的3D对象生成人类掌握。我们的关键观察是，它是至关重要的手接触点和物体接触区域之间的一致性建模。也就是说，我们鼓励先前的手接触点靠近物体表面，并且同时鼓励手触摸物体公共接触区域。基于手-物体接触的一致性，我们设计了新的目标，在训练人类把握生成模型，也是一个新的自我监督的任务，允许把握生成网络调整，即使在测试时间。我们的实验表明，在人类掌握生成国家的最先进的方法有很大的进步。更有趣的是，通过在测试期间使用自监督任务优化模型，它有助于在看不见的和域外对象上实现更大的增益。项目页面：https://hwjiang1510.github.io/GraspTTA/
2021-04-07 cs.CV
Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics
KAIST（韩国科学技术院）；Imperial College London（伦敦帝国学院）；Kwangwoon University（光云大学）；Surromind（瑟罗迈德公司）
本文构建覆盖完整抓取分类、多样物体与手形的真实三维手-物交互数据集 HOGraspNet，并通过抓取分类和手部姿态估计验证其价值。
2024-09-06 cs.CV
Get a Grip: Reconstructing Hand-Object Stable Grasps in Egocentric Videos
School of Computer Science, University of Bristol（布里斯托大学计算机科学学院）
该研究提出HO-SGR任务，利用稳定接触与1-DoF运动先验联合优化抓握帧，并构建EPIC-Grasps数据集以评估和提升野外第一人称视频中的手物重建效果。
2024-04-07 cs.CV
DexYCB: A Benchmark for Capturing Hand Grasping of Objects
NVIDIA（英伟达）；University of Washington（华盛顿大学）
我们介绍了DexYCB，一个新的数据集捕获的手抓物体。我们首先通过跨数据集评估将DexYCB与相关的DexYCB进行比较。然后，我们提出了三个相关任务的最先进的方法的全面基准：2D对象和关键点检测，6D对象姿态估计，和3D手姿态估计。最后，我们评估了一个新的机器人相关的任务：生成安全的机器人把握在人与机器人的对象移交。数据集和代码可在https://dex-ycb.github.io上获得。
2021-04-09 cs.CV
Towards Markerless Grasp Capture
Institute for Robotics and Intelligent Machines, Georgia Tech（佐治亚理工学院机器人与智能机器研究所）；Argo AI
人类擅长抓住物体并操纵它们。捕捉人类的抓握动作对于理解抓握行为并在虚拟现实中逼真地重建抓握行为具有重要意义。然而，抓取捕获-捕获手抓取物体的姿势，并将其定向为w.r.t.对象-是困难的，因为人手的复杂性和多样性，以及遮挡。传统上用于减轻这种困难的反射标记和磁性跟踪器在图像中引入了不期望的伪影，并且可以干扰自然的抓握行为。我们提出了一个完全无标记的算法把握捕捉从视频描绘把握初步工作。我们展示了如何在2D手姿态估计的最新进展，可以使用完善的优化技术。独特的是，我们的算法还可以捕捉手物体接触的细节，并将其集成在把握捕捉过程。这是正在进行的工作，在https：//contactdb找到更多细节。cc.gatech.edu/grasp_capture.html.
2019-07-17 cs.CV
Grasping Field: Learning Implicit Representations for Human Grasps
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
近年来，家用物体的机器人抓取取得了显著的进展。然而，人类的掌握仍然很难现实地综合。有几个关键原因：（1）人手具有许多自由度（比机器人操纵器多）;（2）合成的手应该符合对象的表面;以及（3）它应该以语义上和物理上合理的方式与对象交互。为了在这个方向上取得进展，我们从基于学习的隐式表示的3D对象重建的最新进展中汲取灵感。具体来说，我们提出了一种高效且易于与深度神经网络集成的人类抓握建模的表达表示。我们的观点是，三维空间中的每一点都可以分别用到手和物体表面的有符号距离来表征。因此，手，对象，和接触区域可以表示由隐式表面在一个共同的空间，其中的手和对象之间的接近可以显式建模。我们将这种3D到2D的映射命名为Grasping Field，用深度神经网络对其进行参数化，并从数据中学习。我们证明了所提出的把握领域是一个有效的和富有表现力的表示为人类把握生成。具体来说，我们的生成模型能够合成高质量的人类抓握，仅在3D对象点云上给出。大量的实验表明，我们的生成模型与强大的基线相比毫不逊色，并接近自然人类掌握的水平。我们的方法提高了手物体接触重建的物理可扩展性，并实现了与最先进的方法相比，3D手重建的性能相当。
2020-11-26 cs.CV
GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
生成真实移动的数字人有许多应用，并被广泛研究，但现有的方法集中在身体的主要四肢，忽略了手和头。手已被单独研究，但重点一直在产生现实的静态物体的把握。为了合成与世界互动的虚拟角色，我们需要同时生成全身运动和逼真的手部抓握。这两个子问题本身都是具有挑战性的，并且一起，姿势的状态空间明显更大，手和身体运动的尺度不同，全身姿势和手抓握必须一致，满足物理约束，并且是合理的。此外，头部参与，因为化身必须看对象与it.For第一次，我们解决的问题，产生全身，手和头部动作的化身抓住一个未知的对象。作为输入，我们的方法称为GOAL，采用3D对象，其位置以及起始3D身体姿势和形状。GOAL使用两个新颖的网络输出一系列全身姿势。首先，GNet生成一个目标全身抓取与现实的身体，头部，手臂和手的姿势，以及手与物体的接触。其次，MNet生成起始姿势和目标姿势之间的运动。这是具有挑战性的，因为它需要化身以脚与地面接触的方式走向对象，将头部朝向对象，伸出手，并以逼真的手姿势和手与对象接触来抓住对象。为了实现这一点，网络利用了一种结合SMPL-X身体参数和3D顶点偏移的表示。我们在GRAB数据集上对GOAL进行了定性和定量的训练和评估。结果表明，目标推广以及看不见的对象，优于基线。GOAL向合成逼真的全身物体抓取迈出了一步。
2023-03-16 cs.CV
MANUS: Markerless Grasp Capture using Articulated 3D Gaussians
IIIT Hyderabad（印度理工学院海得拉巴分校）；Brown University（布朗大学）
本文提出MANUS方法，利用关节式3D高斯表示实现高保真无标记手-物体抓取捕捉与精确接触估计，并构建了包含50+相机视角和700万帧的MANUS-Grasps数据集，在定量接触评估中优于现有方法。
2024-03-28 cs.CV
Understanding hand-object manipulation by modeling the contextual relationship between actions, grasp types and object attributes
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出了一种基于计算机视觉技术的理解日常手部操作的新方法。具体来说，我们专注于识别手抓类型，对象属性和操作动作在一个统一的框架内，通过探索它们的上下文关系。我们的假设是，有必要联合建模手，对象和动作，以准确地识别多个任务，这些任务是相互关联的手对象操作。在所提出的模型中，我们探讨了各种语义之间的关系的行动，把握类型和对象属性，并显示如何上下文可以用来提高每个组件的识别。我们还探讨了手和物体之间的空间关系，以便在杂乱的环境中从手检测被操纵的物体。所有三个识别任务的实验结果表明，我们提出的方法优于传统的外观为基础的方法，这些方法的目的是不考虑上下文关系参与手对象操作。对习得语境的可视化和概括性研究进一步支持了我们的假设。
2018-07-22 cs.CV
ContactOpt: Optimizing Contact to Improve Grasps
Georgia Institute of Technology（佐治亚理工学院）；Facebook Reality Labs Research（Facebook现实实验室研究）；Intel Labs（英特尔实验室）
手和物体之间的物理接触在人类抓握中起着关键作用。我们表明，优化的手的姿势，以实现预期的接触与对象可以提高通过基于图像的方法推断的手的姿势。给定手网格和对象网格，在地面真实接触数据上训练的深度模型推断出跨网格表面的期望接触。然后，ContactOpt使用可微分接触模型有效地优化手的姿势以实现期望的接触。值得注意的是，我们的接触模型鼓励网格相互渗透，以接近手中的可变形软组织。在我们的评估中，我们的方法导致更好地匹配地面实况接触的抓握，具有较低的运动学误差，并且受到人类参与者的明显偏好。代码和模型可在线获取。
2021-04-15 cs.CV
Controllable Hand Grasp Generation for HOI and Efficient Evaluation Methods
Institute for Infocomm Research (I 2 R)（信息通信研究院（I²R））；Agency for Science, Technology and Research (A*STAR)（新加坡科学技术研究局（A*STAR））
提出高阶几何表示（HOR's）框架，设计基于2D信息的可控扩散方法生成手部抓取，优于SOTA，并引入高效稳定的评估指标解决FID和MMD的偏差与低效。
2025-01-27 cs.CV
GraspHOI: Full-Body 3D Human-Object Reconstruction with Finger-Level Grasps from a Single In-the-Wild Image
Yonsei University（延世大学）
GraspHOI是首个从单张野外图像重建带手指级抓取的全身3D人-物体交互的框架，通过显式优化手指关节实现合理接触，在多基准测试中性能优于现有方法，代码将公开。
2026-09-01 cs.CV
Multi-GraspLLM: A Multimodal LLM for Multi-Hand Semantic Guided Grasp Generation
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Waseda University（早稻田大学）；University of Hong Kong（香港大学）；MEGVII Technology（美格智能科技）；Hong Kong University of Science and Technology（香港科技大学）
针对多机器人手语义抓取缺乏细粒度接触数据集的问题，本文构建 Multi-GraspSet 并提出 Multi-GraspLLM，通过点云-文本对齐和手感知映射统一生成多手抓取姿态，实验表现优于现有方法。
2025-06-07 cs.CV cs.RO
A Joint Network for Grasp Detection Conditioned on Natural Language Commands
Georgia Institute of Technology（佐治亚理工学院）
我们考虑的任务，掌握一个目标对象的基础上的自然语言命令查询。以前的工作主要集中在定位给定查询的对象，这需要一个单独的抓取检测模块来抓取它。由于单个输出的模糊性，两个管道的级联应用在重叠的多对象情况下会产生错误。本文提出了一种基于RGB图像和文本命令输入的命令抓取网络模型（CGNet）。基于VMRD数据集生成具有地面实况（图像、命令、抓取）元组的数据集以训练所提出的网络。在生成的测试集上的实验结果表明，CGNet优于级联对象检索和抓取检测基线的大幅度提高。三个物理实验演示了CGNet的功能和性能。
2021-04-01 cs.CV cs.RO
DCGrasp: Distance-aware Controllable Grasp Generation
提出DCGrasp系统，利用距离感知抓取能量项生成高质量、物理合理的3D手-物交互，支持灵活用户控制并泛化到多样物体和手形。
2026-10-27 cs.CV
GRAB: A Dataset of Whole-Body Human Grasping of Objects
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
训练计算机理解、建模和合成人类抓握需要一个丰富的数据集，其中包含复杂的3D对象形状、详细的接触信息、手部姿势和形状以及随着时间的推移的3D身体运动。虽然“抓握”通常被认为是单手稳定地举起物体，但我们捕捉整个身体的运动并采用“全身抓握”的广义概念。因此，我们收集了一个新的数据集，称为GRAB（GRasping动作与身体），全身把握，包含完整的3D形状和姿势序列的10个主题与51个不同形状和大小的日常对象进行交互。给定MoCap标记，我们拟合完整的3D身体形状和姿势，包括关节连接的脸和手，以及3D对象姿势。这会随着时间的推移提供详细的3D网格，从中我们可以计算身体和物体之间的接触。这是一个独特的数据集，远远超出了现有的数据集，用于建模和理解人类如何抓住和操纵物体，他们的全身如何参与，以及交互如何随任务而变化。我们用一个例子说明了GRAB的实用价值;我们训练GrabNet，一个条件生成网络，来预测看不见的3D物体形状的3D手抓。数据集和代码可在https://grab.is.tue.mpg.de上用于研究目的。
2020-08-25 cs.CV
RegionGrasp: A Novel Task for Contact Region Controllable Hand Grasp Generation
University of Alberta（阿尔伯塔大学）；Snap Research（Snap研究院）
提出接触区域可控手部抓取生成任务RegionGrasp，通过RegionGrasp-CVAE模型结合ConditionNet和HOINet实现接触区域感知与手-物交互感知，定性和定量实验证明其优于现有方法。
2024-10-10 cs.CV
ContactDB: Analyzing and Predicting Grasp Contact via Thermal Imaging
Georgia Tech（佐治亚理工学院）；Argo AI
抓取和操纵物体是人类的一项重要技能。由于手与物体的接触是抓握的基础，捕捉它可以带来重要的见解。然而，通过外部传感器观察接触是具有挑战性的，因为遮挡和人手的复杂性。我们提出了ContactDB，一个新的数据集的接触地图的家用物体，捕捉丰富的手物体接触过程中发生的抓持，启用使用热成像仪。我们研究的参与者抓住了3D打印的物体，并具有抓握后的功能意图。ContactDB包括3750个3D网格，包含50个带有接触图纹理的家用物体和375 K帧同步RGB-D+热图像。据我们所知，这是第一个记录人类抓握的详细接触图的大规模数据集。这些数据的分析显示了功能意图和物体大小对抓握的影响，触摸/避免“活动区域”的趋势，以及手掌和近端手指接触的高频率。最后，我们训练最先进的图像转换和3D卷积算法，以预测不同的接触模式，从物体的形状。数据、代码和模型可在https://contactdb.cc.gatech.edu上获得。
2019-04-15 cs.CV
AnyDexGrasp: General Dexterous Grasping for Different Hands with Human-level Learning Efficiency
Shanghai Jiao Tong University（上海交通大学）
提出一种数据高效的灵巧抓取方法，通过通用表示和逐手决策模型，仅用数百次尝试即实现多种机械手在杂乱环境中的高成功率抓取。
2025-02-23 cs.CV cs.RO
Grasp Multiple Objects with One Hand
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出MultiGrasp，一种两阶段方法，利用灵巧多指手在桌面上实现多物体抓取，双物体抓取成功率达44.13%，并展示了抓取更多物体的潜力。
2024-03-14 cs.CV cs.RO
CenterArt: Joint Shape Reconstruction and 6-DoF Grasp Estimation of Articulated Objects
University of Freiburg（弗赖堡大学）
提出CenterArt方法，通过编码器-解码器架构利用RGB-D图像同时实现铰接物体的3D形状重建与6-DoF抓取估计，并构建了相应数据集，实验证明其在准确性和鲁棒性上优于现有方法。
2024-04-23 cs.CV cs.RO
FunGrasp: Functional Grasping for Diverse Dexterous Hands
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；ETH Zürich（苏黎世联邦理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
针对灵巧机器人手功能性抓取研究不足的问题，提出FunGrasp系统，通过人到机器人抓取重定向、强化学习训练策略及多种仿真到现实迁移技术，实现不同灵巧手对未见物体的单样本功能性抓取并验证组件有效性。
2024-11-24 cs.CV cs.RO
ContactGrasp: Functional Multi-finger Grasp Synthesis from Contact
Georgia Tech（佐治亚理工学院）；NVIDIA Robotics（英伟达机器人部门）
抓取和操纵物体是人类的一项重要技能。由于大多数物体被设计成由人手操纵，拟人化的手可以实现更丰富的人机交互。理想的抓握不仅是稳定的，而且是功能性的：它们使物体的抓握后动作成为可能。然而，高自由度的拟人的手从物体形状的功能性把握合成是具有挑战性的，因为大的优化空间。我们提出了ContactGrasp，从物体形状和物体表面上的接触的功能把握合成的框架。可以手动指定联系人或通过演示获取联系人。我们的接触表示是以对象为中心的，并允许功能把握合成，即使手模型不同于用于演示。使用数据集的接触演示从人类掌握不同的家居用品，我们合成功能性把握三个手模型和两个功能性意图。该项目的网页是https://contactdb.cc.gatech.edu/contactgrasp.html。
2019-07-25 cs.CV cs.RO
NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；St. Mark’s School of Texas（德克萨斯圣马克学校）
我们引入了一个神经隐式表示从多个机器人手的物体的把握。多个机器人手的不同抓握被编码到共享的潜在空间中。每个隐向量被学习以根据两个3D形状的带符号距离函数解码为对象的3D形状和处于抓取姿势的机器人手的3D形状。此外，学习潜在空间中的距离度量以保持不同机器人手之间的抓握之间的相似性，其中抓握的相似性根据机器人手的接触区域来定义。这个属性使我们的方法，以转移掌握不同的抓手，包括人手之间，掌握转移有可能分享机器人之间的抓取技能，使机器人学习掌握技能从人类。此外，在我们的隐式表示中的物体和抓握的编码的有符号距离函数可以用于6D物体姿态估计，并从部分点云进行抓握接触优化，这使得机器人能够在现实世界中进行抓握。
2022-07-06 cs.AI cs.CV cs.LG
StableGrasp: Reconstructing Physically Stable Human Hand Grasps from Single Images
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对单图像人手抓取物理稳定性不足的问题，提出StableGrasp可微仿真优化框架，分离视觉姿态与控制目标，联合优化几何与控制，生成更稳定且视觉一致的抓取。
2026-10-08 cs.CV cs.GR cs.RO
UV-Based 3D Hand-Object Reconstruction with Grasp Optimization
National University of Singapore（新加坡国立大学）；University of Bonn（波恩大学）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个新的框架，从一个单一的RGB图像的三维手形重建和手物体抓优化。手-物体接触区域的表示是精确重建的关键。而不是近似的接触区域与稀疏点，在以前的作品中，我们提出了一个密集的表示形式的UV坐标图。此外，我们引入了推理时间优化来微调抓取并改善手与物体之间的交互。我们的管道提高了手部形状重建的准确性，并产生了充满活力的手部纹理。在Ho 3D，FreiHAND和DexYCB等数据集上的实验表明，我们提出的方法优于最先进的方法。
2022-11-24 cs.AI cs.CV
GraspXL: Generating Grasping Motions for Diverse Objects at Scale
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对现有抓取动作合成方法目标单一、依赖昂贵3D手物数据且难以泛化到大量新物体的问题，提出GraspXL策略框架，无需3D交互数据即可为超50万新物体生成多目标的多样化抓取动作，成功率82.2%，可适配不同灵巧手与物体来源。
2024-07-12 cs.CV cs.RO
UniFucGrasp: Human-Hand-Inspired Unified Functional Grasp Annotation Strategy and Dataset for Diverse Dexterous Hands
School of Artificial Intelligence and Robotics, Hunan University, China（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University, China（机器人视觉感知与控制技术国家工程研究中心，湖南大学）；College of Mechanical and Vehicle Engineering, Hunan University, China（机械与车辆工程学院，湖南大学）
UniFucGrasp提出了一种基于人类手启发的统一功能抓取标注策略与数据集，支持低成本高效收集多样化高质量功能抓取，提升多机器人手的抓取稳定性和适应性。
2025-12-01 cs.CV cs.RO eess.IV
Human Grasp Classification for Reactive Human-to-Robot Handovers
NVIDIA, USA（NVIDIA（美国））；University of Washington, USA（华盛顿大学（美国））
人与机器人之间的物体传递是协作机器人的关键能力。虽然最近对人类机器人的兴趣激增，但大多数先前的研究都集中在机器人到人类的机器人上。此外，在同样重要的人对机器人的机器人抓取方面的工作通常假设人类可以将物体放入机器人的抓取器中。在本文中，我们提出了一种人对机器人的机器人中途满足人类的方法，通过分类人类的物体的把握，并迅速规划相应的轨迹，根据他们的意图从人类的手的对象。为此，我们收集了一个人类抓握数据集，该数据集涵盖了用各种手形和姿势握持物体的典型方式，并在该数据集上学习一个深度模型，将手抓握分类为其中一个类别。我们提出了一个规划和执行的方法，需要从人手的对象，根据检测到的把握和手的位置，并replans必要时，切换中断。通过系统的评估，我们证明了我们的系统比两个基线更流畅的结果。我们还提出了一个用户研究（N = 9）的结果，展示了我们的方法在不同情况下与天真的用户的有效性和可用性。更多的结果和视频可以在http://wyang.me/handovers上找到。
2020-03-12 cs.CV cs.RO
DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
灵巧的多指机器人手具有强大的动作空间，但它们与人手的形态相似性具有巨大的潜力，可以加速机器人学习。我们提出了DexVIP，一种方法来学习灵巧的机器人抓取从人与物体的相互作用存在于在野外的YouTube视频。我们通过从人机交互视频中策划抓取图像，并在使用深度强化学习学习抓取时对智能体的手部姿势施加先验来做到这一点。我们的方法的一个关键优势是，学习的政策是能够利用自由形式的野生视觉数据。因此，它可以很容易地扩展到新的对象，并且它避开了在实验室中收集人类演示的标准做法-这是一种更昂贵和间接的获取人类专业知识的方式。通过对27个对象的30自由度模拟机器人手的实验，我们证明，DexVIP相比，有利的现有方法，缺乏一个手的姿势之前或依赖于专门的远程操作设备，以获得人类的示范，同时也更快的训练。项目页面：https://vision.cs.utexas.edu/projects/dexvip-dexterous-grasp-pose-prior
2022-02-01 cs.CV cs.RO
Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared Control on the Hannes Prosthesis
Humanoid Sensing and Perception, Istituto Italiano di Tecnologia（人机感知与感知，意大利技术研究所）；Rehab Technologies Lab, Istituto Italiano di Tecnologia（康复技术实验室，意大利技术研究所）；DIBRIS, University of Genoa（Genoa大学DIBRIS）
针对假手抓取中用户认知负荷高的问题，提出基于合成数据训练的眼在手上预形状分类方法，在Hannes假肢上验证了有效性且泛化性优于真实数据训练的模型。
2025-10-01 cs.CV cs.RO
Dexonomy: Synthesizing All Dexterous Grasp Types in a Grasp Taxonomy
Peking University（北京大学）；Galbot；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对灵巧抓取数据集获取难、现有合成方法类型覆盖有限的问题，提出两阶段抓取合成流水线，构建覆盖GRASP分类体系31种抓取类型的大规模数据集，并训练出类型条件生成模型，真实场景抓取成功率达82.3%。
2025-09-03 cs.CV cs.RO
D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object Interactions
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）
我们介绍了动态抓取合成任务：给定一个已知的6D姿态和抓取参考的对象，我们的目标是生成运动，将对象移动到目标6D姿态。这是具有挑战性的，因为它需要对人手的复杂关节以及与物体的复杂物理交互进行推理。我们提出了一种新的方法，框架这个问题的强化学习框架，并利用物理模拟，学习和评估这种动态的相互作用。分层的方法分解成低层次的把握和高层次的运动合成的任务。它可以用来生成新的手序列，接近，抓住，并将对象移动到所需的位置，同时保持人类的相似性。我们表明，我们的方法导致稳定的把握，并产生广泛的运动。此外，即使是不完美的标签，可以通过我们的方法来纠正，以产生动态的相互作用序列。
2022-03-30 cs.CV cs.LG cs.RO
GRASPLAT: Enabling dexterous grasping through novel view synthesis
TeV, Fondazione Bruno Kessler（TeV，布鲁诺·凯瑟尔基金会）；PAVIS, Fondazione Istituto Italiano di Tecnologia（PAVIS，意大利技术研究院基金会）；ISR, Instituto Superior Técnico, Universidade de Lisboa（ISR，里斯本大学理工学院）；University of Trento（特伦托大学）
GRASPLAT提出仅用RGB图像训练、结合3D高斯泼溅合成新视角并引入光度损失，提升多指手灵巧抓取成功率，最高提升36.9%。
2025-10-22 cs.CV cs.RO
Point Cloud-based Grasping for Soft Hand Exoskeleton
King’s College London（伦敦国王学院）；Heidelberg University（海德堡大学）；KAIST（韩国科学技术院）；Korea University（高丽大学）；Technical University of Munich（慕尼黑工业大学）
针对手部损伤者使用软手外骨骼抓取困难的问题，提出基于点云和几何建模的视觉预测控制框架，利用深度感知预测抓取目标并确定控制状态，在15个物体上实现91%的GAS，泛化性优于学习方法。
2025-04-04 cs.CV cs.RO
HOReeNet: 3D-aware Hand-Object Grasping Reenactment
UNIST（蔚山科学技术院）；Kakao Brain Corp（Kakao Brain公司）；NC Soft（NC Soft公司）
我们提出HOReeNet，它处理涉及手，物体和它们的相互作用的图像操纵的新任务。特别是，我们感兴趣的是将源图像的对象转移到目标图像，并操纵3D手部姿势以紧紧抓住转移的对象。此外，操纵需要反映在2D图像空间中。在我们的重演场景涉及手物体的相互作用，3D重建成为必不可少的手和物体之间的3D接触推理需要实现紧紧抓住。同时，为了从3D空间获得高质量的2D图像，需要精心设计的3D到2D投影和图像细化。我们的HOReeNet是针对此类任务提出的第一个完全可区分的框架。在手-物交互数据集上，我们将HOReeNet与传统的图像翻译算法和重演算法进行了比较。我们证明了我们的方法可以在所提出的任务上达到最先进的水平。
2022-11-11 cs.AI cs.CV
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology（格拉茨技术大学）；University of Klagenfurt（克拉根福大学）
在本文中，我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积（CoordConv），一种在不增加任何额外的网络参数或计算复杂性的情况下，提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息，以实现高度准确的对象实例分割。这些产生的分割掩模，结合预测把握候选人，导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集，即Siléane和OCID_grasp，并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
自然的用户界面正在兴起。增强、虚拟和混合现实盔装显示器的制造商越来越多地将新传感器集成到其消费级产品中，从而无需额外硬件即可实现手势识别。这为虚拟环境中的徒手交互提供了新的可能性。这项工作提出了一个手势创作工具，对象特定的抓取手势，允许在现实世界中的虚拟对象被抓住。所提出的解决方案使用模板匹配进行手势识别，并且不需要技术知识来设计和创建定制的手势。在用户研究中，所提出的方法相比，捏手势和控制器抓虚拟物体。不同的抓取技术进行了比较，在准确性，任务完成时间，可用性和自然性。研究表明，手势创建的方法被用户认为是一个更自然的输入方式比其他人。
2022-07-03 cs.CV cs.HC
Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions
Carnegie Mellon University（卡内基梅隆大学）；Nvidia（英伟达）；National University of Singapore（新加坡国立大学）；UT Austin（德克萨斯大学奥斯汀分校）
提出从网络图像中提取人手抓取信息，利用3D重建和交互中心模型学习功能性抓取，在仿真和真实实验中优于基线方法。
2026-06-29 cs.CV cs.LG cs.RO
A Powered Prosthetic Hand with Vision System for Enhancing the Anthropopathic Grasp
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
本文提出融合视觉的SG-GM手势映射与MTR-GIE意图估计算法，使动力假肢手实现拟人化抓握，并在单物体和多物体实验中取得高成功率与意图识别准确率。
2024-12-10 cs.CV cs.HC cs.RO
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
Google（谷歌）
我们描述了一种基于学习的方法，从单目图像的机器人抓取手眼协调。为了学习手眼协调抓取，我们训练了一个大型卷积神经网络来预测抓取器的任务空间运动将导致成功抓取的概率，仅使用单目相机图像，并且独立于相机校准或当前机器人姿势。这需要网络观察场景中抓手和物体之间的空间关系，从而学习手眼协调。然后，我们使用这个网络伺服夹持器在实时的，以实现成功的把握。为了训练我们的网络，我们在两个月的时间里收集了超过80万次抓取尝试，在任何给定的时间使用6到14个机器人操纵器，在摄像机位置和硬件上有所不同。我们的实验评估表明，我们的方法实现了有效的实时控制，可以成功地抓住新的对象，并通过连续伺服纠正错误。
2016-08-28 cs.AI cs.CV cs.LG
ConGraspXL: Controllable Constraint-Conditioned Dexterous Grasping Motion Synthesis
ETH Zürich（苏黎世联邦理工学院）；HKUST (GZ)（香港科技大学（广州））；HKUST（香港科技大学）
针对灵巧抓取在任务约束下缺乏可控性的问题，提出ConGraspXL，通过层次化约束公式、掩码残差接口和动态手中心，实现精确灵活的约束条件抓取运动合成，并保持泛化能力。
2026-09-16 cs.CV cs.RO
FunHOI: Annotation-Free 3D Hand-Object Interaction Generation via Functional Text Guidance
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi’an Jiaotong University（西安交通大学）
研究针对手-物体交互中功能抓取语义捕捉难的问题，提出两阶段框架FGS-Net，通过文本引导3D模型生成器FGG和姿态优化策略FGR，无需额外3D注释数据即可实现精确高质量的3D手-物体交互生成。
2026-07-10 cs.CV cs.RO
Associating Grasp Configurations with Hierarchical Features in Convolutional Neural Networks
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
在这项工作中，我们提供了一个解决方案，姿态拟人化的Robonaut-2手和手臂抓基于视觉信息。学习从卷积神经网络（CNN）提取的视觉特征到抓取点的映射。我们证明了一个CNN预训练的图像分类可以应用于抓取任务的基础上的一个小集合的把握的例子。我们的方法利用了CNN的分层性质，通过识别捕获不同CNN层中的滤波器之间的分层支持关系的特征，并通过在CNN中向后跟踪激活来定位它们的3D位置。当该反向迹线在RGB-D图像中终止时，重要的可操纵结构由此被定位。然后，驻留在CNN的不同层中的这些特征与控制器相关联，所述控制器接合手/臂系统中的不同运动子链以进行抓取。使用Robonaut-2的手/对象关系收集的抓取数据集，以评估所提出的方法在所得到的预成形姿势的精度。我们证明，这种方法优于基线方法在混乱的情况下，抓取数据集和点云为基础的方法，使用Robonaut-2的抓取任务。
2017-07-26 cs.CV cs.RO
From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels
Northeastern University（东北大学）；Spaulding Rehabilitation Hospital（斯波尔丁康复医院）；Worcester Polytechnic Institute（伍斯特理工学院）
肢体缺陷严重影响了截肢者的日常生活，并促使人们努力提供功能性机器人假手来弥补这一缺陷。基于卷积神经网络的计算机视觉假手控制由于其通过训练视觉信息来预测手势的可靠性而作为替代或补充生理信号的方法受到越来越多的关注。将摄像机安装在假手的手掌上被证明是一种很有前途的视觉数据采集方法。然而，从眼睛和手的角度标记的抓取类型可能不同，因为对象形状并不总是对称的。因此，为了以现实的方式表示这种差异，我们采用了包含来自眼睛和手视图的同步图像的数据集，其中手视角图像用于训练，而眼睛视图图像仅用于手动标记。此外，还收集了上臂的肌电图（EMG）活动和运动学数据，以便在未来的工作中进行多模态信息融合。此外，为了包括人在回路控制，并结合计算机视觉与生理信号输入，而不是作出绝对的积极或消极的预测，我们建立了一个新的概率分类器根据Plackett-Luce模型。为了预测把握的概率分布，我们利用标签排名的统计模型，通过最大似然估计来解决排列域问题，利用手动排名的把握列表作为一种新形式的标签。我们表明，该模型适用于最流行和生产力的卷积神经网络框架。
2021-03-08 cs.AI cs.CV
Combining Shape Completion and Grasp Prediction for Fast and Versatile Grasping with a Multi-Fingered Hand
DLR Institute of Robotics and Mechatronics（德国航空航天中心机器人与机电系统研究所）；Technical University of Munich（慕尼黑技术大学）；Deggendorf Institute of Technology（德格多夫技术学院）
本研究提出了一种结合形状补全与抓取预测的深度学习方法，实现快速且多功能的多指手抓取，通过高效算法在单视角深度图像基础上完成物体抓取任务。
2026-01-19 cs.AI cs.CV cs.LG
SynHLMA:Synthesizing Hand Language Manipulation for Articulated Object with Discrete Human Object Interaction Representation
SynHLMA通过离散人类物体交互表示生成可变形物体的手语操纵序列，实现抓取生成、预测和插值任务。
2026-03-10 cs.AI cs.CV cs.RO
Bring Your Own Grasp Generator: Leveraging Robot Grasp Generation for Prosthetic Grasping
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genova（热那亚大学）
本文提出一种基于共享自主原则的眼在手上假肢抓取系统，通过自动配置自由度、无深度相机重建3D几何并依用户意图选择抓取构型，实现比基线更快的抓取并简化用户体验。
2025-03-01 cs.CV cs.RO cs.SY
Gaze-Guided 3D Hand Motion Prediction for Detecting Intent in Egocentric Grasping Tasks
Delft University of Technology（代尔夫特理工大学）
提出一种视线引导的3D手部运动预测方法，结合历史运动与环境数据，利用向量量化变分自编码器和自回归生成Transformer预测手部姿态以检测抓取意图，显著提升了少输入帧下的预测能力。
2025-03-27 cs.AI cs.CV cs.RO
CMG-Net: An End-to-End Contact-Based Multi-Finger Dexterous Grasping Network
East China Normal University（华东师范大学）；Midea Group（美的集团）；Guangdong Polytechnic Normal University（广东技术师范大学）
在本文中，我们提出了一种新的表示抓取使用多指机器人手和物体之间的接触进行操作。这种表示显著降低了预测维度并加速了学习过程。我们提出了一个有效的端到端网络，CMG-Net，通过有效地预测多指抓取姿势和手配置从单点云在杂乱的环境中抓取未知物体。此外，我们还创建了一个合成抓取数据集，其中包含5000个杂乱场景，80个对象类别和2000万个注释。我们进行了全面的实证研究，并证明了我们的抓取表示和CMG-Net的有效性。我们的工作明显优于三指机器人手的最新技术。我们还证明了使用合成数据训练的模型对真实机器人的表现非常好。
2023-03-23 cs.AI cs.CV cs.RO
