OmniDex: Scaling Dexterous Hand Grasping to Diverse Cluttered Scenes
ACE Robotics（ACE机器人公司）；CUHK（香港中文大学）；CPII under InnoHK（InnoHK框架下的CPII机构）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
针对杂乱场景下灵巧抓取数据匮乏问题，提出种子-过滤策略构建含260万场景的基准，引入OmniDex模型结合Soft Winner-Takes-All学习与物理约束，实现最优性能与强泛化性。
2026-10-30 cs.CV cs.RO
Shape Completion Enabled Robotic Grasping
Columbia University（哥伦比亚大学）
这项工作提供了一个架构，使机器人抓取规划通过形状完成。通过使用3D卷积神经网络（CNN）来完成形状完成。该网络是在我们自己的新开源数据集上训练的，该数据集包含从不同视角捕获的超过440，000个3D样本。在运行时，从单个视点捕获的2.5D点云被馈送到CNN中，CNN填充场景的遮挡区域，允许在完成的对象上规划和执行抓握。由于大部分形状完成的计算成本都是在离线训练期间承担的，因此形状完成的速度非常快。我们探讨了如何根据几个因素完成的质量变化。这些包括被完成的对象是否存在于训练数据中，以及使用了多少对象模型来训练网络。我们还研究了网络泛化到新对象的能力，允许系统在运行时完成以前看不见的对象。最后，在仿真和实际机器人硬件上进行实验，以探索完成质量和完成的网格模型用于抓取的效用之间的关系。
2017-03-02 cs.RO
TOSC: Task-Oriented Shape Completion for Open-World Dexterous Grasp Generation from Partial Point Clouds
本文提出面向任务的形状补全方法，通过生成任务导向的接触区域完成方案，提升开放世界中灵巧抓取的性能，改进抓取位移和 Chamfer 距离。
2026-01-09 cs.RO
Robust Grasp Planning Over Uncertain Shape Completions
Aalto University（阿尔托大学）
我们提出了一种方法规划不确定形状完成的对象的鲁棒把握。对于形状完成，训练深度神经网络以将对象的部分视图作为输入，并将完成的形状作为体素网格输出。网络的关键部分是dropout层，它不仅在训练期间而且在运行时都可以通过Monte Carlo采样生成一组代表形状不确定性的形状样本。给定一组形状完成的对象，我们生成把握候选人的平均对象形状，但评估他们的联合性能的基础上，在所有的形状候选人的分析把握指标。我们实验验证和基准我们的方法对另一个国家的最先进的方法与巴雷特手90000把握在模拟和200把握一个真正的弗兰卡Panda。所有的实验结果表明，无论是在把握质量指标和把握成功率统计上显着的改善，表明规划形状不确定性意识的把握带来了显着的优势，在一个单一的形状估计单独规划，特别是当处理复杂或未知的对象。
2019-08-12 cs.RO
A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes
机器人自主抓取在智能机器人技术中占有重要地位。然而，如何帮助机器人在物体堆叠场景中抓取特定物体仍然是一个悬而未决的问题，因为对于自主机器人来说，存在两个主要挑战：（1）知道抓取什么以及如何抓取是一项综合任务;（2）难以处理目标被其他物体隐藏或覆盖的情况。本文提出了一种用于机器人自主抓取的多任务卷积神经网络，它可以帮助机器人在物体堆叠场景中发现目标，制定抓取计划，并最终逐步抓取目标。我们将基于视觉的机器人抓取检测和视觉操作关系推理集成在一个深度网络中，构建了自主机器人抓取系统。实验结果表明，Baxter机器人在物体杂乱场景、熟悉堆垛场景和复杂堆垛场景中的自主抓取成功率分别为90.6%、71.9%和59.4%。
2019-03-02 cs.RO
Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering
TU Darmstadt（达姆施塔特工业大学）；NIT Trichy（特里吉国家理工学院）；Center for Mind, Brain and Behavior, Uni. Marburg and JLU Giessen（马尔堡大学与吉森大学心脑与行为研究中心）
研究解决了杂乱场景中任意视角的 6DoF 抓取难题，提出 NeuGraspNet 方法，将抓取重解释为渲染，通过共享特征空间联合学习局部表面渲染与抓取函数，实现完全隐式的抓取质量预测，并在真实移动机器人上验证了其优于现有方法的有效性。
2024-05-29 cs.CV cs.LG cs.RO
Beyond the Current Scene: Event-Referential Grasping with Active View Selection
Seoul National University（首尔大学）；NVIDIA（英伟达）
提出BeyondSCe零样本抓取系统，利用事件历史与主动视角选择，在目标被遮挡时仍能完成事件引用抓取，显著提升成功率并减少视角数。
2026-10-01 cs.CV cs.RO
Hierarchical Policies for Cluttered-Scene Grasping with Latent Plans
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
杂乱场景中的6D抓取是机器人操作中的一个长期问题。开环操作流水线可能由于不准确的状态估计而失败，而大多数端到端抓取方法尚未扩展到具有障碍物的复杂场景。在这项工作中，我们提出了一种新的方法，用于在杂乱场景中进行6D抓取的端到端学习。我们的分层框架学习无碰撞目标驱动的抓持部分点云观测的基础上。我们学习了一个嵌入空间，在训练过程中编码专家抓取计划和一个变分自编码器，在测试时采样不同的抓取轨迹。此外，我们训练一个批评网络的计划选择和选项分类器切换到一个实例抓取策略，通过分层强化学习。我们评估我们的方法，并在模拟中与几个基线进行比较，以及证明我们的潜在规划可以推广到现实世界的混乱场景抓取任务。我们的视频和代码可以在https://sites.google.com/view/latent-grasping上找到。
2022-01-11 cs.RO
ROI-based Robotic Grasp Detection for Object Overlapping Scenes
Xi’an Jiaotong University（西安交通大学）
在物体重叠场景中，考虑抓取物与主人之间的关联关系的抓取检测对于机器人抓取方法的实际应用是一项必要且具有挑战性的任务。本文提出了一种基于感兴趣区域（ROI）的机器人抓取检测算法ROI-GD。ROI-GD使用来自ROI的特征来检测抓握而不是整个场景。它有两个阶段：第一阶段是在输入图像中提供ROI，第二阶段是基于ROI特征的抓取检测器。我们还贡献了一个多对象抓取数据集，这是远远大于康奈尔抓取数据集，通过标记视觉操纵关系数据集。实验结果表明，ROI-GD表现出更好的对象重叠的场景，在同一时间，仍然与国家的最先进的抓持检测算法在康奈尔大学Grasp数据集和JEFFECT数据集。机器人实验表明，ROI-GD可以帮助机器人在单目标和多目标场景中抓取目标，总体成功率分别为92.5%和83.8%。
2019-03-14 cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague（捷克布拉格技术大学）
提出ShapeGrasp迭代抓取与补全流程，结合隐式表面视觉-触觉形状补全与基于物理的抓取规划，从单RGB-D视图推断完整形状并生成候选抓取，利用抓取反馈更新形状，在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
GPR: Grasp Pose Refinement Network for Cluttered Scenes
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
复杂环境下的物体抓取是机器人操作领域的一个重要研究方向。目前的研究主要集中在基于单次抓取检测网络的点云抓取姿态估计。然而，由于缺乏局部抓取区域的几何意识，它可能会导致严重的碰撞和不稳定的抓取配置。在本文中，我们提出了一个两阶段的把握姿态细化网络，检测把握全球微调低质量的把握和过滤噪声把握本地。此外，我们扩展了6自由度的抓持与额外的维度作为抓持宽度，这是在混乱的场景中的无碰撞抓取的关键。它采用单视点云作为输入，并预测密集和精确的抓取配置。为了增强泛化能力，我们建立了一个合成的单对象抓取数据集，包括150种不同形状的商品，和一个多对象杂乱的场景数据集，包括100 k点云，具有强大的，密集的抓取姿势和掩模注释。在Yumi IRB-1400机器人上进行的实验表明，在我们的数据集上训练的模型在真实环境中表现良好，并且远远优于以前的方法。
2021-05-18 cs.RO
MPGNet: Learning Move-Push-Grasping Synergy for Target-Oriented Grasping in Occluded Scenes
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文提出MPGNet三分支网络，学习移动、推动与抓取动作的协同，以在遮挡场景中高效抓取目标对象，并通过仿真和真实实验验证其有效性。
2024-08-20 cs.RO
DGS-Net: Learning Dexterous Grasps from Single-View Point Clouds via a Multi-Object Scene Dataset
Harbin Institute of Technology（哈尔滨工业大学）
本文提出DGS-Net，通过多物体场景的单视角点云学习密集抓取配置，改进了现有抓取数据集的局限性，实验显示其在仿真和真实机器人平台上的抓取成功率较高，且具有较低的穿透深度。
2026-10-16 cs.RO
HDCNet: A Hybrid Depth Completion Network for Grasping Transparent and Reflective Objects
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）
HDCNet 融合 Transformer、CNN 与 Mamba 架构，通过双分支编码和混合融合模块提升透明及反射物体的深度补全精度，并在抓取任务中实现最高 60% 的成功率提升。
2025-11-10 cs.RO
PCF-Grasp: Converting Point Completion to Geometry Feature to Enhance 6-DoF Grasp
State Key Laboratory of Robotics and System at Harbin Institute of Technology（哈尔滨工业大学机器人系统国家重点实验室）；Lanzhou University of Technology（兰州理工大学）；Department of Computer Science（计算机科学系）；University of Liverpool（利物浦大学）
PCF-Grasp通过将点完成转换为几何特征，提升6自由度抓取的准确性和效率，实验显示其在真实环境中的成功率比现有方法高17.8%。
2025-06-26 cs.LG cs.RO
3DSGrasp: 3D Shape-Completion for Robotic Grasp
Vislab, Institute for Systems and Robotics—Lisboa, Instituto Superior Técnico, Universidade de Lisboa, Portugal（葡萄牙里斯本系统与机器人研究所Vislab，理工学院里斯本高等技术大学，里斯本大学）；Department of Marine, Electrical, Electronic and Telecommunications Engineering, University of Genoa, Italy（意大利热那亚大学海洋、电气、电子与电信工程系）；Pattern Analysis & Computer Vision (PAVIS), Istituto Italiano di Tecnologia (IIT), Genoa, Italy（意大利热那亚理工学院模式分析与计算机视觉（PAVIS））；Deep Visual Learning (DVL), Fondazione Bruno Kessler, Trento, Italy（意大利特伦托布鲁诺·凯瑟基金会深度视觉学习（DVL））
3DSGrasp通过基于Transformer的编码器-解码器网络实现3D点云补全，提升机器人抓取的准确性和成功率。
2025-12-11 cs.AI cs.RO
SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of British Columbia（英属哥伦比亚大学）；Google Deepmind（谷歌DeepMind）
针对复杂场景中机器人抓取问题，提出 SeededGrasp 框架，通过 VLM 预测种子点，结合轻量级抓取生成模型，解耦语义与几何执行，无需端到端训练，发布多实体数据集，实验证明该方法优于基线。
2026-07-23 cs.RO
Human-in-the-loop Robotic Grasping using BERT Scene Representation
Fudan University（复旦大学）；Westlake University（西湖大学）；Australian National University（澳大利亚国立大学）；Westlake Institute for Advanced Study（西湖高等研究院）
当前的自然语言处理技术已经在不同的领域得到了广泛的应用。在本文中，我们提出了一个人在环框架的机器人在混乱的场景中抓取，研究语言接口的把握过程中，它允许用户干预的自然语言命令。这个框架是建立在一个国家的最先进的粗锉基线，在那里，我们取代了场景图表示与文本表示的场景使用BERT。仿真和物理机器人实验表明，该方法优于传统的对象不可知和场景图为基础的方法在文献中。此外，我们发现，通过人为干预，性能可以显着提高。
2022-09-28 cs.HC cs.RO
Self-Supervised Instance Segmentation by Grasping
University of California, Berkeley（加州大学伯克利分校）
我们提出一种自监督实例分割方法，通过抓取交互自动生成分割监督，结合剪切-粘贴数据增强，显著降低分割误差并提升模型性能，优于十倍标注数据训练效果。
2023-05-10 cs.AI cs.CV cs.RO
CADGrasp: Learning Contact and Collision Aware General Dexterous Grasping in Cluttered Scenes
Center on Frontiers of Computing Studies, School of Computer Science, Peking University（前沿计算研究中心，计算机学院，北京大学）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家级重点实验室，计算机学院，北京大学）
CADGrasp通过两阶段算法实现接触和碰撞感知的灵巧抓取，利用点云输入预测稀疏IBS表示，并结合占用扩散模型和能量函数优化，提升在杂乱场景中的抓取成功率与稳定性。
2026-01-31 cs.RO
Graspness Discovery in Clutters for Fast and Accurate Grasp Detection
Shanghai Jiao Tong University（上海交通大学）
针对杂乱场景6 DoF抓取检测，本文提出基于几何线索的graspness度量、级联可抓取性模型及GSNet，可即插即用并显著提升准确率与推理速度。
2024-06-17 cs.CV cs.RO
CenterArt: Joint Shape Reconstruction and 6-DoF Grasp Estimation of Articulated Objects
University of Freiburg（弗赖堡大学）
提出CenterArt方法，通过编码器-解码器架构利用RGB-D图像同时实现铰接物体的3D形状重建与6-DoF抓取估计，并构建了相应数据集，实验证明其在准确性和鲁棒性上优于现有方法。
2024-04-23 cs.CV cs.RO
DMFC-GraspNet: Differentiable Multi-Fingered Robotic Grasp Generation in Cluttered Scenes
KIT（卡尔斯鲁厄理工学院）；Bosch Center of AI（博世人工智能中心）
针对多指抓取每次推理仅生成单峰抓取的问题，本文提出 DMFC-GraspNet，通过新型抓取表示、密集标注流程和多种可微分损失实现端到端的密集多功能抓取生成。
2023-08-16 cs.AI cs.RO
Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping
DFKI GmbH
本文提出了一种可微神经图形模型，通过结合神经基础模型与基于物理的可微渲染，实现零样本场景重建和机器人抓取，无需额外3D数据或测试样本。
2026-02-04 cs.AI cs.CV cs.LG
Volumetric Grasping Network: Real-time 6 DOF Grasp Detection in Clutter
ETH Zürich（苏黎世联邦理工学院）；University of Sydney（悉尼大学）
一般的机器人在混乱中抓取需要能够合成抓取，这些抓取适用于以前看不见的对象，并且对于物理交互（例如与场景中的其他对象的碰撞）也是鲁棒的。在这项工作中，我们设计和训练一个网络，预测6自由度把握从3D场景信息收集的车载传感器，如手腕安装的深度相机。我们提出的体积抓取网络（VGN）接受一个截断的有符号距离函数（TSDF）表示的场景，并直接输出预测的把握质量和相关的夹具的方向和开口宽度为每个体素在查询的3D体积。我们表明，我们的方法可以在10毫秒内规划把握，并能够在现实世界中的杂波消除实验中清除92%的对象，而不需要明确的碰撞检查。实时的【形】能力为闭环抓取规划开辟了可能性，使机器人能够处理干扰，从错误中恢复并提供更高的鲁棒性。代码可在https://github.com/ethz-asl/vgn上获得。
2021-01-04 cs.RO
BURG-Toolkit: Robot Grasping Experiments in Simulation and the Real World
University of Birmingham（伯明翰大学）；TU Wien（维也纳工业大学）
本文介绍了BURG-Toolkit，一套用于基准和理解机器人抓取的开源工具。我们的工具允许研究人员：（1）创建虚拟场景，用于生成训练数据并在模拟中执行抓取;（2）通过在真实机器人实验的物理世界中准确地排列相应的对象来重新创建场景，支持对模拟与真实差距的分析;以及（3）与其他研究人员共享场景，以促进实验结果的可比性和再现性。我们通过描述一些潜在的用例来解释如何使用我们的工具。我们还提供了概念验证的实验结果量化的模拟到真实的差距，在一些示例场景中的机器人抓取。这些工具可从以下网址获得：https://mrudorfer.github.io/burg-toolkit/
2022-05-27 cs.RO
DDGC: Generative Deep Dexterous Grasping in Clutter
Aalto University（阿尔托大学）
本文提出DDGC生成式多指抓取采样网络，从单张RGB-D图像由粗到细生成杂乱场景中的无碰撞抓取，实验表明其质量优于GraspIt!基线且速度提升5倍。
2021-08-12 cs.LG cs.RO
Exploiting Radiance Fields for Grasp Generation on Novel Synthetic Views
Centre for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）
针对多视角抓取成像耗时且受可达性限制的问题，提出利用高斯溅射等场景表示合成新视图辅助抓取生成，在Graspnet-1billion数据集上验证可增加力闭合抓取、提升覆盖率，为单图辐射场抓取提取优化提供方向。
2025-05-16 cs.CV cs.RO
Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation
本文提出基于粗到细学习的语言引导抓取检测方法，通过跨模态融合和动态卷积头提升抓取精度与鲁棒性，实验证明其在复杂环境中的有效性。
2025-12-24 cs.CV cs.RO
EquiGQNet: Fast Grasp Quality Evaluation via Shared Equivariant Point Cloud Encoding
Sungkyunkwan University（成均馆大学）
EquiGQNet通过SO(3)-等变共享编码和中间动作融合，高效评估6-DoF抓取质量，在仿真和真实场景中实现高成功率并大幅加速规划。
2026-09-09 cs.RO
Clutt3R-Seg: Sparse-view 3D Instance Segmentation for Language-grounded Grasping in Cluttered Scenes
Dept. of Mechanical Engineering, SNU（机械工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence, SNU（人工智能跨学科项目，首尔国立大学）；Robotics Lab, Hyundai Motor Company（Hyundai Motor Company机器人实验室）
Clutt3R-Seg通过引入层次实例树和开放词汇语义嵌入，实现了在杂乱场景中语言引导抓取的高效3D实例分割。
2026-02-12 cs.CV cs.RO
GoalGrasp: Grasping Goals in Partially Occluded Scenarios without Grasp Training
National Graduate College for Elite Engineers, Southeast University（东南大学精英工程师研究生学院）
GoalGrasp提出一种无需抓取标注与训练的6自由度抓取姿态检测方法，结合3D边界框和人类抓取先验，实现对用户指定物体的快速抓取并缓解遮挡问题，实验成功率94%，部分遮挡下92%。
2025-04-22 cs.RO
Local Occupancy-Enhanced Object Grasping with Multiple Triplanar Projection
Peking University（北京大学）
本文提出一种局部占用增强的多三平面投影方法，通过预测抓取点周围体素占用并融合全局线索，补全遮挡场景中的物体形状，从而提升6自由度抓取位姿估计的准确性，在GraspNet-1Billion基准和真实机械臂上均取得领先性能。
2024-07-22 cs.AI cs.RO
PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；University of Liverpool（利物浦大学）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）
研究如何将视频衍生的6D对象运动转换为机器人可执行轨迹，提出PhysV2A框架，通过可达性门控选择和语义掩码约束细化可操作性，经真实机器人实验验证，该框架能提升任务成功率、减少运动可行性失败并产生更好轨迹。
2026-07-13 cs.RO
MonoGraspNet: 6-DoF Grasping with a Single RGB Image
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）；Johns Hopkins University（约翰斯·霍普金斯大学）
6-自由度机器人抓取是一个长期存在但尚未解决的问题。最近的方法利用强3D网络从深度传感器提取几何抓取表示，在常见对象上表现出优异的准确性，但在光度学上具有挑战性的对象上表现得不令人满意，例如，透明或反光材质的物体。瓶颈在于这些物体的表面由于光的吸收或折射而不能反射回准确的深度。在本文中，与利用不准确的深度数据相比，我们提出了第一个仅RGB的6-DoF抓取管道，称为MonoGraspNet，它利用稳定的2D特征同时处理任意对象抓取，并克服了光度挑战性对象引起的问题。MonoGraspNet利用关键点热图和法线图来恢复由我们的新表示表示所表示的6-DoF抓取姿势，该表示使用具有相应深度，抓取方向，抓取宽度和角度的2D关键点进行参数化。在真实场景中的大量实验表明，我们的方法可以实现竞争力的结果，在把握共同的对象，并超过了基于深度的竞争对手在把握光度具有挑战性的对象大幅度。为了进一步刺激机器人操作研究，我们还注释和开源了一个多视图和多场景的真实世界抓取数据集，其中包含120个混合光度复杂性的对象，以及20 M个准确的抓取标签。
2023-03-01 cs.AI cs.CV cs.RO
Rethinking 6-Dof Grasp Detection: A Flexible Framework for High-Quality Grasping
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对现有6自由度抓取方法对下游任务适配性不足的问题，提出以抓取为中心的FlexLoG灵活框架，兼容多类引导并局部预测抓取，在基准数据集和真实场景中均实现性能提升。
2024-10-06 cs.RO
SparseGrasp: Robotic Grasping via 3D Semantic Gaussian Splatting from Sparse Multi-View RGB Images
Fudan University（复旦大学）；Huawei Technology（华为技术有限公司）
本文提出 SparseGrasp，利用 DUSt3R、3DGS、视觉基础模型语义特征、PCA 压缩和渲染并比较机制，从稀疏 RGB 视图实现快速可更新的开放词汇机器人抓取。
2024-12-03 cs.CV cs.LG cs.RO
Learning Tri-mode Grasping for Ambidextrous Robot Picking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）
复杂场景中的物体拾取是机器人操作领域的一个重要研究方向，而环境复杂的机器人拾取仍然是一个重要而具有挑战性的问题。研究发现，不同的抓取动作（抓取和吸取）的融合可以扩大机器人的抓取范围，而抓取动作和非抓取动作（推动）的融合可以扩大机器人的抓取空间。本文提出了一种Push-Grasp-Suction（PGS）三模式抓取学习网络，通过不同抓取动作的融合以及抓取动作与非抓取动作的融合，实现了机器人的抓取。PGS的抓取分支以点云为输入，通过多任务点云学习生成杂乱场景中抓取和抽吸的6自由度拾取构形。以深度图像为输入的非伸缩分支生成实例分割图和推送配置，配合伸缩动作完成单臂空间外物体的拾取。PGS算法在实际场景中具有很好的泛化能力，实现了最先进的拾取性能。
2023-02-28 cs.RO
Gradient based Grasp Pose Optimization on a NeRF that Approximates Grasp Success
Hochschule Karlsruhe -- University of Applied Sciences（卡尔斯鲁厄应用技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出一种基于NeRF的抓取成功估计器，通过梯度优化直接调整抓取位姿，无需渲染或离散化，在模拟任务中实现3mm平移误差并能泛化至新物体。
2023-09-14 cs.RO
Real-time Simultaneous Multi-Object 3D Shape Reconstruction, 6DoF Pose Estimation and Dense Grasp Prediction
Samsung AI Center NY（三星纽约人工智能中心）
提出一种实时同步方法，在避免顺序执行感知与抓取规划步骤的同时，为场景中所有物体提供3D形状、6DoF位姿、语义信息及可行抓取，在每秒30帧的推理速度下实现了与现有专用方法相媲美的性能。
2023-05-16 cs.AI cs.CV cs.LG
GAPG: Geometry Aware Push-Grasping Synergy for Goal-Oriented Manipulation in Clutter
College of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
本文提出GAPG框架，通过整合点云数据，利用几何关系评估抓取与推动作，提升机器人在杂乱环境中的安全性和效率。
2026-03-22 cs.RO
Towards Confidence-guided Shape Completion for Robotic Applications
Istituto Italiano di Tecnologia（意大利理工学院）
许多涉及某种形式的3D视觉感知的机器人任务极大地受益于对工作环境的完整了解。然而，机器人往往要处理非结构化的环境和他们的板载视觉传感器只能提供不完整的信息，由于有限的干扰，杂波或对象自遮挡。近年来，用于形状完成的深度学习架构已经开始将牵引力作为从部分视觉数据推断完整的3D对象表示的有效手段。然而，大多数现有的最先进的方法提供了一个固定的输出分辨率的体素网格的形式，严格相关的神经网络输出级的大小。虽然这对于某些任务来说已经足够了，例如导航中的避障，但抓取和操纵需要更精细的分辨率，并且简单地放大神经网络输出在计算上是昂贵的。在本文中，我们提出了一个对象形状完成方法的基础上，隐式3D表示提供了一个置信度值为每个重建点的限制。作为第二个贡献，我们提出了一个基于梯度的方法，有效地采样这样的隐式函数在任意分辨率，可调在推理时间。我们通过比较重建的形状与地面真相，并通过部署我们的形状完成算法在机器人抓取管道实验验证我们的方法。在这两种情况下，我们将结果与最先进的形状完成方法进行比较。
2022-09-09 cs.CV cs.LG cs.RO
REGNet: REgion-based Grasp Network for End-to-end Grasp Detection in Point Clouds
在非结构化环境中可靠的机器人抓取是一项重要但具有挑战性的任务。主要问题是从部分噪声观测中产生新对象的最佳把握。本文提出了一种端到端的抓取检测网络，以一个单视点云作为输入来解决这个问题。我们的网络包括三个阶段：得分网络（SN），把握区域网络（GRN）和细化网络（RN）。具体而言，SN回归点把握置信度并选择具有高置信度的正点。然后，GRN对所选择的正点进行抓取建议预测。RN通过细化GRN预测的建议来生成更准确的把握。为了进一步提高性能，我们提出了一个把握锚机制，在该机制中，把握锚与指定的夹持器方向被引入到生成把握建议。实验表明，REGNet在真实世界的杂波中实现了79.34%的成功率和96%的完成率，这显著优于几种最先进的基于点云的方法，包括GPD，PointNetGPD和S4G。该代码可在https://github.com/zhaobinglei/REGNet_for_3D_Grasping上获得。
2021-03-25 cs.RO
Implicit representation priors meet Riemannian geometry for Bayesian robotic grasping
University of Liège（列日大学）
本文提出利用隐式表示构建场景相关先验，并结合基于仿真的贝叶斯推断算法，在黎曼流形上高效确定非结构化环境中的机器人抓取姿态，仿真与物理实验验证了其高成功率。
2023-04-19 cs.LG cs.RO
A Single Multi-Task Deep Neural Network with a Multi-Scale Feature Aggregation Mechanism for Manipulation Relationship Reasoning in Robotic Grasping
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出一种带多尺度特征聚合机制的操作关系推理网络，通过融合跨尺度信息与交叉特征，准确预测多物体堆叠场景中的操作关系，显著提升了机器人抓取的推理速度与准确率。
2023-05-23 cs.RO
Workspace Aware Online Grasp Planning
Columbia University（哥伦比亚大学）
这项工作提供了一个工作空间感知的在线抓取规划的框架。该框架通过将可达性的概念纳入在线抓取规划过程中，大大提高了标准在线抓取规划算法的性能。离线时，对包含数十万个独特末端执行器姿势的数据库进行可行性查询。在运行时，我们的把握规划器使用这个数据库，以偏置的手对可达到的末端执行器配置。该偏差使抓握规划器保持在规划场景的可访问区域中，使得所得到的抓握针对手头的情况而定制。这导致更高的可达抓取百分比、更高的成功抓取执行百分比以及减少的规划时间。我们还提出了使用模拟和真实环境的实验结果。
2018-06-29 cs.RO
Language-Guided Grasping under Partial Observation for Mobile Manipulation in Field Inspection and Maintenance
Department of Mechanical Engineering, Federal University of Uberlândia（联邦大学伯南迪利亚机械工程系）；Department of Mechanical Engineering, University of São Paulo（圣保罗大学机械工程系）；Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）；Faculdade Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein（艾伯特·爱因斯坦以色列教学与研究学院，艾伯特·爱因斯坦医院）
提出用于腿部移动操纵器在部分观察下的语言引导抓取流程，经多步骤处理，在四足机器人上实现并评估，相比基线提高抓取成功率，提升语言引导抓取可靠性。
2026-09-17 cs.LG cs.RO cs.SY
GraNet: A Multi-Level Graph Network for 6-DoF Grasp Pose Generation in Cluttered Scenes
Shanghai Jiao Tong University（上海交通大学）
本文提出基于多层级图与结构感知注意力的GraNet框架，从点云场景生成6-DoF抓取位姿，在GraspNet-1Billion上达到SOTA并经真实机器人验证。
2023-12-06 cs.CV cs.RO
DexGraspNet 2.0: Learning Generative Dexterous Grasping in Large-scale Synthetic Cluttered Scenes
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
针对杂乱场景下灵巧抓取数据稀缺的问题，研究提出大规模合成基准DexGraspNet 2.0及基于局部几何条件扩散模型的两阶段生成抓取方法，仿真表现优于基线，零样本 sim-to-real 迁移后现实抓取成功率达90.7%。
2024-10-30 cs.CV cs.RO
SCARP: 3D Shape Completion in ARbitrary Poses for Improved Grasping
TCS Research（塔塔咨询服务公司研究院）；Brown University（布朗大学）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
从部分观察恢复完整的3D形状是一项具有挑战性的任务，在计算机视觉界已经得到了广泛的解决。许多深度学习方法通过训练3D形状生成网络来学习完整3D形状的先验来解决这个问题。在这种训练机制中，这些方法期望输入是固定的规范形式，没有它，它们就无法学习3D形状的有效先验。我们提出了SCARP，一个模型，执行任意姿势的形状完成。给定对象的部分点云，SCARP通过依赖于使用多任务目标训练的旋转等变姿态特征和几何形状特征来学习姿态和形状的解纠缠特征表示。与依赖于外部规范化的现有方法不同，SCARP在单个网络中执行规范化，姿态估计和形状完成，比现有基线提高了45%的性能。在这项工作中，我们使用SCARP改善抓桌面上的物体的建议。通过直接在观察到的姿势中完成部分桌面对象，SCARP使SOTA抓取建议网络能够在部分形状上将其建议提高71.2%。项目页面：https://bipashasen.github.io/scarp
2023-01-17 cs.CV cs.RO
S4G: Amodal Single-view Single-Shot SE(3) Grasp Detection in Cluttered Scenes
Tsinghua University（清华大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
抓取是机器人研究中最基本、最持久的问题之一。本文研究了在商品深度传感器从单视点捕获的杂乱场景中，并联夹持器的6自由度抓取问题。我们在基于学习的框架中解决这个问题。在高层次上，我们依赖于一个单次抓取建议网络，用合成数据进行训练，并在现实世界的场景中进行测试。我们的单次神经网络架构可以有效地预测非模态抓取建议。我们的训练数据合成管道可以生成复杂物体配置的场景，并利用创新的抓爪接触模型来创建密集和高质量的抓取注释。在合成和真实环境中的实验表明，所提出的方法可以大大优于最先进的。
2019-10-31 cs.CV cs.RO
Anthropomorphic Grasping with Neural Object Shape Completion
Technical University of Munich（慕尼黑工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人机交互触觉互联网中心）
针对部分可见物体的机器人抓取难题，提出通过神经形状补全从局部观测重建物体完整几何结构，结合7自由度拟人机械手实现抓取，较基线方法成功率提升近30%，为真实场景精准抓取应用提供新思路。
2023-11-09 cs.CV cs.RO
ICGNet: A Unified Approach for Instance-Centric Grasping
ETH Zürich（苏黎世联邦理工学院）；Texas A&M University（德克萨斯农工大学）
针对杂乱场景中抓取检测缺乏实例级组合理解的问题，提出端到端 ICGNet，从单视角点云生成实例中心表示并联合完成物体重建与抓取检测，在合成基准和真实清理任务中优于现有方法。
2024-05-09 cs.CV cs.RO
2D Linear Time-Variant Controller for Human's Intention Detection for Reach-to-Grasp Trajectories in Novel Scenes
University of Birmingham（伯明翰大学）
设计用于操作任务的机器人辅助设备具有挑战性。这项工作是关于提高半自主机器人的精度和可用性，如人类操作的机械手或外骨骼。关键的洞察力是开发一个系统，考虑到上下文和用户意识，以采取更好的决策，如何帮助用户。通过使系统能够在新颖、混乱的场景中自动生成一组候选抓取和伸手抓取轨迹来实现上下文感知。用户意识被实现为线性时变反馈控制器，以促进朝向最有希望的抓取的运动。我们的方法是证明在一个简单的2D例子中，参与者被要求抓住一个特定的对象在一个杂乱的场景。我们的方法还减少了用户的可控尺寸的数量，通过仅提供X轴和Y轴上的控制，而末端执行器的方向和其手指的姿势由系统推断。实验结果表明，我们的方法在精度和执行时间方面的好处，相对于一个纯手动控制。
2019-07-16 cs.CV cs.RO
