Grasp Learning by Sampling from Demonstration
University of Innsbruck（因斯布鲁克大学）
机器人抓取传统上依赖于物体特征或形状信息来学习新的或应用已经学习的抓取。然而，我们认为，这样一个强大的依赖对象的几何信息，使把握和把握学习一项艰巨的任务，在混乱的环境中具有高度的不确定性，合理的对象模型是不可用的。因此，在本文中，我们研究了无模型随机优化在抓取学习中的应用。对于这一点，我们提出的学习方法只需要少数用户演示的把握和初始先验的一个粗略的草图的对象的把握启示密度，但没有对象的几何知识，除了它的姿势。我们的实验表明，我们提出的学习方法的适用性。
2016-11-19 cs.RO
DemoGrasp: Few-Shot Learning for Robotic Grasping with Human Demonstration
Technical University of Munich（慕尼黑工业大学）；Toyota Motor Europe（丰田汽车欧洲公司）
成功抓取物体的能力在机器人技术中至关重要，因为它可以实现多个交互式下游应用。为此，大多数方法要么计算感兴趣对象的完整6D姿态，要么学习预测一组抓取点。虽然前一种方法还不能很好地扩展到多个对象实例或类，但后者需要大型注释数据集，并且由于其对新几何形状的泛化能力差而受到阻碍。为了克服这些缺点，我们建议教机器人如何抓住一个简单而简短的人类示范的对象。因此，我们的方法既不需要许多带注释的图像，也不限于特定的几何形状。首先，我们提出了一个小序列的RGB-D图像显示人与物体的互动。然后利用该序列来构建表示所描绘的交互的关联的手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计重建和场景中可见对象之间的相对变换。最后，我们将先验知识从物体和人手之间的相对姿态与场景中当前物体姿态的估计转化为机器人必要的抓取指令。丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估表明，我们所提出的方法的适用性和它的优势相比，以前的方法。
2021-12-06 cs.CV cs.RO
Dext-Gen: Dexterous Grasping in Sparse Reward Environments with Full Orientation Control
Technical University Munich（慕尼黑工业大学）
强化学习是一种很有前途的机器人抓取方法，因为它可以在困难的场景中学习有效的到达和抓取策略。然而，由于问题的高维性，用复杂的机器人手实现类似人类的操作能力是具有挑战性的。虽然可以采用奖励塑造或专家示范等补救措施来克服这一问题，但它们往往导致过于简单和有偏见的政策。我们提出了Dext-Gen，一个强化学习框架，用于稀疏奖励激励中的灵巧抓取，适用于各种抓取器，并学习无偏见和复杂的策略。通过平滑的方向表示，实现了抓取器和物体的完全方向控制。我们的方法具有合理的培训持续时间，并提供了包括所需先验知识的选项。仿真实验证明了该框架对不同场景的有效性和适应性。
2022-06-28 cs.RO
Reasoning Grasping via Multimodal Large Language Model
Baidu Research（百度研究院）；Rutgers University（罗格斯大学）
本文提出推理抓取新任务，通过端到端模型将多模态大语言模型与基于视觉的抓取框架相结合，并构建了基于GraspNet-1 billion的首个推理抓取基准数据集，显著提升了机器人在隐式指令下的抓取性能。
2024-10-15 cs.RO
Offline-to-online Reinforcement Learning for Image-based Grasping with Scarce Demonstrations
University of Alberta（阿尔伯塔大学）；Ocado Technology（奥凯多科技公司）
本文提出一种基于神经正切核正则化的离线到在线强化学习算法，在少量演示下实现真实图像机器人抓取，两小时内成功率超90%，优于行为克隆等现有方法。
2025-01-22 cs.AI cs.LG cs.RO
Towards Affordance-Aware Robotic Dexterous Grasping with Human-like Priors
针对现有灵巧抓取方法忽视可及性定位与类人姿态的问题，提出两阶段训练的AffordDex框架，通过类人运动先验、残差适配、NAA模块及特权蒸馏实现通用抓取，实验表明其在多场景下显著优于基线。
2025-11-11 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology（奥凯多科技）；University of Genoa（热那亚大学）
本研究借鉴人类抓取零散果蔬的操作策略，开发配备多指柔性夹爪的机器人抓取装置，通过物流行业KPIs验证其性能，为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Real-time policy generation and its application to robot grasping
University of Central Florida（中佛罗里达大学）
机器人等实时的应用需要基于即时可用数据的实时的操作。机器学习和人工智能依赖于大量的训练信息数据集来为以后的实时的动作提出一个全面而有用的模型。我们在这篇论文中的目标是提供一个解决方案，机器人抓取作为一个实时的应用程序没有时间和内存消耗的相关阶段。抓取作为人类最重要的能力之一，被定义为一种依赖于从物体上感知到的信息的适当配置。对于人类来说，最好的结果时，一个合并的视觉数据，如提取的边缘和形状的对象到抓取任务。然而，在机器人技术中，视觉并不适用于所有情况。抓取的另一种可能性是使用来自其附近的对象形状信息。基于这些触觉信息，类似于人类，人们可以提出不同的抓取方法，称为抓取策略。在这项工作中，我们试图引入一个实时的政策，旨在保持接触的对象在其上的运动和对齐。在下一步中，建议的政策，以完成任务的实时传感器信息的基础上，将提出。将通过示范结果来评估所提出的方法的有效性。
2018-08-23 cs.RO
Robust Robot-assisted Tele-grasping Through Intent-Uncertainty-Aware Planning
Colorado School of Mines（科罗拉多矿业学院）；Duke University（杜克大学）
在遥操作中，研究主要集中在目标接近，我们处理更具挑战性的对象操作任务，通过推进共享控制技术。由于特定操作任务的精细运动约束要求，适当地操作对象是具有挑战性的。虽然这些运动约束是任务成功的关键，但在观察模糊的人体运动时，它们往往是微妙的。非具体化问题和人类和机器人手之间的物理差异带来了额外的不确定性，进一步夸大了对象操作任务的复杂性。此外，还缺乏规划和建模技术，可以有效地结合人类和机器人代理的运动输入，同时考虑人类意图的模糊性。为了克服这一挑战，我们建立了一个多任务机器人抓取模型，并开发了一个意图不确定性感知的抓取规划器，以生成鲁棒的抓取姿势，给出了模糊的人类意图推理输入。有了这些经过验证的建模和规划技术，预计将扩展远程操作机器人的功能和采用实际的远程操作场景。
2020-05-19 cs.RO
Robotic Grasping from Classical to Modern: A Survey
Xi’an Jiaotong University（西安交通大学）
机器人抓取一直是机器人学中的一个活跃的话题，因为抓取是机器人最基本但最具挑战性的技能之一。它要求协调机器人的感知，规划和控制的鲁棒性和智能性。然而，目前的解决方案仍然远远落后于人类，特别是在面对非结构化场景时。在本文中，我们调查的机器人抓取的进展，从经典的配方和解决方案的现代。通过回顾机器人抓取的历史，我们希望提供一个完整的视图，这个社区，也许启发不同的想法的组合和融合，我们认为这将有助于触摸和探索机器人抓取问题的本质。详细地，我们首先给出了机器人抓取的分析方法的概述。在此之后，我们提供了一个最新的国家的最先进的数据驱动的抓取方法，近年来兴起的讨论。随着计算机视觉的发展，语义抓取得到了广泛的研究，并有望成为未来自主机器人系统智能操作和技能学习的基础。因此，在我们的调查中，我们也简要回顾了这一主题的最新进展。最后，我们讨论了开放的问题和未来的研究方向，可能是重要的人类水平的鲁棒性，自主性和智能的机器人。
2022-02-08 cs.RO
Target Pose Guided Whole-body Grasping Motion Generation for Digital Humans
本文提出一种面向数字人的目标姿态引导全身抓取动作生成框架，结合现成目标姿态生成方法与transformer神经网络生成平滑抓取轨迹，并通过后优化缓解脚部滑动和手物穿透问题。
2024-09-26 cs.AI cs.GR cs.RO
Human-in-the-loop Robotic Grasping using BERT Scene Representation
Fudan University（复旦大学）；Westlake University（西湖大学）；Australian National University（澳大利亚国立大学）；Westlake Institute for Advanced Study（西湖高等研究院）
当前的自然语言处理技术已经在不同的领域得到了广泛的应用。在本文中，我们提出了一个人在环框架的机器人在混乱的场景中抓取，研究语言接口的把握过程中，它允许用户干预的自然语言命令。这个框架是建立在一个国家的最先进的粗锉基线，在那里，我们取代了场景图表示与文本表示的场景使用BERT。仿真和物理机器人实验表明，该方法优于传统的对象不可知和场景图为基础的方法在文献中。此外，我们发现，通过人为干预，性能可以显着提高。
2022-09-28 cs.HC cs.RO
RGBGrasp: Image-based Object Grasping by Capturing Multiple Views during Robot Arm Movement with Neural Radiance Fields
Peking University（北京大学）；Imperial College London（伦敦帝国学院）；Oxford University（牛津大学）；Tianjin University of Technology（天津理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
RGBGrasp利用神经辐射场，通过有限RGB视图和预训练深度模型实现透明及镜面物体的精确抓取，并加速3D重建，提升现实场景适应性。
2024-03-14 cs.RO
DexRepNet: Learning Dexterous Robotic Grasping Network with Geometric and Spatial Hand-Object Representations
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Key Lab of CS&AUS of Zhejiang Province（浙江省计算机与应用系统安全重点实验室）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
提出DexRep表示和DexRepNet方法，通过几何与空间手-物体交互特征提升灵巧抓取策略的泛化能力，在仿真和真实实验中取得高成功率。
2023-10-17 cs.RO
GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）
本文提出GAT-Grasp框架，通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识，实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
Contextual Reinforcement Learning of Visuo-tactile Multi-fingered Grasping Policies
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；University of Utah（犹他大学）
使用仿真来训练机器人操作策略，可以安全地生成几乎无限数量的训练数据。迄今为止，使用模拟的主要挑战之一是弥合现实差距，以便在模拟中训练的政策可以在现实世界中部署。我们探讨现实的差距，学习的背景下，多指机器人抓取的政策。我们提出了一个抓取物体的触觉（GOAT）机器人手的方法，学习克服现实差距的问题。在我们的方法中，我们使用人手运动演示初始化和减少搜索空间的学习。我们将我们的策略与感兴趣的对象的边界长方体尺寸相结合，这使得该策略能够比直接使用图像或点云更灵活地表示。利用手中的指尖触摸传感器允许该策略克服由粗糙限界框引入的几何信息的减少以及姿态估计不确定性。我们展示了我们的学习策略在没有任何微调的情况下成功地在真实机器人上运行，从而弥合了现实差距。
2019-11-24 cs.RO
Physics-Aware Iterative Learning and Prediction of Saliency Map for Bimanual Grasp Planning
Dalian University of Technology（大连理工大学）；The University of Manchester（曼彻斯特大学）；Tsinghua University（清华大学）
针对双手抓取规划搜索空间大、标注数据需求多的问题，提出基于单手抓取数据的双手抓取显著性学习框架，结合物理平衡损失与优化模块，高效实现平衡的双手抓取。
2024-04-13 cs.RO
GES-UniGrasp: A Two-Stage Dexterous Grasping Strategy With Geometry-Based Expert Selection
本文构建涵盖82类773个物体的 ContactGrasp 灵巧抓取数据集，并提出基于几何聚类选择专门专家的两阶段 GES 框架，实现类人抓取与高泛化成功率。
2025-09-28 cs.RO
COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping
University of Oxford（牛津大学）
本文提出 COMBO-Grasp，通过价值函数引导协调约束稳定策略与 RL 抓取策略，并结合师生蒸馏部署点云策略，显著提升双臂遮挡抓取成功率。
2025-02-14 cs.LG cs.RO
OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback
School of Computer Science and Engineering, Sun Yat-sen University, China（计算机科学与工程学院，中山大学）
针对现有灵巧抓取泛化性差的问题，提出OmniDexGrasp框架，结合基础模型生成人类抓取图像、迁移策略及力反馈自适应抓取，实现多样用户提示、灵巧手和任务的通用抓取，并在仿真和真实机器人上验证了有效性。
2025-10-27 cs.RO
AnyDexGrasp: General Dexterous Grasping for Different Hands with Human-level Learning Efficiency
Shanghai Jiao Tong University（上海交通大学）
提出一种数据高效的灵巧抓取方法，通过通用表示和逐手决策模型，仅用数百次尝试即实现多种机械手在杂乱环境中的高成功率抓取。
2025-02-23 cs.CV cs.RO
Embodied Perception for Test-time Grasping Detection Adaptation with Knowledge Infusion
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Unmanned Systems Technology Research Institute, Northwestern Polytechnical University（西北工业大学无人系统技术研究院）
本文提出一种具身测试时自适应抓取检测框架，通过基于操作能力的评估准则和灵活知识库引导机器人主动探索并持续学习，在真实机器人实验中验证了其有效性和泛化能力。
2025-04-07 cs.RO
FunGrasp: Functional Grasping for Diverse Dexterous Hands
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；ETH Zürich（苏黎世联邦理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
针对灵巧机器人手功能性抓取研究不足的问题，提出FunGrasp系统，通过人到机器人抓取重定向、强化学习训练策略及多种仿真到现实迁移技术，实现不同灵巧手对未见物体的单样本功能性抓取并验证组件有效性。
2024-11-24 cs.CV cs.RO
Transferring Contact, Not Just Motion: Compliant Grasping Across Dexterous Hands
University of California San Diego（加州大学圣迭戈分校）
提出跨本体力-位置接口，通过校准力矩和指尖力实现异构灵巧手间的接触感知抓取，结合流匹配视觉运动策略和混合力位控制器，实现可迁移的柔顺抓取。
2026-06-19 cs.RO
Rapid grasping of fabric using bionic soft grippers with elastic instability
Columbia University（哥伦比亚大学）
提出一种受人指启发、利用弹性不稳定性的弹扣式柔性夹爪，以预应力半刚性骨架实现86°大跨度和46 ms快速闭合，并通过理论、仿真与实验验证其多物体适应性。
2023-10-01 cs.RO
GRASPA 1.0: GRASPA is a Robot Arm graSping Performance benchmArk
Istituto Italiano di Tecnologia（意大利理工学院）；Università di Genova（热那亚大学）
基准的使用是一种广泛的、具有科学意义的做法，用于验证同一任务的不同方法的性能。近年来，在机器人抓取的背景下，出现了使用公共对象集的情况，但是还没有主要的协议和度量来测试抓取管道。在本文中，我们提出了GRASPA的1.0版本，这是一个测试物理机器人设置上抓取管道的有效性的基准。这种方法通过提出不同的度量来解决这种管道的复杂性，这些度量说明了测试平台的特性和限制。作为一个示例应用程序，我们在iCub人形机器人上部署了GRASPA，并使用它来对我们的抓取管道进行基准测试。作为结束语，我们讨论了我们作为结果获得的GRASPA指标如何可以洞察管道的不同步骤如何影响整体抓取性能。
2020-02-12 cs.RO
SpaceDex: Generalizable Dexterous Grasping in Tiered Workspaces
Sun Yat-sen University（中山大学）；Stellarobot Company（Stellarobot公司）
SpaceDex提出了一种分层框架，通过视觉-语言模型规划和臂手特征分离网络，提升在受限3D环境中的灵巧抓取性能，实现在100次真实测试中达到63%的成功率。
2026-04-20 cs.RO
Generating Quality Grasp Rectangle using Pix2Pix GAN for Intelligent Robot Grasping
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
智能机器人抓取是一个非常具有挑战性的任务，由于其固有的复杂性和不提供足够的标记数据。由于为任何基于深度学习的模型（包括深度强化学习）提供合适的标记数据对于成功的抓取学习至关重要，因此在本文中，我们提出使用Pix 2 Pix生成对抗网络（Pix 2 Pix GAN）来解决生成抓取姿势/矩形的问题，该网络将对象的图像作为输入，并生成标记有对象的抓取矩形作为输出。在这里，我们提出了一个端到端的抓取矩形生成方法，并将其嵌入到一个适当的位置的对象被抓住。我们已经开发了两个模块，以获得最佳的抓取矩形。在第一个模块的帮助下，从Pix 2 Pix GAN的输出中提取所生成的抓取矩形的姿势（位置和方向），然后将提取的抓取姿势转换为对象的质心，因为在这里我们假设像人类抓取规则形状对象的方式一样，质心/质心是稳定抓取的最佳位置。对于其他不规则形状的物体，我们允许生成的抓取矩形，因为它是要喂给机器人的把握执行。利用有限数量的Cornell抓取数据集生成抓取矩形的准确率显著提高，达到87.79%。实验表明，我们提出的基于生成模型的方法给出了有希望的结果，在执行成功的把握，以及看不见的对象。
2022-02-20 cs.RO
UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation
本文提出UMI-Underwater系统，通过自监督数据收集管道自主获取水下抓取示范，并利用基于深度的 affordance 表示将陆地到水下领域差距桥接，提升水下抓取性能和鲁棒性。
2026-03-27 cs.AI cs.RO
What You See is What You Grasp: User-Friendly Grasping Guided by Near-eye-tracking
University of Science and Technology of China（中国科学技术大学）
提出一种结合近眼追踪与Transformer抓取模型的视觉引导机器人界面，仅通过视线实现用户意图推断与抓取操作，在多个数据集上验证了低误差与良好性能，为辅助机器人提供概念验证。
2023-05-15 cs.RO
RealDex: Towards Human-like Grasping for Robotic Dexterous Hand
ShanghaiTech University（上海科技大学）；The University of Hong Kong（香港大学）；Texas A&M University（德克萨斯农工大学）
本研究提出融入人类行为模式的灵巧手抓取数据集RealDex，以及结合多模态大语言模型的类人抓取动作生成框架，实验验证其性能优越，将推动人形机器人真实场景操作能力发展。
2024-12-07 cs.AI cs.CV cs.RO
GrainGrasp: Dexterous Grasp Generation with Fine-grained Contact Guidance
Dalian University of Technology（大连理工大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对灵巧手最优抓取策略生成难的问题，提出GrainGrasp方案，通过生成模型预测各指尖接触图、开发仅需点云的优化算法，实现精准类人抓取。
2024-05-16 cs.RO
RESPRECT: Speeding-up Multi-fingered Grasping with Residual Reinforcement Learning
Istituto Italiano di Tecnologia (IIT)（意大利技术研究所）；Laboratory for Computational and Statistical Learning (LCSL)（计算与统计学习实验室）；Machine Learning Genoa Center (MaLGa)（热那亚机器学习中心）；University of Genoa（热那亚大学）；Center for Brains, Minds and Machines (CBMM)（大脑、心智与机器中心）
本文提出 RESPRECT 方法，通过在 DRL 预训练策略上学习残差策略，使 iCub 灵巧手多指抓取新物体的训练速度比从头训练快约 5 倍，并验证了其在仿真与真实机器人上的有效性。
2024-01-26 cs.RO
A dataset of 40K naturalistic 6-degree-of-freedom robotic grasp demonstrations
University of Waterloo（滑铁卢大学）
抓取规划的现代方法通常涉及深度学习。然而，在物理机器人上只有几个大的标记抓取例子的数据集，并且可用的数据集涉及相对简单的双指抓取器的平面抓取。在这里，我们介绍：1）一种新的人类抓取演示方法，有助于快速收集自然抓取示例，具有完整的六自由度抓取器定位; 2）使用RightHand Robotics三指ReFlex抓取器在109个不同刚性物体上成功抓取约4万次的数据集。
2018-12-31 cs.LG cs.RO
\textsc{Gen2Real}: Towards Demo-Free Dexterous Manipulation by Harnessing Generated Video
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；University of California, San Diego（加州大学圣地亚哥分校）
提出 \ extsc{Gen2Real} 框架，利用生成的视频替代人类演示，通过视频生成、物理感知轨迹优化和基于锚点的残差 PPO 策略学习机器人灵巧操作，在仿真抓取任务中实现 77.3\% 成功率并泛化至真实机器人。
2025-09-16 cs.RO
Omnigrasp: Grasping Diverse Objects with Simulated Humanoids
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（现实实验室研究）；ETH Zurich（苏黎世联邦理工学院）
针对现有仿人机器人抓取方法适用范围有限的问题，提出利用类人运动表示训练控制器，可抓取超1200种物体并沿轨迹移动，在轨迹跟随和新物体泛化上达SOTA，无需成对运动轨迹数据集。
2025-05-18 cs.GR cs.RO
Human Universal Grasping
New York University（纽约大学）；Tsinghua University（清华大学）；University of Michigan（密歇根大学）
提出HUG模型，利用人类抓取数据（1M-HUG数据集）和流匹配方法，从单张RGB-D图像生成多样化抓取姿态，并重定向到机器人手，实现零样本抓取，在HUG-Bench上超越基线23%-34%。
2026-06-19 cs.AI cs.CV cs.LG
Universal Dexterous Functional Grasping via Demonstration-Editing Reinforcement Learning
Peking University（北京大学）；BeingBeyond
本研究提出DemoFunGrasp，通过演示编辑强化学习实现通用灵巧功能抓取，提升抓取性能和现实泛化能力。
2025-12-15 cs.RO
FastOrient: Lightweight Computer Vision for Wrist Control in Assistive Robotic Grasping
Imperial College London（帝国理工学院）
用于人类抓握支持的可穿戴和辅助机器人技术广泛地是远程操作的机器人手臂或通过瘫痪用户的手的矫正控制来行动。这样的装置需要正确的取向以成功和有效地抓取。在许多人类-机器人辅助设置中，终端用户需要明确地控制许多自由度，使得有效或高效的控制成为问题。在这里，我们展示了通过自动末端执行器方向控制抓取来卸载辅助机器人和主动矫形器的低级别控制。本文介绍了一种紧凑的算法，实现快速计算机视觉技术，以获得目标物体的方向被抓住，通过分割与定位在机器人设备的末端执行器的顶部上的摄像机获得的图像。优化抓取所需的旋转直接从物体的方向计算。该算法已在6个不同的场景背景和末端效应器的方法，以26个不同的对象进行了评估。94.8%的物体在所有背景中被检测到。在91.1%的情况下，实现了对象的把握，并已与机器人模拟器确认算法的性能进行了评估。
2018-07-22 cs.CV cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Why Look at It at All?: Vision-Free Multifingered Blind Grasping Using Uniaxial Fingertip Force Sensing
Department of Mechanical Engineering, Sogang University（机械工程系，首尔大学）；Department of Electronic Engineering, Sogang University（电子工程系，首尔大学）
本文提出了一种无需视觉或多轴触觉传感器的多指盲抓取方法，通过单轴指尖力反馈和关节本体感觉实现高成功率抓取。
2026-02-07 cs.RO cs.SY eess.SY
Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds
University of Washington（华盛顿大学）；NVIDIA（英伟达）
6D机器人抓取超出自上而下的箱子拾取场景是一项具有挑战性的任务。以前的解决方案的基础上的6D抓取合成与机器人运动规划通常工作在开环设置，这是敏感的抓取合成误差。在这项工作中，我们提出了一种新的方法来学习闭环控制策略的6D抓取。我们的政策需要一个分段的点云的对象从一个自我中心的相机作为输入，并输出连续的6D控制动作的机器人抓手抓持的对象。将模仿学习和强化学习相结合，提出了一种目标-辅助行动者-批评者的策略学习算法。我们证明了我们的学习策略可以集成到桌面6D抓取系统和人机交接系统中，以提高看不见的物体的抓取性能。我们的视频和代码可以在https://sites.google.com/view/gaddpg上找到。
2021-07-01 cs.CV cs.RO
GLOVER: Generalizable Open-Vocabulary Affordance Reasoning for Task-Oriented Grasping
AI, HKUST(GZ)（香港科技大学（广州）人工智能学院）；ZJUT（浙江工业大学）；CSE, HKUST（香港科技大学计算机科学与工程系）
提出GLOVER框架，通过微调LLM在RGB特征空间预测视觉可供性，并设计非参数抓取规划器AGE，实现了比SOTA快数十倍的开放词汇任务导向抓取。
2025-05-01 cs.CV cs.RO
Cross-Embodiment Dexterous Grasping with Reinforcement Learning
School of Computer Science, Peking University（北京大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出基于人手特征抓取的通用动作空间，利用强化学习训练单一视觉策略实现跨多种灵巧手的抓取，在四种具身上达到80%成功率并具备零样本泛化能力。
2024-10-03 cs.LG cs.RO
PhyGrasp: Generalizing Robotic Grasping with Physics-informed Large Multimodal Models
University of California, Berkeley（加州大学伯克利分校）
PhyGrasp通过融合自然语言与3D点云的多模态大模型，将物理常识推理引入机器人抓取，在长尾场景下显著提升了抓取成功率。
2024-02-26 cs.AI cs.CL cs.CV
GraspXL: Generating Grasping Motions for Diverse Objects at Scale
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对现有抓取动作合成方法目标单一、依赖昂贵3D手物数据且难以泛化到大量新物体的问题，提出GraspXL策略框架，无需3D交互数据即可为超50万新物体生成多目标的多样化抓取动作，成功率82.2%，可适配不同灵巧手与物体来源。
2024-07-12 cs.CV cs.RO
Multi-Modal Human-Machine Communication for Instructing Robot Grasping Tasks
实现智能机器人的一个主要挑战是为它们提供认知能力，以便普通用户可以轻松直观地对其进行编程。这种编程的一种方式是通过交互式演示来教授工作任务。为了使用户有效和方便，机器必须能够建立一个共同的注意力焦点，并能够使用和整合口头指令，视觉感知和非语言线索，如手势命令。我们报告的进展，建立一个混合体系结构，结合统计方法，神经网络，有限状态机到一个集成的系统，指导掌握任务的人机交互。该系统将用于视觉注意力和手势指令的GRAVIS-robot与用于语音识别和语言解释的智能界面以及模态融合模块相结合，以允许针对灵巧的机器人操作进行多模式面向任务的人机通信对象。
2005-05-24 cs.AI cs.CV cs.HC
Grasping Using Tactile Sensing and Deep Calibration
University of Central Florida（中佛罗里达大学）
触觉感知是智能机器人与周围环境交互的基本能力。这种感知作为一个中间层次的行为之间的感觉和行动，并已被适当地定义，以产生适当的行动，以响应所感测的数据。在本文中，我们提出了一种反馈方法来解决机器人抓取任务，使用力-力矩触觉感知。虽然视觉感知是总达到的一个重要组成部分，不断利用这种传感方式可以产生负面影响的把握过程与压倒性的计算。在这种情况下，人类利用触觉感知来与对象交互。受启发，所提出的方法，并在一个真正的机器人上进行评估，以证明所建议的框架的有效性。此外，我们利用称为深度校准的深度学习框架，以消除从机器人传感器收集的数据中的偏差的影响。
2019-07-23 cs.CV cs.RO
NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via Novel-View Synthesis
Stanford（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google（谷歌）
专家演示是训练视觉机器人操作策略的丰富监督来源，但模仿学习方法通常需要大量的演示或昂贵的在线专家监督来学习反应性闭环行为。在这项工作中，我们介绍SPARTN（通过NeRF增强机器人轨迹的合成扰动）：一个完全离线的数据增强计划，用于改善使用手眼相机的机器人策略。我们的方法利用神经辐射场（NeRFs）合成注入校正噪声到视觉演示，使用NeRFs生成扰动的观点，同时计算校正动作。这不需要额外的专家监督或环境交互，并将NeRF中的几何信息提取到实时反应的仅RGB策略中。在一个模拟的6自由度视觉抓取基准测试中，SPARTN比没有校正增强的模仿学习提高了2.8 $\times$的成功率，甚至优于一些使用在线监督的方法。此外，它还缩小了仅RGB和RGB-D成功率之间的差距，消除了以前对深度传感器的需求。在现实世界的6自由度机器人抓取实验从有限的人类示范，我们的方法提高了绝对成功率平均$22.5\%$，包括对象，传统上是具有挑战性的基于深度的方法。在\url{https://bland.website/spartn}上查看视频结果。
2023-01-18 cs.CV cs.LG cs.RO
Self Supervised Deep Learning for Robot Grasping
National University of Sciences and Technology（国立科技大学）
本文提出一种自监督机器人抓取学习方法，通过让低成本小型机器人在训练中自行标注数据来训练CNN，避免人工标注成本与语义偏差，并可将训练好的网络迁移到大型抓取机器人上。
2024-10-17 cs.CV cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势，这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而，一般的视频描述方法更多地关注于对全帧的理解，缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型，从人类演示视频中学习机器人操作的动作。它由两个深度网络组成，抓取检测网络（GNet）和视频描述网络（CNet）。GNet执行两个功能：提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明，我们的方法可以产生更准确的命令，从视频演示比国家的最先进的工作，从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
RAGNet: Large-scale Reasoning-based Affordance Segmentation Benchmark towards General Grasping
The Chinese University of Hong Kong（香港中文大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dexmal；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；SKL-IOTSC, CIS, University of Macau（澳门科学馆-物联网与智能系统研究中心，澳门大学）
针对现有研究缺乏基于推理的大规模可供性预测数据、开放世界效果受限的问题，该研究构建了含27.3万张图像的RAGNet基准，提出AffordanceNet抓取框架，验证了其强大的开放世界泛化能力。
2025-07-31 cs.CV cs.RO
Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation
UC San Diego（UC圣地亚哥大学）
本文提出Dex1B，一个包含10亿条演示的灵巧操作数据集，通过集成几何约束的生成模型构建，在仿真和真实机器人实验中显著优于现有方法。
2025-06-20 cs.CV cs.RO
Exploiting Kinematic Redundancy for Robotic Grasping of Multiple Objects
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在日常生活中，人类协调手的丰富的自由度（DoF）以灵巧地执行任务。我们模仿人类的策略，以提高多自由度机器人手的灵活性。具体来说，我们使机器人手抓住多个对象，利用其运动冗余，指的是其所有的可控自由度。我们提出了一个类似人类的把握合成算法生成把握使用成对接触的任意相对的手表面区域，不再局限于指尖或手内表面。为了模拟手的可用空间进行抓取，我们构建了一个可达性图，包括所有手指指骨和手掌的可达空间。它指导约束优化问题的制定，解决可行和稳定的把握。我们制定了一个迭代的过程，使机器人的手抓住多个物体的顺序。此外，我们提出了一个运动效率的度量和相关的策略，以促进利用运动冗余。我们通过使用各种手表面区域生成单个和多个对象的抓握来验证我们的方法。这样的抓握可以在真正的机器人手上成功地复制。
2023-03-30 cs.RO cs.SY eess.SY
