Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
针对可变形物体抓取难题，提出融合视觉与触觉的 Transformer 框架，通过探索动作预测安全抓取力度，并在公开与自建水果数据集上验证其准确率、效率及泛化能力。
2023-07-23 cs.RO
GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF
Peking University（北京大学）；National University of Defense Technology（国防科技大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
在这项工作中，我们解决了透明和镜面反射物体的6自由度抓取检测，这是基于视觉的机器人系统中一个重要但具有挑战性的问题，因为深度相机无法感知它们的几何形状。我们首次提出了一种基于多视图RGB的6自由度抓取检测网络GraspNeRF，该网络利用可推广的神经辐射场（NeRF）来实现在杂波中的材料不可知的物体抓取。与现有的基于NeRF的3-DoF抓取检测方法相比，这些方法依赖于密集捕获的输入图像和耗时的每个场景优化，我们的系统可以使用稀疏RGB输入执行zero-shot NeRF构建，并可靠地检测6-DoF抓取，两者都是实时的。该框架以端到端的方式联合学习可推广的NeRF和抓取检测，优化了抓取的场景表示构建。对于训练数据，我们生成了一个大规模的逼真的领域随机化的合成数据集，在混乱的桌面场景，使直接转移到现实世界中的抓。我们在合成和真实世界环境中的广泛实验表明，我们的方法在所有实验中的性能都显着优于所有基线，同时保持实时性。项目页面可以在https://pku-epic.github.io/GraspNeRF上找到
2023-03-15 cs.CV cs.RO
Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；KEENON Robotics Co., Ltd.（科语机器人有限公司）；Suzhou Silicon Era Intelligent Technology Co., Ltd.（苏州硅时代智能科技有限公司）；College of Materials, Xiamen University（厦门大学材料学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；ByteDance（字节跳动）；State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院通用人工智能国家重点实验室）；Hubei Automation Institute（湖北省自动化研究所）
本文提出AdaRoboVLG框架，通过解耦物理抓取合成与任务依赖理解，结合可组合基础先验实现自适应通用抓取，在仿真与真实实验中展现出高效学习、跨机械臂泛化及应对复杂环境的能力。
2026-10-01 cs.AI cs.CV cs.RO
Generalizable task-oriented object grasping through LLM-guided ontology and similarity-based planning
Graduate School of Engineering Science, The University of Osaka（大阪大学工学研究科）
本文提出基于LLM的本体和相似性规划方法，解决任务导向抓取中部分识别和抓取区域选择的稳定性问题，提升抓取的通用性和鲁棒性。
2026-03-27 cs.RO
FoundationGrasp: Generalizable Task-Oriented Grasping with Foundation Models
Southern University of Science and Technology（南方科技大学）；Georgia Institute of Technology（佐治亚理工学院）
针对现有任务导向抓取方法闭集先验导致泛化性不足的问题，提出基于基础模型的FoundationGrasp框架，利用开放式知识提升泛化能力，在自建数据集和真实7自由度机械臂实验中均验证了其优越性。
2024-10-08 cs.RO
SpaceDex: Generalizable Dexterous Grasping in Tiered Workspaces
Sun Yat-sen University（中山大学）；Stellarobot Company（Stellarobot公司）
SpaceDex提出了一种分层框架，通过视觉-语言模型规划和臂手特征分离网络，提升在受限3D环境中的灵巧抓取性能，实现在100次真实测试中达到63%的成功率。
2026-04-20 cs.RO
Hierarchical Policies for Cluttered-Scene Grasping with Latent Plans
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
杂乱场景中的6D抓取是机器人操作中的一个长期问题。开环操作流水线可能由于不准确的状态估计而失败，而大多数端到端抓取方法尚未扩展到具有障碍物的复杂场景。在这项工作中，我们提出了一种新的方法，用于在杂乱场景中进行6D抓取的端到端学习。我们的分层框架学习无碰撞目标驱动的抓持部分点云观测的基础上。我们学习了一个嵌入空间，在训练过程中编码专家抓取计划和一个变分自编码器，在测试时采样不同的抓取轨迹。此外，我们训练一个批评网络的计划选择和选项分类器切换到一个实例抓取策略，通过分层强化学习。我们评估我们的方法，并在模拟中与几个基线进行比较，以及证明我们的潜在规划可以推广到现实世界的混乱场景抓取任务。我们的视频和代码可以在https://sites.google.com/view/latent-grasping上找到。
2022-01-11 cs.RO
GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出GraspFoM框架，利用3D基础先验（SAM3D）构建共享3D物体潜变量，联合优化重建与抓取姿态预测，通过锚点初始化的截断姿态推理扩散器生成连续多模态抓取，实现高保真重建与最优抓取。
2026-06-07 cs.CV cs.RO
GraspMolmo: Generalizable Task-Oriented Grasping via Large-Scale Synthetic Data Generation
Allen Institute for AI（Allen人工智能研究所）；Boston University（波士顿大学）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出GraspMolmo，一个基于大规模合成数据集PRISM微调Molmo视觉语言模型的开放词汇任务导向抓取模型，在真实世界复杂任务中达到70%成功率并支持零样本双手抓取。
2025-09-12 cs.RO
OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback
School of Computer Science and Engineering, Sun Yat-sen University, China（计算机科学与工程学院，中山大学）
针对现有灵巧抓取泛化性差的问题，提出OmniDexGrasp框架，结合基础模型生成人类抓取图像、迁移策略及力反馈自适应抓取，实现多样用户提示、灵巧手和任务的通用抓取，并在仿真和真实机器人上验证了有效性。
2025-10-27 cs.RO
QuadWBG: Generalizable Quadrupedal Whole-Body Grasping
Peking University（北京大学）；Galbot；University of Toronto（多伦多大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
针对足式机器人运动与操作能力难无缝集成的问题，提出QuadWBG模块化框架，结合强化学习与GORM指标，实现89%的现实世界一次性抓取准确率，可覆盖大工作空间并执行多样全身操作任务。
2025-01-13 cs.AI cs.LG cs.RO
ASGrasp: Generalizable Transparent Object Reconstruction and 6-DoF Grasp Detection from RGB-D Active Stereo Camera
Samsung R&D Institute China-Beijing（三星中国北京研发中心）；CFCS, School of Computer Science, Peking University（计算机科学系，北京大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
ASGrasp提出一种基于RGB-D主动立体相机的6自由度抓取检测网络，通过两层立体网络重建透明物体几何，在杂乱环境中实现超过90%的泛化抓取成功率，优于现有方法。
2025-05-24 cs.CV cs.RO
Uni-PNP: Unified Prehensile and Non-prehensile Policy Learning for Generalizable Object Pose Reaching
Peking University（北京大学）；Galbot；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Tsinghua University（清华大学）
Uni-PNP是一种统一策略，通过预训练几何编码器和两阶段强化学习，实现跨物体与夹具的抓持及非抓持操纵，在物体位姿到达任务上优于基准，且可迁移至真实场景。
2026-10-16 cs.RO
Self-Supervised Learning of Grasping Arbitrary Objects On-the-Move
Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Osaka University（大阪大学）
本研究提出一种基于自监督学习的移动抓取方法，通过动作原语化和两阶段学习训练FCN模型预测抓取与移动参数，实现了高准确率和强泛化能力的移动抓取。
2024-11-15 cs.LG cs.RO
LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning
Department of Translational Surgical Oncology, NCT/UCC Dresden（转化外科肿瘤学系）；Cluster of Excellence-CeTI, TUD, Germany（卓越中心-CeTI）；Department of Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD, Germany（visceral、胸腔和血管外科系）
LAR-MoE通过潜在对齐路由在机器人模仿学习中实现无监督的专家混合，提升任务适应性和效率。
2026-03-09 cs.RO
Transferring Grasping Skills to Novel Instances by Latent Space Non-Rigid Registration
University of Bonn（波恩大学）
在开放环境中工作的机器人需要能够处理新的物体。基于观察到，在一个类别中的对象往往是相似的形状和用途，我们提出了一种方法，从已知的情况下，一个对象类别的新的情况下，转移把握技能。实例之间的对应关系是通过一个非刚性的注册方法，结合相干点漂移的方法与子空间方法。已知对象实例使用规范形状和使其变形以匹配实例形状的变换来建模。这些变形的变化主轴定义了一个低维的潜在空间。新的实例可以在这个形状空间中通过内插和外推生成。为了推断未知实例的形状参数，用潜变量表示的能量函数被最小化。由于对象的类级知识，我们的方法能够从部分视图完成新的形状。通过估计的非刚性变换，有效地将用于产生抓取运动的控制位姿转移到新的实例。
2018-09-14 cs.RO
Transferring Category-based Functional Grasping Skills by Latent Space Non-Rigid Registration
University of Bonn（波恩大学）
一个类别中的对象通常在形状和用途上相似。当我们-作为人类--在本文中，我们提出了一种新的方法来转移掌握技能，积累掌握知识到一个类别级的规范模型。抓住运动的新的类别的实例推断从所观察到的实例和规范的形状之间的几何变形。形状之间的对应关系是通过一个非刚性的注册方法，结合相干点漂移的方法与子空间方法。通过将类别级信息纳入注册，我们避免了不太可能的形状，并专注于在类别中实际观察到的变形。用于生成抓取运动的控制姿态从已知对象的抓取定义累积在规范模型中。根据估计的形状参数的一个新的实例，控制姿势向it. The类别级别的模型，使我们的方法特别相关的在线抓取，完全观察到的对象是不容易获得。这是通过实验证明，其中对象与闭塞处理成功把握。
2018-09-14 cs.RO
Grammarization-Based Grasping with Deep Multi-Autoencoder Latent Space Exploration by Reinforcement Learning Agent
Technical University of Munich（慕尼黑工业大学）
本文提出利用三个自编码器将目标与夹爪特征压缩到共同潜在空间，并结合 PoWER 算法让强化学习智能体在潜在空间中探索高质量抓取，在仿真中适应能力提升超过 35%。
2024-11-19 cs.LG cs.RO
Spatial RoboGrasp: Generalized Robotic Grasping Control Policy
Stanford University（斯坦福大学）；Peking University（北京大学）；ZhiCheng AI（智城AI）
针对机器人抓取在多变环境下泛化难的问题，提出融合多模态感知与扩散策略的统一框架，实现空间感知与动作规划，显著提升抓取和任务成功率。
2025-05-27 cs.CV cs.RO
UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy
Peking University（北京大学）；Beijing Institute for General AI（北京通用人工智能研究院）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）
在这项工作中，我们解决的问题，学习通用机器人灵巧把握从点云观察下的桌面设置。我们的目标是以高质量和多样化的方式抓住和举起物体，并概括数百个类别，甚至是看不见的。受并行夹持器抓取中成功使用的管道的启发，我们将任务分为两个阶段：1）抓取建议（姿势）生成和2）目标条件抓取执行。对于第一阶段，我们提出了一种新的概率模型的把握姿势条件的点云观察，因式分解旋转平移和关节。在第二阶段，针对灵巧抓取过程的复杂性，提出了一种基于目标约束的抓取策略，以取代传统的并联机器人抓取中的运动规划.请注意，学习这种高度概括的抓取策略是非常具有挑战性的，它只接受现实的输入，而不接受oracle状态。因此，我们提出了几个重要的创新，包括国家规范化，目标课程，师生蒸馏。集成这两个阶段，我们的最终管道成为第一个实现灵巧抓取通用泛化的管道，在数千个对象实例上的平均成功率超过60%，显著优于所有基线，同时仅显示最小的泛化差距。
2023-03-25 cs.CV cs.RO
HERO: Learning Humanoid End-Effector Control for Visual Whole-Body Open-Vocabulary Object Grasping
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出HERO方法，通过结合大视觉模型和模拟训练，实现了视觉全身体对象抓取任务中末端执行器的高精度控制和场景理解，显著提升了抓取精度和泛化能力。
2026-10-15 cs.CV cs.RO
LARY: A Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment
Meituan（美团）
本文提出LARY基准，通过大规模人类视频数据评估潜在动作表示，发现通用视觉模型在动作控制上优于专用模型，且潜在空间比像素空间更符合物理动作空间。
2026-04-13 cs.CV cs.RO
HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching
Imperial College London（帝国理工学院）；Inria, CNRS, ENS-PSL（法国国家信息与自动化研究所，法国国家科学研究中心，巴黎高等师范学院）
本文提出HO-Flow框架，通过结合变分自编码器和流匹配模型，实现从文本和标准3D物体生成逼真手-物体交互运动序列，提升物理合理性和运动多样性。
2026-04-12 cs.CV cs.RO
NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；St. Mark’s School of Texas（德克萨斯圣马克学校）
我们引入了一个神经隐式表示从多个机器人手的物体的把握。多个机器人手的不同抓握被编码到共享的潜在空间中。每个隐向量被学习以根据两个3D形状的带符号距离函数解码为对象的3D形状和处于抓取姿势的机器人手的3D形状。此外，学习潜在空间中的距离度量以保持不同机器人手之间的抓握之间的相似性，其中抓握的相似性根据机器人手的接触区域来定义。这个属性使我们的方法，以转移掌握不同的抓手，包括人手之间，掌握转移有可能分享机器人之间的抓取技能，使机器人学习掌握技能从人类。此外，在我们的隐式表示中的物体和抓握的编码的有符号距离函数可以用于6D物体姿态估计，并从部分点云进行抓握接触优化，这使得机器人能够在现实世界中进行抓握。
2022-07-06 cs.AI cs.CV cs.LG
Learning to Grasp Anything by Playing with Random Toys
University of California, Berkeley（加州大学伯克利分校）；Sapienza University of Rome（罗马大学）；ItalAI；Panasonic（松下）
本文通过随机组装的简单玩具训练机器人，使其具备泛化抓取能力，采用对象中心视觉表示实现零样本性能，实现在YCB数据集上的67%抓取成功率。
2026-04-05 cs.CV cs.RO
GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）
本文提出GAT-Grasp框架，通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识，实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
Efficient Intrinsically Motivated Robotic Grasping with Learning-Adaptive Imagination in Latent Space
University of Hamburg（汉堡大学）；Knowledge Technology, Department of Informatics（知识技术与信息学系）
结合基于模型和无模型的深度强化学习，在提高复杂控制任务的样本效率的同时仍保持高性能方面表现出了巨大的潜力。想象力是最近在这个方向上的努力，受到人类对运动行为的心理模拟的启发。我们提出了一种学习自适应的想象力的方法，与以往的方法不同，它考虑到了用于想象未来的学习动力学模型的可靠性。我们的方法在潜在空间中学习不相交的局部动力学模型的集合，并根据学习进度获得内在奖励，激励控制器采取行动，从而获得改进模型的数据。学习的模型用于生成想象的体验，增强真实体验的训练集。我们评估了我们的方法学习基于视觉的机器人抓取，并表明它显着提高了样本效率，并在稀疏奖励环境中达到接近最佳的性能。
2019-10-10 cs.AI cs.LG cs.RO
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai AI Lab（上海人工智能实验室）
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下，仅仅是一个单一的对象实例上的抓取姿势示范？在本文中，我们试图通过使用USEEK来解决这个有趣的挑战，USEEK是一种无监督的SE（3）-等变关键点方法，可以在类别中的实例之间进行对齐，以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE（3）-等变关键点检测。有了USEEK，机器人可以以有效和可解释的方式推断类别级任务相关的对象框架，从而能够从任何姿势操纵任何类别内对象。通过大量的实验，我们证明了USEEK产生的关键点具有丰富的语义，从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比，USEEK是更自适应的，在面对大的类别内的形状变化，更强大的有限的演示，更有效的推理时间。
2023-02-17 cs.CV cs.RO
NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Qiyuan Lab（启元实验室）
NeuGrasp提出一种利用背景先验的神经表面重建方法，通过集成transformers和全局先验体聚合多视图特征，解决透明和镜面物体的材料无关抓取检测问题，并在实验中超越现有方法。
2025-03-05 cs.AI cs.RO
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
University of Liverpool（利物浦大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Zurich University of Applied Science（苏黎世应用科学大学）；Indian Institute of Science（印度科学研究所）；University of Information Technology（信息技术大学）；The University of Tokyo（东京大学）
针对现有抓取基准未涵盖复杂多步推理和语义理解任务的问题，提出GCA-Bench基准，实现多种基线方法并进行实证研究，给出新评估指标等，为开发更强大通用的抓取策略提供指导。
2026-07-17 cs.AI cs.RO
AdaGrasp: Learning an Adaptive Gripper-Aware Grasping Policy
Columbia University（哥伦比亚大学）
本文旨在通过允许机器人使用各种各样的末端执行器工具并快速适应新工具来提高机器人的通用性和适应性。我们提出了AdaGrasp，一种学习单一抓取策略的方法，该方法可以推广到新的抓取器。通过训练大量的抓手，我们的算法能够获得如何在各种任务中使用不同的抓手的可推广的知识。给定对场景和夹具的视觉观察，AdaGrasp通过计算夹具和场景的形状编码之间的交叉卷积来推断可能的抓取姿势及其抓取分数。直观地，该交叉卷积操作可以被认为是在不同的抓取姿势（即，平移和定向），其中3D几何形状的良好“匹配”将导致成功的抓握。我们在模拟和现实环境中验证了我们的方法。我们的实验表明，AdaGrasp显着优于现有的多抓手抓取策略方法，特别是在处理杂乱的环境和部分观测。视频可在https://youtu.be/kknTYTbORfs上获得
2021-03-14 cs.RO
Towards Space-Based Environmentally-Adaptive Grasping
Technical University of Munich, Department of Aerospace and Geodesy（慕尼黑技术大学航空航天与大地测量系）；Project-S
本文提出了一种在空间环境中实现自适应抓取的方法，通过学习潜在流形中的控制策略，提高了任务成功率和环境鲁棒性。
2026-01-29 cs.RO
Planning in Learned Latent Action Spaces for Generalizable Legged Locomotion
FAIR；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
分层学习已经成功地在步行机器人上以样本有效的方式学习可推广的运动技能。然而，用于在层次结构的两个层之间进行通信的低维“潜在”动作通常是用户设计的。在这项工作中，我们提出了一个完全学习的分层框架，这是能够共同学习的低级别控制器和高级别的潜在动作空间。一旦这个潜在的空间是学习，我们计划在连续的潜在行动在模型预测控制的方式，使用学习的高级动态模型。这个框架推广到多个机器人，我们目前的结果菊花六足模拟，A1四足模拟，菊花机器人硬件。我们比较了一系列从文献中学习的分层方法，并表明我们的框架在多个任务和两个模拟上优于基线。除了学习方法，我们还比较了逆运动学（IK）作用于所需的机器人运动，并表明我们完全学习的框架在A1和Daisy模拟的不利设置中优于IK。在硬件上，我们展示了Daisy hexapod在非结构化的户外环境中实现多个运动任务，只有2000个硬件样本，加强了我们方法的鲁棒性和样本效率。
2021-03-18 cs.RO
Physics-Guided Hierarchical Reward Mechanism for Learning-Based Robotic Grasping
Colorado School of Mines（科罗拉多矿业学院）；GAC R&D Center Silicon Valley（广汽硅谷研发中心）
本文提出带分层奖励机制的物理引导深度强化学习方法，利用物理信息指标和任务优先级提升多指机器人自主抓取的学习效率与泛化能力，并在三指 MICO 机械臂上验证其优于标准 DRL。
2023-07-23 cs.AI cs.RO
StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation
State Key Laboratory of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Shanghai Innovation Institute（上海创新研究院）；Nanjing University（南京大学）；HKUST（香港科技大学）；Ant Group（蚂蚁集团）
本文提出StaMo方法，通过轻量编码器和预训练扩散变换器解码器学习高效紧凑状态表示，提升机器人运动性能，并发现通过潜在插值获得的token差异可作为有效潜动作，增强策略协同训练。
2026-04-12 cs.CV cs.RO
Towards Learning Generalizable Driving Policies from Restricted Latent Representations
University of Central Florida（中佛罗里达大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
在过去的几十年里，训练能够在各种城市和高速公路场景中自主驾驶的智能代理一直是机器人社会的热门话题。然而，驾驶环境在道路拓扑结构和相邻车辆的定位方面的多样性使得该问题非常具有挑战性。不言而喻，尽管针对自动驾驶的特定驾驶政策很有前途，可以提高运输安全和效率，但它们显然不是一个通用的可扩展解决方案。相反，我们寻求决策方案和驱动政策，可以推广到新的和看不见的环境。在这项工作中，我们利用了人类驾驶员学习其周围环境的抽象表示的关键思想，这些抽象表示在各种驾驶场景和环境中非常相似。通过这些表示，人类驾驶员能够快速适应新的环境，并在看不见的条件下驾驶。形式上，通过施加一个信息瓶颈，我们提取了一个潜在的表示，最大限度地减少了\textit{distance} -一个量化，我们引入来衡量不同的驾驶配置之间的相似性-驾驶场景之间。然后，该潜在空间被用作Q学习模块的输入，以学习可推广的驾驶策略。我们的实验表明，使用这种潜在表示可以将崩溃的数量减少到大约一半。
2022-04-04 cs.RO
Fast Generative Grasping via Lie Group-Constrained MeanFlow
Purdue University（普渡大学）
该研究提出基于李群约束MeanFlow的快速生成式抓取方法，可在≤5次网络评估内采样可靠抓取，在ACRONYM数据集上性能与SOTA模型相当，推理延迟达毫秒级，且无需额外训练即可迁移到真实机器人抓取。
2026-08-27 cs.RO
Towards Affordance-Aware Robotic Dexterous Grasping with Human-like Priors
针对现有灵巧抓取方法忽视可及性定位与类人姿态的问题，提出两阶段训练的AffordDex框架，通过类人运动先验、残差适配、NAA模块及特权蒸馏实现通用抓取，实验表明其在多场景下显著优于基线。
2025-11-11 cs.RO
GRIP: A General Robotic Incremental Potential Contact Simulation Dataset for Unified Deformable-Rigid Coupled Grasping
AIVC Laboratory, UCLA, USA（UCLA美国大学先进视觉计算实验室）；Toyota Research Institute, USA（美国丰田研究院）；University of Utah, USA（美国犹他大学）
本文提出GRIP数据集，利用优化的IPC仿真器实现最高48倍加速，在1200个物体和10万个抓取姿态上自动生成柔顺夹爪与可变形物体的抓取交互数据，支持神经抓取生成与应力场预测。
2025-07-03 cs.GR cs.RO
CenterGrasp: Object-Aware Implicit Representation Learning for Simultaneous Shape Reconstruction and 6-DoF Grasp Estimation
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
CenterGrasp提出对象感知隐式表示学习框架，通过RGB-D编码器检测物体并推断位姿与潜在编码，结合解码器同时重建形状和估计6-DoF抓取，在重建精度和抓取成功率上显著优于现有方法。
2024-04-05 cs.CV cs.RO
Transferring Contact, Not Just Motion: Compliant Grasping Across Dexterous Hands
University of California San Diego（加州大学圣迭戈分校）
提出跨本体力-位置接口，通过校准力矩和指尖力实现异构灵巧手间的接触感知抓取，结合流匹配视觉运动策略和混合力位控制器，实现可迁移的柔顺抓取。
2026-06-19 cs.RO
Phy-Tac: Toward Human-Like Grasping via Physics-Conditioned Tactile Goals
Department of Mechanical Engineering, The Hong Kong Polytechnic University (PolyU)（香港理工大学机械工程系）；Research Institute for Smart Ageing (RISA), PolyU（PolyU智能老龄化研究所以）；Ningbo Institute of Digital Twin, Eastern Institute of Technology (EIT)（宁波数字孪生研究所，东部技术研究所）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
提出物理条件触觉方法Phy-Tac，通过位姿选择、隐扩散模型预测触觉目标与LQR控制实现力最优稳定抓取，在稳定性和力效率上优于基线，实现类人自适应操作。
2025-11-03 cs.RO
Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration
University of Bonn（波恩大学）
提出一种基于非刚性抓取位姿配准的强化学习方法，通过单次演示和多指机械手抓取配置泛化引导策略搜索，使机器人能解决复杂工具使用任务并泛化到未见工具。
2023-08-01 cs.LG cs.RO
Grasp-Then-Plan with Failure Attribution: A Closed Two-Stage Framework for Precise and Generalizable Robotic Manipulation
School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院）
提出GTP-FA框架，通过任务导向的两阶段抓取-规划流程和失败归因模型，在抓取和规划模块中分别注入任务先验和风险惩罚以及针对高风险初始状态进行数据收集和微调，显著提升机器人操作任务的成功率。
2026-10-28 cs.AI cs.RO
Semi-supervised Grasp Detection by Representation Learning in a Vector Quantized Latent Space
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）
机器人要完成复杂的操作任务，必须具有良好的抓取能力。然而，视觉为基础的机器人把握检测阻碍了足够的标记数据的不可用性。此外，半监督学习技术在抓取检测中的应用还有待进一步研究。本文提出了一种基于半监督学习的抓取检测方法，该方法采用矢量量化变分自编码器（VQ-VAE）对离散的潜在空间进行建模。据我们所知，这是第一次变分自编码器（VAE）已被应用于机器人抓取检测领域。VAE帮助模型在Cornell抓取数据集（CGD）之外进行推广，尽管通过利用未标记的数据，标记的数据量有限。这一声明已通过在图像上测试模型得到验证，而图像在CGD中不可用。与此同时，我们用VQ-VAE模型中使用的解码器结构增强了生成抓取卷积神经网络（GGCNN）架构，直觉上它应该有助于在矢量量化的潜在空间中回归。随后，该模型的性能显着优于现有的方法，不使用未标记的图像，以提高把握。
2020-01-30 cs.LG cs.RO stat.ML
T(R,O) Grasp: Efficient Graph Diffusion of Robot-Object Spatial Transformation for Cross-Embodiment Dexterous Grasping
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；RoboScience；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
本文提出T(R,O) Grasp，一种基于图扩散的框架，通过统一表示机器人手与物体空间变换，实现跨具身高效灵巧抓取，成功率94.83%，推理速度0.21秒，支持闭环操作。
2025-10-14 cs.RO
TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation
SSE, CUHKSZ（CUHKSZ系统科学系）；FNii, CUHKSZ（CUHKSZ功能神经信息研究所）
本文构建含100,856个对齐语言指令的第一视角手-物交互视频数据集 TASTE-Rob，并结合VDM微调和三阶段手部姿势精修流程，提升面向机器人模仿学习的可泛化操作视频生成质量。
2025-06-06 cs.CV cs.RO
Learning Cross-hand Policies for High-DOF Reaching and Grasping
National University of Defense Technology（国防科技大学）；Shenzhen University（深圳大学）；Hunan University（湖南大学）
本文提出一种两阶段统一策略学习方法，通过夹爪无关的关键点位移预测与夹爪特定的关节控制适应，结合transformer网络实现抓取策略在不同灵巧夹爪间的迁移，显著优于基线方法。
2025-02-02 cs.GR cs.RO
OpenDexGrasp: Open-vocabulary Task-Oriented Dexterous Grasping
PrimeBot
本文提出OpenDexGrasp框架，通过双源监督和共享潜在表示，实现从开放词汇语言指令直接生成任务一致的灵巧抓取，提升功能对齐与真实世界执行成功率。
2026-11-11 cs.RO
ZeroDexGrasp: Zero-Shot Task-Oriented Dexterous Grasp Synthesis with Prompt-Based Multi-Stage Semantic Reasoning
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
针对现有任务导向灵巧抓取方法依赖标注数据、泛化性差的问题，提出ZeroDexGrasp框架，通过提示式多阶段语义推理与接触引导优化实现零样本高质量灵巧抓取。
2025-11-17 cs.RO
ORACLE-Grasp: Zero-Shot Affordance-Aligned Robotic Grasping using Large Multimodal Models
ORACLE-Grasp 利用大多模态模型实现零样本抓取，通过语义对齐提升抓取准确性与效率。
2026-02-15 cs.RO
Autonomous Image-to-Grasp Robotic Suturing Using Reliability-Driven Suture Thread Reconstruction
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出基于二次规划优化的缝线重建算法和最大化抓取成功概率的抓取策略，构建图像到抓取全流程，并通过400余次试验验证其在自主机器人缝合中的最先进精度与可推广性。
2024-08-29 cs.RO
Dexterous grasp data augmentation based on grasp synthesis with fingertip workspace cloud and contact-aware sampling
The Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo（机械信息学系，信息科学与技术研究生院，东京大学）
本文提出基于远程操作的框架，通过FSG生成抓取姿态数据，结合AutoWS自动生成指尖工作空间云，提升抓取数据生成效率与鲁棒性。
2026-03-17 cs.RO
Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
针对机器人基础模型在视觉分布偏移下因视觉-动作捷径而泛化失败的问题，提出两阶段潜在接口训练（LIT），通过姿态监督约束视觉条件化，在多种架构上显著提升LIBERO-Plus及真实世界任务成功率。
2026-09-14 cs.RO
