GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）
本文提出GAT-Grasp框架，通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识，实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation
Xiaomi EV（小米电动车）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
针对现有视觉语言模型难以推断物理交互可执行位置的问题，本文构建生成式AI增强的多模态可供性数据集RoboAfford++及配套评估基准，实验证明该数据集可有效提升模型的可供性推理能力。
2025-11-16 cs.RO
AffordanceGrasp-R1:Leveraging Reasoning-Based Affordance Segmentation with Reinforcement Learning for Robotic Grasping
AffordanceGrasp-R1 通过结合推理和强化学习，提升机器人抓取任务中的推理能力和空间定位，实验表明其在基准和现实场景中均表现优异。
2026-02-03 cs.CV cs.RO
ManipVQA: Injecting Robotic Affordance and Physically Grounded Information into Multi-Modal Large Language Models
Shanghai AI Laboratory（上海人工智能实验室）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；MMLab, CUHK（香港中文大学MMLab）；UCAS（中国科学院大学）；TUM（慕尼黑工业大学）
针对多模态大语言模型在机器人操作中缺乏可供性与物理概念理解的问题，提出ManipVQA框架，通过统一的VQA格式与微调策略注入机器人特定知识，在保留视觉推理能力的同时提升了操作任务表现。
2024-08-22 cs.RO
Cross-Embodiment Affordance Transfer for Robotic Manipulation
Radboud University（拉德堡德大学）；School of Artificial Intelligence（人工智能学院）；Donders Centre for Cognition（东德斯认知中心）
该研究针对机器人操作中人工 affordance 标注与机器人物理约束不匹配的问题，提出跨 embodiments affordance 迁移框架，结合机器人信息训练模型，在 UR5e 机械臂上的家庭物体数据集上取得优于无机器人信息模型的性能。
2026-10-14 cs.RO
AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation
Nanyang Technological University（南洋理工大学）
针对静态 affordance 导致的机器人操纵轨迹漂移问题，提出 AffordTrajDP 动态框架，以物体为中心传播锚点 affordance 生成轨迹，在 ManiSkill3 上成功率达70.0%，现实实验验证其鲁棒性与组件有效性。
2026-09-01 cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro（阿威罗大学电子与电信研究所）；University of Groningen（格罗宁根大学）
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人，由于需要准确和实时的响应，物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法，同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献，因为无论用于批量学习的训练数据有多广泛，机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置（即，末端执行器位置和方向）来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验，以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度，可扩展性和把握成功率的性能。
2019-04-04 cs.RO
SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；Uni Bonn（波恩大学）
针对家庭机器人功能性元素交互难题，提出SpotLight框架，利用VLM预测可供性实现开关操作，真实实验成功率84%，并引入数据集和检测模型，可扩展至其他交互。
2024-09-18 cs.RO
RelAfford6D: Relational 6D Affordance Graphs for Constraint-Driven Robotic Manipulation
School of Computer Science, Shanghai Jiaotong University（上海交通大学计算机科学学院）
提出RelAfford6D框架，通过构建关系型6D可操作图将语义指令转化为SE(3)位姿约束，并利用运动学约束求解实现零样本操作，在仿真和真实环境中优于数据驱动方法。
2026-06-26 cs.RO
Learning Instruction-Guided Manipulation Affordance via Large Models for Embodied Robotic Tasks
Shandong University（山东大学）；Meituan（美团）
针对语言指令无法动态改变操作区域的问题，提出IGANet利用预训练视觉语言编码器预测指令引导的可供性图，结合VLMs数据增强与LLMs执行动作，在真实实验中表现更优且泛化能力更强。
2024-08-20 cs.RO
O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
University of Virginia（弗吉尼亚大学）
提出一次性三维物体到物体可供性定位方法O$^3$Afford，结合视觉基础模型语义特征与点云几何表示，并集成大语言模型，显著提升机器人操作的准确性和泛化能力。
2025-09-07 cs.CV cs.RO
GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation
HKUST (GZ)（香港科技大学）
该研究构建含50万图像的HOVA-500K可供性数据集与基准，并提出全局到局部的GLOVER++框架，实现人类演示知识向开放词汇推理和机器人操作任务的有效迁移。
2025-05-17 cs.CV cs.RO
More than A Point: Capturing Uncertainty with Adaptive Affordance Heatmaps for Spatial Grounding in Robotic Tasks
Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）；Noah’s Ark Lab, Huawei, China（华为诺亚实验室）
针对语言引导机器人系统中空间推理离散化导致的脆弱性，提出RoboMAP框架，以自适应可供性热图表示空间目标，捕获不确定性，提升任务成功率与可解释性，并在基准测试和真实操作中表现优异。
2025-10-15 cs.RO
Towards Affordance-Aware Robotic Dexterous Grasping with Human-like Priors
针对现有灵巧抓取方法忽视可及性定位与类人姿态的问题，提出两阶段训练的AffordDex框架，通过类人运动先验、残差适配、NAA模块及特权蒸馏实现通用抓取，实验表明其在多场景下显著优于基线。
2025-11-11 cs.RO
PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation
University of Pennsylvania（宾夕法尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）
PALM通过具身理由推理和子任务进展线索，改进长horizon机器人操作的策略学习，实现91.8%的成功率和更长的任务长度。
2026-04-04 cs.RO
Recent Advances of Deep Robotic Affordance Learning: A Reinforcement Learning Perspective
School of Engineering, Cardiff University（卡迪夫大学工程学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
该综述从强化学习视角梳理深度机器人可供性学习的最新进展，分类讨论技术细节与局限，总结多方面未来挑战，并提出纳入任意动作后果预测的发展方向。
2023-03-10 cs.AI cs.RO
RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
University of Southern California（南加州大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
本文提出 RAM 框架，通过从多源演示构建可供性记忆并分层检索、将域外2D可供性零样本迁移为域内3D可执行可供性，实现跨物体、环境和具身形态的机器人操作泛化。
2024-07-05 cs.CV cs.RO
arg-VU: Affordance Reasoning with Physics-Aware 3D Geometry for Visual Understanding in Robotic Surgery
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Stanford University（斯坦福大学）
arg-VU通过整合时间一致的几何跟踪与约束诱导的机械建模，提升手术场景中变形组织的意图推理能力，实现更稳定和物理一致的预测。
2026-03-26 cs.CV cs.RO
UAD: Unsupervised Affordance Distillation for Generalization in Robotic Manipulation
Stanford University（斯坦福大学）
针对机器人操作中现有视觉可用性预测依赖人工标注或预定义任务的问题，提出无监督可用性蒸馏方法UAD，利用基础模型自动生成标注数据训练模型，提升对野外场景、未知物体及指令的泛化能力。
2025-08-25 cs.AI cs.CV cs.RO
Learning Precise Affordances from Egocentric Videos for Robotic Manipulation
University of Edinburgh（爱丁堡大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出一个完整的可供性学习系统，利用第一人称视频自动生成精确标注，结合几何信息与视觉基础模型提升泛化能力，并构建支持工具抓取与交接的机器人操作框架，在mIoU上超越SOTA 13.8%，179次试验中成功率达77.1%。
2025-09-15 cs.CV cs.RO
Information-driven Affordance Discovery for Efficient Robotic Manipulation
Qualcomm AI Research（高通人工智能研究）；Ghent University（根特大学）
本文提出信息驱动的可供性发现方法 IDA，通过基于信息的度量引导智能体与环境定向交互，在仿真和真实机器人上以少量交互高效学习抓取、堆叠、开抽屉等视觉可供性，显著提升数据效率。
2024-05-06 cs.AI cs.CV cs.LG
Contrastively Learning Visual Attention as Affordance Cues from Demonstrations for Robotic Grasping
School of CS & AI, Arizona State University（亚利桑那州立大学计算机科学与人工智能学院）
传统的作品，学习掌握示能表示从示范需要明确地预测把握配置，如抓手接近角度或把握预形。然后，经典的运动规划器可以通过使用这种预测的配置来采样轨迹。在这项工作中，我们的目标是通过将这两个目标整合到基于深度神经网络的端到端模仿学习框架中，来填补启示发现和基于启示的政策学习之间的差距。从心理学的角度来看，注意力和示能性之间有着密切的联系。因此，与端到端的神经网络，我们建议学习启示线索作为视觉注意，作为一个有用的指示信号，演示如何完成任务，而不是明确建模启示。为了实现这一点，我们提出了一个对比学习框架，包括一个暹罗编码器和一个轨迹解码器。我们进一步引入了一个耦合的三重损失，以鼓励发现的启示线索，以更实惠的相关性。我们的实验结果表明，我们的模型与耦合三重损失实现了最高的抓取成功率在模拟机器人环境。我们的项目网站可以访问www.example.com。
2021-08-14 cs.AI cs.LG cs.RO
Language-Conditioned Affordance-Pose Detection in 3D Point Clouds
FPT Software AI Center（FPT软件人工智能中心）；TU Wien（维也纳工业大学）；Imperial College London（帝国理工学院）；University of Arkansas（阿肯色大学）；Ton Duc Thang University（孙德胜大学）；University of Science, Vietnam（越南科学大学）；University of Liverpool（利物浦大学）
本文提出一种在三维点云中进行语言条件可供性-姿态联合学习的新方法，结合开放词汇可供性检测与语言引导扩散模型生成6-DoF姿态，并构建了高质量数据集，在开放词汇可供性任务上大幅超越现有基线。
2023-09-19 cs.RO
Agent-Exploitation Affordances: From Basic to Complex Representation Patterns
LAAS-CNRS, Université de Toulouse, CNRS, Toulouse, France（LAAS-CNRS、图卢兹大学、CNRS、图卢兹、法国）
研究社会机器人领域中智能体的合作可供性概念，提出易于处理的本体表示，通过组合基本模式描绘多样场景，展现此表示的有效性，助力人工智能体理解与环境交互及拓展行动可能。
2026-07-09 cs.RO
UniAff: A Unified Representation of Affordances for Tool Usage and Articulation with Vision-Language Models
Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；Rutgers University（罗格斯大学）；Hefei University of Technology（合肥工业大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出UniAff统一范式，通过构建包含900个关节体和600个工具的数据集，并利用多模态大语言模型推断物体中心的三维运动约束与可供性，显著提升了机器人对工具和关节体操作的泛化能力。
2025-02-07 cs.RO
AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection
Australian Centre for Robotic Vision (ACRV), University of Adelaide（澳大利亚机器人视觉中心（ACRV）、阿德莱德大学）；IIT（意大利理工学院）
我们提出了AffordanceNet，这是一种新的深度学习方法，可以从RGB图像中同时检测多个对象及其启示。我们的AffordanceNet有两个分支：一个目标检测分支，用于对对象进行定位和分类;一个示能表示检测分支，用于将对象中的每个像素分配给其最可能的示能表示标签。所提出的框架采用了三个关键组成部分，有效地处理多类问题的启示面具：一个序列的反卷积层，一个强大的反卷积策略，和一个多任务损失函数。在公共数据集上的实验结果表明，我们的AffordanceNet比最近的最先进的方法有相当大的优势，而其端到端架构允许以每幅图像150 ms的速度进行推理。这使得我们的AffordanceNet非常适合实时机器人应用。此外，我们证明了AffordanceNet在不同的测试环境和实际机器人应用中的有效性。源代码可在https://github.com/nqanh/affordance-net上获得
2018-03-04 cs.CV cs.RO
End-to-End Affordance Learning for Robotic Manipulation
Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
在交互环境中学习操纵三维物体一直是强化学习（RL）中的一个具有挑战性的问题。特别是，很难训练一个策略，可以推广到具有不同语义类别，不同形状几何形状和通用功能的对象。近年来，视觉示能表示技术在为以对象为中心的信息先验提供有效的可操作语义方面显示出了巨大的前景。因此，一个有效的政策可以通过知道如何在把手上施加力量来训练打开一扇门。然而，为了学习启示，它通常需要人类定义的动作原语，这限制了适用任务的范围。在这项研究中，我们利用视觉启示，通过使用RL训练过程中产生的联系信息来预测感兴趣的联系地图。这样的接触预测过程然后导致可以概括不同类型的操纵任务的端到端示能表示学习框架。令人惊讶的是，即使在多阶段和多代理人的情况下，这种框架的有效性。我们测试了我们的方法对八种类型的操作任务。结果表明，我们的方法优于基线算法，包括基于视觉的启示方法和RL方法，在成功率上有很大的优势。演示可以在https://sites.google.com/view/rlafford/上找到。
2022-09-26 cs.AI cs.RO
3D-TAFS: A Training-free Framework for 3D Affordance Segmentation
HKUST（香港科技大学）；NUS（新加坡国立大学）；University of Macau（澳门大学）
针对3D物体交互可行性难题，提出免训练多模态框架3D-TAFS，融合2D与3D视觉及语言理解进行3D可供性分割，并构建大规模基准IndoorAfford-Bench验证了其有效性。
2025-04-05 cs.RO
Contextual Affordances for Safe Exploration in Robotic Scenarios
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Faculty of Engineering, Monash University（莫纳什大学工程学院）
本文提出一种简单状态表示，将情境可供性扩展至更大状态空间，以支持家庭机器人场景中的安全探索与强化学习，并在仿真中验证其对成功率和收敛率的提升。
2024-05-10 cs.AI cs.RO
Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；John Hopcropt Center for Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学中心）
本研究提出可及场干预（AFI）方法，通过引入3D空间可及场提升VLA在机器人操作中对分布变化的鲁棒性。
2025-12-08 cs.LG cs.RO
HRP: Human Affordances for Robotic Pre-Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出利用互联网人类视频提取环境与智能体级可供性标签，预训练并微调视觉表征，在5项真实任务中使3种形态机器人的性能至少提升15%，显著增强了分布外泛化能力。
2024-07-26 cs.CV cs.RO
ORACLE-Grasp: Zero-Shot Affordance-Aligned Robotic Grasping using Large Multimodal Models
ORACLE-Grasp 利用大多模态模型实现零样本抓取，通过语义对齐提升抓取准确性与效率。
2026-02-15 cs.RO
Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies
Bristol Robotics Laboratory, University of Bristol（布里斯托尔机器人实验室，布里斯托尔大学）；University of Bristol（布里斯托尔大学）
本文研究了视觉语言模型在非人形机器人上的语义可及性推理能力，通过混合数据集分析发现模型在不同物体和机器人形态上表现不一，存在保守预测倾向，需结合其他方法以提高性能。
2026-04-21 cs.MA cs.RO
Actron3D: Learning Actionable Neural Functions from Videos for Transferable Robotic Manipulation
ETH Zurich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑技术大学）
Actron3D通过神经可供性函数从少量单目视频中学习可迁移的6自由度操作技能，在仿真和真实世界中平均成功率提升14.9个百分点。
2026-10-20 cs.RO
Grounding Object Relations in Language-Conditioned Robotic Manipulation with Semantic-Spatial Reasoning
Shanghai Qi Zhi Institute（上海期智研究院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
针对机器人无法处理涉及多物体空间关系复杂指令的问题，提出解耦两阶段方案，通过物体中心语义-空间推理器选择相关物体并融合至可供性学习，有效提升了空间相关指令下的操作性能。
2023-03-31 cs.RO
PLATO: Planning with LLMs and Affordances for Tool Manipulation
Carnegie Mellon University（卡内基梅隆大学）
PLATO利用大语言模型智能体模块化架构，无需环境预知识即可处理自然语言指令、预测工具可供性并生成可执行动作，在复杂工具使用任务中展现出灵活性和鲁棒性。
2024-09-17 cs.RO
Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种机器人取放系统，能够抓住和识别已知的和新的对象在杂乱的环境。该系统的关键新功能是，它处理了广泛的对象类别，而不需要任何特定于任务的新对象的训练数据。为了实现这一点，它首先使用类别不可知的启示预测算法来选择和执行四个不同的抓取原始行为。然后，它识别挑选的对象与跨域图像分类框架，匹配观察到的图像产品图像。由于产品图像对于大范围的对象（例如，来自网络），该系统对于新对象开箱即用，而不需要任何附加的训练数据。详尽的实验结果表明，我们的多启示抓取实现了各种各样的对象在混乱的高成功率，我们的识别算法实现了高精度的已知和新的把握对象。该方法是麻省理工学院-普林斯顿团队系统的一部分，该系统在2017年亚马逊机器人挑战赛的装载任务中获得第一名。所有代码、数据集和预训练模型均可在http://arc.cs.princeton.edu上在线获取
2020-05-30 cs.CV cs.RO
AFFORD2ACT: How Far Can Sparse Keypoints Go for Robot Manipulation?
Department of Computer Science, University of Maryland, College Park, MD, USA（马里兰大学计算机科学系，College Park, MD, USA）
本文提出 AFFORD2ACT 框架，通过文本提示和单张图像生成最小化语义 2D 关键点，实现轻量级机器人操作，提升数据效率和泛化能力。
2026-10-22 cs.AI cs.RO
Visual Affordance and Function Understanding: A Survey
University of New South Wales（新南威尔士大学）；Data61-CSIRO（联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
如今，机器人正在主导制造业，娱乐和医疗保健行业。机器人视觉旨在使机器人具有发现信息、理解信息并与环境交互的能力。这些功能需要一个代理，以有效地了解对象的启示和功能，在复杂的视觉领域。在这篇文献综述中，我们首先关注视觉启示，并总结了最新的技术水平以及开放的问题和研究空白。具体来说，我们讨论了子问题，如启示检测，分类，分割和高级推理。此外，我们涵盖功能场景理解和文献中使用的流行功能描述符。该调查还提供了必要的背景问题，揭示了其重要性，并强调了现有的挑战，供能和功能学习。
2018-07-18 cs.CV cs.RO
ReSemAct: Advancing Fine-Grained Robotic Manipulation via Semantic Structuring and Affordance Refinement
Department of Automation, University of Science and Technology of China（自动化系，中国科学技术大学）
ReSemAct 通过语义结构化和效用细化方法，在细粒度机器人操作中实现更精确的效用目标生成与动态环境适应。
2025-12-29 cs.AI cs.CV cs.HC
Affordances from Human Videos as a Versatile Representation for Robotics
CMU（卡内基梅隆大学）；Meta AI
本文提出VRB方法，通过从互联网人类视频中学习视觉可供性模型，估计场景中人类可能的交互位置和方式，并将其无缝集成到离线模仿学习、探索、目标条件学习和强化学习动作参数化四种范式中，在多个真实环境和任务上验证了机器人执行复杂任务的有效性。
2023-04-17 cs.AI cs.CV cs.LG
Learning Grasp Affordance Reasoning through Semantic Relations
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
推理对象启示允许自主智能体执行对象实例之间的一般化操作任务。虽然目前的方法来把握启示估计是有效的，他们仅限于一个单一的假设。我们提出了一种方法，通过视觉输入检测和提取多个把握启示的对象。我们将语义定义为多个属性的组合，这在把握启示预测的概括方面带来了好处。我们使用马尔可夫逻辑网络建立一个知识库图表示，以获得一个对象的把握启示的概率分布。为了收获知识库，我们收集并提供了一个新的数据集，涉及不同的语义属性。我们实现了可靠的映射的预测把握启示的对象通过学习原型把握补丁从几个例子。我们展示了我们的方法的概括能力把握启示预测新的情况下，并与文献中类似的方法进行比较。此外，使用机器人平台，在模拟和真实的场景中，我们评估了抓任务的成功时，掌握启示预测的条件。
2019-06-24 cs.RO
DexGrasp-Diffusion: Diffusion-based Unified Functional Grasp Synthesis Method for Multi-Dexterous Robotic Hands
Advanced Robotics Centre, National University of Singapore（新加坡国立大学先进机器人中心）
本文提出DexGrasp-Diffusion，一种端到端模块化扩散方法，结合统一多灵巧手抓取扩散模型与物理及功能判别器，为多灵巧手合成符合物体affordance指令的功能性抓取，并在MultiDex上验证其成功率、多样性与可靠性。
2024-10-23 cs.RO
AnchorDP3: 3D Affordance Guided Sparse Diffusion Policy for Robotic Manipulation
Jingdong Technology Information Technology Co., Ltd（京东科技信息技术有限公司）；Tsinghua University（清华大学）；Fudan University（复旦大学）；Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
提出双臂机器人操作扩散策略框架AnchorDP3，通过语义分割、任务条件编码和可供性锚定关键位姿扩散三项创新，在RoboTwin基准测试中实现98.7%平均成功率，有望消除人类示范实现自主策略生成。
2025-06-25 cs.AI cs.RO
Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment
Tsinghua University（清华大学）；Shenzhen Academy of Robotics（深圳机器人研究院）
本文提出了一种新的机器人抓取系统，用于在复杂场景中自动拾取物体。设计了一种由吸盘和夹持器组成的复合机械手，用于稳定抓取物体。吸盘用于首先将物体从杂物中提起，并且抓持器用于相应地抓持物体。我们利用示能图为吸盘提供像素级提升点候选。为了获得良好的示能图，系统引入了主动探索机制。设计了一个有效的度量来计算当前示能图的奖励，并采用深度Q网络（DQN）来引导机器人手主动探索环境，直到生成的示能图适合抓取。实验结果表明，所提出的机器人抓取系统是能够大大提高机器人抓取的成功率在混乱的场景。
2023-02-21 cs.CV cs.LG cs.RO
ScaleADFG: Affordance-based Dexterous Functional Grasping via Scalable Dataset
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CasiaHand Robotics Co., Ltd（CasiaHand机器人有限公司）；SenseTime Research, SenseTime（商汤研究，商汤）；Idiap Research Institute（Idiap研究所）
针对机器人灵巧功能抓取面临的数据集构建难、尺度泛化差问题，提出ScaleADFG框架，通过自动化流水线构建多尺度大规模可供性抓取数据集，训练轻量抓取网络，实现跨尺度稳定抓取与真实场景零样本迁移。
2025-11-12 cs.RO
RoboHitch: Learning Visual Affordance from Disordered Keypoints for Hitch Knots Tying
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）
提出RoboHitch框架，利用无序3D关键点和RGB图像从人类演示中学习系结，通过动态图自编码器和卷积自编码器融合特征，预测抓取和放置可供性，实现遮挡下的系结。
2026-05-23 cs.RO
Reasoning on Grasp-Action Affordances
Edinburgh Centre for Robotics（爱丁堡机器人中心）
人工智能对于在涉及动态环境的挑战性活动中取得成功至关重要，例如室内场景中的对象操作任务。大多数的国家的最先进的文献探讨机器人抓取方法，专注于专门的目标对象的属性。当涉及到人类的感知学习方法时，这些物理特性不仅是从物体推断的，而且是从周围环境的特征推断的。这项工作提出了一种方法，包括环境背景的原因上的对象启示，然后推断其抓取区域。该示能表示使用在知识库图表示中收获的视觉语义属性的排名关联来推理。该框架使用标准的学习评估指标和zero-shot示能表示预测场景进行评估。将所得到的抓取区域与未见过的标记数据进行比较，以评估其准确性匹配百分比。该评估的结果表明，所提出的方法在室内环境中的对象交互应用的自主能力。
2019-05-25 cs.RO
ImageManip: Image-based Robotic Manipulation with Affordance-guided Next View Selection
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出ImageManip，一种基于RGB图像的机器人操作框架，通过多视角捕捉和深度推断，利用可供性引导的下一视角选择，以低成本实现高效三维物体操作。
2023-10-13 cs.AI cs.RO
AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation
School of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）
AffordSim 通过整合开放词汇 3D affordance 预测，解决了机器人操作中接触信息获取的挑战，实现了高成功率的轨迹生成和跨仿真到现实的迁移。
2026-10-30 cs.AI cs.RO
RoboPoint: A Vision-Language Model for Spatial Affordance Prediction for Robotics
University of Washington（华盛顿大学）；NVIDIA（英伟达）；Universidad Católica San Pablo（圣巴勃罗天主教大学）
本文提出RoboPoint视觉-语言模型，通过自动合成数据生成流程进行指令微调，无需真实数据即可预测图像关键点可供性，在空间可供性预测准确率和下游任务成功率上显著超越GPT-4o和PIVOT。
2024-06-15 cs.AI cs.CV cs.RO
PASG: A Closed-Loop Framework for Automated Geometric Primitive Extraction and Semantic Anchoring in Robotic Manipulation
MoE key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室、人工智能研究院、上海交通大学）
针对机器人操作中高层语义与低层几何特征割裂的问题，提出闭环框架PASG，通过自动提取几何基元并结合VLM驱动的语义锚定，实现了细粒度的语义-可供性理解，性能媲美人工标注。
2025-08-08 cs.CV cs.RO
kPAM: KeyPoint Affordances for Category-Level Robotic Manipulation
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
我们希望机器人通过将某类对象的任何实例放入一组所需的目标状态来实现有目的的操作。现有的操纵流水线通常将期望的配置指定为目标6-D 0 F姿态，并且依赖于显式地估计被操纵对象的姿态。然而，用在固定模板上定义的参数化变换来表示对象不能捕获大的类别内形状变化，并且在类别级别指定目标姿势可能在物理上不可行或无法完成任务-例如，知道咖啡杯相对于某个规范杯子的姿势和尺寸不足以通过其手柄将其成功地挂在架子上。因此，我们提出了一种新的配方的类别级操作，使用语义3D关键点作为对象表示。该关键点表示使得能够将操纵目标简单且可解释地指定为关键点上的几何成本和约束，这灵活地概括了现有的基于姿态的操纵方法。使用这个公式，我们因素的实例分割，3D关键点检测，基于优化的机器人动作规划和局部密集几何为基础的行动执行的操作策略。这种因式分解使我们能够利用这些子问题的进展，并将它们组合成一个通用而有效的感知到动作操作管道。我们的流水线对大的类别内形状变化和拓扑变化是鲁棒的，因为关键点表示忽略了与任务无关的几何细节。大量的硬件实验表明，我们的方法可以可靠地完成任务，从未见过的对象在一个类别中，如放置鞋和杯子与显着的形状变化到类别级别的目标配置。
2019-10-29 cs.RO
Visual Affordance Prediction: Survey and Reproducibility
Istituto Italiano di Tecnologia（意大利理工研究院）；Centre for Intelligent Sensing（智能感知中心）；Queen Mary University of London（伦敦女王学院）；Idiap Research Institute（Idiap研究 institute）；EPFL（瑞士联邦理工学院）
本文提出统一的视觉可供性预测表述，系统综述现有方法，并引入可供性表以解决可复现性和公平性问题。
2025-10-13 cs.CV cs.RO
