GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation
HKUST (GZ)（香港科技大学）
该研究构建含50万图像的HOVA-500K可供性数据集与基准，并提出全局到局部的GLOVER++框架，实现人类演示知识向开放词汇推理和机器人操作任务的有效迁移。
2025-05-17 cs.CV cs.RO
RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
University of Southern California（南加州大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
本文提出 RAM 框架，通过从多源演示构建可供性记忆并分层检索、将域外2D可供性零样本迁移为域内3D可执行可供性，实现跨物体、环境和具身形态的机器人操作泛化。
2024-07-05 cs.CV cs.RO
Understanding Human Context in 3D Scenes by Learning Spatial Affordances with Virtual Skeleton Models
Center of Autonomous Systems（自主系统中心）；University of Technology Sydney（悉尼科技大学）
机器人通常需要在人类不存在的环境中操作，但仍需要人类上下文信息以实现更好的人机交互。即使人类存在于环境中，在杂乱的环境中检测他们的存在也可能是具有挑战性的。为了解决这个问题，本文提出了空间示能图的概念，它通过观察环境的几何特征来学习人类的上下文。它不是通过观察真实的人类来学习人类背景，而是使用虚拟人类模型及其与环境的关系，通过将虚拟骨骼模型放置在3D场景中并具有其置信度值，来映射3D场景中隐藏的人类启示。空间示能图学习问题被公式化为可以使用基于支持向量机（SVM）的学习器来学习的多标签分类问题。在真实的3D场景数据集上进行的实验记录了有希望的结果，并证明了affordance-map用于映射人类上下文的适用性。
2019-06-13 cs.CV cs.HC cs.LG
2HandedAfforder: Learning Precise Actionable Bimanual Affordances from Human Videos
Computer Science Department, Technische Universität Darmstadt（德意志联邦共和国达姆施塔特技术大学计算机科学系）
本文提出2HandedAfforder框架，从人类视频中提取双手可供性数据并训练基于VLM的预测模型，实现精确可执行的可供性区域分割，并在机器人操作中验证其有效性。
2025-07-01 cs.CV cs.LG cs.RO
Affordances from Human Videos as a Versatile Representation for Robotics
CMU（卡内基梅隆大学）；Meta AI
本文提出VRB方法，通过从互联网人类视频中学习视觉可供性模型，估计场景中人类可能的交互位置和方式，并将其无缝集成到离线模仿学习、探索、目标条件学习和强化学习动作参数化四种范式中，在多个真实环境和任务上验证了机器人执行复杂任务的有效性。
2023-04-17 cs.AI cs.CV cs.LG
RoboPCA: Pose-centered Affordance Learning from Human Demonstrations for Robot Manipulation
Key Laboratory of AI Safety of CAS, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室、计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
RoboPCA通过联合预测接触区域和姿态，提升机器人操作中从人类示范中学习空间可及性的性能。
2026-03-08 cs.CV cs.RO
MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对人-物-场景配对数据稀缺的问题，提出MAMHOI方法，通过可供性介导分解场景感知HOI生成，实验显示其可减少物体-场景穿透，提升交互质量与物理可行性。
2026-10-09 cs.AI cs.CV
Populate-A-Scene: Affordance-Aware Human Video Generation
GenAI at Meta（Meta 人工智能）；University of Washington（华盛顿大学）
本文提出Populate-A-Scene方法，仅凭单张场景图像和动作提示即可生成符合场景可供性的人类交互视频，无需边界框或姿态标注，并通过交叉注意力热图揭示预训练视频模型的固有可供性感知能力。
2025-07-01 cs.CV
Learning at the Ends: From Hand to Tool Affordances in Humanoid Robots
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Champalimaud Centre for the Unknown（尚帕利莫未知中心）；Queen Mary University of London（伦敦玛丽女王大学）
设计在不可预测的人类环境中成功操作的机器人的公开挑战之一是如何使它们能够预测它们可以对物体执行什么动作，以及它们的效果是什么，即，感知物体启示的能力。由于对所有可能的世界交互进行建模是不可行的，因此需要从经验中学习，这带来了收集大量经验的挑战（即，训练数据）。通常，操纵机器人通过使用自己的手（或类似的末端执行器）对外部物体进行操作，但在某些情况下，使用工具可能是可取的，尽管如此，可以合理地假设，虽然机器人可以使用自己的手收集许多感觉运动经验，但这不可能发生在所有可能的人造工具上。因此，在本文中，我们调查的发展过渡，从手到工具的启示：什么感觉运动技能，一个机器人已经获得了赤手空拳可以用于工具使用？通过采用视觉和运动想象机制，以代表不同的手姿势companimously，我们提出了一个概率模型来学习手的启示，我们展示了这个模型可以推广到估计以前看不见的工具的启示，最终支持规划，决策和工具选择任务中的人形机器人。我们目前的实验结果与iCub人形机器人，我们公开发布收集的sensorimotor数据的形式的手姿势启示数据集。
2018-04-09 cs.AI cs.CV cs.LG
Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
示能建模在视觉理解中起着重要的作用。在本文中，我们的目标是预测3D室内场景的启示，特别是在给定的室内环境中，例如坐在椅子上或站在地板上，人类的姿势是什么。为了预测有效的启示并学习室内场景中可能的3D人体姿势，我们需要了解场景的语义和几何结构以及它与人类的潜在交互。为了学习这样的模型，需要一个大规模的3D室内启示数据集。在这项工作中，我们建立了一个全自动的3D姿态合成器，融合了语义知识，从大量的2D姿势提取的电视节目，以及3D几何知识，从体素表示的室内场景。通过合成器创建的数据，我们引入了一个3D姿态生成模型来预测给定场景（作为单个RGB，RGB-D或深度图像提供）内的语义上合理且物理上可行的人类姿态。我们证明了我们的人类启示预测方法始终优于现有的最先进的方法。
2019-03-15 cs.CV
VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances
University of Tokyo（东京大学）
本研究提出 VLAff 模型，结合 EgoAffordance 数据集，解决人类与机器人 embodiment 不匹配问题，实现视觉 affordance 预测及真实机器人零样本操作等应用。
2026-08-07 cs.CV cs.RO
Learning 2D Invariant Affordance Knowledge for 3D Affordance Grounding
本文提出MIFAG框架，通过多视角交互图像提取不变可供性知识，提升3D对象可供性定位的泛化能力。
2026-03-16 cs.CV
Human Activity Learning using Object Affordances from RGB-D Videos
Cornell University（康奈尔大学）
人类活动包括按顺序执行的多个子活动，并涉及与各种对象的交互。这使得推理对象的启示活动识别的中心任务。在这项工作中，我们考虑的问题，共同标记的对象启示和人类活动的RGB-D视频。我们将问题框架为马尔可夫随机场，其中节点表示对象和子活动，边缘表示对象启示之间的关系，它们与子活动的关系以及它们随时间的演变。我们制定的学习问题，使用结构SVM的方法，其中标签在各种交替的时间分割被认为是潜在变量。我们在一个包含从四个主题收集的120个活动视频的数据集上测试了我们的方法，并获得了81.8%的端到端精确度和80.0%的召回率来标记活动。
2012-08-04 cs.CV
Interactive Robot Learning of Gestures, Language and Affordances
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Queen Mary University of London（伦敦玛丽女王大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
机器人和人工智能（AI）研究中一个不断发展的领域是人机协作，其目标是实现人类和机器人之间的有效团队合作。然而，在许多情况下，人类团队仍然优于人类-机器人团队，主要是因为人类团队可以很容易地通过语言达成共同目标，并且各个成员可以有效地观察彼此，利用他们共享的运动技能和感觉运动资源。本文表明，认知机器人是可能的，确实富有成效的，结合从与环境的元素（启示探索）的概率观察另一个代理的行动互动获得的知识。我们提出了一个模型，该模型将（i）学习机器人启示和文字描述与（ii）视觉传感器对人类手势的统计识别相结合。我们讨论的理论动机，可能的实现，我们显示的初步结果，突出表明，在获得了周围环境的知识，一个人形机器人可以概括这种知识的情况下，当它观察到另一个代理（人类合作伙伴）执行相同的电机动作之前执行的训练过程中。
2017-11-24 cs.AI cs.CL cs.CV
WorldAfford: Affordance Grounding based on Natural Language Instructions
University of Science and Technology of China（中国科学技术大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本研究首次提出基于自然语言指令的可供性grounding新任务，构建了LLMaFF数据集，提出WorldAfford框架结合思维链提示、SAM与CLIP实现多物体可供性定位，在两个数据集上达SOTA，还可提供不匹配时的替代方案。
2024-05-21 cs.AI cs.CV
AROS: Affordance Recognition with One-Shot Human Stances
University of Bristol（布里斯托大学）；Amazon（亚马逊）
我们提出了AROS，一个一次性的学习方法，使用一个明确的表示高度清晰的人类姿势和3D场景之间的相互作用。该方法是一次性的，因为该方法不需要重新训练来添加新的示能表示实例。此外，仅需要目标姿态的一个或少数示例来描述交互。给定一个以前看不见的场景的3D网格，我们可以预测支持交互的可供性位置，并在它们周围生成相应的3D人体。我们评估了三个公共数据集的扫描与不同程度的噪音的真实环境。通过对众包评估的严格统计分析，结果表明，我们的一次性方法比数据密集型基线高出80%。
2022-10-21 cs.CV
Interactive Humanoid: Online Full-Body Motion Reaction Synthesis with Social Affordance Canonicalization and Forecasting
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出在线全身运动反应合成任务，通过社交可供性规范化与预测，生成高质量人形机器人反应，并在HHI、CoChair及Interhuman、Chi3D数据集上验证。
2024-02-05 cs.CV
Affordance Learning from Play for Sample-Efficient Policy Learning
University of Freiburg（弗莱堡大学）
在以人为中心的环境中运行的机器人应该有能力理解物体的功能：每个物体可以做什么，这种交互可能发生在哪里，以及如何使用物体来实现目标。为此，我们提出了一种新的方法，从人类遥控游戏数据中提取一个自我监督的视觉启示模型，并利用它来实现有效的策略学习和运动规划。我们将基于模型的规划与无模型的深度强化学习（RL）相结合，以学习有利于人们喜欢的相同对象区域的策略，同时需要最少的机器人与环境的交互。我们评估我们的算法，视觉负担指导的政策优化（VAPO），与不同的模拟操作任务和现实世界的机器人整理实验，以证明我们的负担指导政策的有效性。我们发现，我们的政策训练比基线快4倍，更好地推广到新的对象，因为我们的视觉启示模型可以预测他们的启示区域。
2022-03-01 cs.AI cs.CV cs.LG
Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks
Indian Institute of Science（印度科学学院）；RBCCPS；ARTPARK；CSA
本文提出一种基于掩码梯度的投票方法，将二维分割模型扩展到三维高斯溅射，实现精确分割、高达21%的压缩及少样本可供性迁移，适用于AR、编辑和机器人等应用。
2024-09-18 cs.CV cs.RO
Precise Affordance Annotation for Egocentric Action Video Datasets
Industrial Institute of Science, The University of Tokyo（东京大学产业科学研究所）
物体可供性是人机交互中的一个重要概念，它根据人的运动能力和物体的物理特性提供动作可能性的信息，从而有利于动作预测和机器人模仿学习等任务。然而，现有的数据集经常：1）混淆了可供性与对象功能; 2）混淆了可供性与目标相关的动作; 3）忽略了人类的运动能力。本文提出了一种有效的注释方案，以解决这些问题，结合目标无关的运动动作和把握类型的启示标签，并引入机械动作的概念来表示两个对象之间的动作的可能性。我们通过将此方案应用于EPIC-KITCHENS数据集来提供新的注释，并使用启示识别等任务来测试我们的注释。我们定性地验证了用我们的注释训练的模型可以区分启示和机械动作。
2022-06-11 cs.CV
H2OFlow: Grounding Human-Object Affordances with 3D Generative Models and Dense Diffused Flows
MIT（麻省理工学院）
H2OFlow通过3D生成模型和密集扩散流学习人类-物体交互的3D affordances，无需人工标注，有效泛化至现实物体。
2026-02-10 cs.CV
Learning Dexterous Grasping with Object-Centric Visual Affordances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
灵巧的机器人手因其敏捷性和类似人类的形态而吸引人，但其高度的自由度使得学习操纵具有挑战性。我们介绍了一种学习灵巧抓取的方法。我们的关键思想是将以对象为中心的视觉启示模型嵌入到深度强化学习循环中，以学习有利于人们喜欢的相同对象区域的抓取策略。与从人类演示轨迹（例如，用手套捕获的手关节序列），所提出的先验是以对象为中心的和基于图像的，允许代理在策略学习期间为未看到的对象预期有用的示能表示区域。我们用一个30自由度的五指机器人手模拟器在来自两个数据集的40个物体上展示了我们的想法，在那里它成功有效地学习了稳定功能抓握的策略。我们的负担能力指导策略明显更有效，更好地推广到新对象，训练速度比基线快3倍，并且对噪声传感器读数和驱动更鲁棒。我们的工作为操纵代理人提供了一个步骤，通过观察人们如何使用物体来学习，而不需要有关人体的状态和动作信息。项目网址：http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp
2021-06-16 cs.CV cs.RO
AffordanceLLM: Grounding Affordance from Vision Language Models
AWS AI, Amazon（亚马逊AWS人工智能部门）
针对可供性grounding任务泛化性不足的问题，提出AffordanceLLM模型，借助预训练视觉语言模型的丰富知识提升泛化能力，在AGD20K基准上取得显著性能提升，还能处理训练中未见的物体与动作的可供性定位。
2024-04-17 cs.CV cs.RO
HRP: Human Affordances for Robotic Pre-Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出利用互联网人类视频提取环境与智能体级可供性标签，预训练并微调视觉表征，在5项真实任务中使3种形态机器人的性能至少提升15%，显著增强了分布外泛化能力。
2024-07-26 cs.CV cs.RO
Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
本文提出GAAF-Dex框架，通过弱监督学习从人-物交互图像中提取粒度感知的可供性特征，实现功能性区域定位与灵巧手势预测，并构建FAH数据集验证其优于现有方法。
2025-07-19 cs.CV cs.RO eess.IV
VideoAfford: Grounding 3D Affordance from Human-Object-Interaction Videos via Multimodal Large Language Model
VideoAfford通过多模态大语言模型实现人类-物体交互视频中的3D affordance grounding，结合动态交互先验和空间感知损失函数，提升机器人操作的可操作区域识别能力。
2026-02-10 cs.CV
Visual-Geometric Collaborative Guidance for Affordance Learning
University of Science and Technology of China（中国科学技术大学）；Northeastern University（东北大学）
本文提出一种视觉-几何协同引导的供用性学习网络，通过提取并迁移交互亲和性降低动作可能性感知歧义，并构建含55,047张图像的CAL数据集，实验证明其优于现有模型。
2024-10-15 cs.CV
Closed-Loop Transfer for Weakly-supervised Affordance Grounding
ShanghaiTech University（上海科技大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对弱监督可供性定位中单向知识迁移的局限，本文提出闭环框架 LoopTrans，通过双向迁移、统一跨模态定位与去噪蒸馏提升性能。
2025-10-20 cs.CV
UAD: Unsupervised Affordance Distillation for Generalization in Robotic Manipulation
Stanford University（斯坦福大学）
针对机器人操作中现有视觉可用性预测依赖人工标注或预定义任务的问题，提出无监督可用性蒸馏方法UAD，利用基础模型自动生成标注数据训练模型，提升对野外场景、未知物体及指令的泛化能力。
2025-08-25 cs.AI cs.CV cs.RO
VAGNet: Grounding 3D Affordance from Human-Object Interactions in Videos
SCUT（华南理工大学）；THU（清华大学）；NTU（国立新加坡大学）
VAGNet通过视频引导的动态交互序列，实现3D affordance接地，提出PVAD数据集并取得最佳性能。
2026-02-24 cs.CV
Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance
School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室（BIGAI））；Dept. of Automation, Tsinghua University（清华大学自动化系）；CFCS, School of Computer Science, Peking University（北京大学计算机学院CFCS）；Institute for AI, Peking University（北京大学人工智能研究院）；Yangtze Delta Region Academy of Beijing Institute of Technology, Jiaxing（北京理工大学嘉兴长三角研究院）
提出一种基于场景可供性的两阶段框架，通过ADM预测可供性图、AMDM生成人体动作，有效解决了3D环境中语言引导动作生成的数据匮乏与多模态建模难题，在HumanML3D等基准上超越基线并展现强泛化能力。
2024-03-26 cs.CV
Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models
Naver Webtoon AI；Seoul National University（首尔大学）
提出综合可供性（ComA）表示，通过预训练2D扩散模型合成3D人-物交互样本，建模接触、相对朝向与空间关系，在无界物体上超越依赖标注的方法并支持3D交互重建。
2024-07-23 cs.CV
Grounded Affordance from Exocentric View
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出从第三人称视角进行可操作性定位的任务，设计跨视角知识迁移框架，并构建AGD20K数据集，在客观指标和视觉质量上优于代表性模型。
2023-05-25 cs.CV
GLOVER: Generalizable Open-Vocabulary Affordance Reasoning for Task-Oriented Grasping
AI, HKUST(GZ)（香港科技大学（广州）人工智能学院）；ZJUT（浙江工业大学）；CSE, HKUST（香港科技大学计算机科学与工程系）
提出GLOVER框架，通过微调LLM在RGB特征空间预测视觉可供性，并设计非参数抓取规划器AGE，实现了比SOTA快数十倍的开放词汇任务导向抓取。
2025-05-01 cs.CV cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego（加州大学圣地亚哥分校）
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比，模仿学习的最新进展大大提高了样本效率，但由于专家演示有限，学习的策略很难推广到操纵新对象。在本文中，我们建议学习灵巧的操作，使用大规模的示范与不同的3D对象的类别，这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策，我们提出了一个新的模仿学习目标与几何表示学习目标，使用我们的演示。通过在模拟中重新定位不同对象的实验，我们表明，我们的方法在操纵新对象时优于基线，具有很大的优势。我们还消融了3D对象表示学习的重要性，为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Putting People in Their Place: Affordance-Aware Human Insertion into Scenes
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究实验室）
该研究提出一种可供性感知的人物入景方法，通过自监督训练的大规模扩散模型实现符合场景约束的真实人物插入与交互合成，效果优于现有方法。
2023-04-27 cs.AI cs.CV cs.GR
Zero-Shot Human-Object Interaction Recognition via Affordance Graphs
University of Manchester（曼彻斯特大学）
我们提出了一种新的方法，Zero-Shot人与物体的交互识别在具有挑战性的设置，涉及与看不见的动作（而不是只是看不见的组合看到的动作和对象）的相互作用。我们的方法以图形的形式利用图像内容外部的知识，该图形对动作和对象之间的示能关系进行建模，即，是否可以对给定对象执行操作。我们提出了一个损失函数，目的是将图中包含的知识提取到模型中，同时还使用图通过在潜在空间上施加局部结构来正则化学习表示。我们在几个数据集上评估了我们的方法（包括流行的CNOMO和HICO-DET），并表明它优于当前的最新技术水平。
2020-09-02 cs.CV
PartAfford: Part-level Affordance Discovery from 3D Objects
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Tsinghua University（清华大学）
理解物体能为人类提供什么，即学习物体的可供性，是连接感知和行动的关键。在视觉社区中，先前的工作主要集中在学习对象的可供性上，在每像素级别）监督。与此形成鲜明对比的是，我们人类在没有密集标签的情况下学习对象启示。因此，设计一个计算模型的基本问题是：在类似人类的稀疏监督下，从视觉外观和几何形状学习对象启示的自然方式是什么？在这项工作中，我们提出了一个新的任务，部分级的启示发现（PartAfford）：给定每个对象的启示标签，机器的任务是（i）分解3D形状到部分和（ii）发现对象的每个部分如何对应于某个启示类别。我们提出了一个新的学习框架PartAfford，发现部分级表示，仅利用启示集监督和几何原始正则化，没有密集的监督。所提出的方法包括两个主要部分：（i）一个抽象编码器，具有用于无监督聚类和抽象的槽注意力，以及（ii）一个具有用于部分重建，启示预测和立方体图元正则化的分支的启示解码器。为了学习和评估PartAfford，我们构建了一个部件级的跨类别3D对象示能数据集，其中标注了25，000个对象中共享的24个示能类别。我们证明，我们的方法使抽象的3D对象和部分级别的启示发现，具有普遍性困难和跨类别的例子。进一步的消融揭示了每个组件的贡献。
2022-02-28 cs.CV
Selective Contrastive Learning for Weakly Supervised Affordance Grounding
Sungkyunkwan University（全北大学）
针对弱监督可供性定位中模型易聚焦无关模式的问题，提出选择性原型与像素对比目标，在部位和物体层面自适应学习可供性线索，有效将激活转向有意义区域。
2025-08-11 cs.AI cs.CV
LOCATE: Localize and Transfer Object Parts for Weakly Supervised Affordance Grounding
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
人类善于通过观察来获取知识。例如，我们可以通过观看演示来学习使用新工具。这种技能是智能系统与世界互动的基础。获得这种技能的一个关键步骤是确定对象的哪个部分提供每个动作，这被称为可供性基础。在本文中，我们解决了这个问题，并提出了一个名为LOCATE的框架，它可以识别图像中匹配的对象部分，将知识从使用对象的图像（用于学习的偏心图像）转移到对象不活动的图像（用于测试的自我中心图像）。为此，我们首先找到交互区域并提取其特征嵌入。然后，我们学习将嵌入聚合为紧凑的原型（人，对象部分和背景），并选择代表对象部分的一个。最后，我们使用选定的原型来指导启示接地。我们以弱监督的方式做到这一点，只从图像级别的启示和对象标签中学习。大量的实验表明，我们的方法优于国家的最先进的方法，在可见和不可见的对象上有很大的保证金。
2023-03-16 cs.CV
RAGNet: Large-scale Reasoning-based Affordance Segmentation Benchmark towards General Grasping
The Chinese University of Hong Kong（香港中文大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dexmal；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；SKL-IOTSC, CIS, University of Macau（澳门科学馆-物联网与智能系统研究中心，澳门大学）
针对现有研究缺乏基于推理的大规模可供性预测数据、开放世界效果受限的问题，该研究构建了含27.3万张图像的RAGNet基准，提出AffordanceNet抓取框架，验证了其强大的开放世界泛化能力。
2025-07-31 cs.CV cs.RO
Exploring Mutual Cross-Modal Attention for Context-Aware Human Affordance Generation
University of Technology Sydney（技术大学悉尼大学）；Indian Institute of Technology, Kharagpur（印度理工学院哈里科特）；Indian Statistical Institute, Kolkata（印度统计研究所科契）
本文提出一种互惠的跨模态注意力机制，通过不同模态的空间特征图互相关注，以提升2D场景中人体可供性预测的准确性与效率。
2026-04-18 cs.CV cs.MM
Weakly Supervised Learning of Affordances
University of Bonn（波恩大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
定位对象或示能表示的功能区域是场景理解的一个重要方面。在这项工作中，我们投的问题，可供分割的语义图像分割。为了探索不同层次的监督，我们引入了一个像素注释的启示数据集的3090图像包含9916对象实例丰富的上下文信息方面的人与对象的互动。我们在期望最大化框架内使用深度卷积神经网络来利用弱标记数据，如图像级注释或关键点注释。我们表明，当使用人体姿势作为背景时，可以进一步减少监督，同时性能损失最小。
2016-07-29 cs.CV
Learning Affordance Grounding from Exocentric Images
JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；The University of Sydney（悉尼大学）
示能表示接地，接地任务（即，局部化）动作可能性区域，由于交互式示能表示的多样性，其面临与对象部分建立显式链接的挑战。人类有能力将各种离心互动转化为不变的自我中心启示，以对抗互动多样性的影响。为了赋予智能体这种能力，本文提出了一个任务的启示接地从离心的观点，即，给定偏心的人-对象交互和自我中心的对象图像，学习对象的示能性知识，并且仅使用示能性标签作为监督将其转移到自我中心的图像。为此，我们设计了一个跨视图的知识转移框架，提取具体功能的启示，从离心的相互作用，并通过保持启示的相关性，提高感知的启示区域。具体来说，一个示能不变性挖掘模块被设计为提取特定的线索，通过最小化类内的差异起源于交互习惯的离心图像。此外，示能性相关保持策略被提出来感知和定位示能性，通过对齐两个视图之间的预测结果的相关矩阵。特别地，通过从36个示能表示类别中收集和标记超过20 K的图像来构建名为AGD 20 K的示能表示基础数据集。实验结果表明，我们的方法优于代表模型的客观指标和视觉质量。代码：github.com/lhc1224/Cross-View-AG.
2022-03-18 cs.CV
Learning Precise Affordances from Egocentric Videos for Robotic Manipulation
University of Edinburgh（爱丁堡大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出一个完整的可供性学习系统，利用第一人称视频自动生成精确标注，结合几何信息与视觉基础模型提升泛化能力，并构建支持工具抓取与交接的机器人操作框架，在mIoU上超越SOTA 13.8%，179次试验中成功率达77.1%。
2025-09-15 cs.CV cs.RO
Fine-grained Affordance Annotation for Egocentric Hand-Object Interaction Videos
Industrial Institute of Science, The University of Tokyo（东京大学生产技术研究所）
物体可供性是手-物交互中的一个重要概念，它根据人的运动能力和物体的物理特性提供关于动作可能性的信息，从而有利于动作预期和机器人模仿学习等任务。然而，现有数据集中的可供性定义往往：1）将可供性与对象功能混淆; 2）将可供性与目标相关动作混淆; 3）忽略人类运动能力。本文提出了一种有效的注释方案，以解决这些问题，结合目标无关的运动动作和把握类型的启示标签，并引入机械动作的概念来表示两个对象之间的动作的可能性。我们通过将此方案应用于EPIC-KITCHENS数据集来提供新的注释，并使用诸如启示识别，手-物体交互热点预测和启示的跨域评估等任务来测试我们的注释。结果表明，使用我们的注释训练的模型可以区分启示与其他概念，预测对象上的细粒度交互可能性，并通过不同的领域进行推广。
2023-02-10 cs.CV
Interpretable Affordance Detection on 3D Point Clouds with Probabilistic Prototypes
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文首次将原型学习应用于三维点云可供性检测，在3D-AffordanceNet上达到与黑盒模型相当的竞争力，同时提供固有可解释性，适用于需要信任与安全的人机交互场景。
2025-04-25 cs.CV cs.RO
Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model
The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；East China Normal University（华东师范大学）；Nanjing University of Information Science & Technology（南京信息工程大学）；Zhejiang University（浙江大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 Affordance-R1，一种结合认知 CoT 引导的 Group Relative Policy Optimization (GRPO) 的统一 affordance 地标框架，通过强化学习实现零样本泛化和测试时推理能力。
2026-05-20 cs.CV cs.RO
Self-Explainable Affordance Learning with Embodied Caption
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
针对视觉可供性学习中的动作歧义和机器人纠错需求，提出SEA框架、配套数据集与指标，并通过融合可供性定位和具身自解释的模型验证了有效性。
2024-04-08 cs.AI cs.CV
Affordance Grounding from Demonstration Video to Target Image
National University of Singapore（新加坡国立大学）
人类擅长从专家的示范中学习，解决自己的问题。为了让智能机器人和助手（如AR眼镜）具备这种能力，必须建立人手交互（即，示能表示），并将它们应用于目标图像，如用户的AR眼镜视图。视频到图像可供性基础任务具有挑战性，这是由于（1）需要预测细粒度的可供性，以及（2）有限的训练数据，其不足以覆盖视频图像差异并对基础产生负面影响。为了解决这些问题，我们提出了示能性Transformer（Afformer），它具有一个细粒度的基于transformer的解码器，可以逐渐细化示能性基础。此外，我们还介绍了Mask Affordance Hand（MaskAHand），这是一种自我监督的预训练技术，用于合成视频图像数据和模拟上下文变化，增强视频图像差异的启示基础。带有MaskAHand预训练的Afformer在多个基准测试中实现了最先进的性能，包括在OPRA数据集上大幅提高了37%。代码可在https://github.com/showlab/afformer上获得。
2023-03-26 cs.CV
A Deep Learning Approach to Object Affordance Segmentation
University of Thessaly（塞萨利大学）；Information Technologies Institute, Centre for Research and Technology Hellas（希腊研究与技术中心信息技术研究所）
学习理解和推断对象功能是迈向强大视觉智能的重要一步。重要的研究工作最近集中在分割的对象部分，使特定类型的人-对象交互，所谓的“对象启示”。然而，大多数作品将其视为静态的语义分割问题，仅关注对象外观，并依赖于强监督和目标检测。在本文中，我们提出了一种新的方法，利用时空性质的人与物体的互动启示分割。特别是，我们设计了一个自动编码器，它只使用序列的最后一帧的地面实况标签进行训练，并且能够在视频和静态图像中推断像素级的启示标签。我们的模型超越了对象标签和边界框的需要，通过使用软注意力机制，使隐式本地化的互动热点。为了评估的目的，我们介绍了SOR 3D-AFF语料库，它由人与物体的交互序列，并支持9种类型的启示在像素方面的注释，涵盖了典型的操作工具类对象。我们表明，与SOR 3D-AFF上的强监督方法相比，我们的模型取得了有竞争力的结果，同时能够预测两个启示图像数据集中类似的不可见对象的启示。
2020-04-18 cs.CV
Object-agnostic Affordance Categorization via Unsupervised Learning of Graph Embeddings
University of Leeds（利兹大学）；Tongji University（同济大学）
本文提出一种基于深度信息定性空间表示构建活动图并进行无监督聚类的方法，在类别无关物体和开放式交互下实现可供性分类，实验表明在杂乱场景中仍能获得高V-measure。
2023-03-30 cs.AI cs.CV cs.LG
Robo-ABC: Affordance Generalization Beyond Categories via Semantic Correspondence for Robot Manipulation
Shanghai Qi Zhi Institute（上海期智研究院）；IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai AI Lab（上海人工智能实验室）；School of Software, Tsinghua University（清华大学软件学院）；Shanghai Jiao Tong University（上海交通大学）
Robo-ABC 通过从人类视频中构建可供性记忆，并利用预训练扩散模型建立语义对应，实现零样本跨类别机器人操作泛化，在检索准确率和真实抓取成功率上均显著提升。
2024-01-15 cs.CV cs.RO
Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions
Zhejiang University（浙江大学）；Alibaba Cloud（阿里云）
本文提出三维物体可供性定位新任务，构建AGPIL数据集，并设计语言引导的多模态网络LMAffordance3D，融合2D/3D空间与语义特征，在多种视角条件下实现有效定位。
2025-04-07 cs.AI cs.CV cs.RO
