Manipulation-Oriented Object Perception in Clutter through Affordance Coordinate Frames
University of Michigan（密歇根大学）；Robotics Institute（机器人研究所）
为了在非结构化环境中实现鲁棒操作，机器人应该能够将操作动作推广到新的对象实例。例如，要倒饮料和提供饮料，机器人应该能够识别承担任务的新容器。最重要的是，机器人应该能够操纵这些新颖的容器来完成任务。为了实现这一目标，我们的目标是提供强大的和广义的感知对象的启示和他们的相关操作构成可靠的操作。在这项工作中，我们结合了启示和类别级姿态的概念，并引入了启示坐标框架（ACF）。使用ACF，我们根据各个启示部件及其之间的兼容性来表示每个对象类，其中每个部件与机器人操作的部件类别级姿势相关联。在我们的实验中，我们证明了ACF优于最先进的目标检测方法，以及对象部分的类别级姿态估计。我们进一步证明了ACF的机器人操作任务的适用性，通过在模拟环境中的实验。
2022-10-11 cs.CV cs.RO
SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition
Cornell University（康奈尔大学）；UC San Diego（南加州大学）
针对机器人辅助取食中食物属性多变导致操作困难的问题，提出SAVOR方法，结合离线工具可供性学习与在线视觉-触觉感知的食物属性修正，实时预测技能可供性，较SOTA方法取食成功率提升13%。
2025-09-01 cs.RO
AffordVLA: Injecting Affordance Representations into Vision-Language-Action Models via Implicit Feature Alignment
Grasp Lab, School of Mechanical Engineering of Zhejiang University（浙大机械工程学院抓取实验室）
本文提出 AffordVLA 框架，通过隐式特征对齐将以操作为中心的 affordance 表示注入到视觉-语言-动作模型中，以提升动作准确性，实验表明其在仿真和现实中的表现优于现有方法。
2026-05-17 cs.RO
Localizing Grasp Affordances in 3-D Points Clouds Using Taubin Quadric Fitting
Northeastern University（东北大学）
抓取感知是机器人领域的一个具有挑战性的问题。价格低廉的范围传感器，如微软Kinect提供的传感能力，为开发机器人抓取的鲁棒和准确的感知方法的努力提供了新的生命。本文提出了一种新的方法来定位包络把握启示在三维点云有效。该方法是基于建模包络把握启示作为一个圆柱壳，对应于机器人手的几何形状。二次曲面的快速精确拟合方法是我们方法的核心。一组杂乱的环境中的评价显示出较高的精度和召回统计。我们的研究结果还表明，该方法与一些替代品相比，它是足够有效的，可用于机器人实时抓取。
2013-11-13 cs.RO
QuadPiPS: A Perception-informed Footstep Planner for Quadrupeds With Semantic Affordance Prediction
Georgia Institute of Technology（佐治亚理工学院）
QuadPiPS通过结合几何与语义编码的腿足自体环境表示，实现四足机器人的感知引导步态规划，提升在有限 foothold 情况下的安全性和地形适应能力。
2026-05-01 cs.RO
Rediscovering Affordance: A Reinforcement Learning Perspective
Aalto University（阿尔托大学）；University of Birmingham（伯明翰大学）
可供性是指对对象允许的可能动作的感知。尽管它与人机交互相关，但没有现有的理论解释支持可供性形成的机制，即如何通过交互发现和调整可供性。本文基于认知科学中的强化学习理论，提出了一种整合的可供性形成理论。关键的假设是，用户学会通过经验将有希望的运动动作与感知相关联，此时存在强化信号（成功/失败）。他们还学会对行为进行分类（例如，“旋转”表盘），使他们能够命名和推理启示。当遇到新的小部件时，他们概括这些动作的能力决定了他们感知启示的能力。我们实现了这一理论在一个虚拟的机器人模型，它演示了人性化的适应互动小部件任务的启示。虽然它的预测与人类数据的趋势一致，但人类能够更快地适应启示，这表明存在其他机制。
2022-01-07 cs.AI cs.HC cs.RO
Learning Social Affordance for Human-Robot Interaction
University of California, Los Angeles（加州大学洛杉矶分校）；Indiana University, Bloomington（印第安纳大学伯明顿分校）
在本文中，我们提出了一种方法，机器人学习的社会启示从人类活动的视频。我们在人机交互的背景下考虑这个问题：我们的方法学习人-人（和人-物体-人）交互的结构表示，描述每个代理的身体部位如何相对于彼此移动，以及它们应该保持什么样的空间关系来完成每个子事件（即，次级目标）。这使得机器人能够根据人体运动来推断自己的运动，从而使其能够自然地复制这种交互。我们介绍了社会启示的表示，并提出了一个生成模型的弱监督学习从人类演示视频。我们的方法发现关键步骤（即，潜在的子事件）以及与它们相关联的典型运动，学习应该涉及哪些身体部位以及如何涉及。实验结果表明，我们的马尔可夫链蒙特卡罗（MCMC）的学习算法自动发现语义有意义的互动启示RGB-D视频，这使我们能够生成适当的全身运动的代理。
2016-04-20 cs.AI cs.CV cs.LG
Affordance Learning for End-to-End Visuomotor Robot Control
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
训练端到端的深度机器人策略需要大量特定于域、任务和硬件的数据，而这些数据的提供成本通常很高。在这项工作中，我们建议通过采用具有模块化架构的深度神经网络来解决这个问题，该架构由独立的感知，策略和轨迹部分组成。系统的每一部分都是在合成数据上或在模拟中完全训练的。数据在系统的各部分之间交换，作为示能表示和轨迹的低维潜在表示。然后在一个zero-shot传输场景中使用弗兰卡熊猫机器人arm.Results的性能进行评估表明，从RGB图像中提取的场景启示的低维表示是足够的成功训练机械手的政策。我们还介绍了一种方法的启示数据集生成，这是很容易推广到新的任务，对象和环境，不需要手动像素标记。
2019-03-10 cs.LG cs.RO
End-to-End Affordance Learning for Robotic Manipulation
Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
在交互环境中学习操纵三维物体一直是强化学习（RL）中的一个具有挑战性的问题。特别是，很难训练一个策略，可以推广到具有不同语义类别，不同形状几何形状和通用功能的对象。近年来，视觉示能表示技术在为以对象为中心的信息先验提供有效的可操作语义方面显示出了巨大的前景。因此，一个有效的政策可以通过知道如何在把手上施加力量来训练打开一扇门。然而，为了学习启示，它通常需要人类定义的动作原语，这限制了适用任务的范围。在这项研究中，我们利用视觉启示，通过使用RL训练过程中产生的联系信息来预测感兴趣的联系地图。这样的接触预测过程然后导致可以概括不同类型的操纵任务的端到端示能表示学习框架。令人惊讶的是，即使在多阶段和多代理人的情况下，这种框架的有效性。我们测试了我们的方法对八种类型的操作任务。结果表明，我们的方法优于基线算法，包括基于视觉的启示方法和RL方法，在成功率上有很大的优势。演示可以在https://sites.google.com/view/rlafford/上找到。
2022-09-26 cs.AI cs.RO
Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model
The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；East China Normal University（华东师范大学）；Nanjing University of Information Science & Technology（南京信息工程大学）；Zhejiang University（浙江大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 Affordance-R1，一种结合认知 CoT 引导的 Group Relative Policy Optimization (GRPO) 的统一 affordance 地标框架，通过强化学习实现零样本泛化和测试时推理能力。
2026-05-20 cs.CV cs.RO
Conditional Affordance Learning for Driving in Urban Environments
Chair of Robotics Science and System Intelligence, Technical University of Munich（慕尼黑技术大学机器人科学与系统智能系）
本文提出了一种直接感知方法，通过将视频输入映射到适合复杂城市环境自主导航的中间表示，结合高层方向输入，实现了比现有强化学习和条件模仿学习方法更高的目标导向导航性能，并首次通过图像级标签处理交通灯和速度标志，显著减少模拟中的交通事故。
2018-11-03 cs.LG cs.RO cs.SY
One Size Does not Fit All: Personalised Affordance Design for Social Robots
University of Sheffield（谢菲尔德大学）
本文研究社交机器人外观、声音与语言行为的个性化可供性，发现情境、个体差异及对能力与温暖的角色期望会影响偏好，主张采用综合个性化设计。
2023-12-11 cs.HC cs.RO
AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding
Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Chinese University of Hong Kong（香港中文大学）；Knowin AI
提出AffordanceVLA框架，通过引入结构化可供性预测作为任务导向的中间表示，解决VLA模型中语义空间与具身控制策略的结构不匹配问题，实现精确的感知-动作映射。
2026-10-20 cs.CV cs.MM cs.RO
Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception
the University of Texas at Austin（德克萨斯大学奥斯汀分校）
将物理世界虚拟化为虚拟模型是机器人在现实世界中导航和规划的关键技术。为了在日常生活中促进对铰接物体的操纵，这项工作探索通过机器人在这些场景中有目的的交互来构建室内场景的铰接模型。先前关于清晰度推理的工作主要集中在有限类别的孤立对象上。为了扩展到房间规模的环境中，机器人必须有效地探索大规模的3D空间，定位有关节的物体，并推断它们的关节。我们引入一个互动的感知方法来完成这项任务。我们的方法，命名为同上的房子，发现可能的关节对象，通过启示预测，与这些对象进行交互，以产生关节运动，并推断关节属性从视觉观察之前和之后的每一个互动。它紧密结合启示预测和清晰度推理，以改善这两项任务。我们证明了我们的方法在模拟和现实世界的场景中的有效性。代码和其他结果可在https://ut-austin-rpl.github.io/HouseDitto/上获得
2023-02-02 cs.AI cs.CV cs.RO
SGTM 2.0: Autonomously Untangling Long Cables using Interactive Perception
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
电缆在家庭、医院和工业仓库中很常见，并且容易缠结。本文通过引入新的不确定性量化指标和与电缆相互作用以减少感知不确定性的行动，扩展了自主解开长电缆的先前工作。我们提出了滑动和抓取缠结操作2.0（SGTM 2.0），一个系统，自主解开电缆约3米长的双边机器人使用估计的不确定性，在每一步通知行动。通过交互式地减少不确定性，用于缠结操作的滑动和抓取2.0（SGTM 2.0）减少了必须进行的状态重置移动的数量，显著加快了运行时间。实验表明，SGTM 2.0可以在1或2个上手结和8字形结的电缆上实现83%的解缠成功率，在这些配置中实现70%的端接检测成功率，在解缠准确性方面优于SGTM 1.0 43%，在完全展开速度方面优于SGTM 1.0 200%。补充材料、可视化和视频可以在sites.google.com/view/sgtm2上找到。
2022-09-27 cs.AI cs.LG cs.RO
Long-Horizon Manipulation of Unknown Objects via Task and Motion Planning with Estimated Affordances
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
我们提出了一种策略，用于设计和构建非常一般的机器人操作系统，涉及集成的通用任务和运动规划与工程和学习的感知模块，估计未知对象的属性和启示。这样的系统是从RGB图像、深度图像和机器人关节编码器测量映射到机器人关节位置命令的闭环策略。我们表明，按照这种策略的任务和运动规划器可以用来规划智能行为，即使在没有先验知识的情况下，关于一组可操纵的对象，它们的几何形状，和它们的启示。我们探讨了几种不同的方式来实现这样的感知模块分割，属性检测，形状估计，把握生成。我们展示了这些模块是如何集成在PDDLStream任务和运动规划框架。最后，我们证明了这种策略可以使一个单一的系统执行各种各样的现实世界的多步操作任务，概括了广泛的一类对象，对象的安排，和目标，没有任何先验知识的环境，没有重新训练。
2021-08-10 cs.AI cs.RO
Multi-Keypoint Affordance Representation for Functional Dexterous Grasping
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；College of Computer Science and Electronic Engineering, Hunan University（计算机科学与电子工程学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
针对功能性灵巧抓取中视觉感知与操作脱节的问题，提出多关键点可供性表示CMKA与抓取矩阵变换KGT方法，通过定位接触点直接约束抓取姿态，显著提升了抓取精度与泛化能力。
2025-08-12 cs.CV cs.RO eess.IV
Learning secondary tool affordances of human partners using iCub robot's egocentric data
Tilburg University（蒂尔堡大学）；Osaka University（大阪大学）；Ozyegin University（厄齐耶因大学）
本文利用iCub机器人自我中心数据，通过深度神经网络预测人类伙伴的次要工具可供性，实现复杂可供性的人机协作物体操作。
2024-07-16 cs.LG cs.RO
Relationship Oriented Affordance Learning through Manipulation Graph Construction
Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们提出了操纵关系图（MRG），一种新的启示表示，它捕获了一个任意场景的底层操作关系。为了从原始视觉观察中构建这样的图，引入了一种名为AR-Net的深度神经网络。它由属性模块和上下文模块组成，分别在对象和子图级别指导关系学习。我们定量验证我们的方法上一个新的操纵关系数据集命名为SMRD。为了评估所提出的模型和表示的性能，视觉感知和物理操作实验进行。总体而言，AR-Net与MRG一起优于所有基线，在任务关系识别（TRR）和任务完成（TC）方面实现了88.89%的成功率
2021-11-01 cs.RO
PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments
School of Artificial Intelligence and Robotics, Hunan University, China（湖南大学人工智能与机器人学院）
PanoAffordanceNet通过DASM和OSDH解决360°室内环境中的整体affordance地标问题，整合多级约束抑制语义漂移，构建360-AGD数据集，提升具身智能的场景感知能力。
2026-07-17 cs.CV cs.RO eess.IV
Factorizing Perception and Policy for Interactive Instruction Following
GIST（光州科学技术院）；Allen Institute for AI（艾伦人工智能研究所）
基于语言指令执行简单的家务对人类来说是非常自然的，但它仍然是人工智能智能体的一个开放性挑战。“交互式指令遵循”任务试图朝着在环境中的每一步共同导航、交互和推理的构建代理取得进展。为了解决多方面的问题，我们提出了一个模型，将任务分解为具有增强组件的交互式感知和行动策略流，并将其命名为MOCA，一种模块化的以对象为中心的方法。我们经验验证，MOCA优于现有技术的显着利润率的ALFRED基准与改进的泛化。
2021-09-02 cs.AI cs.CV cs.RO
Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions
Zhejiang University（浙江大学）；Alibaba Cloud（阿里云）
本文提出三维物体可供性定位新任务，构建AGPIL数据集，并设计语言引导的多模态网络LMAffordance3D，融合2D/3D空间与语义特征，在多种视角条件下实现有效定位。
2025-04-07 cs.AI cs.CV cs.RO
CRAFT-E: An Interpretable and Editable Neuro-Symbolic Framework for Affordance-Grounded Active Object Retrieval
CRAFT-E通过结合神经符号方法和具身感知，提供了一种可解释且可定制的框架，用于辅助机器人系统中基于赋能力量的物体选择。
2026-10-27 cs.AI cs.RO
Interactive Perception: Leveraging Action in Perception and Perception in Action
University of Southern California（南加州大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Stanford University（斯坦福大学）；Royal Institute for Technology (KTH)（瑞典皇家理工学院）；Technische Universität Berlin（柏林工业大学）
机器人技术的最新方法遵循这样的见解，即感知是通过与环境的交互来促进的。这些方法被归入交互式感知（IP）的术语。它提供了以下益处：（i）与环境的交互创建了丰富的感觉信号，否则将不存在，以及（ii）对感觉数据和动作参数的组合空间中的规律性的了解促进了对信号的预测和解释。在这项调查中，我们假设这是一个原则，并收集证据支持分析和分类在这一领域的现有工作。我们还提供了交互感知的最重要的应用程序的概述。我们通过讨论剩余的未决问题来结束本次调查。因此，我们希望定义一个领域，并启发未来的工作。
2017-12-06 cs.RO
Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via Implicit Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
在混乱中的抓取检测要求机器人从不完整和嘈杂的感知中推理出3D场景。在这项工作中，我们得出的见解，3D重建和把握学习是两个密切相关的任务，这两者都需要一个细粒度的理解局部几何细节。因此，我们建议通过共享表示的多任务学习来利用抓取启示和3D重建之间的协同作用。我们的模型利用了深度隐式函数，一种连续和记忆效率高的表示，以实现两个任务的可微训练。在仿真中，我们对自监督抓取试验数据进行训练。评估进行的杂物清除任务，其中机器人清除杂乱的对象，抓住他们一次一个。仿真和真实机器人的实验结果表明，使用隐式神经表示和联合学习的把握启示和3D重建导致了国家的最先进的抓取结果。我们的方法在抓取成功率方面优于基线超过10%。其他结果和视频可在https://sites.google.com/view/rpl-giga2021上找到
2021-07-21 cs.AI cs.CV cs.RO
GCNGrasp-VP: Affordance-Guided View Planning for Efficient Task-Oriented Grasping
Shenzhen Key Laboratory of Robotics and Computer Vision（机器人与计算机视觉深圳重点实验室）
提出GCNGrasp-VP框架，通过功能场预测引导主动视角规划，无需场景重建，单次视角调整即可显著提升遮挡下的任务导向抓取成功率。
2026-06-18 cs.RO
Affordance-Guided Enveloping Grasp Demonstration Toward Non-destructive Disassembly of Pinch-Infeasible Mating Parts
Department of Systems Innovation, Graduate School of Engineering Science, The University of Osaka（大阪大学工学研究院系统创新部门）；Industrial Cyber-physical Systems Research Center, The National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院工业网络物理系统研究中心）
本文提出一种基于 affordance 的遥控方法，通过物理模拟预生成包裹抓取候选方案，利用颜色梯度增强操作员感知，实验证明该方法能有效指导实际拆卸任务。
2026-03-22 cs.RO
Panoramic Affordance Prediction
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；SJTU（上海交通大学）；MBZUAI（慕尼黑工业大学人工智能研究所）；UniTrento（特伦特大学）；Knowin
本文提出全景 affordance 预测，利用 360 度影像捕捉全局空间关系，通过 PAP-12K 数据集和 PAP 框架解决超高清影像的高分辨率和畸变问题，展现全景感知在具身智能中的潜力。
2026-03-16 cs.CV cs.RO
Tactile-Filter: Interactive Tactile Perception for Part Mating
Mitsubishi Electric（三菱电机）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；MIT（麻省理工学院）
本文提出Tactile-Filter，利用视觉触觉图像训练深度网络预测销孔概率对应，并结合粒子滤波与最大化不确定性降低的动作选择，实现机器人零件配合中的交互式触觉感知。
2023-06-05 cs.AI cs.LG cs.RO
BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
BridgeACT通过统一的工具-目标可及性表示，直接从人类视频学习机器人操作，无需机器人示范数据，有效提升真实世界执行能力。
2026-04-25 cs.RO
Affordance2Action: Task-Conditioned Scene-level Affordance Grounding for Real-Time Manipulation
Department of Computer Science, Rutgers University-New Brunswick（罗格斯大学新布朗斯维尔回声分校计算机科学系）；The Hong Kong University of Science and Technology (GZ)（香港科学与技术大学（GZ））；Shanghai AI Laboratory（上海人工智能实验室）
提出Affordance2Action框架，通过构建A2A-Bench基准和A2A-AffordGen标注流程，解决场景级任务条件功能区域定位中的多区域对应问题，并支持实时操作。
2026-10-07 cs.RO
Enhancing Deformable Object Manipulation By Using Interactive Perception and Assistive Tools
The University of Hong Kong（香港大学）
针对可变形物体操作难题，提出利用交互感知寻找最优视角和借助辅助工具（如折叠板）减少变形，以提升操作性能。
2023-11-16 cs.RO
ManipGPT: Is Affordance Segmentation by Large Vision Models Enough for Articulated Object Manipulation?
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）；PKU-Agibot Lab（北京大学AGIBOT实验室）
本文提出ManipGPT框架，利用大型预训练ViT和9.9k图像数据集进行部件级可供性分割，结合阻抗适应策略，实现铰接物体在模拟和现实中的有效操作。
2025-10-09 cs.CV cs.RO
Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception
CNRS（法国国家科学研究中心）
为了解决它的任务，机器人需要有能力解释它的感知。在视觉中，这种解释特别困难，依赖于对场景结构的理解，至少在其任务和感觉运动能力的范围内。一个有能力根据自己的任务和能力构建和调整这种解释过程的机器人，将打破机器人在非受控环境中所能达到的极限。一种解决方案是为机器人提供构建不特定于环境或情况的这种表示的过程。大量的工作集中在目标分割、识别和操作上。考虑到可能的对象和环境的范围很广，仅根据其视觉外观来定义对象是具有挑战性的。因此，当前的作品对场景的结构进行了简化假设。这样的假设降低了对象提取过程对假设成立的环境的适应性。为了限制这样的假设，我们介绍了一种探索方法，旨在确定场景中的可移动元素，而不考虑对象的概念。通过使用交互式感知框架，我们的目标是引导收购过程中的代表性的环境与最小的上下文特定的假设。机器人系统建立一个感知地图称为相关性地图，它指示当前场景的可移动部分。在线训练分类器以预测每个区域的类别（可移动或不可移动）。它还用于选择与之交互的区域，目的是最大限度地减少分类的不确定性。一个特定的分类器，以满足这些需求：协作混合模型分类器。该方法是测试一组日益复杂的情况下，使用模拟和PR2机器人。
2019-01-30 cs.AI cs.CV cs.LG
Object Finding in Cluttered Scenes Using Interactive Perception
ETH（苏黎世联邦理工学院）
在混乱中寻找目标是一项需要感知环境的技能，在许多情况下需要物理交互。在机器人技术中，交互式感知定义了一组算法，这些算法利用动作来改善对环境的感知，反之亦然，使用感知来指导下一个动作。场景交互很难建模，因此，大多数当前系统使用预定义的语法。这限制了它们在复杂环境中有效搜索目标对象的能力。为了消除复杂性和需要明确的模型的相互作用，在这项工作中，我们提出了一个基于强化学习的主动和交互式感知系统的场景探索和对象搜索。我们评估我们的工作在模拟和现实世界的实验中使用机器人机械手配备了RGB和深度相机，并比较我们的系统的两个基线。结果表明，我们的方法，只在模拟训练，顺利地转移到现实中，可以有效地解决目标发现任务，成功率超过88%。
2020-05-30 cs.RO
Interactive Perception for Deformable Object Manipulation
KTH（瑞典皇家理工学院）；The Hong Kong Polytechnic University（香港理工大学）
针对可变形物体操作中的视觉遮挡与操控难题，提出基于序贯决策、耦合主动相机与操控器的交互式感知框架，并通过 DAVS 子空间利用运动规律，仿真与真实双臂实验验证了其有效性。
2024-06-11 cs.RO
arg-VU: Affordance Reasoning with Physics-Aware 3D Geometry for Visual Understanding in Robotic Surgery
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Stanford University（斯坦福大学）
arg-VU通过整合时间一致的几何跟踪与约束诱导的机械建模，提升手术场景中变形组织的意图推理能力，实现更稳定和物理一致的预测。
2026-03-26 cs.CV cs.RO
Zero-shot Interactive Perception
University of Surrey（萨里大学）；University of Sheffield（谢菲尔德大学）
ZS-IP通过结合多策略操作与基于记忆的视觉语言模型，实现零样本交互感知，提升复杂场景中推操作的性能。
2026-02-20 cs.AI cs.RO
Token-Based Affordance Grounding with Large Vision-Language Models
University of Mississippi（密西西比大学）；National University of Singapore（新加坡国立大学）；NVIDIA（英伟达）
研究旨在解决现有视觉语言模型在行动定位上的问题，提出TokAG零样本可供性基础框架，利用令牌级语义空间信号定位相关区域，引入空间感知令牌选择机制，在多基准测试中优于先前方法。
2026-07-07 cs.AI cs.CV cs.RO
The Wilhelm Tell Dataset of Affordance Demonstrations
Digital Media Lab（数字媒体实验室）；University of Bremen（不莱梅大学）；Applied Linguistics（应用语言学）；KU Leuven（鲁汶大学）；National Research Council（国家研究理事会）
本文提出 Wilhelm Tell 数据集，通过多参与者、约七小时的第一/第三人称家庭任务视频及可供性元数据，支持机器人识别可供性表现并研究人类准备动作。
2025-07-23 cs.HC cs.RO
ODIP: Towards Automatic Adaptation for Object Detection by Interactive Perception
National Taiwan University（台湾大学）；Mobile Drive Technology（移动驱动科技公司）
目标检测通过识别下游算法的实例在视觉系统中起着重要作用。然而，在工业场景中，制造系统的微小变化将导致昂贵的数据重新收集和人工注释过程来重新训练模型。现有的解决方案，如半监督和Few-Shot方法要么依赖于大量的人类注释，要么性能低下。在这项工作中，我们探索了一种基于交互感知（ODIP）的新型对象检测器，它可以以自动化的方式适应新的领域。通过与抓取系统进行交互，ODIP积累了对新对象的视觉观察，学习识别以前未见过的实例，而无需人类注释数据。大量的实验表明，ODIP优于通用的对象检测器和国家的最先进的Few-Shot对象检测器在传统的方式微调。一个演示视频提供了进一步说明的想法。
2021-08-03 cs.RO
GarmentPile++: Affordance-Driven Cluttered Garments Retrieval with Vision-Language Reasoning
GarmentPile++通过结合视觉-语言推理和视觉affordance感知，实现基于语言指令的杂乱衣物安全检索，确保每次检索一件衣物，提升家庭助理机器人任务执行能力。
2026-03-04 cs.AI cs.RO
Affordance Transfer Across Object Instances via Semantically Anchored Functional Map
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Australian Centre for Robotics, The University of Sydney（悉尼大学机器人中心）；College of Connected Computing, Vanderbilt University（范德比大学连接计算学院）
本文提出语义锚定的功能映射方法，通过单个视觉示范实现跨不同几何物体的 affordance 转移，提升机器人感知与行动的实用性。
2026-02-16 cs.RO
Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance
Fudan University（复旦大学）；KAUST（康斯坦丁·亚历山大科研大学）；SJTU（上海交通大学）；East China Normal University（华东师范大学）
提出Afford-VLA框架，通过内化任务条件可操作性作为显式视觉规划接口，利用可学习<AFF>令牌查询交互区域并解码为紧凑嵌入以直接条件化动作生成，在多个模拟基准上取得最先进性能。
2026-05-22 cs.RO
Beyond Collision Avoidance: Multi-Robot Yielding and Spatial Affordance in Emergency Evacuations
School of Engineering Mathematics and Technology（工程数学与技术学院）
研究通过虚拟疏散实验探讨多机器人让路策略对人类空间期望的影响，发现主动让路优于冻结和效率优先策略，并揭示环境可得性对认知预期的塑造作用。
2026-05-15 cs.RO
Chat with the Environment: Interactive Multimodal Perception Using Large Language Models
Universität Hamburg（汉堡大学）
本研究提出Matcha框架，利用大语言模型指导机器人在部分可观察的多模态环境中进行交互式感知与任务规划，实现高层推理与多模态信息融合。
2023-10-11 cs.AI cs.CL cs.LG
AFUN: Towards an Affordance Foundation Model for Functionality Understanding
University of Michigan（密歇根大学）；University of California, San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
提出AFUN模型，从单张RGB-D图像和语言任务描述中预测任务条件功能掩码和3D接触后运动曲线，通过大规模标准化数据流水线实现开放世界泛化，在多项基准测试中显著优于现有方法。
2026-06-01 cs.CV cs.RO
Agile-VLA: Few-Shot Industrial Pose Rectification via Implicit Affordance Anchoring
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出Agile-VLA框架，通过隐式affordance锚定机制将几何视觉线索映射为参数化动作原语，减少对高延迟语义推理的依赖，实现边缘设备上的高频率动态操作控制。
2026-03-24 cs.RO
Object Perception and Grasping in Open-Ended Domains
University of Groningen（格罗宁根大学）
如今，服务机器人正在离开结构化和完全已知的环境，进入以人为中心的环境。对于这些机器人来说，由于对准确和实时响应的高要求，物体感知和抓取是两项具有挑战性的任务。虽然许多问题已经被理解并成功地解决了，但仍然存在许多挑战。开放式学习是这些挑战之一，等待许多改进。认知科学揭示，随着时间的推移，人类会不断地学习识别物体类别和把握启示。这种能力允许通过从经验的积累和新对象类别的概念化中增强他们的知识来适应新环境。受此启发，自主机器人必须能够处理视觉信息，并以开放式的方式进行学习和识别任务。在这种情况下，“开放式”意味着要学习的对象类别的集合事先不知道，并且训练实例从机器人的在线经验中提取，并且随着时间的推移逐渐可用，而不是在学习过程开始时完全可用。在我的研究中，我主要集中在交互式开放式学习方法，同时识别多个对象和他们的把握启示。特别是，我试图解决以下研究问题：（一）什么是自主机器人的开放式学习的重要性？(ii)机器人如何从自己的经验以及与人类的互动中逐步学习？(iii)以开放方式使用深度学习方法的局限性是什么？(iv)如何评估开放式学习方法，以及如何评估开放式学习方法？
2019-07-25 cs.RO
PhysGraph: A Physics-aware 3D Scene Graph for Perception and Reasoning
Duke University（杜克大学）
提出PhysGraph框架，结合符号推理与结构化3D几何，建模杂乱场景中的运动学和物理属性，在语义分割、多物体质量估计和关节预测上达到最优。
2026-06-07 cs.CV cs.RO
SurgAM: Surgical Affordance Map Prediction with Multimodal Feature Fusion for Robot Autonomy
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Department of Thoracic Surgery, Peking University People’s Hospital（北京大学人民医院胸外科）；Thoracic Oncology Institute, Peking University People’s Hospital（北京大学人民医院胸部肿瘤研究所）；Research Unit of Intelligence Diagnosis and Treatment in Early Non-small Cell Lung Cancer, Chinese Academy of Medical Sciences（中国医学科学院早期非小细胞肺癌智能诊断与治疗研究组）；Institute of Advanced Clinical Medicine, Peking University（北京大学先进临床医学院）；Beijing Key Laboratory of Innovative Application of Big Data in Lung Cancer, Peking University People’s Hospital（北京大学人民医院肺癌大数据创新应用北京市重点实验室）
研究如何通过视觉数据识别手术可操作区域，提出自适应特征融合框架、分层提示学习机制和场景引导注意力解码器，建立新数据集验证，在真实模型上验证框架对下游自动化的适用性。
2026-07-07 cs.RO
Revisiting Articulated Parts Perception in Robot Manipulation
Shanghai Jiao Tong University（上海交通大学）
提出几何主结构（GPS）作为关节部件的新表示，结合VR设备实现高效标注，训练通用模型，在零样本下达到73%操作成功率。
2026-06-06 cs.CV cs.RO
RoboRetriever: Single-Camera Robot Object Retrieval via Active and Interactive Perception with Dynamic Scene Graph
RoboRetriever提出仅用单个腕部RGB-D相机和自然语言指令，通过动态分层场景图及主动、交互式感知与操作协同，在杂乱真实场景中实现鲁棒的目标取回。
2025-08-18 cs.RO
Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking
the University of Hong Kong（香港大学）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Shanghai Jiaotong University（上海交通大学）；Southern University of Science and Technology（南方科技大学）
针对开环方法忽略交互动态的问题，提出一种结合交互感知与基于SAM2跟踪的在线轴估计的闭环流水线，通过分割3D点云并掩码运动部分进行精确轴估计以指导机器人动作，显著提升了铰接物体操作精度。
2025-03-07 cs.AI cs.GR cs.LG
