IRIS: Learning-Driven Task-Specific Cinema Robot Arm for Visuomotor Motion Control
Aerospace Eng. Department New York University（航空航天工程系 新 York 大学）；MIE Department University of Toronto（机械工程系 蒂姆斯大学）；ECE Department University of Toronto（电子与计算机工程系 蒂姆斯大学）
IRIS是一种低成本、高精度的电影机器人臂，通过基于Transformer的动作分块学习实现自主视觉-运动控制，支持多种电影运动任务。
2026-02-19 cs.LG cs.RO
Adversarial Feature Training for Generalizable Robotic Visuomotor Control
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
深度强化学习（RL）通过学习将图像像素映射到动作输出的函数，实现了端到端的训练动作选择策略。然而，它的应用程序可视化机器人的政策培训受到限制，因为大规模的数据汇集的挑战时，与物理硬件。一个合适的视觉策略不仅应该在训练的任务设置中表现良好，而且还应该在各种任务中表现良好，包括被任务无关对象包围的不同视角的新对象。然而，对于机器人设置来说，在RL框架中充分收集交互式样本以很好地概括任务的新方面是不切实际的。在这项工作中，我们证明，通过使用对抗训练域转移，有可能训练基于RL框架的可视化策略，然后将获得的政策转移到其他新的任务域。我们建议利用深度RL功能来学习复杂的视觉技能，以实现简单的任务设置，然后利用迁移学习来推广到新的任务域，只提供目标域中任务的静态图像。我们评估我们的方法在两个真正的机器人任务，采摘和倾倒，并将其与一些先前的作品进行比较，证明其优越性。
2019-09-17 cs.CV cs.LG cs.RO
Learning secondary tool affordances of human partners using iCub robot's egocentric data
Tilburg University（蒂尔堡大学）；Osaka University（大阪大学）；Ozyegin University（厄齐耶因大学）
本文利用iCub机器人自我中心数据，通过深度神经网络预测人类伙伴的次要工具可供性，实现复杂可供性的人机协作物体操作。
2024-07-16 cs.LG cs.RO
Learning Visuomotor Policy for Multi-Robot Laser Tag Game
本文提出了一种端到端的视觉运动策略，通过多智能体强化学习训练教师策略并蒸馏知识，以提升多机器人激光对抗游戏中的命中精度和碰撞避免性能。
2026-03-12 cs.RO
Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
提出机器人中心池化方法，通过突出与本体感觉相关的图像区域，增强端到端视觉运动策略对干扰物和像素偏移的鲁棒性，无需额外数据收集。
2024-11-07 cs.RO
Learning Deep Parameterized Skills from Demonstration for Re-targetable Visuomotor Control
Brown University（布朗大学）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
机器人需要学习的技能不仅可以概括类似的问题，而且还可以针对特定的目标。以前的方法要么为每个不同的目标训练新技能，要么在存在多个目标的情况下不从视觉数据推断特定目标。我们引入了一个端到端的方法，代表目标参数化的神经网络政策的有针对性的可视化技能。通过对具有相关目标参数的可用目标的信息子集进行训练，我们能够学习可以zero-shot推广到以前看不见的目标的策略。我们在按钮网格的代表性2D模拟以及两个不同物理手臂上的按钮按下和钉插入任务中评估了我们的方法。我们证明，我们的模型在33%的可能目标上训练，能够概括到场景中超过90%的目标，用于仿真和机器人实验。我们还成功地学习了从目标像素坐标到机器人策略的映射，以完成指定的目标。
2021-02-28 cs.LG cs.RO
DMotion: Robotic Visuomotor Control with Unsupervised Forward Model Learned from Videos
Peking University（北京大学）；Princeton University（普林斯顿大学）；Peng Cheng Lab（鹏城实验室）
学习环境的精确模型对于基于模型的控制任务至关重要。机器人视觉控制中的现有方法通常从具有大量标记的动作、对象实体或位置的数据中学习，这在许多情况下可能是苛刻的。为了应对这一限制，我们提出了一种方法，被称为DMotion，通过解开可控代理的运动来模拟过渡动态，仅从视频数据训练前向模型。对象提取器和交互学习器在没有监督的情况下以端到端的方式被训练。代理的运动显式表示使用空间变换矩阵包含物理意义。在实验中，DMotion在Grid World环境中学习精确的前向模型以及在仿真中更逼真的机器人控制环境方面取得了优异的性能。随着准确的学习前向模型，我们进一步证明了它们的使用模型预测控制作为一种有效的方法，机器人操作。
2021-07-26 cs.RO
Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies
Duke University（杜克大学）；Air Force Research Laboratory（空军研究实验室）
本文提出感知拼接方法，通过对齐潜在视觉特征实现视觉编码器模块化，并将其直接拼接到已有策略网络，从而在仿真和真实机器人操作任务中实现面对大幅视觉变化的零样本适应。
2025-01-01 cs.RO
Data-efficient visuomotor policy training using reinforcement learning and generative models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架，解决可视化顺序决策问题，利用强化学习（RL）和潜变量生成模型的组合。我们的框架通过引入动作潜在变量来训练深度可视化策略，使得前馈策略搜索可以分为三个部分：（i）训练子策略，该子策略在给定系统状态的情况下输出关于动作潜在变量的分布，（ii）无监督地训练生成模型，该生成模型输出以潜在动作变量为条件的运动动作序列，以及（iii）以端到端的方式对深度可视化策略进行监督训练。我们的方法可以安全探索，并解决数据效率低下的问题，因为它利用了有关有效的电机动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们定义了两个新的措施，去纠缠和本地线性评估潜在的代表性的质量，并补充他们与现有的措施，评估的学习分布。我们通过实验确定了不同的生成模型的特性，这些模型对机器人采摘任务的最终策略训练的性能影响最大。
2020-11-06 cs.LG cs.RO
OVAL-Prompt: Open-Vocabulary Affordance Localization for Robot Manipulation through LLM Affordance-Grounding
University of Michigan（密歇根大学）；J.P. Morgan AI Research（摩根大通AI研究院）
OVAL-Prompt利用VLM和LLM实现RGB-D图像中的开词汇可供性定位，无需微调即可达到监督基线精度，支持机器人操作。项目页面：https://ekjt.github.io/OVAL-Prompt/
2024-05-25 cs.RO
Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks
Stanford University（斯坦福大学）
在本文中，我们研究的问题，从原始图像，可以排序完成长期的视觉任务的低层次技能的剧目学习。强化学习（RL）是自主获取短期技能的一种很有前途的方法。然而，强化学习算法的重点在很大程度上是这些个人技能的成功，而不是学习和建立大量技能库，这些技能可以被排序以完成扩展的多阶段任务。后者需要鲁棒性和持久性，因为技能的错误会随着时间的推移而加剧，并且可能需要机器人在其曲目中具有许多原始技能，而不仅仅是一个。为此，我们引入了EMBER，一种基于模型的RL方法，用于学习适合完成长时间视觉任务的原始技能。EMBER使用学习的模型、评论家和成功分类器进行学习和规划，其中成功分类器既作为RL的奖励函数，又作为一种基础机制，以持续检测机器人是否应该在不成功或受到干扰时重试技能。此外，学习模型是任务不可知的，并使用来自所有技能的数据进行训练，使机器人能够有效地学习许多不同的原语。这些视觉原始技能及其相关的前置和后置条件可以直接与现成的符号规划器相结合，以完成长期任务。在一个Franka Replika机器人手臂上，我们发现EMBER使机器人能够以85%的成功率完成三个长视野视觉任务，例如组织办公桌，文件柜和抽屉，这需要排序多达12个技能，涉及14个独特的学习原语，并要求泛化到新的对象。
2022-09-19 cs.AI cs.LG cs.RO
myGym: Modular Toolkit for Visuomotor Robotic Tasks
我们介绍了一种新的虚拟机器人工具包myGym，强化学习（RL），内在动机和模仿学习任务训练的3D模拟器开发。然后，经过训练的任务可以很容易地转移到现实世界的机器人场景中。模拟器的模块化结构使用户能够在各种机器人，环境和任务的大量场景中进行训练和验证他们的算法。与适用于经典RL的现有工具包（例如OpenAI Gym，Roboschool）相比，myGym还为需要内在动机的视觉（结合视觉和运动）无监督任务做好了准备，即机器人能够生成自己的目标。还有一些用于人机交互的协作场景。该工具包为可视化任务提供了预训练的可视化模块，允许快速原型化，此外，用户可以自定义可视化子模块并使用自己的对象集进行重新训练。在实践中，用户选择所需的环境，机器人，对象，任务和奖励类型作为模拟参数，训练，可视化和测试本身都是自动处理的。因此，用户可以完全专注于神经网络架构的开发，同时使用预定义的参数控制环境的行为。
2020-12-21 cs.AI cs.RO
Building an Affordances Map with Interactive Perception
机器人需要了解他们的环境来执行任务。如果有可能在封闭环境中对视觉景物分析过程进行预编程，则在开放环境中操作的机器人将受益于通过与环境的交互来学习它的能力。这种能力还开辟了获取示能图的途径，在示能图中，机器人的动作能力构成其视觉场景理解。我们提出了一种方法来建立这样的启示地图依赖于一个互动的感知方法和在线分类。在所提出的形式化的启示，行动和效果相关的视觉功能，而不是对象，他们可以结合起来。我们已经测试了三个动作原语和一个真正的PR2机器人的方法。
2019-03-11 cs.AI cs.LG cs.RO
BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
BridgeACT通过统一的工具-目标可及性表示，直接从人类视频学习机器人操作，无需机器人示范数据，有效提升真实世界执行能力。
2026-04-25 cs.RO
Learning Coordinated Visuomotor Box-Pushing from Solo Demonstrations
National Institute of Advanced Industrial Science and Technology (AIST)（国立产业技术综合研究所（AIST））；Institute of Science Tokyo（东京科学大学）；The University of Tokyo（东京大学）
该研究探索利用单机器人遥操作数据实现大规模多机器人协调推箱，发现被动观察难以获取有效协调，并揭示了多机器人研究的瓶颈。
2026-10-06 cs.RO
Fast and Robust Visuomotor Riemannian Flow Matching Policy
Bosch Center for Artificial Intelligence（博世人工智能中心）；Division of Robotics, Perception, and Learning, KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院）；Computer Science Department of the Technische Universität Darmstadt（达姆施塔特技术大学计算机科学系）
本文提出黎曼流匹配策略（RFMP）及其稳定变体SRFMP，利用流匹配的快速推理与黎曼几何约束，在十个模拟和真实任务上超越扩散策略和一致性策略。
2025-08-07 cs.LG cs.RO
PanoVine: Whole-Body Visuomotor Control for Soft Growing Vine Robot
Stanford University（斯坦福大学）
针对软体生长藤蔓机器人难以建模和控制的问题，提出基于全身视觉反馈的数据驱动控制框架，利用19个分布式相机和端到端策略实现复杂环境下的自主导航与操作。
2026-06-24 cs.RO
Cross-Embodiment Affordance Transfer for Robotic Manipulation
Radboud University（拉德堡德大学）；School of Artificial Intelligence（人工智能学院）；Donders Centre for Cognition（东德斯认知中心）
该研究针对机器人操作中人工 affordance 标注与机器人物理约束不匹配的问题，提出跨 embodiments affordance 迁移框架，结合机器人信息训练模型，在 UR5e 机械臂上的家庭物体数据集上取得优于无机器人信息模型的性能。
2026-10-14 cs.RO
Ontology-Guided Reasoning for Affordance-Based Explanations of Robot Navigation
Institute of Artificial Intelligence, Ulm University（乌尔姆大学人工智能研究所）；Faculty of Electrical Engineering, University of Sarajevo（萨拉热窝大学电气工程学院）
提出本体引导推理方法，通过局部可供性本体表示实体、可供性状态和空间关系，评估假设的对象-可供性状态变化作为解释因素，生成语义可理解且可操作的解释，并在机器人图书管理员场景中验证其准确性和鲁棒性。
2026-05-27 cs.RO
RT-Affordance: Affordances are Versatile Intermediate Representations for Robot Manipulation
Google DeepMind（谷歌DeepMind）；The University of Austin at Texas（德克萨斯大学奥斯汀分校）
RT-Affordance提出以可供性为中间表示，分层生成可供性计划并条件化策略，利用互联网数据和领域内图像，在多样新任务上性能提升超50%。
2024-11-05 cs.AI cs.CL cs.CV
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg（汉堡大学）
在本文中，我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示，该编码器经过训练以重建视觉输入，而最中心的隐藏表示也经过优化以估计状态值。单独地，预测世界模型的集合基于其学习进度生成内在奖励信号，该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务，学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明，我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
Learning Affordances from Interactive Exploration using an Object-level Map
Autonomous Systems Lab, ETH Zurich（苏黎世联邦理工学院自主系统实验室）；School of EECS, The University of Queensland（昆士兰大学电气工程与计算机科学学院）
提出一种集成物体级地图的机器人交互式探索流程，通过跨视角识别和追踪物体实例来收集交互经验，从而获得更密集准确的可供性标注，并提升探索效率与预测模型精度。
2025-01-10 cs.RO
Shared Affordance-awareness via Augmented Reality for Proactive Assistance in Human-robot Collaboration
本文提出一种增强现实框架，通过共享可负担性感知表示促进人机协作中的主动辅助，并在家务清洁任务中验证其潜力。
2023-12-20 cs.HC cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro（阿威罗大学电子与电信研究所）；University of Groningen（格罗宁根大学）
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人，由于需要准确和实时的响应，物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法，同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献，因为无论用于批量学习的训练数据有多广泛，机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置（即，末端执行器位置和方向）来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验，以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度，可扩展性和把握成功率的性能。
2019-04-04 cs.RO
RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation
Xiaomi EV（小米电动车）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
针对现有视觉语言模型难以推断物理交互可执行位置的问题，本文构建生成式AI增强的多模态可供性数据集RoboAfford++及配套评估基准，实验证明该数据集可有效提升模型的可供性推理能力。
2025-11-16 cs.RO
Affordance-Based Mobile Robot Navigation Among Movable Obstacles
Northeastern University（东北大学）
在感知世界中避开障碍物一直是自主移动机器人导航的经典方法。然而，这通常会导致不自然和低效的运动，与人类在紧凑和动态空间中移动的方式截然不同，因为我们在必要时不会避免与周围环境进行交互。受此启发，我们提出了一个框架，自主机器人导航之间的可移动障碍物（NAMO），是基于启示和接触隐式运动规划的理论。我们考虑一个现实的情况下，移动服务机器人谈判未知的障碍物在环境中，同时导航到一个目标状态。对新障碍物进行示能表示提取以检测其可移动性，并使用接触隐式轨迹优化方法使机器人能够与可移动障碍物交互以提高任务性能或完成否则不可行的任务。我们证明了所提出的框架的性能与丰田的人类支持机器人的硬件实验。
2021-02-09 cs.RO
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Knowin AI（考拉悠然科技）
提出AffordanceWAM，通过可供性感知的生成式世界动作模型，联合预测未来视觉与动作，利用人类视频实现无需动作标签的机器人操作迁移，并在多个基准上取得一致提升。
2026-10-20 cs.AI cs.CV cs.RO
RAIL: Robot Affordance Imagination with Large Language Models
University of Delaware（特拉华大学）；National University of Singapore（新加坡国立大学）
本文提出RAIL框架，通过融合大语言模型与物理模拟器，以分析-想象-评估三方结构实现对未见物体可供性的自动推理、分类与功能姿态预测，并在真实机器人实验中验证其有效性。
2024-06-07 cs.RO
What Can I Do Here? Learning New Skills by Imagining Visual Affordances
UC Berkeley（加州大学伯克利分校）
一个拥有学习技能的多面手机器人必须能够在许多不同的环境中执行许多任务。然而，对新设置的zero-shot泛化并不总是可能的。当机器人遇到一个新的环境或物体时，它可能需要微调以前学习的一些技能来适应这种变化。但至关重要的是，以前学到的行为和模型仍然适合加速这种再学习。在本文中，我们的目标是研究如何生成模型的可能的结果可以让机器人学习视觉表示的启示，使机器人可以采样潜在的可能结果在新的情况下，然后进一步训练其政策，以实现这些结果。实际上，先验数据被用来学习可能的结果，这样当机器人遇到不熟悉的环境时，它可以从模型中采样潜在的结果，尝试达到它们，从而更新其技能和结果模型。这种方法，视觉启示学习（VAL），可用于训练目标条件的政策，对原始图像输入操作，并可以快速学习，通过我们提出的启示导向的探索计划来操纵新的对象。我们表明，VAL可以利用先前的数据来解决现实世界的任务，如抽屉打开，抓住，并放置对象在新的场景中，只有五分钟的在线体验在新的场景。
2021-06-13 cs.CV cs.LG cs.RO
A Latency-Aware Framework for Visuomotor Policy Learning on Industrial Robots
Princeton University（普林斯顿大学）
本文提出了一种面向工业机器人视觉-运动策略学习的延迟感知框架，通过优化执行策略以应对延迟问题，提升策略在现实环境中的可靠性和稳定性。
2026-08-25 cs.RO
STDArm: Transferring Visuomotor Policies From Static Data Training to Dynamic Robot Manipulation
University of Science and Technology of China（中国科学技术大学）
提出STDArm系统，通过包含动作管理器、轻量级预测网络稳定器和在线延迟估计模块的实时动作校正框架，将静态训练的视觉运动策略直接迁移至动态机器人平台，实现厘米级移动操作精度。
2025-04-26 cs.RO
Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation
Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；HKU（香港大学）；Tsinghua University（清华大学）
针对长程任务开环控制易累积误差的问题，提出闭环视觉运动控制框架CLOVER，结合视频扩散模型生成视觉计划、可测嵌入空间量化误差及反馈驱动控制器优化动作，在CALVIN基准上较开环方法提升8%。
2024-10-16 cs.RO
Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness
Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩堡技术大学）
ARRO通过实时视觉屏蔽和虚拟引导提升机器人操作的视觉鲁棒性，减少对额外数据的依赖，适用于多种桌面任务和真实环境。
2026-01-06 cs.RO
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
本文提出扩散策略，将视觉运动策略建模为条件去噪扩散过程，在12个机器人操作任务上平均提升46.9%，并引入滚动时域控制、视觉条件化等技术，以充分发挥扩散模型在机器人策略学习中的潜力。
2024-03-14 cs.RO
Learning Human-Robot Handovers Through $π$-STAM: Policy Improvement With Spatio-Temporal Affordance Maps
Sapienza University of Rome（罗马大学）
人机交互的特点是高度的不确定性和不良的问题结构，使他们成为困难的任务。虽然机器学习方法已经显示出有希望的结果，但它们在具有大状态维度的问题（例如在人形机器人的情况下）中的应用仍然有限。另外，通过使用这些方法并且在与人类操作员交互期间，不能获得关于空间约束（例如，社会规则）。在本文中，我们提出了一种新的迭代算法来学习空间启示和生成机器人行为的时空启示图- $π$ -STAM-策略改进。我们的目标是通过使用启示来生成一个适应未知动作语义的策略。通过这种方式，在学习执行人-机器人交接任务时，我们可以（1）有效地生成良好的策略，只需很少的训练片段，（2）轻松编码动作语义，如果可用，则执行先验知识。我们在仿真和真实NAO机器人上实验验证了我们的方法，其任务包括从人类手中拿走物体。实验结果表明，该算法在降低计算量和学习时间的同时，获得了较好的策略。
2016-10-15 cs.RO
CoA-VLA: Improving Vision-Language-Action Models via Visual-Textual Chain-of-Affordance
Shanghai University（上海大学）；Midea Group（美的集团）；East China Normal University（华东师范大学）
针对机器人VLA模型在复杂多任务环境下的性能提升问题，提出融合视觉-文本可供性链推理的CoA-VLA方法，通过四类可供性与共注入模块优化策略，在多任务上超越OpenVLA等SOTA模型且泛化性更强。
2025-07-31 cs.RO
Learning Social Affordance for Human-Robot Interaction
University of California, Los Angeles（加州大学洛杉矶分校）；Indiana University, Bloomington（印第安纳大学伯明顿分校）
在本文中，我们提出了一种方法，机器人学习的社会启示从人类活动的视频。我们在人机交互的背景下考虑这个问题：我们的方法学习人-人（和人-物体-人）交互的结构表示，描述每个代理的身体部位如何相对于彼此移动，以及它们应该保持什么样的空间关系来完成每个子事件（即，次级目标）。这使得机器人能够根据人体运动来推断自己的运动，从而使其能够自然地复制这种交互。我们介绍了社会启示的表示，并提出了一个生成模型的弱监督学习从人类演示视频。我们的方法发现关键步骤（即，潜在的子事件）以及与它们相关联的典型运动，学习应该涉及哪些身体部位以及如何涉及。实验结果表明，我们的马尔可夫链蒙特卡罗（MCMC）的学习算法自动发现语义有意义的互动启示RGB-D视频，这使我们能够生成适当的全身运动的代理。
2016-04-20 cs.AI cs.CV cs.LG
Affordances from Human Videos as a Versatile Representation for Robotics
CMU（卡内基梅隆大学）；Meta AI
本文提出VRB方法，通过从互联网人类视频中学习视觉可供性模型，估计场景中人类可能的交互位置和方式，并将其无缝集成到离线模仿学习、探索、目标条件学习和强化学习动作参数化四种范式中，在多个真实环境和任务上验证了机器人执行复杂任务的有效性。
2023-04-17 cs.AI cs.CV cs.LG
Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning
Stanford University（斯坦福大学）
在模仿和强化学习中，人类监督的成本限制了机器人可以训练的数据量。一个令人向往的目标是构建自我改进的机器人：可以在最少的人类监督或监督下自主互动的机器人。这样的机器人可以收集和训练更大的数据集，从而学习更强大和性能更好的政策。虽然强化学习通过试错法为这种自主学习提供了一个框架，但实际的实现最终需要广泛的人类监督来设计奖励函数，并在交互事件之间重复重置环境。在这项工作中，我们提出了MEDAL++，一种新的设计，用于自我改进的机器人系统：在开始时给出一小组专家演示，机器人通过学习做和撤销任务来自主练习任务，同时从演示中推断奖励函数。策略和奖励函数是从高维视觉输入端到端学习的，绕过了对先前工作中使用的视觉编码器的显式状态估计或特定于任务的预训练的需要。我们首先在模拟的非情景基准EARL上评估了我们提出的算法，发现MEDAL++的数据效率更高，与最先进的基于视觉的方法相比，最终性能提高了30%。我们的真实机器人实验表明，MEDAL++可以应用于操作问题，在更大的环境比那些考虑在以前的工作，和自主自我改进可以提高成功率30-70%以上的行为克隆只是专家数据。代码、培训和评估视频以及简要概述请访问：https://architsharma97.github.io/self-improving-robots/
2023-03-02 cs.AI cs.LG cs.RO
Rethinking Visual Embodiment Dependence in Visuomotor Policies
Shanghai Jiao Tong University（上海交通大学）；FORTE Lab（FORTE实验室）；Noematrix（诺玛矩阵）；Flexiv（非夕科技）；Shanghai Innovation Institute（上海创新研究院）
本文提出通过3D点云中的具身规范化，用规范末端执行器表示替代原始具身，以构建而非消除视觉具身依赖性，从而提升视觉运动策略的泛化与人到机器人迁移性能。
2026-09-16 cs.RO
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU（本田欧洲研究院）
本文提出将参数高效提示微调用于可供性理解，并以流匹配学习机器人动作轨迹，在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
Pay attention! - Robustifying a Deep Visuomotor Policy through Task-Focused Attention
University of Central Florida（中佛罗里达大学）
最近的几项研究已经证明了机器人操纵器控制的深度可视化策略的前景。尽管取得了令人印象深刻的进展，但这些系统已知容易受到物理干扰，例如意外或对抗性碰撞，使它们掉落操纵对象。他们也倾向于被视觉干扰分散注意力，例如在机器人视野中移动的物体，即使干扰不会物理地阻止任务的执行。在本文中，我们提出了一种方法，用于增强通过任务集中视觉注意力（TFA）演示训练的深度视觉策略。操作任务用自然语言文本指定，例如“将红碗向左移动”。这允许视觉注意力组件集中在机器人需要操纵的当前对象上。我们表明，即使在良性环境中，TFA允许的政策始终优于一个变种没有注意力机制。更重要的是，新策略明显更健壮：它定期从严重的物理干扰（例如碰撞导致其掉落对象）中恢复，而基线策略（即没有视觉注意）几乎从未恢复。此外，我们表明，所提出的政策执行正确的存在下，广泛的视觉干扰，表现出的行为让人联想到人类的选择性视觉注意力实验。我们提出的方法由一个VAE-GAN网络组成，该网络对视觉输入进行编码，并将其馈送到移动机器人关节的电机网络。此外，我们的方法受益于教师网络的TFA，利用文本输入命令鲁棒的视觉编码器对各种类型的干扰。
2018-11-28 cs.AI cs.LG cs.RO
SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition
Cornell University（康奈尔大学）；UC San Diego（南加州大学）
针对机器人辅助取食中食物属性多变导致操作困难的问题，提出SAVOR方法，结合离线工具可供性学习与在线视觉-触觉感知的食物属性修正，实时预测技能可供性，较SOTA方法取食成功率提升13%。
2025-09-01 cs.RO
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria（法国国家信息与自动化研究所）；Ensta-ParisTech（巴黎高等先进技术学院）
自动和有效地发现技能，没有监督，长寿的自主智能体，仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制，以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角，在模拟和现实世界的实验中都取得了可喜的成果。直到最近，这些算法还局限于实验者知识的领域，因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展，使设计这些特征提取器的新方法成为可能，直接使用代理经验。最近的工作表明，这些方法在简单但具有挑战性的模拟领域的潜力。在本文中，我们提出了最近的结果，显示了这些原则在现实世界的机器人设置中的适用性，其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
Localizing Grasp Affordances in 3-D Points Clouds Using Taubin Quadric Fitting
Northeastern University（东北大学）
抓取感知是机器人领域的一个具有挑战性的问题。价格低廉的范围传感器，如微软Kinect提供的传感能力，为开发机器人抓取的鲁棒和准确的感知方法的努力提供了新的生命。本文提出了一种新的方法来定位包络把握启示在三维点云有效。该方法是基于建模包络把握启示作为一个圆柱壳，对应于机器人手的几何形状。二次曲面的快速精确拟合方法是我们方法的核心。一组杂乱的环境中的评价显示出较高的精度和召回统计。我们的研究结果还表明，该方法与一些替代品相比，它是足够有效的，可用于机器人实时抓取。
2013-11-13 cs.RO
Deep Spatial Autoencoders for Visuomotor Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为自动获取机器人运动技能提供了一个强大而灵活的框架。然而，应用强化学习需要足够详细的状态表示，包括任务相关对象的配置。我们提出了一种方法，通过学习状态表示直接从相机图像自动化的状态空间的建设。我们的方法使用深度空间自动编码器来获取一组描述当前任务环境的特征点，例如对象的位置，然后使用基于局部线性模型的高效强化学习方法使用这些特征点学习运动技能。由此产生的控制器不断地对学习到的特征点做出反应，使机器人能够通过闭环控制动态地操纵世界中的物体。我们演示了我们的方法与PR2机器人的任务，包括推动一个独立的玩具块，拿起一袋大米使用抹刀，挂在钩子上的绳子在不同的位置。在每个任务中，我们的方法自动学习跟踪任务相关的对象，并使用机器人的手臂操纵它们的配置。
2016-03-01 cs.CV cs.LG cs.RO
EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment
Department of Automation, Tsinghua University（清华大学自动化系）；Beijing Key Laboratory of Embodied Intelligence Systems（北京具身智能系统重点实验室）；Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学具身智能与机器人研究所）
提出EmbodiSteer框架，通过前向运动学和雅可比更新将推理时的扩散采样提升到目标机器人关节空间，并加入全身碰撞感知引导，实现零样本、具身感知的部署，在模拟和物理机器人上显著降低碰撞率并提高任务成功率。
2026-10-14 cs.RO
AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation
Korea University（韩国大学）；University of Michigan（密歇根大学）；KT R&D Center（KT研发中心）；Kakao Mobility（Kakao移动）
针对视觉运动策略在分布偏移下动作执行失败的问题，提出AxisGuide方法，通过渲染机器人基座坐标系轴并叠加提示通道，增强动作坐标理解，显著提升泛化性能。
2026-06-04 cs.AI cs.RO
Learning at the Ends: From Hand to Tool Affordances in Humanoid Robots
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Champalimaud Centre for the Unknown（尚帕利莫未知中心）；Queen Mary University of London（伦敦玛丽女王大学）
设计在不可预测的人类环境中成功操作的机器人的公开挑战之一是如何使它们能够预测它们可以对物体执行什么动作，以及它们的效果是什么，即，感知物体启示的能力。由于对所有可能的世界交互进行建模是不可行的，因此需要从经验中学习，这带来了收集大量经验的挑战（即，训练数据）。通常，操纵机器人通过使用自己的手（或类似的末端执行器）对外部物体进行操作，但在某些情况下，使用工具可能是可取的，尽管如此，可以合理地假设，虽然机器人可以使用自己的手收集许多感觉运动经验，但这不可能发生在所有可能的人造工具上。因此，在本文中，我们调查的发展过渡，从手到工具的启示：什么感觉运动技能，一个机器人已经获得了赤手空拳可以用于工具使用？通过采用视觉和运动想象机制，以代表不同的手姿势companimously，我们提出了一个概率模型来学习手的启示，我们展示了这个模型可以推广到估计以前看不见的工具的启示，最终支持规划，决策和工具选择任务中的人形机器人。我们目前的实验结果与iCub人形机器人，我们公开发布收集的sensorimotor数据的形式的手姿势启示数据集。
2018-04-09 cs.AI cs.CV cs.LG
Language-Conditioned Affordance-Pose Detection in 3D Point Clouds
FPT Software AI Center（FPT软件人工智能中心）；TU Wien（维也纳工业大学）；Imperial College London（帝国理工学院）；University of Arkansas（阿肯色大学）；Ton Duc Thang University（孙德胜大学）；University of Science, Vietnam（越南科学大学）；University of Liverpool（利物浦大学）
本文提出一种在三维点云中进行语言条件可供性-姿态联合学习的新方法，结合开放词汇可供性检测与语言引导扩散模型生成6-DoF姿态，并构建了高质量数据集，在开放词汇可供性任务上大幅超越现有基线。
2023-09-19 cs.RO
Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies
Bristol Robotics Laboratory, University of Bristol（布里斯托尔机器人实验室，布里斯托尔大学）；University of Bristol（布里斯托尔大学）
本文研究了视觉语言模型在非人形机器人上的语义可及性推理能力，通过混合数据集分析发现模型在不同物体和机器人形态上表现不一，存在保守预测倾向，需结合其他方法以提高性能。
2026-04-21 cs.MA cs.RO
SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；Uni Bonn（波恩大学）
针对家庭机器人功能性元素交互难题，提出SpotLight框架，利用VLM预测可供性实现开关操作，真实实验成功率84%，并引入数据集和检测模型，可扩展至其他交互。
2024-09-18 cs.RO
Visuomotor Grasping with World Models for Surgical Robots
Chinese University of Hong Kong（香港中文大学）；Sunrise Setting Ltd, UK（Sunrise Setting Ltd）；SAGE Publications Ltd, UK（SAGE Publications Ltd）
本文提出GASv2，一种基于世界模型架构的手术机器人视觉运动抓取框架，通过域随机化在仿真中训练策略并迁移至真实环境，仅用单对内窥镜相机即可实现对未见物体和扰动的鲁棒抓取，在模型和离体实验中均达65%成功率。
2025-08-15 cs.AI cs.RO
