Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation
Korea University（韩国大学）；University of Michigan（密歇根大学）；KT R&D Center（KT研发中心）；Kakao Mobility（Kakao移动）
针对视觉运动策略在分布偏移下动作执行失败的问题，提出AxisGuide方法，通过渲染机器人基座坐标系轴并叠加提示通道，增强动作坐标理解，显著提升泛化性能。
2026-06-04 cs.AI cs.RO
Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies
Duke University（杜克大学）；Air Force Research Laboratory（空军研究实验室）
本文提出感知拼接方法，通过对齐潜在视觉特征实现视觉编码器模块化，并将其直接拼接到已有策略网络，从而在仿真和真实机器人操作任务中实现面对大幅视觉变化的零样本适应。
2025-01-01 cs.RO
Learning Coordinated Visuomotor Box-Pushing from Solo Demonstrations
National Institute of Advanced Industrial Science and Technology (AIST)（国立产业技术综合研究所（AIST））；Institute of Science Tokyo（东京科学大学）；The University of Tokyo（东京大学）
该研究探索利用单机器人遥操作数据实现大规模多机器人协调推箱，发现被动观察难以获取有效协调，并揭示了多机器人研究的瓶颈。
2026-10-06 cs.RO
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University（斯坦福大学）；DeepMind（深度思维）
我们提出了一种无模型的深度强化学习方法，该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略，直接从RGB相机输入映射到关节速度。我们证明，我们的方法可以解决各种各样的可视化任务，工程脚本控制器将是费力的。在实验中，我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策，训练与大的视觉和动态变化，可以取得初步的成功，在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Unsupervised Visuomotor Control through Distributional Planning Networks
Stanford University（斯坦福大学）
虽然强化学习（RL）有可能使机器人自主地获得广泛的技能，但在实践中，RL通常需要手动地对奖励函数进行按任务设计，特别是在现实世界中，计算进度所需的环境方面无法直接访问。为了使机器人能够自主学习技能，我们转而考虑没有奖励的强化学习问题。我们的目标是学习一个无监督的嵌入空间，在这个空间下，机器人可以测量自己朝着目标前进的进度。我们的方法显式优化的度量空间下，达到特定状态的动作序列是最佳的，当目标是最终达到的状态。这使得能够学习有效的和以控制为中心的表示，从而产生更自主的强化学习算法。在三个模拟环境和两个真实操作问题上的实验表明，该方法可以从未标记的交互中学习有效的目标度量，并将学习到的目标度量用于自主强化学习.
2019-02-14 cs.CV cs.LG cs.RO
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
本文提出扩散策略，将视觉运动策略建模为条件去噪扩散过程，在12个机器人操作任务上平均提升46.9%，并引入滚动时域控制、视觉条件化等技术，以充分发挥扩散模型在机器人策略学习中的潜力。
2024-03-14 cs.RO
Data-efficient visuomotor policy training using reinforcement learning and generative models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架，解决可视化顺序决策问题，利用强化学习（RL）和潜变量生成模型的组合。我们的框架通过引入动作潜在变量来训练深度可视化策略，使得前馈策略搜索可以分为三个部分：（i）训练子策略，该子策略在给定系统状态的情况下输出关于动作潜在变量的分布，（ii）无监督地训练生成模型，该生成模型输出以潜在动作变量为条件的运动动作序列，以及（iii）以端到端的方式对深度可视化策略进行监督训练。我们的方法可以安全探索，并解决数据效率低下的问题，因为它利用了有关有效的电机动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们定义了两个新的措施，去纠缠和本地线性评估潜在的代表性的质量，并补充他们与现有的措施，评估的学习分布。我们通过实验确定了不同的生成模型的特性，这些模型对机器人采摘任务的最终策略训练的性能影响最大。
2020-11-06 cs.LG cs.RO
Visuomotor Robotic Pruning in Planar Orchards Using Hybrid Reinforcement Learning
Oregon State University（俄勒冈州立大学）
本研究提出一种端到端流水线，利用混合强化学习训练视觉运动控制器，实现平面果园机器人修剪，在模拟中训练并零样本部署至真实果园，成功率约50%。
2026-09-22 cs.AI cs.RO
One-Shot Hierarchical Imitation Learning of Compound Visuomotor Tasks
UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习多阶段的视觉为基础的任务在一个真正的机器人从一个单一的视频的人执行的任务，同时利用演示数据的子任务与其他对象。这一问题提出了若干重大挑战。没有遥操作的视频演示很容易为人类提供，但不提供任何直接的监督。从原始像素学习策略可以实现完全的通用性，但需要学习具有许多参数的大型函数逼近器。最后，复合任务可能需要不切实际的演示数据量，当被视为一个整体的技能。为了解决这些挑战，我们提出了一种方法，学习如何学习原始的行为，从视频演示和如何动态地组成这些行为来执行多阶段的任务，通过“看”一个人的演示。我们的研究结果模拟Sawyer机器人和真正的PR2机器人说明了我们的方法学习各种订单履行和厨房服务任务与新的对象和原始像素输入。
2018-10-25 cs.AI cs.CV cs.LG
EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment
Department of Automation, Tsinghua University（清华大学自动化系）；Beijing Key Laboratory of Embodied Intelligence Systems（北京具身智能系统重点实验室）；Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学具身智能与机器人研究所）
提出EmbodiSteer框架，通过前向运动学和雅可比更新将推理时的扩散采样提升到目标机器人关节空间，并加入全身碰撞感知引导，实现零样本、具身感知的部署，在模拟和物理机器人上显著降低碰撞率并提高任务成功率。
2026-10-14 cs.RO
Deep Spatial Autoencoders for Visuomotor Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为自动获取机器人运动技能提供了一个强大而灵活的框架。然而，应用强化学习需要足够详细的状态表示，包括任务相关对象的配置。我们提出了一种方法，通过学习状态表示直接从相机图像自动化的状态空间的建设。我们的方法使用深度空间自动编码器来获取一组描述当前任务环境的特征点，例如对象的位置，然后使用基于局部线性模型的高效强化学习方法使用这些特征点学习运动技能。由此产生的控制器不断地对学习到的特征点做出反应，使机器人能够通过闭环控制动态地操纵世界中的物体。我们演示了我们的方法与PR2机器人的任务，包括推动一个独立的玩具块，拿起一袋大米使用抹刀，挂在钩子上的绳子在不同的位置。在每个任务中，我们的方法自动学习跟踪任务相关的对象，并使用机器人的手臂操纵它们的配置。
2016-03-01 cs.CV cs.LG cs.RO
SegVisRL: Visuomotor Development for a Lunar Rover for Hazard Avoidance using Camera Images
Tohoku University（东北大学）
任何动物的视觉系统对其生存都至关重要，人类内部复杂视觉系统的发展是我们作为地球上一个物种成功的重要因素。这个系统是我们适应环境能力的重要组成部分。我们一整天都在使用这个系统，比如捡东西，或者四处走动，避免撞到物体。为机器人配备这种能力将有助于产生更智能的运动，能够更容易地了解周围环境并安全地移动。特别是，这种能力对于穿越月球表面是可取的，因为它充满了危险的障碍物，如岩石。这些障碍物需要实时的识别和避免。本文旨在展示机器人导航和避障的视觉系统的发展，与复杂的岩石形状的物体代表的危险。我们的方法只使用图像数据进行深度强化学习。在本文中，我们比较了几个神经网络架构和预处理方法，其中包括产生分割图像和下采样的结果。
2021-03-26 cs.AI cs.CV cs.LG
Generalization with Lossy Affordances: Leveraging Broad Offline Data for Learning Visuomotor Tasks
University of California, Berkeley（加州大学伯克利分校）
本文提出利用广泛离线数据学习有损表示，并通过可供性模型规划子目标以分解新任务，结合在线微调实现视觉运动任务的跨任务泛化。
2023-04-18 cs.AI cs.LG cs.RO
Colonoscopy Navigation using End-to-End Deep Visuomotor Control: A User Study
University of Verona（维罗纳大学）；Scuola Superiore Sant’Anna（圣安娜高等研究院）；University of Torino（都灵大学）
用于结肠镜检查的柔性内窥镜由于其固有的复杂性而存在若干限制，导致患者不适并且临床医生缺乏直观性。机器人设备与自主控制一起代表了一种可行的解决方案，可以减少内窥镜医生的工作量和培训时间，同时改善整体手术结果。关于自主内窥镜控制的先前工作使用启发式策略，该启发式策略将其推广限制在非结构化和高度可变形的结肠环境中，并且需要频繁的人为干预。这项工作提出了一种基于图像的控制的内窥镜使用深度强化学习，称为深度视觉控制（DVC），表现出自适应行为的回旋部分的结肠道。DVC学习内窥镜图像和内窥镜控制信号之间的映射。对20名专家胃肠内窥镜医生进行了第一次用户研究，以使用逼真的虚拟模拟器比较他们的导航性能与DVC策略。结果表明，DVC在多个评价参数上表现出相当的性能，更安全。此外，与20名新手参与者进行了第二次用户研究，以证明更容易的人的监督相比，一个国家的最先进的启发式控制策略。结肠镜检查过程的无缝监控将使介入医生能够专注于医疗决策，而不是内窥镜的控制问题。
2022-06-30 cs.AI cs.RO
One-Shot Robust Imitation Learning for Long-Horizon Visuomotor Tasks from Unsegmented Demonstrations
School of Computing, University of Leeds（利兹大学计算学院）
针对长时域视觉运动模仿依赖语义分段演示且易受扰动、遮挡影响的问题，提出MiLa框架，结合动态运动基元与元学习，实现未分段演示学习、单次演示泛化及鲁棒执行。
2024-10-02 cs.RO
One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation
NVIDIA（英伟达）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 OneDP，通过沿扩散链进行 KL 蒸馏，把多步扩散策略压缩为单步动作生成器，在仿真和真实机器人任务中保持高成功率并将推理频率提升至 62 Hz。
2024-10-28 cs.LG cs.RO
Out-of-Distribution Recovery with Object-Centric Keypoint Inverse Policy for Visuomotor Imitation Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出对象中心恢复框架OCR，通过从对象关键点流形梯度推断逆策略来构建恢复策略，无需额外数据即可引导系统回到训练分布，在OOD场景下相比基础策略提升77.7%，并支持自主收集演示进行持续学习。
2025-07-16 cs.AI cs.RO
Few-Shot Goal Inference for Visuomotor Learning and Planning
University of California, Berkeley（加州大学伯克利分校）
强化学习和规划方法需要一个目标或奖励函数来编码所需的行为。然而，在实践中，存在难以以编程方式提供目标的广泛场景，诸如具有涉及未知对象位置或可变形对象的视觉观察的任务。在这些情况下，现有方法使用工程化的问题特定解决方案，例如，通过用附加的传感器测量环境以测量目标的代理。这种解决方案需要在每个任务的基础上进行大量的工程工作，并且使机器人在实验室环境之外不断学习复杂的技能变得不切实际。我们的目标是找到一个更通用和可扩展的解决方案，指定目标的机器人学习在无约束的环境。为此，我们制定了Few-Shot目标学习问题，其目标是从该任务的成功结束状态的几个示例图像中学习任务目标。我们提出了一个简单的解决方案：元学习一个分类器，可以从几个例子中识别新的目标。我们展示了如何使用这种方法与无模型强化学习和基于视觉模型的规划，并显示结果在三个领域：绳索操纵从图像模拟，在模拟的3D环境中的视觉导航，和对象的安排到用户指定的配置在一个真正的机器人。
2018-09-30 cs.AI cs.CV cs.LG
SeFA-Policy: Fast and Accurate Visuomotor Policy Learning with Selective Flow Alignment
University of Southern California（南加州大学）
针对机器人模仿学习中视觉运动策略学习难题，提出SeFA框架，用选择性流对齐策略，借助专家示范纠正动作，统一整流流效率与观测一致动作生成，实验显示其超越现有策略，准确性、鲁棒性高且推理延迟大幅降低。
2026-07-10 cs.LG cs.RO
Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出ENAP框架，通过从视觉运动轨迹中自适应推断Mealy状态机，结合行为克隆学习连续控制，实现高效且可解释的机器人策略。
2026-10-26 cs.RO
End-to-End Training of Deep Visuomotor Policies
University of California Berkeley（加州大学伯克利分校）
策略搜索方法可以让机器人学习各种任务的控制策略，但策略搜索的实际应用通常需要手工设计的组件来进行感知、状态估计和低级控制。在本文中，我们的目标是回答以下问题：端到端联合训练感知和控制系统是否比单独训练每个组件提供更好的性能？为此，我们开发了一种方法，可用于学习的政策，直接映射到机器人的电机转矩的原始图像观察。这些策略由具有92，000个参数的深度卷积神经网络（CNN）表示，并使用部分观察指导策略搜索方法进行训练，该方法将策略搜索转换为监督学习，由简单的以概率为中心的强化学习方法提供监督。我们评估了我们的方法在一系列现实世界的操作任务，需要密切协调视觉和控制，如拧到一个瓶子上的盖子，并提出了模拟比较一系列先前的政策搜索方法。
2016-04-19 cs.CV cs.LG cs.RO
Tri-Manual Visuomotor Imitation Learning of Robot Policies
研究针对三手动系统中操作员与机器人控制通道数量不匹配问题，提出TriManPolicy系统，核心是依赖感知三臂调度（DATS），能离线重调演示时间，训练单一同步策略，在现实任务中使策略协调更高效，改变手臂监督方式。
2026-08-12 cs.RO
Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning
Stony Brook University（石溪大学）
本文提出Crossway Diffusion方法，通过状态解码器与自监督学习目标增强扩散策略的视觉表示，在模拟与真实机器人任务中一致优于标准扩散策略和基线。
2024-01-11 cs.CV cs.LG cs.RO
Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence
The Robotics Institute, Carnegie Mellon University, United States（卡内基梅隆大学机器人研究所）
针对视觉运动策略面临分布外视觉输入时泛化性差的问题，提出借助专家提供的OOD到ID功能对应，通过三步流程实现低反馈成本的部署时泛化，经真实机器人操作任务验证有效。
2025-06-15 cs.CV cs.LG cs.RO
Memory Retrieval in Visuomotor Policies for Long-Horizon Robot Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出HALO策略，通过注意力记忆检索机制和视觉语言模型先验蒸馏，解决长期控制中的虚假相关和记忆误差累积问题，实现从长达8分钟历史中检索任务相关信息。
2026-06-25 cs.RO
Do You Need Proprioceptive States in Visuomotor Policies?
Shanghai Jiao Tong University（上海交通大学）；Spirit AI；Tsinghua University（清华大学）；New York University Shanghai（纽约大学上海分校）；Tongji University（同济大学）
本研究提出无状态策略，移除本体感觉输入，仅依赖视觉观测，在多种机器人任务中显著提升空间泛化能力，成功率大幅提高。
2025-09-24 cs.AI cs.RO
Dreamitate: Real-World Visuomotor Policy Learning via Video Generation
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）；Stanford University（斯坦福大学）
针对机器人操作策略泛化难题，提出Dreamitate框架，通过在人类演示上微调预训练视频扩散模型，以生成的任务执行视频直接控制机器人，在四项任务上实现了比现有行为克隆方法更优的泛化性能。
2024-06-24 cs.CV cs.RO
3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations
Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）
提出3D Diffusion Policy (DP3)，通过将紧凑的3D视觉表示融入扩散策略，仅用少量演示即可在模拟与真实机器人任务中实现高成功率、强泛化及高安全性的视觉运动技能学习。
2024-09-27 cs.CV cs.LG cs.RO
eVGGT: An Efficient Geometry-Aware Vision Encoder for Visuomotor Policies
Department of Computer Vision, Mohammed bin Zayed University of Artificial Intelligence（计算机视觉系，穆罕默德·本·扎耶德人工智能大学）；AIT Austrian Institute of Technology GmbH（奥地利技术研究所）
本文提出从VGGT蒸馏的高效几何感知视觉编码器eVGGT，在保持3D推理能力的同时将速度提升近9倍、体积缩小5倍，并在ACT和DP等模仿学习框架中使操作成功率最高提升6.5%。
2026-09-29 cs.RO
Accept Synthetic Objects as Real: End-to-End Training of Attentive Deep Visuomotor Policies for Manipulation in Clutter
University of Central Florida（中佛罗里达大学）
最近的研究表明，使用示教学习（LfD）和强化学习（RL）的变体来训练机器人操作的端到端训练多任务深度视觉策略是可行的。在本文中，我们扩展了端到端的LfD架构的能力，在杂波中的对象操作。我们首先介绍一个数据增强过程，称为接受合成对象作为真实（ASOR）。使用ASOR，我们开发了两种网络架构：隐式注意ASOR-IA和显式注意ASOR-EA。这两种体系结构使用相同的训练数据（在整洁的环境中的演示）作为以前的方法。实验结果表明，ASOR-IA和ASOR-EA成功在杂乱的环境中，以前的方法从来没有成功的试验的显着比例。此外，我们发现，ASOR-IA和ASOR-EA优于以前的方法，即使在整洁的环境中，ASOR-EA表现更好，即使在混乱相比，以前的最佳基线在整洁的环境。
2019-11-11 cs.CV cs.LG cs.RO
Rethinking Implicit Spatial Representation in Visuomotor Policy Learning
MARS Lab, Nanyang Technological University（南洋理工大学MARS实验室）
本文重新评估了空间softmax池化在机器人操作中的有效性，发现其提供紧凑稳定的空间表示但受限于表示瓶颈，并提出PRISM编码器通过多尺度隐式空间信息融合提升性能。
2026-06-16 cs.RO
To Do or Not to Do: Ensuring the Safety of Visuomotor Policies Learned from Demonstrations
Department of Computer Science（计算机科学系）
本文提出了一种政策无关的安全度量，确保视觉-运动策略在状态空间特定区域内的最大任务成功率，通过视图合成和Nagumo子切线条件分析，验证了策略安全性和性能的平衡。
2026-05-02 cs.RO
IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation
QUT Centre for Robotics（昆士兰科技大学机器人中心）
本文提出基于隐式最大似然估计的行为克隆方法IMLE Policy，在低数据场景下以单步生成实现快速且样本高效的视觉运动策略学习，较基线方法减少38%数据需求并提升97.3%推理速度。
2025-03-11 cs.AI cs.LG cs.RO
LEGATO: Cross-Embodiment Imitation Using a Grasping Tool
University of Texas at Austin（德克萨斯大学奥斯汀分校）；AI Institute（人工智能研究院）
本文提出 LEGATO 框架，通过统一动作与观测空间的手持夹爪、运动不变损失及逆运动学重定向，实现视觉运动技能在不同运动学形态机器人间的模仿学习与迁移。
2025-02-19 cs.RO
Spatial-Temporal Aware Visuomotor Diffusion Policy Learning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Nanyang Technological University（南洋理工大学）；NeuHelium Co., Ltd（NeuHelium公司）
针对视觉模仿学习在3D空间与4D时空感知上的局限，提出4D Diffusion Policy (DP4)，利用动态高斯世界模型从单视图RGB-D观测构建并预测3D场景以优化轨迹生成，在多项模拟与真实机器人任务上显著提升了成功率。
2025-07-13 cs.RO
GuidedAttention: Interpretable and Correctable Visual Attention for OOD-Robust Robot Manipulation via Imitation Learning
Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所人工智能研究中心）
研究针对端到端视觉运动策略中人类难以理解和校正视觉注意力的问题，提出引导注意力框架，通过预测任务相关注意力关键点并结合扩散动作策略，经用户校正后由跟踪模块传播，提升了机器人在OOD条件下的操纵性能。
2026-07-27 cs.RO
Unified Motion-Action Modeling for Heterogeneous Robot Learning
Cornell University（康奈尔大学）
提出UMA模型，利用3D物体运动轨迹作为共享接口，通过掩码生成目标统一视觉运动控制和动力学建模，实现跨异构数据源的多任务预训练，并在部署时支持多种推理模式。
2026-06-23 cs.RO
ImitDiff: Transferring Foundation-Model Priors for Distraction Robust Visuomotor Policy
Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心）；Tsinghua University（清华大学）；Youtu, Tencent（腾讯优图）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
ImitDiff 利用视觉-语言基础模型先验生成像素级语义掩码，通过双分辨率感知和一致性驱动扩散 Transformer 动作头，实现抗视觉干扰的视觉运动模仿学习，并在零样本泛化和推理速度上取得显著提升。
2025-11-08 cs.AI cs.CV cs.LG
Learning Navigation Subroutines from Egocentric Videos
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在更高的抽象级别而不是低级别的扭矩下进行规划，提高了强化学习中的样本效率和经典规划中的计算效率。我们提出了一种方法来学习这样的分层抽象，或从以自我为中心的专家执行任务的视频数据的子程序。我们在少量随机交互数据上学习了一个自监督逆模型，用代理动作来伪标记专家自我中心视频。通过学习潜在意图条件策略，从这些伪标记的视频中获取可视化子例程，该策略从相应的图像观察中预测推断出的伪动作。我们展示了我们提出的方法在导航的背景下，并表明，我们可以成功地学习一致的和不同的视觉子程序从被动的自我中心的视频。我们证明了我们获得的可视化子例程的效用，通过使用它们作为探索，并作为子策略在一个层次化的RL框架，以达到点目标和语义目标。我们还展示了我们的子程序在现实世界中的行为，通过部署在一个真正的机器人平台上。项目网址：https://ashishkumar1993.github.io/subroutines/。
2019-10-15 cs.AI cs.CV cs.LG
Flow with the Force Field: Learning 3D Compliant Flow Matching Policies from Force and Demonstration-Guided Simulation Data
GRASP Lab, University of Pennsylvania（GRASP实验室，宾夕法尼亚大学）
本文提出一种框架，通过单人示范生成力引导的仿真数据，结合顺应性策略提升视觉模仿学习的性能，验证了在真实机器人任务中的可靠性与适应性。
2026-04-16 cs.LG cs.RO
Predictive Red Teaming: Breaking Policies Without Breaking Robots
Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
针对模仿学习视觉运动策略在异常环境下的脆弱性难暴露问题，提出预测性红队测试并开发RoboART流水线，无需硬件评估即可预测策略性能下降，经实验验证精度高且能通过针对性微调大幅提升基线性能。
2025-02-10 cs.AI cs.LG cs.RO
Mind the Gap: Rethinking I/O Design for Contact-Rich Visuomotor Policy Learning
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Qiuzhen College, Tsinghua University（清华大学启晨学院）；School of Mechanical and Aerospace Engineering, Jilin University（吉林大学机械与 aerospace 工程学院）；EFORT Intelligent Robot Co., Ltd.（EFORT 智能机器人有限公司）
通过意图-执行不匹配学习隐式阻抗，实现低成本硬件的鲁棒力感知与动态补偿。
2026-09-16 cs.RO
SuFIA-BC: Generating High Quality Demonstration Data for Visuomotor Policy Learning in Surgical Subtasks
University of Toronto（多伦多大学）；NVIDIA（NVIDIA公司）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（伯克利大学）
本文提出SuFIA-BC，利用增强型手术数字孪生生成高质量合成数据，评估视觉行为克隆策略，发现现有方法难以处理复杂手术任务，强调定制感知与控制及大规模数据集的重要性。
2025-04-21 cs.RO
Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations
The University of Hong Kong（香港大学）；JD.com (JingDong)（京东）；Nanyang Technological University (NTU)（南洋理工大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）；Huawei Technologies（华为技术有限公司）；The Chinese University of Hong Kong (CUHK)（香港中文大学）
研究如何使机器人灵巧、长视野操作自动化，提出DR-LfD框架，将视觉运动策略集成到TAMP决策系统，基于接触关系分解示范为原子技能，经实验验证该框架在多类任务中性能强大。
2026-11-02 cs.RO
Task-Oriented Hierarchical Object Decomposition for Visuomotor Control
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）
针对现有预训练视觉表示任务无关且容量不足的问题，提出HODOR，通过层次化对象分解构建任务导向表示，在模拟和真实操作任务中提升样本效率并实现零样本技能链。
2024-11-02 cs.RO
DemoSpeedup: Accelerating Visuomotor Policies via Entropy-Guided Demonstration Acceleration
Shanghai Qi Zhi Institute（上海启智研究院）；Tsinghua University IIIS（清华大学智能科学研究院）；Shanghai AI Lab（上海人工智能实验室）；University of Electronic Science and Technology of China（电子科技大学）
提出 DemoSpeedup，利用生成式策略估计逐帧动作熵并据此分段、变率下采样演示，使视觉运动策略最高提速3倍且成功率不降反升。
2025-06-10 cs.RO
Learning Real-World Robot Policies by Dreaming
School of Informatics, Computing, and Engineering（信息学、计算与工程学院）；Indiana University Bloomington（印第安纳大学伯明顿分校）
学习直接基于图像控制机器人是机器人技术的主要挑战。然而，许多现有的强化学习方法需要迭代地获得数百万个机器人样本来学习策略，这可能花费大量时间。在本文中，我们专注于学习一个现实的世界模型捕捉动态的场景变化的机器人动作的条件。我们的做梦模型可以模拟相当于来自实际环境的一系列图像的样本，技术上是通过学习一个动作条件化的未来表征/场景回归。这允许代理学习动作策略（即，通过与梦想模型而不是现实世界进行交互。我们通过实验证实，我们的梦想模型能够让机器人学习转移到现实世界的政策。
2019-08-01 cs.CV cs.RO stat.ML
Learning Visuomotor Policy for Multi-Robot Laser Tag Game
本文提出了一种端到端的视觉运动策略，通过多智能体强化学习训练教师策略并蒸馏知识，以提升多机器人激光对抗游戏中的命中精度和碰撞避免性能。
2026-03-12 cs.RO
Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
提出机器人中心池化方法，通过突出与本体感觉相关的图像区域，增强端到端视觉运动策略对干扰物和像素偏移的鲁棒性，无需额外数据收集。
2024-11-07 cs.RO
Pay attention! - Robustifying a Deep Visuomotor Policy through Task-Focused Attention
University of Central Florida（中佛罗里达大学）
最近的几项研究已经证明了机器人操纵器控制的深度可视化策略的前景。尽管取得了令人印象深刻的进展，但这些系统已知容易受到物理干扰，例如意外或对抗性碰撞，使它们掉落操纵对象。他们也倾向于被视觉干扰分散注意力，例如在机器人视野中移动的物体，即使干扰不会物理地阻止任务的执行。在本文中，我们提出了一种方法，用于增强通过任务集中视觉注意力（TFA）演示训练的深度视觉策略。操作任务用自然语言文本指定，例如“将红碗向左移动”。这允许视觉注意力组件集中在机器人需要操纵的当前对象上。我们表明，即使在良性环境中，TFA允许的政策始终优于一个变种没有注意力机制。更重要的是，新策略明显更健壮：它定期从严重的物理干扰（例如碰撞导致其掉落对象）中恢复，而基线策略（即没有视觉注意）几乎从未恢复。此外，我们表明，所提出的政策执行正确的存在下，广泛的视觉干扰，表现出的行为让人联想到人类的选择性视觉注意力实验。我们提出的方法由一个VAE-GAN网络组成，该网络对视觉输入进行编码，并将其馈送到移动机器人关节的电机网络。此外，我们的方法受益于教师网络的TFA，利用文本输入命令鲁棒的视觉编码器对各种类型的干扰。
2018-11-28 cs.AI cs.LG cs.RO
Affordance Learning for End-to-End Visuomotor Robot Control
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
训练端到端的深度机器人策略需要大量特定于域、任务和硬件的数据，而这些数据的提供成本通常很高。在这项工作中，我们建议通过采用具有模块化架构的深度神经网络来解决这个问题，该架构由独立的感知，策略和轨迹部分组成。系统的每一部分都是在合成数据上或在模拟中完全训练的。数据在系统的各部分之间交换，作为示能表示和轨迹的低维潜在表示。然后在一个zero-shot传输场景中使用弗兰卡熊猫机器人arm.Results的性能进行评估表明，从RGB图像中提取的场景启示的低维表示是足够的成功训练机械手的政策。我们还介绍了一种方法的启示数据集生成，这是很容易推广到新的任务，对象和环境，不需要手动像素标记。
2019-03-10 cs.LG cs.RO
Visuomotor Grasping with World Models for Surgical Robots
Chinese University of Hong Kong（香港中文大学）；Sunrise Setting Ltd, UK（Sunrise Setting Ltd）；SAGE Publications Ltd, UK（SAGE Publications Ltd）
本文提出GASv2，一种基于世界模型架构的手术机器人视觉运动抓取框架，通过域随机化在仿真中训练策略并迁移至真实环境，仅用单对内窥镜相机即可实现对未见物体和扰动的鲁棒抓取，在模型和离体实验中均达65%成功率。
2025-08-15 cs.AI cs.RO
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria（法国国家信息与自动化研究所）；Ensta-ParisTech（巴黎高等先进技术学院）
自动和有效地发现技能，没有监督，长寿的自主智能体，仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制，以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角，在模拟和现实世界的实验中都取得了可喜的成果。直到最近，这些算法还局限于实验者知识的领域，因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展，使设计这些特征提取器的新方法成为可能，直接使用代理经验。最近的工作表明，这些方法在简单但具有挑战性的模拟领域的潜力。在本文中，我们提出了最近的结果，显示了这些原则在现实世界的机器人设置中的适用性，其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
