SECANT: Self-Expert Cloning for Zero-Shot Generalization of Visual Policies
Stanford University（斯坦福大学）；NVIDIA（英伟达）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）
泛化一直是强化学习（RL）面临的一个长期挑战。特别是视觉RL，很容易被高维观察空间中的无关因素分散注意力。在这项工作中，我们考虑强大的策略学习的目标zero-shot推广到看不见的视觉环境与大的分布变化。我们提出了SECANT，一种新的自我专家克隆技术，利用图像增强在两个阶段解耦强大的表示学习从政策优化。具体来说，专家策略首先由RL从头开始训练，具有弱增强。然后，学生网络通过具有强增强的监督学习来学习模仿专家策略，使其表示与专家相比对视觉变化更鲁棒。大量的实验表明，SECANT显着进步的最先进的zero-shot概括在4个具有挑战性的领域。与之前的SOTA相比，我们的平均奖励改进包括：DeepMind控制（+26.5%）、机器人操纵（+337.8%）、基于视觉的自动驾驶（+47.7%）和室内物体导航（+15.8%）。代码发布和视频可在https://linxifan.github.io/secant-site/上获得。
2021-06-17 cs.AI cs.CV cs.LG
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
在多智能体环境中学习竞争行为，比如赛车，需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争（DLC），一种新的强化学习算法，学习竞争的视觉控制策略，通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型，结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成，而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性，一个新的多智能体赛车基准，需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
On Embodied Visual Navigation in Real Environments Through Habitat
OrangeDev s.r.l., Firenze, Italy（OrangeDev s.r.l.，意大利佛罗伦萨）；Cognitive Robotics and Social Sensing LaboratoryICAR-CNR, Palermo, Italy（意大利帕勒莫ICAR-CNR认知机器人与社会感知实验室）
基于深度学习的视觉导航模型在通过强化学习对大量视觉观察进行训练时，可以学习有效的策略。不幸的是，在现实世界中收集所需的经验需要部署机器人平台，这是昂贵和耗时的。为了解决这一问题，已经提出了几个仿真平台，以有效地训练虚拟环境中的视觉导航策略。尽管它们提供了优势，但模拟器在外观和物理动力学方面呈现出有限的现实主义，导致导航策略在现实世界中无法推广。在本文中，我们提出了一个工具的基础上的栖息地模拟器，利用现实世界的环境中的图像，连同传感器和执行器的噪声模型，以产生更逼真的导航情节。我们进行了一系列的实验，以评估这些政策的能力，推广使用虚拟和现实世界的图像，以及观察与无监督的领域自适应方法转换。我们还评估了传感器和驱动噪声对导航性能的影响，并研究了它是否允许学习更强大的导航策略。我们表明，我们的工具可以有效地帮助训练和评估导航政策的真实世界的观察，而无需在现实世界中运行的导航peptides。
2020-10-26 cs.CV cs.LG cs.RO
Visual Foresight With a Local Dynamics Model
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
无模型策略学习已被证明能够学习操作策略，可以使用单步操作原语解决长时间任务。然而，训练这些策略是一个耗时的过程，需要大量的数据。我们提出了本地动力学模型（LDM），有效地学习这些操作原语的状态转换函数。通过将LDM与无模型策略学习相结合，我们可以学习策略，这些策略可以使用一步前瞻规划来解决复杂的操作任务。我们表明，LDM是更采样效率和优于其他模型架构。当与规划相结合时，我们可以在模拟中的几个具有挑战性的操作任务上优于其他基于模型和无模型的策略。
2022-06-29 cs.AI cs.LG cs.RO
See to Touch: Learning Tactile Dexterity through Visual Incentives
New York University（纽约大学）；Meta AI Research（Meta人工智能研究院）
本文提出TAVI框架，通过视觉表示和最优传输匹配构建视觉奖励，结合在线强化学习优化触觉策略，在六项灵巧操作任务中显著提升了四指机器人的成功率。
2023-09-21 cs.AI cs.CV cs.LG
VAMPS: Visual and Motor Policies from Sampling-Based Planning
LAAS-CNRS, Université de Toulouse, CNRS（LAAS-CNRS，图卢兹大学，法国国家科学研究中心）；Machines in Motion Laboratory, New York University（纽约大学运动机器实验室）；Industrial Engineering Department, University of Trento（特伦托大学工业工程系）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所（ANITI））
VAMPS利用MPPI控制，无需人工演示即可在仿真或真实数据上训练可复用机器人策略，支持运动与视觉运动任务，并成功迁移到硬件。
2026-10-06 cs.AI cs.LG cs.RO
Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
拥有关于世界的视觉先验（例如，世界是3D的事实）对学习执行下游运动任务（例如，递送包裹）有多大帮助？我们通过整合通用感知技能集（例如距离估计器，边缘检测器等）来研究这个问题。在一个强化学习框架内--见图1。与原始图像相比，该技能集（以下称为中级感知）为策略提供了更多处理的世界状态。我们发现，在面向导航的任务中，使用中级感知比从头开始的端到端训练（即不利用先验知识）具有显着优势。代理能够概括从头开始的方法失败的情况，并且训练变得更加有效。然而，我们发现，实现这些收益需要仔细选择的中级感知技能。因此，我们将我们的发现细化为一个有效的最大覆盖率特征集，可以代替原始图像。我们在完全独立的建筑物中进行训练和测试，并与视觉盲基线策略和最先进的特征学习方法进行比较。
2019-04-22 cs.AI cs.CV cs.LG
Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues
University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）；Samsung AI Center - Cambridge, UK（三星AI研究中心-剑桥，英国）
本文提出AFA方法，通过注意力机制提升视觉-运动策略在扰动环境下的鲁棒性和泛化能力。
2026-02-27 cs.CV cs.RO
What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
Fraunhofer Institute for Production Systems and Design Technology IPK（弗劳恩霍夫生产系统与设计技术研究所IPK）；Technische Universität Berlin（柏林工业大学）
该研究针对视觉运动模仿策略在引入相似物体时的目标选择失效问题，以ACT为基础提出三类互补干预措施，在仿真和物理UR3e机器人上提升了鲁棒性，还验证了其在预训练视觉-语言-动作策略上的通用性。
2026-09-07 cs.AI cs.CV cs.RO
Point Cloud Models Improve Visual Robustness in Robotic Learners
Oregon State University（俄勒冈州立大学）；University of Utah（犹他大学）；NVIDIA（英伟达）
本文提出点云世界模型PCWM及点云控制策略，证明基于点云的视觉控制策略在视觉条件变化下比RGB-D策略更鲁棒，且样本效率显著优于先前工作。
2024-04-29 cs.CV cs.LG cs.RO
Green for Go, Red for No: Visual Grounding via Semantic Segmentation for VLA Navigation Policies
研究VLA导航策略的视觉基础，提出基于实时分割的方法，用SegFormer突出可通行与不可通行区域，评估两种变体，结果表明视觉基础可降误差，对长指令效果更佳，还能作为轨迹长度正则化器。
2026-07-07 cs.CV cs.RO
Unsupervised Domain Adaptation for Visual Navigation
Carnegie Mellon University（卡内基梅隆大学）
视觉导航方法的进步导致智能具身导航代理能够学习有意义的表示从原始RGB图像，并执行各种各样的任务，涉及结构和语义推理。然而，大多数基于学习的导航策略都是在仿真环境中训练和测试的。为了使这些政策实际上有用，它们需要被转移到现实世界中。本文提出了一种用于视觉导航的无监督领域自适应方法。我们的方法将目标域中的图像翻译到源域，使得翻译与导航策略所学习的表示一致。该方法优于几个基线在两个不同的导航任务的仿真。我们进一步表明，我们的方法可以用于将在模拟中学习的导航策略转移到现实世界中。
2020-11-12 cs.CV cs.LG cs.RO
ActFovea: Runtime Safeguarding for VLA Policies via Spatiotemporal Visual-Action Consistency
ActFovea是一种即插即用的VLA策略运行时安全保障框架，通过构建动作条件化凹形区域、检测时空一致性及触发安全故障，提升了机器人操纵在各类干扰下的成功率与安全性。
2026-08-03 cs.AI cs.RO
Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；New York University（纽约大学）；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
基于视觉的机器人通常将控制回路分为一个感知模块和一个单独的控制模块。可以对整个系统进行端到端的训练（例如，使用深度RL），但“从头开始”进行训练会带来很高的样本复杂性成本，并且最终结果通常很脆弱，如果测试环境与训练环境不同，则会意外失败。我们研究了使用中级视觉表示（传统计算机视觉目标异步学习的特征）作为端到端RL框架中通用且易于解码的感知状态的影响。中层表示编码的不变性的世界，我们表明，他们的援助泛化，提高样本的复杂性，并导致更高的最终性能。与其他包含不变性的方法（如域随机化）相比，异步训练的中级表示扩展得更好：无论是更难的问题还是更大的域转移。在实践中，这意味着中级表示可以用于成功地训练策略，以用于域随机化和从头开始学习失败的任务。我们报告结果的操纵和导航任务，并为导航包括zero-shot模拟到真实的机器人实验。
2020-11-13 cs.CV cs.LG cs.RO
Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies
Duke University（杜克大学）；Air Force Research Laboratory（空军研究实验室）
本文提出感知拼接方法，通过对齐潜在视觉特征实现视觉编码器模块化，并将其直接拼接到已有策略网络，从而在仿真和真实机器人操作任务中实现面对大幅视觉变化的零样本适应。
2025-01-01 cs.RO
Think Proprioceptively: State-Grounded Visual Token Selection for VLA Policies
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东区技术研究所）；Great Bay University（大湾大学）；Northeast Forestry University（东北林业大学）；National University of Singapore（新加坡国立大学）
研究VLA模型中本体感知应用问题，提出ThinkProprio方法，将本体感知离散化为视觉语言模型（VLM）词汇令牌，与指令共同作用在VLM计算前选视觉补丁，贡献是提升性能、降低延迟。
2026-07-07 cs.CV cs.RO
TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies
University of Maryland, College Park（马里兰大学 College Park 分校）；Microsoft Research（微软研究院）；Capital One
本文提出视觉轨迹提示方法，通过在15万条操作轨迹数据集上微调OpenVLA得到TraceVLA模型，显著提升机器人策略的时空感知能力，在仿真和真实机器人任务中均优于基线并具备良好泛化性。
2025-06-05 cs.AI cs.RO
MAEA: Multimodal Attribution for Embodied AI
Carnegie Mellon University（卡内基梅隆大学）
针对具身智能多模态感知理解难题，提出MAEA框架，在ALFRED数据集上解耦视觉、语言和动作输入的全局归因，用于失败分析、偏差调查及部署前鲁棒性评估。
2023-07-25 cs.AI cs.CV cs.LG
AimBot: A Simple Auxiliary Visual Cue to Enhance Spatial Awareness of Visuomotor Policies
Computer Science and Engineering Department, University of Michigan（密歇根大学计算机科学与工程系）；Robotics Department, University of Michigan（密歇根大学机器人学系）；Lambda Labs（Lambda实验室）
本文提出AimBot，一种轻量级视觉增强技术，通过在多视图RGB图像上叠加射击线和瞄准镜十字线提供空间线索，以极低计算开销且无需更改模型架构的方式，持续提升机器人在仿真和真实世界中视觉运动策略的性能。
2025-08-11 cs.RO
Learning End-to-end Multimodal Sensor Policies for Autonomous Navigation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
已知多传感器策略可以增强状态估计和目标跟踪。然而，在端到端的感觉运动控制领域，这种多传感器前景受到的关注有限。此外，系统的方法，使政策稳健的部分传感器故障没有很好地探索。在这项工作中，我们提出了一个特定的定制辍学，称为\textit{Sensor Dropout}，以提高多传感器的政策鲁棒性和处理部分故障的传感器集。我们还引入了一个额外的辅助损失的政策网络，以减少潜在的多和单传感器的政策，以减少突发传感器故障或停用/激活触发的政策切换过程中的变化。最后，通过梯度的可视化，我们表明，尽管有不同的观测空间，但学习的策略是以相同的潜在状态表示为条件的-这是真正的传感器融合的标志。多感官策略的模拟结果，如TORCS赛车游戏中所示，可以在这里看到：https://youtu.be/QAK2lcXjNZc。
2017-11-01 cs.AI cs.LG cs.RO
SOUS VIDE: Cooking Visual Drone Navigation Policies in a Gaussian Splatting Vacuum
Stanford University（斯坦福大学）
本研究提出名为SOUS VIDE的端到端视觉无人机导航方案，结合FiGS高斯泼溅仿真器与SV-Net轻量策略网络，实现零样本 sim-to-real 迁移，在多种复杂扰动下仍具备强鲁棒性。
2025-03-21 cs.CV cs.LG cs.RO
Feature Extractor or Decision Maker: Rethinking the Role of Visual Encoders in Visuomotor Policies
Division of Robotics, Perception and Learning, KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院）
本文提出 Visual Alignment Testing 框架，检验视觉编码器与策略的功能分离，发现 E2E 训练中的视觉编码器参与决策，而 OOD 预训练编码器因此平均性能下降 42%。
2025-05-14 cs.RO
Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness
Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩堡技术大学）
ARRO通过实时视觉屏蔽和虚拟引导提升机器人操作的视觉鲁棒性，减少对额外数据的依赖，适用于多种桌面任务和真实环境。
2026-01-06 cs.RO
Localized Visual Feature Aggregation via Focus Pooling for Visuomotor Policies
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出FocusPool注意力池化模块，根据本体感觉上下文选择性聚合CNN中间特征，在仿真和真实实验中成功率分别提升36.2%和41.2%，仅训练5.8%编码器参数。
2026-09-09 cs.RO
Merging and Disentangling Views in Visual Reinforcement Learning for Robotic Manipulation
UC San Diego（圣迭戈大学）
本文提出 MAD 算法，在视觉强化学习机器人操作中合并多相机视图以提升 Q-learning 样本效率，并通过单视图特征增强实现视图解耦，从而在 Meta-World 与 ManiSkill3 上获得鲁棒且轻量的策略。
2025-08-29 cs.CV cs.LG cs.RO
Rethinking Visual Embodiment Dependence in Visuomotor Policies
Shanghai Jiao Tong University（上海交通大学）；FORTE Lab（FORTE实验室）；Noematrix（诺玛矩阵）；Flexiv（非夕科技）；Shanghai Innovation Institute（上海创新研究院）
本文提出通过3D点云中的具身规范化，用规范末端执行器表示替代原始具身，以构建而非消除视觉具身依赖性，从而提升视觉运动策略的泛化与人到机器人迁移性能。
2026-09-16 cs.RO
Distracted Robot: How Visual Clutter Undermine Robotic Manipulation
Huawei Technologies Canada（华为技术加拿大）
本研究提出了一种评估协议，从心理学物理角度评估机器人操作在杂乱环境中的性能，发现杂乱度对性能影响显著，且不同策略对杂乱的敏感性不同。
2025-11-27 cs.AI cs.CV cs.RO
Learning Modular Robot Visual-motor Locomotion Policies
Carnegie Mellon University（卡内基梅隆大学）
针对模块化机器人运动策略此前仅适配平坦地形且无法泛化多设计的问题，提出模块化视觉-运动策略，通过组件重组结合深度强化学习实现多设计多环境泛化，已在真实机器人爬楼梯等场景验证有效。
2023-04-29 cs.RO
Patch Policy: Efficient Embodied Control via Dense Visual Representations
Courant Institute, New York University（纽约大学柯朗数学科学研究所）；Meta-FAIR（Meta FAIR）；AMI Labs（AMI 实验室）
研究利用预训练密集视觉特征，提出补丁策略，通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效，在模拟和真实环境中相比其他策略有显著提升，为机器人社区利用视觉表示学习提供新途径。
2026-07-21 cs.LG cs.RO
Keyframe-Focused Visual Imitation Learning
Tsinghua University（清华大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；Shanghai Qi Zhi Institute（上海期智研究院）
模仿学习通过模仿预先录制的专家演示来训练控制策略。在部分可观察的环境中，模仿政策必须依赖于观察历史，但许多看似矛盾的结果表明，只有访问最近的观察政策更好的性能。最近的解决方案，从因果图学习到深度信息瓶颈，都显示出了有希望的结果，但未能扩展到视觉模仿等现实环境。我们提出了一个解决方案，通过增加与专家动作变点相对应的演示关键帧的权重，优于这些先前的方法。这种简单的方法很容易扩展到复杂的视觉模仿设置。我们的实验结果表明，在基于图像的健身房MuJoCo连续控制任务的所有基线上，性能得到了一致的改善。最后，在CARLA逼真的视觉为基础的城市驾驶模拟器，我们解决了一个长期存在的问题，在驾驶行为克隆从观察历史证明有效的模仿。补充材料和代码：\url{https://tinyurl.com/imitation-keyframes}。
2021-06-11 cs.LG cs.RO
Zero-Shot Visual Generalization in Robot Manipulation
University of Southern California（美国南加州大学）
本文将解耦表征学习与联想记忆扩展到复杂机器人操作，并结合 Diffusion Policy 与二维旋转不变变换，实现仿真和真实硬件上的零样本视觉泛化。
2025-05-16 cs.AI cs.LG cs.RO
AugInsert: Learning Robust Visual-Force Policies via Data Augmentation for Object Assembly Tasks
University of Minnesota, Twin Cities（明尼苏达大学，双城分校）；Google DeepMind（谷歌DeepMind）
该研究提出评估多传感机器人策略鲁棒性的因子框架，开发基于Perceiver IO的多传感策略，通过仿真与实验发现多传感变化是泛化主要挑战，力-力矩传感对接触密集装配任务最关键。
2025-08-01 cs.LG cs.RO
Synthetic vs. Real Training Data for Visual Navigation
Tampere University（塔尔基尔大学）；Turku University of Applied Sciences（图尔库应用科学大学）
本文提出了一种基于预训练视觉表示的导航策略，通过仿真训练提升了视觉导航性能，实验表明其在导航成功率上优于真实数据训练和现有方法。
2026-02-24 cs.LG cs.RO
Unifying Foundation Models with Quadrotor Control for Visual Tracking Beyond Object Categories
New York University, Tandon School of Engineering（纽约大学坦登工程学院）
本文提出结合基础模型检测器、多层跟踪器与无模型控制器的四旋翼视觉跟踪框架，仅用机载相机和IMU即可在复杂室内外实现超越类别的鲁棒实时跟踪。
2024-04-08 cs.RO
Learning Dense Visual Correspondences in Simulation to Smooth and Fold Real Fabrics
University of California, Berkeley（加州大学伯克利分校）；Honda Research Institute（本田研究院）
由于织物的无限维配置空间、自遮挡和复杂的动力学特性，机器人织物操作具有挑战性。对于特定的可变形操作任务的学习策略，已有大量的研究工作，但相对较少关注可以有效学习许多不同任务的算法。在本文中，我们学习了在模拟中不同配置的可变形织物的视觉对应关系，并表明这种表示可用于设计各种任务的策略。给定来自初始结构配置的新任务的单个演示，所学习的对应关系可以用于计算新结构配置中的几何等效动作。这使得可以在多个物理机器人系统上稳健地模拟广泛的多步骤织物平滑和折叠任务。由此产生的政策实现了80.3%的平均任务成功率在10个织物操作任务的两个不同的机器人系统，达芬奇手术机器人和ABB YuMi。结果还表明，各种颜色，尺寸和形状的织物的鲁棒性。有关补充材料和视频，请访问https://tinyurl.com/fabric-descriptors。
2020-11-12 cs.CV cs.LG cs.RO
Learning Rope Manipulation Policies Using Dense Object Descriptors Trained on Synthetic Depth Data
AUTOLAB at the University of California, Berkeley（加利福尼亚大学伯克利分校AUTOLAB）；Toyota Research Institute（丰田研究院）
由于缺乏高保真度的分析模型和大的配置空间，机器人操作可变形的1D物体，如绳索，电缆和软管是具有挑战性的。此外，直接从图像和物理交互中学习端到端的操作策略需要机器人花费大量时间，并且可能无法跨任务进行泛化。我们解决这些挑战，使用可解释的深度视觉表示绳，扩展最近的工作密集的对象描述符的机器人操作。这有助于设计建立在学习表示之上的可解释和可转移的几何策略，解耦视觉推理和控制。我们提出了一种方法，学习初始和目标绳配置之间的点对对应关系，隐式编码的几何结构，完全在模拟合成深度图像。我们证明了学习的表示-密集深度对象描述符（DDODs）-可以用来操纵一个真正的绳子成各种不同的安排，无论是通过示教学习或使用可解释的几何政策。在使用ABB YuMi机器人进行的50次打结任务试验中，该系统实现了66%的打结成功率。有关补充材料和视频，请访问https://tinyurl.com/rope-learning。
2020-03-03 cs.CV cs.LG cs.RO
VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations using Visual-Tactile Alignment
ETH Zurich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）
VisTacAlign通过对齐人类与机器人演示的视觉和触觉模态，共同训练灵巧策略，在精确力任务上优于仅机器人策略。
2026-10-14 cs.RO
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而，类似的收益还没有看到真正的机器人强化学习。在这项工作中，我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习（CoDER）的对比预训练和数据增强，这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习，但我们的主要贡献是将这些不同的技术结合起来，从而产生了一种简单但数据高效的方法。我们证明，只要给出10个演示，一个机器人手臂就可以从像素中学习稀疏奖励操作策略，例如在30分钟的平均真实训练时间内达到，拾取，移动，拉动大型物体，翻转开关和打开抽屉。我们在项目网站上提供了视频和代码：https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
Embodied Visual Navigation with Automatic Curriculum Learning in Real Environments
Toshiba Europe Limited（东芝欧洲有限公司）；University of Cambridge（剑桥大学）
我们提出了NavACL，一种自动课程学习的导航任务量身定制的方法。NavACL易于训练，并使用几何特征有效地选择相关任务。在我们的实验中，使用NavACL训练的深度强化学习代理显著优于使用统一采样（当前标准）训练的最先进代理。此外，我们的代理可以通过未知的杂乱的室内环境中导航到语义指定的目标，只使用RGB图像。避障策略和冻结特征网络支持转移到看不见的真实世界环境，而无需任何修改或重新训练要求。我们评估我们的政策在模拟，并在现实世界中的地面机器人和四旋翼无人机。补充材料中提供了真实结果的视频。
2021-01-06 cs.AI cs.CV cs.RO
Training Fast Robot Policies with Slow Foundation Models
本文提出VGRS方法，通过利用慢速基础模型训练快速机器人策略，结合LLM生成奖励与视觉分析诊断，提升机器人在复杂任务中的表现和部署效率。
2026-07-22 cs.CL cs.LG cs.RO
Zero-Shot Terrain Generalization for Visual Locomotion Policies
Google Brain Robotics（谷歌大脑机器人）；Georgia Institute of Technology（佐治亚理工学院）
足式机器人在非结构化地形上具有无与伦比的机动性。然而，它仍然是一个开放的挑战，设计运动控制器，可以在各种各样的环境中运行。在本文中，我们解决了这一挑战，自动学习运动控制器，可以推广到各种各样的地形经常在现实世界中遇到的。我们将这一挑战视为多任务强化学习问题，并将每个任务定义为机器人需要穿越的一种地形。我们提出了一种端到端的学习方法，该方法直接使用从模拟的3D LiDAR传感器收集的原始外感受输入，从而避免了对地面实况高度图或感知信息预处理的需要。因此，学习控制器展示了出色的zero-shot泛化能力，可以在13种不同的环境中导航，包括楼梯、崎岖的土地、杂乱的办公室和室内空间。
2020-11-11 cs.RO
Augmenting Imitation Experience via Equivariant Representations
University of Toronto Robotics Institute（多伦多大学机器人研究所）
通过模仿训练的视觉导航策略的鲁棒性通常取决于训练图像-动作对的增强。传统上，这已经通过从多个相机收集数据、通过使用来自计算机视觉的标准数据增强（例如向每个图像添加随机噪声）或通过合成训练图像来完成。在本文中，我们表明，有另一种实用的替代数据增强视觉导航的基础上外推的观点嵌入和附近的训练数据中观察到的行动。我们的方法利用了2D和3D中视觉导航问题的几何形状，并依赖于等变嵌入函数的策略，而不是图像。给定来自训练导航数据集的图像-动作对，我们的神经网络模型使用等方差属性预测附近视点处图像的潜在表示，并增强数据集。然后，我们在增强的数据集上训练策略。我们的模拟结果表明，以这种方式训练的政策表现出减少跨轨道错误，并需要更少的干预相比，使用标准的增强方法训练的政策。我们也显示了类似的结果，在自主视觉导航的一个真正的地面机器人沿着超过500米的路径。
2021-10-14 cs.CV cs.RO
Where Predictive Supervision Goes Shapes What VLA Policies Learn
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔大学）
本文研究预测监督如何影响VLA策略的视觉表征，发现不同预测接口导致表征差异，直接场景匹配的未来监督可提升策略在分布偏移下的鲁棒性。
2026-10-02 cs.AI cs.RO
EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness
Zhejiang University（浙江大学）；Wuhan University（武汉大学）；Hunan University（湖南大学）；D-Robotics（D机器人公司）
针对跨具身导航挑战，提出基于模仿学习的具身感知导航框架，通过模块化多阶段设计，预训练构建数据集并引入具身几何，微调设计多模态信息注入机制，有效提高不同具身设置下的导航性能。
2026-08-07 cs.CV cs.RO
Domain Adaptation of Visual Policies with a Single Demonstration
Johns Hopkins University（约翰斯·霍普金斯大学）
针对视觉运动策略在仿真到现实部署中的领域差异问题，提出 PromptAdapt 框架，利用单个演示作为提示，基于 Transformer 学习演示条件化视觉策略，实现上下文内领域自适应，在光照、颜色、纹理和相机姿态等多种偏移下显著优于基线方法。
2024-07-23 cs.RO
Learning Sensorimotor Primitives of Sequential Manipulation Tasks from Visual Demonstrations
Rutgers University（罗格斯大学）
这项工作的目的是学习如何执行复杂的机器人操作任务，这些任务是由几个连续执行的低级别子任务组成的，作为输入，由一个人执行的任务的一些视觉演示。子任务包括移动机器人的末端执行器，直到它到达任务空间中的子目标区域，执行动作，并在满足先决条件时触发下一个子任务。在这一领域的大多数先前的工作一直只关注学习低级别的任务，如击球或达到一个对象，抓住it.This本文描述了一个新的神经网络为基础的框架，同时学习低级别的政策，以及高级别的政策，如决定哪个对象接下或在哪里放置它相对于其他对象在场景中。所提出的方法的一个关键特征是，直接从任务演示的原始视频中学习策略，而不需要对数据进行任何手动注释或后处理。机器人手臂的物体操作任务的实验结果表明，该网络可以有效地学习从真实的视觉演示来执行任务，并优于流行的模仿学习算法。
2022-03-08 cs.LG cs.RO
RoboFQE: Rollout-Free Evaluation of Visual Robot Policies from Offline Trajectories
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出RoboFQE，一种结合拟合Q评估、预训练视觉基础模型与学习到的终端成功标注的离策略评估方法，可从离线机器人轨迹准确评估视觉机器人策略，在长时域任务中表现优于视频世界模型评估器。
2026-11-09 cs.RO
Topology-Informed Visual Prompting For Vision Language Action Policies
University of Michigan（密歇根大学）
提出拓扑引导的视觉提示框架，利用仿真规划和拓扑签名增强VLA策略，在复杂障碍物操控任务中优于基线，硬件成功率提升40%。
2026-09-22 cs.RO
Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement
Princeton University（普林斯顿大学）
提出VERITAS框架，利用预训练通用机器人策略作为生成器，结合无梯度视觉验证器在推理时评估动作，实现无需额外训练的推理时策略引导和离线策略改进。
2026-06-17 cs.AI cs.RO
Evidence-Guided Counterfactual Learning for Long-Tailed Robotic Policies
Hohai University（河海大学）
针对视觉-语言-动作机器人策略的长尾任务性能下降问题，提出证据引导反事实学习框架，无需额外数据或标注即可提升长尾机器人策略性能，尤其改善尾任务表现且不损失头任务性能。
2026-10-12 cs.RO
Learning Dexterous Grasping with Object-Centric Visual Affordances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
灵巧的机器人手因其敏捷性和类似人类的形态而吸引人，但其高度的自由度使得学习操纵具有挑战性。我们介绍了一种学习灵巧抓取的方法。我们的关键思想是将以对象为中心的视觉启示模型嵌入到深度强化学习循环中，以学习有利于人们喜欢的相同对象区域的抓取策略。与从人类演示轨迹（例如，用手套捕获的手关节序列），所提出的先验是以对象为中心的和基于图像的，允许代理在策略学习期间为未看到的对象预期有用的示能表示区域。我们用一个30自由度的五指机器人手模拟器在来自两个数据集的40个物体上展示了我们的想法，在那里它成功有效地学习了稳定功能抓握的策略。我们的负担能力指导策略明显更有效，更好地推广到新对象，训练速度比基线快3倍，并且对噪声传感器读数和驱动更鲁棒。我们的工作为操纵代理人提供了一个步骤，通过观察人们如何使用物体来学习，而不需要有关人体的状态和动作信息。项目网址：http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp
2021-06-16 cs.CV cs.RO
Intermittent Visual Servoing: Efficiently Learning Policies Robust to Instrument Changes for High-precision Surgical Manipulation
University of California, Berkeley（加州大学伯克利分校）；UC San Francisco East Bay（加州大学旧金山分校东湾）；SRI International（斯坦福国际研究院）
由于反冲、滞后和线缆张力，使用线缆驱动机器人的手术任务的自动化具有挑战性，并且这些问题由于手术器械在手术期间必须经常更换而加剧。在这项工作中，我们提出了一个高精度手术任务自动化的框架，通过学习样本高效，准确，闭环的政策，直接操作的视觉反馈，而不是机器人编码器的估计。这个框架，我们称之为间歇性视觉伺服（IVS），间歇性地切换到一个学习的视觉伺服策略的重复性手术任务的高精度段，而依赖于一个粗略的开环策略的部分，精度是不必要的。为了补偿电缆相关的影响，我们应用模仿学习来快速训练一种策略，该策略将工作空间和仪器的图像从自上而下的RGB相机映射到小的校正运动。我们仅使用180个人工演示来训练策略，每个演示大约2秒。达芬奇研究套件的结果表明，在每个高精度段期间，将粗略策略与学习策略的半秒校正相结合，对于具有不同电缆相关影响的3种器械，将腹腔镜手术钉转移任务的成功率从72.9%提高到99.2%，从31.3%提高到99.2%，从47.2%提高到100.0%。在我们研究的背景下，IVS达到了自动手术钉转移的最高成功率，并且在更换器械时比以前的技术更可靠。补充材料可在https://tinyurl.com/ivs-icra上查阅。
2020-11-12 cs.RO
RoboKoop: Efficient Control Conditioned Representations from Visual Input in Robotics using Koopman Operator
Georgia Institute of Technology（佐治亚理工学院）
本文提出 RoboKoop，基于 Koopman 理论和对比谱嵌入网络学习面向下游控制任务的线性化视觉表示，并用线性控制器进行离策略强化学习，提升长时域策略学习的稳定性、效率与精度。
2024-09-04 cs.LG cs.RO cs.SY
Oracle-Guided Masked Contrastive Reinforcement Learning for Visuomotor Policies
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）；College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）
提出OMC-RL框架，通过两阶段解耦（掩码Transformer对比学习表示+oracle教师引导策略学习），提升视觉运动策略的样本效率、渐近性能与泛化能力。
2025-10-07 cs.LG cs.RO
