Fast Visuomotor Policy for Robotic Manipulation
Fudan University（复旦大学）；MEGVII Technology（MEGVII科技）
提出Energy Policy框架，通过能量分数和能量MLP实现单次前向传播预测多模态动作，在模拟和真实任务中匹配或超越最先进方法，并显著降低计算开销。
2025-10-14 cs.CV cs.RO
Learning Geometrically-Grounded Amodal 3D Representations for View-Generalizable Robotic Manipulation
Tongji University（同济大学）；The University of Hong Kong（香港大学）
本文提出MethodName框架，通过单视角3D预训练和多步蒸馏实现机器人操作的视图通用性，实验显示其在成功率和视图泛化能力上优于现有方法。
2026-09-29 cs.RO
Efficient Hybrid SE(3)-Equivariant Visuomotor Flow Policy via Spherical Harmonics for Robot Manipulation
University of Electronic Science and Technology of China（电子科学与技术大学）；Dexmal
本文提出E3Flow框架，通过球面谐波表示实现高效且稳定的多模态等变学习，提升机器人操作的性能、效率和数据效率。
2026-03-24 cs.RO
EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
如果一个机器人掌握了折叠厨房毛巾的技能，那么我们就可以期待它掌握折叠一条大的沙滩毛巾。然而，依赖于数据增强的现有策略学习方法仍然不能保证这样的泛化。我们的见解是增加等变性的视觉对象表示和策略架构。我们提出了EquivAct，它利用SIM（3）-等变网络结构，保证在所有可能的对象平移，3D旋转和缩放的建设泛化。EquivAct的培训分为两个阶段。我们首先在模拟场景点云上预训练SIM（3）-等变视觉表示。然后，我们通过少量的源任务演示学习了一个SIM（3）等变的视觉策略。我们表明，学到的政策直接转移到对象，从示威的规模，位置和方向有很大的不同。我们评估我们的方法在三个操作任务涉及可变形和关节连接的对象，超越了典型的刚性对象的操作任务，考虑在以前的工作。我们在模拟和现实中进行实验。对于真正的机器人实验，我们的方法使用20人演示的桌面任务和转移zero-shot到一个更大的设置中的移动操作任务。实验证实，我们的对比预训练过程和等变架构提供了显着的改进比以前的工作。项目网址：https://equivact.github.io
2024-05-14 cs.LG cs.RO
Learning to Pick: A Visuomotor Policy for Clustered Strawberry Picking
ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University, Hangzhou, China（浙江大学杭州国际科技创新中心）
本研究提出了一种基于人类示范的视觉-运动策略，用于解决遮挡环境下草莓采摘的挑战，通过改进的ACT模型实现高效精准采摘。
2025-09-18 cs.RO
DemoGen: Synthetic Demonstration Generation for Data-Efficient Visuomotor Policy Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）
DemoGen提出一种低成本的合成演示生成方法，仅需单个人工演示即可通过空间增强和3D编辑生成多样化演示，显著提升视觉运动策略在多种真实操作任务中的性能，并支持干扰抵抗和障碍物避免等额外能力。
2025-02-24 cs.RO
Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation
Sun Yat-sen University（中山大学）；Oxford University（牛津大学）
本文提出ReV框架，通过整合稀疏指引用点实现动态轨迹重规划，无需额外数据即可提升机器人操作的鲁棒性。
2026-04-07 cs.CV cs.RO
AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation
Nanyang Technological University（南洋理工大学）
针对静态 affordance 导致的机器人操纵轨迹漂移问题，提出 AffordTrajDP 动态框架，以物体为中心传播锚点 affordance 生成轨迹，在 ManiSkill3 上成功率达70.0%，现实实验验证其鲁棒性与组件有效性。
2026-09-01 cs.RO
M-EMBER: Tackling Long-Horizon Mobile Manipulation via Factorized Domain Transfer
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出M-EMBER方法，通过将长时程移动操作分解为基本视觉技能并强化学习后组合，在机器人上以53%成功率完成cleaning_kitchen任务。
2023-05-23 cs.RO
MAVP: Map-Aware Visuomotor Policies for Mobile Manipulation
The University of Sydney（悉尼大学）
MAVP通过预测并跟踪基座位姿目标，利用地图和定位反馈提升移动操作策略的执行可靠性，在六个真实任务中超越速度控制方法。
2026-09-23 cs.AI cs.CV cs.LG
Spatial Policy: Guiding Visuomotor Robotic Manipulation with Spatial-Aware Modeling and Reasoning
Tsinghua University（清华大学）；Beijing University of Technology（北京理工大学）；Guangzhou University（广州大学）
针对现有视觉中心分层具身模型缺乏空间感知能力的问题，提出空间策略（SP）框架，通过显式空间建模与推理，实现空间引导预测、流基动作推断及双阶段重规划优化，在多任务中大幅提升性能并验证真实世界可行性。
2025-11-18 cs.AI cs.CV cs.RO
Learning a visuomotor controller for real world robotic grasping using simulated depth images
Northeastern University（东北大学）；Boston University（波士顿大学）
我们希望建造在非结构化现实世界应用中有用的机器人，例如在家庭中工作。特别是抓握是这一领域的一项重要技能，但它仍然是一个挑战。关键障碍之一是处理被抓取物体的意外变化或运动以及机器人中的运动噪声或其他错误。本文提出了一种方法来学习一个闭环控制器的机器人抓持，动态引导夹持器的对象。我们使用一个手腕上安装的传感器来获取深度图像在前面的抓地力和训练的卷积神经网络学习的距离函数，以真正掌握配置的图像。训练传感器数据是在模拟中生成的，这是以前使用真实机器人经验的工作的一个主要优势，因为获得真实机器人经验的成本很高。尽管在模拟中进行了训练，但我们的方法在真实的噪声传感器图像上效果良好。我们比较我们的控制器在模拟和真实的机器人实验中的一个强大的基线把握姿势检测，并发现我们的方法显着优于基线的运动噪声，感知误差和干扰的对象在把握过程中的存在。
2017-11-17 cs.AI cs.RO
Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness
Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩堡技术大学）
ARRO通过实时视觉屏蔽和虚拟引导提升机器人操作的视觉鲁棒性，减少对额外数据的依赖，适用于多种桌面任务和真实环境。
2026-01-06 cs.RO
AdaTempo: Learning Shared Relative Tempo from Demonstrations for Faster Robot Manipulation
Fudan University（复旦大学）；Tsinghua University（清华大学）
AdaTempo通过自监督学习示范中的共享相对节奏，加速视觉运动策略，实现高达3.57倍速度提升并改善成功-速度权衡。
2026-10-05 cs.RO
AimBot: A Simple Auxiliary Visual Cue to Enhance Spatial Awareness of Visuomotor Policies
Computer Science and Engineering Department, University of Michigan（密歇根大学计算机科学与工程系）；Robotics Department, University of Michigan（密歇根大学机器人学系）；Lambda Labs（Lambda实验室）
本文提出AimBot，一种轻量级视觉增强技术，通过在多视图RGB图像上叠加射击线和瞄准镜十字线提供空间线索，以极低计算开销且无需更改模型架构的方式，持续提升机器人在仿真和真实世界中视觉运动策略的性能。
2025-08-11 cs.RO
FreqPolicy: Frequency Autoregressive Visuomotor Policy with Continuous Tokens
ShanghaiTech University（上海科技大学）；The University of Hong Kong（香港大学）；Digital Trust Centre, Nanyang Technological University（南洋理工大学数字信任中心）；The Chinese University of Hong Kong（香港中文大学）
针对机器人操作视觉运动策略的精度与效率问题，提出FreqPolicy频域自回归学习范式，用连续潜表示分层建模动作频率分量，在多基准测试中性能优于现有方法。
2025-10-04 cs.AI cs.CV cs.RO
Trajectory-Level Continuous Action Representation for Robotic Manipulation
Fudan University（复旦大学）；TeleAI, China Telecom（中国电信TeleAI）
该研究提出CAT轨迹级连续动作表示框架，通过频率感知位置编码等技术解决现有视觉运动系统的动作表示冗余问题，在LIBERO等数据集上显著提升机器人操作任务成功率。
2026-08-27 cs.RO
Risk-Aware Reinforcement Learning for Mobile Manipulation
Oxford Robotics Institute, Department of Engineering Science, University of Oxford（牛津大学机器人研究所、工程科学系、牛津大学）；Dyson Institute of Engineering & Technology（戴森工程与技术研究所）；Bristol Robotics Laboratory, School of Engineering, University of West England（布里斯托尔机器人实验室、工程学院、西英格兰大学）
本文提出了一种基于风险感知的强化学习方法，通过分布强化学习和模仿学习，实现移动操作中的风险敏感决策与策略蒸馏。
2026-03-04 cs.RO
StereoPatch: Patch-Aligned RGB-Depth Fusion for Spatial Perception in Robot Manipulation
Australian Centre for Robotics, The University of Sydney（悉尼大学澳大利亚机器人中心）
StereoPatch通过补丁对齐的RGB-深度融合，将度量几何直接绑定到RGB特征，提升机器人操作中的空间感知与闭环成功率。
2026-09-15 cs.RO
Task Editing for Generalizable 3D Visuomotor Policy Learning
Sun Yat-sen University（中山大学）；Imperial College London（帝国理工学院）；Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）
提出Task-Edit框架，通过将任务分解为场景、技能和对象组件并灵活重组，生成多样化轨迹，提升3D视觉运动策略在长程操作任务中的泛化能力。
2026-06-05 cs.RO
Faster Visuomotor Policy Learning on Action Manifolds via Riemannian MeanFlow
Purdue University（普渡大学）
提出黎曼均值流策略（RMFP），在动作流形上学习条件流映射，通过流映射一致性目标实现单次网络评估生成动作序列，在多个基准和真实任务上以更低采样成本达到竞争性能。
2026-09-25 cs.RO
Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
Stanford University（斯坦福大学）
提出MuSe方法，通过多阶段融合、多感官未来预测和预训练数据经验回放，将有限的多感官数据融入预训练的纯视觉策略，在保持原始任务性能的同时适应新任务。
2026-10-08 cs.RO
3D Flow Diffusion Policy: Visuomotor Policy Learning via Generating Flow in 3D Space
School of Integrated Technology (SIT), Gwangju Institute of Science and Technology (GIST)（整合技术学院（SIT）、全州科学技术学院（GIST））
本文提出3D Flow Diffusion Policy框架，利用场景级三维流作为中间表示捕获局部运动线索，在统一扩散架构中联合预测查询点轨迹并生成动作，在MetaWorld 50个任务和八个真实机器人任务上取得最先进性能。
2025-09-23 cs.RO cs.SY eess.SY
CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；The University of Hong Kong（香港大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
提出CordViP框架，通过物体6D位姿估计与机器人本体感知构建交互感知点云，结合接触图和手臂协调信息学习对应关系，在六项真实世界灵巧操作任务中大幅超越基线并展现出强大的泛化与鲁棒性。
2025-04-27 cs.AI cs.RO
Predict in Chunks, Revise in Spans: History-conditioned Action Regeneration for Robotic Manipulation
Soochow University（苏州大学）；Tongji University（同济大学）
本文提出CMAP策略，通过历史条件局部再生优化动作块，在9个模拟和4个真实世界操纵任务上优于多个基准，可降低预测误差。
2026-10-14 cs.RO
DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；The University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）
DexVerse是用于多任务、多实体灵巧操作的模块化基准测试，含100个任务，支持多种机器人手臂和手，可扩展且提供视觉变化等。通过对多种方法的基准测试，揭示任务泛化和视觉运动鲁棒性挑战，为通用灵巧操作提供测试平台。
2026-07-10 cs.RO
SkillPlug: Unsupervised Skill Mining for Few-Shot Adaptation in Robotic Manipulation
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
针对机器人操作中学习可转移视觉运动模仿策略的挑战，提出SkillPlug框架，通过技能调节模块挖掘共享可转移技能库，经自监督学习形成任务共享先验，微调轻量级组件实现少样本适应，提升多任务和少样本适应性能。
2026-07-10 cs.RO
DINOv3-Diffusion Policy: Self-Supervised Large Visual Model for Visuomotor Diffusion Policy Learning
Department of Computing and Mathematics, Manchester Metropolitan University（计算与数学系，曼彻斯特 Metropolitan 大学）；Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校）
本文评估自监督视觉骨干DINOv3在视觉运动扩散策略学习中的表现，证明其在多个机器人操作基准任务上可匹敌或超越ResNet-18，并提升样本效率与成功率。
2025-09-22 cs.CV cs.RO
Hyper-DP3: Frequency-Aware Right-Sizing of 3D Diffusion Policies for Visuomotor Control
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
针对机器人操作中扩散策略的高计算成本问题，从频域角度分析动作轨迹的平滑性，提出轻量级3D扩散策略Hyper-DP3，使用扩散混合器解码器和两步DDIM推理，以极低参数和延迟实现最先进性能。
2026-05-29 cs.RO
OmniDP: Beyond-FOV Large-Workspace Humanoid Manipulation with Omnidirectional 3D Perception
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）
OmniDP通过360度全景点云感知和时间感知注意力池化机制，实现人形机器人在大工作空间中的稳健操作，优于传统深度相机方法。
2026-03-06 cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战，重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展，并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
H$^3$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning
Tsinghua University IIIS（清华大学IIIS）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai AI Lab（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
针对现有视觉运动策略学习方法忽略视觉感知与动作预测耦合的问题，提出含三层结构的H$^3$DP框架，在仿真与真实双臂操作任务中均实现性能显著提升。
2025-06-17 cs.AI cs.CV cs.RO
AutoSpeed: Annotation-Free Stage-Adaptive Motion Speed Learning for Robot Manipulation
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
提出AutoSpeed框架，通过频域速度调制和复合代价优化，使视觉运动策略能根据任务阶段自适应调整执行速度，减少执行时间并提高成功率。
2026-07-07 cs.RO
3D Equivariant Visuomotor Policy Learning via Spherical Projection
Northeastern University（东北大学）；Stanford University（斯坦福大学）
本文提出Image-to-Sphere Policy (ISP)，通过将2D RGB图像特征投影到球面上，实现了首个仅依赖单目RGB输入的SO(3)等变机器人操作策略学习框架，显著提升了性能与样本效率。
2025-10-30 cs.RO
Contrastive Action-Image Pre-training for Visuomotor Control
UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）；Sapienza University of Rome（罗马大学）；Panasonic（松下）；ItalAI
提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。
2026-06-17 cs.CV cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology（皇家理工学院）
本文提出首个面向机器人操作的联邦学习基准FLAME，包含超16万条多环境专家演示及训练评估框架，通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China（浙江大学杭州技术创新中心）；College of Biosystems Engineering（生物系统工程学院）；Food Science, Zhejiang University, Hangzhou, 310058, China（食品科学学院）
本文提出了一种开源设备SROI，用于收集机器人草莓种植中灵巧操作数据，通过模块化末端执行器和立体摄像头实现野外环境下的数据采集，并发布数据集促进相关研究。
2025-01-28 cs.RO
PocketDP3: Efficient Pocket-Scale 3D Visuomotor Policy
PocketDP3通过轻量级扩散混合器替代传统解码器，实现高效3D视觉-运动策略，减少参数消耗并提升实时部署性能。
2026-01-30 cs.RO
StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception
Stanford University（斯坦福大学）；Northwestern University（西北大学）；Lambda, Inc（Lambda公司）
该研究提出StereoPolicy，一种利用立体视觉提升机器人操作策略的框架，通过同步立体图像对增强几何推理，无需构建显式3D表示，在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。
2026-09-29 cs.CV cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology（奥凯多科技）；University of Genoa（热那亚大学）
本研究借鉴人类抓取零散果蔬的操作策略，开发配备多指柔性夹爪的机器人抓取装置，通过物流行业KPIs验证其性能，为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Resolving State Ambiguity in Robot Manipulation via Adaptive Working Memory Recoding
Fudan Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）；Westwell（韦斯尔实验室）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
PAM通过自适应工作记忆重编码解决机器人操作中的状态歧义问题，支持300帧历史窗口并保持高推理速度。
2025-12-31 cs.RO
ARGUS: Aligning Robot Scene Geometry Under Shifting Views with Large 3D Vision Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
本研究提出ARGUS，一种利用大规模3D视觉模型对齐机器人场景几何结构的观测预处理流水线，可提升机器人操纵策略在视角多样化场景下的性能与学习效率。
2026-08-07 cs.RO
Machine Learning for Robotic Manipulation
UCSD（加州大学圣地亚哥分校）
在过去的十年中，机器学习技术在监督学习范式中取得了巨大的成功，在这种范式中，训练和测试之间有着明确的界限。在监督学习范式中，学习本质上是被动的，寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后，机器学习研究人员已经超越了这种范式，并对更具动态性的任务感兴趣。对他们来说，机器人技术是一个很好的测试平台，因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中，机器人操作已经成为研究人员展示新算法的最受欢迎的领域，因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议，并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute（阿兰·图灵研究所）
机器人控制任务通常首先在仿真中运行，用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务，但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言，用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面，我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性，用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX，将双臂操作抽象为双向量对齐，并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹，硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）
我们量化了各种模拟器的准确性相比，现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案，而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好，或根本无法表现。利用Kinova机器人机械手和运动捕捉系统，我们记录了地面实况，使各种模拟器的比较，并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点，突出了显著差异的领域，并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
ViTaS: Visual Tactile Soft Fusion Contrastive Learning for Visuomotor Learning
ViTaS通过融合视觉和触觉信息，利用软融合对比学习提升视觉-运动学习的性能。
2026-02-12 cs.AI cs.CV cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida（中佛罗里达大学）
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法，通过无监督跨具身对齐和人类示范动力学学习，在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University（北京大学计算机学院超平面实验室）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
本文提出RGBManip框架，利用夹爪上的单目相机进行主动多视角6D物体位姿估计，并通过强化学习平衡位姿精度与操作效率，在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University（清华大学）
在人们的日常对话中，指称语通常用于指称特定的对象。在本文中，我们开发了一个新的任务，视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式，并执行相应的操作。为了解决这个问题，提出了一个视听框架，用于视觉定位和声音识别。我们还建立了一个数据集，其中包含视觉数据，听觉数据和操作指令进行评估。最后，大量的实验进行了离线和在线，以验证所提出的视听框架的有效性。实验结果表明，机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
PLEX: Making the Most of the Available Data for Robotic Manipulation Pretraining
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
针对机器人操作表征学习需大量多模态演示的问题，提出基于transformer的PLEX架构，结合少量视觉运动轨迹与大量任务条件操作视频学习，在Meta-World和Robosuite上实现优异性能，低数据下相对位置编码效果显著。
2023-11-08 cs.AI cs.LG cs.RO
Constraint-Preserving Data Generation for Visuomotor Policy Learning
Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）
提出CP-Gen方法，利用单条专家轨迹生成含新几何与位姿的示范数据，训练视觉运动策略，在模拟和真实任务中平均成功率77%，优于基线50%。
2025-08-05 cs.AI cs.RO
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
Inductive Generalization for Robotic Manipulation
Carnegie Mellon University（卡内基梅隆大学）
提出归纳泛化概念，通过轴基评估测试策略在分布外任务变体上的泛化能力，发现现有范式（如VLA模型）失败，揭示了与数据规模正交的学习挑战。
2026-06-23 cs.LG cs.RO
