MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation
Department of Electrical Engineering, Sharif University of Technology（电气工程系，谢里夫大学）
MALLVI通过多智能体协作实现闭环反馈驱动的机器人操作，提升泛化能力和零样本任务成功率。
2026-06-09 cs.AI cs.CV cs.LG
Learning Reward Functions for Robotic Manipulation by Observing Humans
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Google Research（谷歌研究院）；Center for Data Science, New York University（纽约大学数据科学中心）
观察人类演示者操纵物体为学习机器人策略提供了丰富的、可扩展的和廉价的数据源。然而，将人类视频中的技能转移到机器人操作器上带来了一些挑战，尤其是动作和观察空间的差异。在这项工作中，我们使用未标记的人类解决各种操作任务的视频来学习机器人操作策略的任务不可知的奖励函数。由于该训练数据的多样性，学习的奖励函数充分地推广到来自先前看不见的机器人实施例和环境的图像观察，以在强化学习中为定向探索提供有意义的先验。我们提出了两种方法得分状态相对于目标图像：通过直接的时间回归，并通过在嵌入空间中的距离与时间对比学习。通过在目标图像上调节函数，我们能够在各种任务中重用一个模型。与之前利用人类视频来教授机器人的工作不同，我们的方法，人类离线学习距离（HOLD）既不需要来自机器人环境的先验数据，也不需要一组特定于任务的人类演示，也不需要预定义的形态对应概念，但与仅使用从任务完成中获得的稀疏奖励相比，它能够加速模拟机器人手臂上的几个操作任务的训练。
2023-03-07 cs.AI cs.CV cs.LG
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University（东北大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度的模仿学习框架，机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设，在环境中的关系信息建模可以显着提高泛化。为了实现这一点，我们建议（i）分解的多模态动力学元素的运动原语，（ii）参数化每个原语使用一个经常性的图神经网络捕捉相互作用，和（iii）集成一个高层次的计划，组成原语顺序和低层次的控制器，结合原始动力学和逆运动学控制。我们的模型是一个深层次的，模块化的架构。与基线相比，我们的模型更好地推广，并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST（日本国立AIST研究所）
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线，以提高便利店商品场景下机器人操作的物体掩码精度，实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题，提出ManipDreamer3D框架，结合3D占据感知轨迹规划与轨迹到视频扩散模型，生成高质量可信机器人操作视频，减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
Transformers凭借其在大型数据集上的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。在正确的问题表述下，Transformers还能使操纵受益吗？我们调查这个问题与PerAct，语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码，并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同，体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式，我们训练一个单一的多任务Transformer，用于18个RLBench任务（有249个变体）和7个现实世界的任务（有18个变体），每个任务只需几个演示。我们的研究结果表明，PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势，这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而，一般的视频描述方法更多地关注于对全帧的理解，缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型，从人类演示视频中学习机器人操作的动作。它由两个深度网络组成，抓取检测网络（GNet）和视频描述网络（CNet）。GNet执行两个功能：提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明，我们的方法可以产生更准确的命令，从视频演示比国家的最先进的工作，从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）
在人类环境中，机器人被期望完成各种简单的自然语言指令的操作任务。然而，机器人操作极具挑战性，因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战，我们提出了一个统一的变压器为基础的方法，考虑到多个输入。特别是，我们的Transformer架构集成了（i）自然语言指令和（ii）多视图场景观察，同时（iii）跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性，并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是，我们的方法可扩展到74个不同的RLBench任务，并优于最先进的。我们还解决了预防条件的任务，并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Active Exploration for Robotic Manipulation
Technical University of Darmstadt（达姆施塔特工业大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管近年来机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法，使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制（MPC）计划的行动，最大限度地提高预期的回报，同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人，从头开始训练我们的方法，在一个具有挑战性的球推任务倾斜的桌子上，目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics（亚马逊机器人公司）；Rutgers University（罗格斯大学）
本文介绍了Amazon Robotic Manipulation Benchmark（ARMBench），这是一个大规模的、以对象为中心的基准数据集，用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象，非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景，在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集，收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据，对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获，即，预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战，即1）在混乱中的对象分割，2）对象识别，和3）缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity
University of Washington（华盛顿大学）
基于学习的3D对象重建使得能够对3D对象模型进行单次或Few-Shot估计。对于机器人来说，这有可能使基于模型的方法快速适应新的对象和场景。现有的3D重建技术优化视觉重建保真度，通常通过倒角距离或体素IOU测量。我们发现，当应用到现实的，杂乱的机器人环境中，这些系统产生重建与低物理现实主义，导致在基于模型的控制时，在较差的任务性能。我们提出了ARM，一个非模态3D重建系统，它引入了（1）对象形状的稳定性先验，（2）连通性先验，（3）多通道输入表示，允许对对象组之间的关系进行推理。通过使用这些先验的物体的物理属性，我们的系统不仅通过标准的视觉指标提高了重建质量，而且还提高了基于模型的控制在具有挑战性的，混乱的环境中的各种机器人操作任务的性能。代码可在github.com/wagnew3/ARM上获得。
2020-09-28 cs.CV cs.LG cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe（NAVER欧洲实验室）；TU Darmstadt（达姆施塔特工业大学）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森州人工智能中心）
针对机器人操作技能学习需求，提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法，可生成交互性更强的可组合技能，适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战，重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展，并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi’an Jiaotong University（西安交通大学）
针对机器人操作策略泛化性不足的问题，提出DynaRend框架，通过可微体渲染的掩码重建与未来预测学习3D动力学三平面特征，在基准测试与真实实验中均提升了操作成功率与泛化性。
2025-10-28 cs.AI cs.CV cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich（苏黎世联邦理工学院）；Mimic Robotics（Mimic机器人公司）；Microsoft Research（微软研究院）
MAPLE通过从第一人称视频中学习的先验知识，提升灵巧机器人操作任务的策略学习，有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一个遥操作系统，使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务，如折布，锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系，动态运动缩放和重新定位的操作框架，以增加我们的遥操作系统的灵活性。我们假设，降低遥操作的进入门槛将允许更广泛地部署监督自治系统，这将反过来生成现实的数据集，释放机器学习的潜力，用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tsinghua University（清华大学）
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题，提出融合视觉与动作等动力学信息的MCR框架，在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University（复旦大学）；MEGVII Technology（MEGVII科技）
提出Energy Policy框架，通过能量分数和能量MLP实现单次前向传播预测多模态动作，在模拟和真实任务中匹配或超越最先进方法，并显著降低计算开销。
2025-10-14 cs.CV cs.RO
RoboFlamingo-Plus: Fusion of Depth and RGB Perception with Vision-Language Models for Enhanced Robotic Manipulation
针对3D环境中深度与RGB融合及语言引导操作难题，提出RoboFlamingo-Plus，通过预训练ViT、重采样及交叉注意力融合深度与RGB，提升操作性能10-20%。
2025-03-25 cs.AI cs.CV cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
在本文中，我们提出了一种新的任务，操纵问答（MQA），其中机器人执行操作动作，以改变环境，以回答给定的问题。为了解决这个问题，提出了一个框架，包括一个QA模块和操纵模块。对于问答模块，我们采用了可视化问答任务的方法。对于操作模块，设计了一个深度Q网络（DQN）模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况，并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验，以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Robotic Programmer: Video Instructed Policy Code Generation for Robotic Manipulation
Institute of Computing Technology, Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出机器人基础模型 RoboPro，通过 Video2Code 从野外视频合成可执行策略代码，实现视觉感知与自由指令驱动的零样本机器人操作，并在 RLBench 和真实环境中取得优于 GPT-4o 的性能。
2025-01-08 cs.CV cs.RO
Diffusion-EDFs: Bi-equivariant Denoising Generative Modeling on SE(3) for Visual Robotic Manipulation
Yonsei University（延世大学）；University of California, Berkeley（加州大学伯克利分校）；Samsung Research（三星研究院）；Massachusetts Institute of Technology（麻省理工学院）；Ewha Womans University（梨花女子大学）
本文提出 Diffusion-EDFs，一种基于 SE(3) 等变扩散的视觉机器人操作方法，仅需 5 到 10 个人类演示即可在一小时内完成端到端训练，并在泛化性、鲁棒性及真实硬件实验中优于现有方法。
2023-11-28 cs.AI cs.LG cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology（皇家理工学院）
本文提出首个面向机器人操作的联邦学习基准FLAME，包含超16万条多环境专家演示及训练评估框架，通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Recognising Known Configurations of Garments For Dual-Arm Robotic Flattening
University of Glasgow（格拉斯哥大学）
机器人可变形物体的操纵是机器人工业中的一个挑战，因为可变形物体具有复杂和多样的物体状态。预测这些对象的状态和更新操作规划是耗时和计算昂贵的。在本文中，我们提出学习已知的服装配置，让机器人识别服装状态，并选择一个预先设计的服装平整的操作计划。
2022-06-17 cs.CV cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而，现有的工作往往把离线策略学习和在线探索作为两个独立的过程，这往往是伴随着严重的性能下降，在离线到在线的过渡。此外，许多机器人操作任务涉及复杂的子任务结构，这是非常具有挑战性的稀疏奖励RL解决。在这项工作中，我们提出了一个统一的离线到在线RL框架，解决了过渡性能下降的问题。此外，我们引入目标感知的状态信息的RL代理，这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块，我们的框架实现了很大的训练效率和性能相比，国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation
Cornell University（康奈尔大学）；Yale University（耶鲁大学）
本文提出一种反思式测试时计算框架，通过生成模型想象未来状态并批判性反思，增强视觉语言模型在多阶段长时程机器人操作中的物理推理能力，显著优于现有商业VLM及MCTS等方法。
2025-02-23 cs.AI cs.LG cs.RO
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；HuPan Lab（虎鹏实验室）；Tongji University（同济大学）
本文提出GP3策略，利用多视角RGB图像和空间编码器推断三维几何表示，并结合语言指令生成连续动作，在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景，探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg（汉堡大学）
认知科学认为，自我表征对学习和解决问题至关重要。然而，缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中，我们通过开发一个模型来弥合这一差距，该模型学习双向动作-效果关联，以从多感官信息中编码身体图式和近个人空间的表征，称为多模态BidAL。通过三个不同的机器人实验，我们证明，这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下，它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)（斯坦福人工智能实验室（SAIL））；Stanford University（斯坦福大学）
学习接触丰富的机器人操作技能是一个具有挑战性的问题，由于状态和动作空间的高维性，以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵，人类积极利用环境中的接触约束。通过采用类似的策略，机器人也可以实现更强大的操作。在本文中，我们使机器人能够自主修改其环境，从而发现如何减轻操作技能的学习。具体来说，我们为机器人提供了固定装置，它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此，他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统，包括两个学习循环。在外部循环中，机器人将夹具定位在工作空间中。在内部循环中，机器人学习操作技能，并在固定次数的情节后，将奖励返回到外部循环。因此，机器人被激励放置固定装置，使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务：钉插入，扳手操作和浅深度插入。我们表明，操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China（浙江大学杭州技术创新中心）；College of Biosystems Engineering（生物系统工程学院）；Food Science, Zhejiang University, Hangzhou, 310058, China（食品科学学院）
本文提出了一种开源设备SROI，用于收集机器人草莓种植中灵巧操作数据，通过模块化末端执行器和立体摄像头实现野外环境下的数据采集，并发布数据集促进相关研究。
2025-01-28 cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
End-to-end Reinforcement Learning of Robotic Manipulation with Robust Keypoints Representation
A*STAR Institute of High Performance Computing (IHPC)（新加坡科技研究局高性能计算研究所）；A*STAR Institute of Information Research (IR)（新加坡科技研究局信息研究所）；National University of Singapore (NUS)（新加坡国立大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
我们提出了一个端到端的强化学习（RL）框架的机器人操作任务，使用一个强大的和有效的关键点表示。该方法通过自监督自动编码器架构从相机图像中学习关键点作为状态表示。关键点对几何信息以及工具和目标的关系进行编码，以紧凑的表示形式，以确保高效和鲁棒的学习。在关键点学习之后，RL步骤然后从所提取的关键点状态表示学习机器人运动。关键点和RL学习过程完全在模拟环境中完成。我们证明了所提出的方法对机器人操作任务，包括抓取和推，在不同的情况下的有效性。我们还研究了训练模型的泛化能力。除了鲁棒的关键点表示，我们进一步应用域随机化和对抗性训练样本，以实现真实世界机器人操作任务中的zero-shot仿真到现实迁移。
2022-02-12 cs.CV cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK（信息学院，爱丁堡大学）；Department of Computer Science, University College London, UK（计算机科学系，伦敦大学学院）
提出混合分层学习框架ROMAN，通过整合行为克隆、模仿学习和强化学习，协调多个专门处理子任务的神经网络，有效解决机器人长跨度复杂序列操作任务，并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
University of Virginia（弗吉尼亚大学）
提出一次性三维物体到物体可供性定位方法O$^3$Afford，结合视觉基础模型语义特征与点云几何表示，并集成大语言模型，显著提升机器人操作的准确性和泛化能力。
2025-09-07 cs.CV cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology（奥凯多科技）；University of Genoa（热那亚大学）
本研究借鉴人类抓取零散果蔬的操作策略，开发配备多指柔性夹爪的机器人抓取装置，通过物流行业KPIs验证其性能，为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University（苏利文大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Peking University（北京大学）；Shanghai University（上海大学）
本文提出SSDF框架，通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题，提出任务驱动的异步主动视觉-动作模型，串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练，在RLBench的8个任务上持续优于基线，有效处理视觉约束。
2025-02-12 cs.CV cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
人类在日常活动中使用所有的感官来完成不同的任务。相比之下，现有的机器人操作工作主要依赖于一种或偶尔两种模式，如视觉和触觉。在这项工作中，我们系统地研究视觉，听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统，它可以用摄像头看，用接触式麦克风听，用基于视觉的触觉传感器感觉，所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务，密集的包装和浇注的结果，展示了机器人操作的多感官感知的必要性和力量：视觉显示的机器人的全球地位，但往往会受到闭塞，音频提供即时反馈的关键时刻，甚至是不可见的，触摸提供精确的局部几何决策。利用所有三种模式，我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Robotic Arm Manipulation to Perform Rock Skipping in Simulation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本项目在仿真环境中构建了由机械臂和动态环境组成的系统来执行打水漂任务，通过改变释放速度等参数探究最大化弹跳次数的关键因素，并提供了更严格的测试方法，同时指出抓取效率和轨迹问题限制了项目表现。
2023-10-23 cs.AI cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University（根特大学）
本文提出 FOCUS，一个学习对象中心世界模型的智能体，利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率，并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控，实现安全稳健的机器人操作，提升性能与可靠性。
2026-03-05 cs.AI cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架，通过操作技能适应和技能专业化聚合，实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
Machine Learning for Robotic Manipulation
UCSD（加州大学圣地亚哥分校）
在过去的十年中，机器学习技术在监督学习范式中取得了巨大的成功，在这种范式中，训练和测试之间有着明确的界限。在监督学习范式中，学习本质上是被动的，寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后，机器学习研究人员已经超越了这种范式，并对更具动态性的任务感兴趣。对他们来说，机器人技术是一个很好的测试平台，因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中，机器人操作已经成为研究人员展示新算法的最受欢迎的领域，因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议，并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR（A*STAR资讯通信研究院（IR））；Institute for High Performance Computing (IHPC), A*STAR（A*STAR高性能计算研究院（IHPC））
我们提出了KOVIS，一种新的学习为基础的，无标定的视觉伺服方法，精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练，训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练，而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后，我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性，在模拟环境和现实世界的实验与不同的机器人操作任务，包括抓取，钉孔插入与4mm的间隙，和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
3D-MVP: 3D Multiview Pretraining for Robotic Manipulation
NVIDIA（英伟达）；University of Michigan（密歇根大学）；New York University（纽约大学）
针对现有机器人视觉预训练仅基于2D图像、缺乏3D场景理解的问题，提出3D-MVP方法，拆分RVT的视觉编码器并在3D数据集上用掩码自编码预训练，提升了虚拟操作任务性能与策略泛化性。
2025-03-24 cs.CV cs.RO
RoboGround: Robotic Manipulation with Grounded Vision-Language Priors
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出RoboGround系统，利用落地掩码作为中间表示结合大规模视觉-语言模型先验，指导机器人操作策略网络，并构建自动化数据生成流程，显著提升了策略的泛化能力。
2025-04-30 cs.CV cs.RO
ManiAgent: An Agentic Framework for General Robotic Manipulation
Beijing University of Technology（北京理工大学）；Nanjing University（南京大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal
ManiAgent提出多智能体协作框架，通过环境感知、子任务分解与动作生成，实现端到端机器人操作，在SimplerEnv和真实任务上分别达到86.8%和95.8%成功率。
2025-10-14 cs.AI cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG；University of Warwick（华威大学）
通过强化学习（RL）掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明，使用稀疏奖励，即只有在任务成功完成时才奖励代理，可以产生更好的策略。然而，在这种情况下，状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习，利用了高质量的人类演示来完成任务，但这些演示可能是昂贵的，耗时的，甚至不可能获得。在本文中，我们提出了一种新颖而有效的方法，不需要人类的示范。我们观察到，从被操纵对象的角度来看，每个机器人操纵任务都可以被视为涉及运动任务，即对象可以学习如何自行达到目标状态。为了利用这一想法，我们引入了一个框架，通过该框架，最初使用现实的物理模拟器获得对象运动策略。然后，该策略用于生成辅助奖励，称为模拟运动演示奖励（SLDR），使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加，并可以实现更高的成功率和更快的学习率相比，替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
ConceptTree: Bringing Semantic Transparency to Black-Box Decision Making for Robotic Manipulation
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
研究长期机器人操作中可解释决策问题，提出ConceptTree框架，将高级技能选择重构为基于视觉观察的概念推理。该方法学习归一化概念空间并训练决策树，实验表明其优于现有基线，支持细粒度干预以纠正决策错误。
2026-07-21 cs.AI cs.RO
Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
针对现实世界复杂性给机器人操作研究带来的挑战，本文提出具备密集视角覆盖、多特性物体的Robo360数据集，验证了其在动态NeRF、多视角策略学习中的效用，有望推动3D物理理解与机器人控制交叉研究。
2023-12-09 cs.CV cs.RO
