Active Exploration for Robotic Manipulation
Technical University of Darmstadt（达姆施塔特工业大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管近年来机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法，使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制（MPC）计划的行动，最大限度地提高预期的回报，同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人，从头开始训练我们的方法，在一个具有挑战性的球推任务倾斜的桌子上，目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation
Cornell University（康奈尔大学）；Yale University（耶鲁大学）
本文提出一种反思式测试时计算框架，通过生成模型想象未来状态并批判性反思，增强视觉语言模型在多阶段长时程机器人操作中的物理推理能力，显著优于现有商业VLM及MCTS等方法。
2025-02-23 cs.AI cs.LG cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一个遥操作系统，使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务，如折布，锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系，动态运动缩放和重新定位的操作框架，以增加我们的遥操作系统的灵活性。我们假设，降低遥操作的进入门槛将允许更广泛地部署监督自治系统，这将反过来生成现实的数据集，释放机器学习的潜力，用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而，现有的工作往往把离线策略学习和在线探索作为两个独立的过程，这往往是伴随着严重的性能下降，在离线到在线的过渡。此外，许多机器人操作任务涉及复杂的子任务结构，这是非常具有挑战性的稀疏奖励RL解决。在这项工作中，我们提出了一个统一的离线到在线RL框架，解决了过渡性能下降的问题。此外，我们引入目标感知的状态信息的RL代理，这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块，我们的框架实现了很大的训练效率和性能相比，国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；HuPan Lab（虎鹏实验室）；Tongji University（同济大学）
本文提出GP3策略，利用多视角RGB图像和空间编码器推断三维几何表示，并结合语言指令生成连续动作，在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景，探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg（汉堡大学）
认知科学认为，自我表征对学习和解决问题至关重要。然而，缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中，我们通过开发一个模型来弥合这一差距，该模型学习双向动作-效果关联，以从多感官信息中编码身体图式和近个人空间的表征，称为多模态BidAL。通过三个不同的机器人实验，我们证明，这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下，它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战，重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展，并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Q-attention: Enabling Efficient Learning for Vision-based Robotic Manipulation
Dyson Robotics Lab, Imperial College London（戴森机器人实验室，帝国理工学院）
尽管强化学习方法取得了成功，但在应用于广泛的机器人操作任务时，它们还没有突破性的时刻。这在一定程度上是由于强化学习算法是众所周知的困难和耗时的训练，当从图像而不是全状态输入进行训练时，这种情况会加剧。当人类执行操作任务时，我们的眼睛会密切监视该过程的每一步，我们的目光依次聚焦在被操作的对象上。考虑到这一点，我们提出了我们的注意力驱动的机器人操作（ARM）算法，这是一个通用的操作算法，可以应用于一系列稀疏奖励的任务，只有少量的演示。ARM将复杂的操作任务分为3个阶段的流水线：（1）Q-attention代理从RGB和点云输入中提取相关像素位置，（2）下一个最佳姿势代理从Q-attention代理接受裁剪并输出姿势，以及（3）控制代理采取目标姿势并输出联合动作。我们表明，目前的学习算法失败的RLBench任务的范围，而ARM是成功的。
2022-02-04 cs.AI cs.CV cs.LG
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK（信息学院，爱丁堡大学）；Department of Computer Science, University College London, UK（计算机科学系，伦敦大学学院）
提出混合分层学习框架ROMAN，通过整合行为克隆、模仿学习和强化学习，协调多个专门处理子任务的神经网络，有效解决机器人长跨度复杂序列操作任务，并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题，本文提出H-RDT框架，通过两阶段训练利用人类操作数据增强双臂机器人操作能力，在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University（苏利文大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Peking University（北京大学）；Shanghai University（上海大学）
本文提出SSDF框架，通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology（皇家理工学院）
本文提出首个面向机器人操作的联邦学习基准FLAME，包含超16万条多环境专家演示及训练评估框架，通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Robotic Arm Manipulation to Perform Rock Skipping in Simulation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本项目在仿真环境中构建了由机械臂和动态环境组成的系统来执行打水漂任务，通过改变释放速度等参数探究最大化弹跳次数的关键因素，并提供了更严格的测试方法，同时指出抓取效率和轨迹问题限制了项目表现。
2023-10-23 cs.AI cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University（根特大学）
本文提出 FOCUS，一个学习对象中心世界模型的智能体，利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率，并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控，实现安全稳健的机器人操作，提升性能与可靠性。
2026-03-05 cs.AI cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测（例如，对象的6D姿态），其不能适应于其他任务并且不适合于可变形对象。在本文中，我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出，而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验，展示了感知方法的鲁棒性以及它可以告知操作策略的方式，从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架，通过操作技能适应和技能专业化聚合，实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China（浙江大学杭州技术创新中心）；College of Biosystems Engineering（生物系统工程学院）；Food Science, Zhejiang University, Hangzhou, 310058, China（食品科学学院）
本文提出了一种开源设备SROI，用于收集机器人草莓种植中灵巧操作数据，通过模块化末端执行器和立体摄像头实现野外环境下的数据采集，并发布数据集促进相关研究。
2025-01-28 cs.RO
ManiAgent: An Agentic Framework for General Robotic Manipulation
Beijing University of Technology（北京理工大学）；Nanjing University（南京大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal
ManiAgent提出多智能体协作框架，通过环境感知、子任务分解与动作生成，实现端到端机器人操作，在SimplerEnv和真实任务上分别达到86.8%和95.8%成功率。
2025-10-14 cs.AI cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University（萨班哲大学）
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明，与一些方法，感知和规划的紧密结合提高了计划的质量，以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
ConceptTree: Bringing Semantic Transparency to Black-Box Decision Making for Robotic Manipulation
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
研究长期机器人操作中可解释决策问题，提出ConceptTree框架，将高级技能选择重构为基于视觉观察的概念推理。该方法学习归一化概念空间并训练决策树，实验表明其优于现有基线，支持细粒度干预以纠正决策错误。
2026-07-21 cs.AI cs.RO
Reward Machine Inference for Robotic Manipulation
IDLab（IDLab实验室）；Ghent University（根特大学）；imec（比利时微电子研究中心）
该研究提出一种从机器人操作视觉演示中直接学习奖励机的LfD方法，无需预定义命题与稀疏奖励先验，联合学习结构与关键转移事件，可准确捕捉任务结构并助力RL智能体学习最优策略。
2024-12-13 cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG；University of Warwick（华威大学）
通过强化学习（RL）掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明，使用稀疏奖励，即只有在任务成功完成时才奖励代理，可以产生更好的策略。然而，在这种情况下，状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习，利用了高质量的人类演示来完成任务，但这些演示可能是昂贵的，耗时的，甚至不可能获得。在本文中，我们提出了一种新颖而有效的方法，不需要人类的示范。我们观察到，从被操纵对象的角度来看，每个机器人操纵任务都可以被视为涉及运动任务，即对象可以学习如何自行达到目标状态。为了利用这一想法，我们引入了一个框架，通过该框架，最初使用现实的物理模拟器获得对象运动策略。然后，该策略用于生成辅助奖励，称为模拟运动演示奖励（SLDR），使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加，并可以实现更高的成功率和更快的学习率相比，替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
Hybrid Framework for Robotic Manipulation: Integrating Reinforcement Learning and Large Language Models
Jamia Millia Islamia（贾米亚米利亚伊斯兰大学）；University of Brighton（布莱顿大学）
本文提出一种结合强化学习与大语言模型的混合框架，用于提升机器人操作任务。通过强化学习实现精确的低层控制，利用大语言模型进行高层任务规划和自然语言理解，有效连接低层执行与高层推理。实验显示任务完成时间减少33.5%，精度和适应性提升18.1%和36.4%。
2026-03-31 cs.AI cs.RO
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University（杜克大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Organifarms
本文系统研究机器人操作鲁棒性，提出正式定义、概率与控制理论框架，并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法，展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation
Department of Electrical Engineering, Sharif University of Technology（电气工程系，谢里夫大学）
MALLVI通过多智能体协作实现闭环反馈驱动的机器人操作，提升泛化能力和零样本任务成功率。
2026-06-09 cs.AI cs.CV cs.LG
Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning
Yonsei University（延世大学）；Samsung Research（三星研究院）
针对视觉机器人操作端到端学习样本效率低的问题，提出基于李群表示理论的SE(3)-等变能量基模型，仅需5~10次演示即可从零学习，且在新位姿、新实例、有干扰的任务中泛化性良好。
2023-02-27 cs.AI cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology（奥凯多科技）；University of Genoa（热那亚大学）
本研究借鉴人类抓取零散果蔬的操作策略，开发配备多指柔性夹爪的机器人抓取装置，通过物流行业KPIs验证其性能，为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Learning Reward Functions for Robotic Manipulation by Observing Humans
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Google Research（谷歌研究院）；Center for Data Science, New York University（纽约大学数据科学中心）
观察人类演示者操纵物体为学习机器人策略提供了丰富的、可扩展的和廉价的数据源。然而，将人类视频中的技能转移到机器人操作器上带来了一些挑战，尤其是动作和观察空间的差异。在这项工作中，我们使用未标记的人类解决各种操作任务的视频来学习机器人操作策略的任务不可知的奖励函数。由于该训练数据的多样性，学习的奖励函数充分地推广到来自先前看不见的机器人实施例和环境的图像观察，以在强化学习中为定向探索提供有意义的先验。我们提出了两种方法得分状态相对于目标图像：通过直接的时间回归，并通过在嵌入空间中的距离与时间对比学习。通过在目标图像上调节函数，我们能够在各种任务中重用一个模型。与之前利用人类视频来教授机器人的工作不同，我们的方法，人类离线学习距离（HOLD）既不需要来自机器人环境的先验数据，也不需要一组特定于任务的人类演示，也不需要预定义的形态对应概念，但与仅使用从任务完成中获得的稀疏奖励相比，它能够加速模拟机器人手臂上的几个操作任务的训练。
2023-03-07 cs.AI cs.CV cs.LG
Active Inference for Robotic Manipulation
Intelligent Autonomous Systems（智能自主系统实验室）；Technical University of Darmstadt（达姆施塔特工业大学）
尽管在过去的几十年中机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵的核心挑战之一是部分可观察性，因为智能体通常不知道环境的所有物理属性和它预先操纵的对象。最近出现的一种以显式方式处理部分可观测性的理论是主动推理。它通过驱动智能体以一种不仅是目标导向的而且是关于环境的信息的方式行动来做到这一点。在这项工作中，我们将主动推理应用于一个难以探索的模拟机器人操作任务，其中代理必须将球平衡到目标区域。由于这项任务的回报是稀疏的，为了探索这个环境，智能体必须学习在没有任何外部反馈的情况下平衡球，纯粹是出于自己的好奇心。我们表明，主动推理引起的信息寻求行为允许代理系统地探索这些具有挑战性的，稀疏的环境。最后，我们得出结论，使用信息寻求目标是有益的，在稀疏的环境中，并允许代理解决任务的方法，不表现出定向探索失败。
2022-06-01 cs.LG cs.RO
Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space
Technical University of Munich (TUM)（慕尼黑工业大学）
智能代理必须能够快速和缓慢地思考，以执行复杂的操作任务。强化学习（RL）在一系列具有挑战性的决策任务上取得了许多有希望的结果。然而，在现实世界的机器人技术中，这些方法仍然很困难，因为它们需要大量昂贵的交互，并且反馈循环缓慢。另一方面，快速的类人自适应控制方法可以优化复杂的机器人交互，但无法集成非结构化任务所需的多模态反馈。在这项工作中，我们建议在分层学习和自适应架构中考虑学习问题，以两全其美。该框架由两个部分组成，一个缓慢的强化学习政策优化的任务策略给定的多模态观测，和一个快速，实时的自适应控制策略不断优化的运动，稳定性和努力的机械手。我们通过一个生物灵感的行动空间将这些组件结合起来，我们称之为AFORCE。我们展示了新的动作空间上的接触丰富的操作任务在真实的硬件和评估其性能上的三个模拟操作任务。我们的实验表明，AFORCE大大提高了样本效率，同时降低了能耗并提高了安全性。
2021-10-20 cs.LG cs.RO
The Impact of Time Step Frequency on the Realism of Robotic Manipulation Simulation for Objects of Different Scales
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Michigan Technological University（密歇根理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究评估时间步频率和组件尺度对机器人操作仿真精度的影响，发现提高小尺度物体时间步频率可改善精度，并为机器人装配中的Sim2Real迁移改进提供起点。
2023-10-12 cs.AI cs.RO
RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation
Peking University（北京大学）；Tsinghua University（清华大学）；Lightwheel
本文提出RoboWM-Bench，用于评估视频世界模型在机器人操作中的执行能力，发现视觉合理性与实际执行性不一致，并分析了影响执行性能的因素。
2026-05-14 cs.AI cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）
研究基于大语言模型的机器人操作中策略代码不可靠问题，设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性，通过实验识别四种不可靠行为及原因，还引入优化方法，可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Machine Learning for Robotic Manipulation
UCSD（加州大学圣地亚哥分校）
在过去的十年中，机器学习技术在监督学习范式中取得了巨大的成功，在这种范式中，训练和测试之间有着明确的界限。在监督学习范式中，学习本质上是被动的，寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后，机器学习研究人员已经超越了这种范式，并对更具动态性的任务感兴趣。对他们来说，机器人技术是一个很好的测试平台，因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中，机器人操作已经成为研究人员展示新算法的最受欢迎的领域，因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议，并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
MEMOBench: A Process Level Memory Benchmark for Robotic Manipulation
Zhejiang University（浙江大学）
MEMOBench提出过程级内存基准，含30个任务和4,200个检查点，定义存储、更新、压缩率指标，发现现有VLA策略内存能力不足，并提供诊断与训练监督。
2026-09-09 cs.AI cs.RO
Value-Based Reinforcement Learning for Continuous Control Robotic Manipulation in Multi-Task Sparse Reward Settings
Brown University（布朗大学）
在高维稀疏奖励设置（如机器人操作）中学习连续控制是一个具有挑战性的问题，因为通常需要大量的样本来获得准确的最优值和策略估计。虽然许多深度强化学习方法旨在通过重放或改进的探索技术来提高样本效率，但是现有技术的演员-评论家和策略梯度方法仍然遭受稀疏奖励设置中的硬探索问题。受最近成功的基于值的方法近似状态-动作值，如RBF-DQN的启发，我们探索了基于值的强化学习在多任务稀疏奖励设置中学习连续机器人操作任务的潜力。在机器人操作任务中，我们的经验表明RBF-DQN比当前最先进的算法（如TD 3，SAC和PPO）收敛得更快。我们还使用RBF-DQN进行了消融研究，并表明一些用于香草深度Q学习的增强技术，如后见之明经验重放（HER）和优先经验重放（PER）也可以应用于RBF-DQN。我们的实验分析表明，基于值的方法可能是更敏感的数据增强和重放缓冲区采样技术比政策梯度方法，这些方法的机器人操作的好处是在很大程度上依赖于所产生的子目标状态的过渡动态。
2021-07-28 cs.AI cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）
灵巧的多指手可以完成精细的操作行为，这是不可行的简单的机器人抓手。然而，复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案，但在传感和致动方面存在相当大的挑战，使得它们难以应用于更复杂的操作任务。在本文中，我们描述了一种方法，从示范，可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示，其中人类用自己的手演示所需的操作对象的运动，机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法，使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件，我们使用的指导政策搜索框架的扩展，使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法，学习了转动阀门，操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation
City University of Hong Kong（香港城市大学）；Huazhong University of Science and Technology（华中科技大学）；Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）
本文提出TrojanRobot框架，通过在模块化机器人策略中嵌入恶意模块，操控LLM到VLM路径，验证了在18个真实任务和4个VLM上的优越性。
2026-04-02 cs.AI cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST（日本国立AIST研究所）
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线，以提高便利店商品场景下机器人操作的物体掩码精度，实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
Transformers凭借其在大型数据集上的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。在正确的问题表述下，Transformers还能使操纵受益吗？我们调查这个问题与PerAct，语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码，并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同，体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式，我们训练一个单一的多任务Transformer，用于18个RLBench任务（有249个变体）和7个现实世界的任务（有18个变体），每个任务只需几个演示。我们的研究结果表明，PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Eq.Bot: Enhance Robotic Manipulation Learning via Group Equivariant Canonicalization
Beijing Key Laboratory of Light Industrial Robot and Safety Verification, Capital Normal University（北京工业机器人与安全验证重点实验室，首都师范大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Software, Beihang University（北航软件学院）
针对现有机器人操作多模态学习框架缺乏几何一致性保证的问题，提出模型无关的SE(2)群等变规范化框架Eq.Bot，无需修改架构即可赋予模型空间等变性，在多类架构的操作任务上性能最高提升50%。
2025-11-19 cs.AI cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题，提出ManipDreamer3D框架，结合3D占据感知轨迹规划与轨迹到视频扩散模型，生成高质量可信机器人操作视频，减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute（阿兰·图灵研究所）
机器人控制任务通常首先在仿真中运行，用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务，但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言，用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面，我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性，用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
Hierarchical Audio-Visual-Proprioceptive Fusion for Precise Robotic Manipulation
Harbin Institute of Technology, China（哈尔滨工业大学）；Nanyang Technological University, Singapore（南洋理工大学）
本文提出层次化多模态融合框架，通过整合音频、视觉和本体感知信息，提升机器人精确操作性能。
2026-02-14 cs.AI cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX，将双臂操作抽象为双向量对齐，并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹，硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）
我们量化了各种模拟器的准确性相比，现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案，而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好，或根本无法表现。利用Kinova机器人机械手和运动捕捉系统，我们记录了地面实况，使各种模拟器的比较，并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点，突出了显著差异的领域，并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）
在人类环境中，机器人被期望完成各种简单的自然语言指令的操作任务。然而，机器人操作极具挑战性，因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战，我们提出了一个统一的变压器为基础的方法，考虑到多个输入。特别是，我们的Transformer架构集成了（i）自然语言指令和（ii）多视图场景观察，同时（iii）跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性，并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是，我们的方法可扩展到74个不同的RLBench任务，并优于最先进的。我们还解决了预防条件的任务，并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida（中佛罗里达大学）
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法，通过无监督跨具身对齐和人类示范动力学学习，在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
