Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland（奥克兰大学）；New Dexterity（新 Dexterity 研究机构）
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作，对三种RL算法在复杂手内操作任务上进行了基准测试，验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation
Cornell University（康奈尔大学）；Amazon FAR（亚马逊FAR）
研究如何将重定向引导强化学习用于灵巧操作，提出REGRIND方法，从单人演示学习策略，经重定向、模拟训练、零样本转移到硬件，在丰富接触任务中产生类人行为，还分析了模拟到现实转移的关键因素。
2026-07-14 cs.AI cs.LG cs.RO
Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic
Learning AI for Dextrous Robots Lab, Technical University of Munich（灵巧机器人学习AI实验室，慕尼黑技术大学）；DLR Institute of Robotics & Mechatronics（德意志航天中心机器人与机电研究所）
提出利用手内操作强化学习智能体的评论家网络对初始抓取进行评分和选择，无需额外训练即可显著提升操作成功率，并在真实系统上实现了自主抓取与重定向的完整流程。
2025-05-19 cs.AI cs.RO
Multi-Task Reinforcement Learning based Mobile Manipulation Control for Dynamic Object Tracking and Grasping
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Heriot-Watt University（赫瑞-瓦特大学）
由于机器人系统的高度复杂性和工作环境的非结构化，使得移动机械手的敏捷控制具有挑战性。跟踪和抓取具有随机轨迹的动态对象甚至更难。本文提出了一种基于多任务强化学习的移动操作控制框架，实现了通用的动态目标跟踪和抓取。选择几种基本类型的动态轨迹作为任务训练集。为了提高策略在实际应用中的泛化能力，在训练过程中引入了随机噪声和动态随机化。大量实验表明，训练后的策略能够适应未知的随机动态轨迹，跟踪误差约为0.1m，动态目标的抓取成功率为75%.训练的策略也可以成功地部署在一个真正的移动机械手。
2020-06-07 cs.AI cs.LG cs.RO
Broad-persistent Advice for Interactive Reinforcement Learning Scenarios
University of New South Wales（新南威尔士大学）；Federation University（联邦大学）；Deakin University（迪肯大学）
在强化学习场景中使用交互式建议允许加速自主智能体的学习过程。当前的交互式强化学习研究仅限于实时交互，仅提供与当前状态相关的用户建议。此外，由每次交互提供的信息不被保留，而是在单次使用后被代理丢弃。在本文中，我们提出了一种保留和重用提供的知识的方法，允许培训师给出相关的一般性建议，而不仅仅是当前状态。所获得的结果表明，使用广泛的持久性的意见，大大提高了代理的性能，同时减少了所需的培训师的互动的数量。
2022-10-11 cs.AI cs.LG cs.RO
Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning
Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）；University of Warwick（华威大学）
训练代理自主学习如何使用拟人机器人手有可能导致系统能够在非结构化和不确定的环境中执行多种复杂的操作任务。在这项工作中，我们首先介绍了一套具有挑战性的模拟操作任务，目前的强化学习和轨迹优化技术发现困难。其中包括两个模拟的手必须在彼此之间传递或投掷物体的环境，以及代理必须学习在手指之间旋转一支长笔的环境。然后，我们介绍了一个简单的轨迹优化，在这些环境中执行显着优于现有的方法。最后，在具有挑战性的PenSpin任务中，我们将通过轨迹优化生成的次优演示与离线强化学习相结合，获得了远远超过这两种方法的性能，有效地解决了环境问题。我们所有结果的视频可在以下网站获得：https://dexterous-manipulation.github.io/
2021-05-16 cs.AI cs.RO
Motion Planner Augmented Reinforcement Learning for Robot Manipulation in Obstructed Environments
Cognitive Learning for Vision and Robotics Lab（认知视觉与机器人学实验室）；Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加利福尼亚大学）
深度强化学习（RL）智能体能够通过最大化奖励信号来学习接触丰富的操作任务，但需要大量的经验，特别是在有许多障碍物的环境中，这些障碍物使探索变得复杂。相比之下，运动规划者使用代理和环境的显式模型来规划到遥远目标的无碰撞路径，但是在需要与环境接触的任务中遭受不准确的模型。为了结合这两种方法的优点，我们提出了运动规划增强RL（MoPA-RL），它增强了RL代理的动作空间与运动规划的长期规划能力。基于动作的大小，我们的方法在直接执行动作和调用运动规划器之间平滑地过渡。我们评估我们的方法在各种模拟操作任务，并比较它的学习效率和安全性方面的替代行动空间。实验表明，MoPA-RL提高了学习效率，导致更快的探索，并产生更安全的策略，避免与环境发生冲突。视频和代码可在https://clvrai.com/mopa-rl上获得。
2020-10-22 cs.AI cs.LG cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations
University of Washington（华盛顿大学）；OpenAI；University of California Berkeley（加州大学伯克利分校）；Istituto Italiano di Tecnologia（意大利理工学院）
灵巧的多指手是非常通用的，并提供了一种通用的方式来执行以人为中心的环境中的许多任务。然而，有效地控制它们仍然具有挑战性，因为它们的高维度和大量的潜在接触。深度强化学习（DRL）提供了一种模型不可知的方法来控制复杂的动力系统，但尚未被证明可以扩展到高维灵巧操作。此外，由于样本效率低下，在物理系统上部署DRL仍然具有挑战性。因此，迄今为止，DRL在机器人领域的成功仅限于简单的机械手和任务。在这项工作中，我们表明，无模型DRL可以有效地扩展到复杂的操作任务与高维24自由度的手，并解决他们从头开始在模拟实验。此外，通过使用少量的人类演示，可以显着降低样本的复杂性，这使得学习的样本大小相当于几个小时的机器人经验。使用示威导致政策表现出非常自然的运动，而且令人惊讶的是，也更加强大。
2018-06-26 cs.AI cs.LG cs.RO
REFINE-DP: Diffusion Policy Fine-tuning for Humanoid Loco-manipulation via Reinforcement Learning
The Institute for Robotics and Intelligent Machines（机器人与智能机械研究所）
本文提出REFINE-DP框架，通过联合优化扩散政策高层规划器和基于强化学习的低层动态-操作控制器，提升人形机器人在复杂环境中的任务成功率与执行稳定性。
2026-07-31 cs.AI cs.LG cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California（南加州大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Cincinnati（辛辛那提大学）
本研究针对无视觉输入的三指仿真手抬球旋球任务，对比课程学习与触觉反馈对强化学习效果的影响，提出新型课程学习率调度器，发现课程选择的作用远大于触觉信息，且无触觉也可完成学习，结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
Reinforcement Learning in Topology-based Representation for Human Body Movement with Whole Arm Manipulation
Hong Kong University of Science and Technology（香港科技大学）；Yale University（耶鲁大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
移动人体或大而笨重的物体可能需要整个手臂操作（WAM）的力量。这种类型的操作将负载放置在机器人的手臂上，并依赖于相互作用的全局属性来成功-而不是局部接触，如抓取或非弹性推动。在本文中，我们将学习如何生成运动，使WAM在某些救援或病人护理场景中保持和运输人类。我们将该任务建模为强化学习问题，以便提供可以直接响应外部干扰和人体运动的行为。为此，我们代表了全球性的机器人与人类的互动与拓扑为基础的坐标，从手臂和躯干的位置计算。这些坐标还允许将学习到的策略转移到其他身体形状和大小。为了训练和评估，我们模拟了一个动态的海上救援场景，并在定量实验中表明，该政策可以解决看不见的情况下，不同形状的人，漂浮的人，或感知噪声。我们的定性实验表明，随后的运输后，持有的实现，我们证明了政策可以直接转移到现实世界的设置。
2018-09-12 cs.AI cs.LG cs.RO
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China（中国科学技术大学）；Chongqing University（重庆大学）；Hunan University（湖南大学）
本文提出时序逻辑引导的混合策略框架HyTL，通过LTL编码任务规范并结合三层决策结构，提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Rearrangement with Nonprehensile Manipulation Using Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；HKUST Robotics Institute（香港科技大学机器人研究所）；HKUST Institute for Advanced Study（香港科技大学高等研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
在桌面上重新安排对象通过non-promisile操纵是一项任务，需要熟练的互动与物理世界。通常，这是通过精确建模的对象，机器人和明确的规划环境的物理属性。相比之下，由于显式建模物理环境并不总是可行的，并且涉及各种不确定性，因此我们仅基于视觉反馈使用深度强化学习学习非随机重排策略。为此，我们用奖励对任务进行建模，并训练一个深度Q网络。我们基于势场的启发式探索策略减少了导致次优结果的冲突量，并且我们积极平衡训练集，以避免对不良示例的偏见。与统一探索和标准经验回放相比，我们的训练过程可以更快地学习和更好地执行任务。我们从模拟中展示了经验证据，表明我们的方法导致85%的成功率，表明我们的系统可以应对环境的突然变化，并将我们的性能与人类水平的性能进行比较。
2018-03-15 cs.AI cs.LG cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University（厄勒布鲁大学）
在制造业中，装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习（RL）是自动学习这些任务的有前途的框架，然而，即使部署条件仅略有不同，也仍然不容易将学习的策略或技能（即解决任务的能力）应用于类似的环境。在本文中，我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能，并组成家庭的技能先验指导学习的政策，为一个新的任务，通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间，表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法，并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of California Berkeley（加州大学伯克利分校）
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的，因为数据要求非常高。许多实际任务需要操纵多个对象，并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案，但不幸的是，在许多情况下都不起作用。我们假设，最先进的算法无法有效地利用任务课程源于缺乏归纳偏见，从简单到复杂的任务转移知识。我们表明，基于图的关系架构克服了这一限制，并使学习复杂的任务时，提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始，我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励，但我们的方法的数据效率要高出几个数量级，并且优于现有的利用人类演示的最先进方法。此外，学习到的策略表现出零射击（zero-shot）概括，无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置，例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
Sim-and-Real Reinforcement Learning for Manipulation: A Consensus-based Approach
United Kingdom Atomic Energy Authority（英国原子能管理局）；The University of Manchester（曼彻斯特大学）
本文提出基于共识的仿真与真实深度强化学习算法CSAR，用于机械臂抓取与放置任务，以提升仿真与真实联合训练在有限时间和硬件预算下的效率与效果。
2023-09-17 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models
University of Hamburg（汉堡大学）
针对机器人操作强化学习中样本效率低、奖励设定难的问题，提出Lafite-RL框架，借助大语言模型自然语言反馈提升学习效率与成功率，在RLBench任务上表现优于基线。
2023-11-04 cs.AI cs.LG cs.RO
Towards Autonomous Reinforcement Learning for Real-World Robotic Manipulation with Large Language Models
Department of Information Engineering, University of Padova（帕多瓦大学信息工程系）；ABB Corporate Research（ABB企业研究）
本文提出ARCHIE无监督流程，利用GPT-4从自然语言任务描述自动生成RL奖励函数与成功判定代码，并在ABB YuMi单臂及双臂操作任务中验证其有效性。
2025-06-10 cs.AI cs.LG cs.RO
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University（首尔国立大学）
当前机器人强化学习（RL）由于固有的特定于任务的训练范式，在推广到新的下游任务时经常遇到困难。为了缓解这一问题，无监督强化学习（unsupervised RL）是一种以任务不可知的方式对智能体进行预训练的框架，而无需获得特定于任务的奖励，它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处，我们提出了一种无监督的方法，用于可转移的操作技能发现，将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为，机器人操作学习的关键方面，没有访问的环境奖励，但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验，我们表明，我们的方法实现了最多样化的互动行为，并显着提高样本效率在下游任务，包括扩展到多对象，多任务问题。
2022-04-29 cs.LG cs.RO
Multi-Group Equivariant Augmentation for Reinforcement Learning in Robot Manipulation
本文针对机器人操作中视觉运动学习的采样效率问题，提出多群等变增强方法MEA，通过引入非等距对称性和体素视觉表示来提升离线强化学习效率，并在仿真与真实机器人实验中验证了有效性。
2025-08-15 cs.AI cs.RO
Reinforcement learning for the privacy preservation and manipulation of eye tracking data
本文提出了一种基于强化学习的眼动追踪数据处理方法。它基于两个对立的代理，其中一个试图正确分类数据，第二个代理在数据中寻找模式，这些模式被操纵以隐藏特定信息。我们表明，我们的方法是成功地适用于保护受试者的隐私。为此，我们迭代地评估我们的方法，以展示基于强化学习的方法的行为。此外，我们评估的时间，以及空间，信息的眼动追踪数据的特定分类目标的重要性。在我们评估的最后一部分，我们将该过程应用于进一步的公共数据集，而无需重新训练自动编码器或数据操纵器。结果表明，学习操纵是广义的，适用于看不见的数据以及。
2020-10-02 cs.AI cs.CV cs.LG
Sim-to-Real Reinforcement Learning for Deformable Object Manipulation
Imperial College London（帝国理工学院）
我们已经看到了最近的进展，在刚性物体的操作，但与可变形物体的相互作用显着落后。由于可变形物体的配置空间很大，使用传统建模方法的解决方案需要大量的工程工作。也许，绕过显式建模的需要，而是以端到端的方式学习控制是一种更好的方法？尽管越来越多的人对使用端到端的机器人学习方法感兴趣，但只有少量的工作集中在它们对可变形物体操纵的适用性上。此外，由于学习这些端到端解决方案需要大量数据，一个新兴的趋势是在仿真中学习控制策略，然后将其转移到现实世界中。到目前为止，还没有工作探讨是否有可能学习和转移可变形对象的政策。我们相信，如果要进一步采用模拟到真实的方法，那么应该可以学习与各种各样的物体进行交互，而不仅仅是刚性物体。在这项工作中，我们使用了最先进的深度强化学习算法的组合来解决操纵可变形物体（特别是布料）的问题。我们在三个任务上评估我们的方法-将毛巾折叠到一个标记处，对角折叠面巾，将一块布挂在衣架上。我们的代理在域随机化的模拟中进行了充分的训练，然后成功地部署在现实世界中，而没有看到任何真实的可变形物体。
2018-10-08 cs.AI cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG；University of Warwick（华威大学）
通过强化学习（RL）掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明，使用稀疏奖励，即只有在任务成功完成时才奖励代理，可以产生更好的策略。然而，在这种情况下，状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习，利用了高质量的人类演示来完成任务，但这些演示可能是昂贵的，耗时的，甚至不可能获得。在本文中，我们提出了一种新颖而有效的方法，不需要人类的示范。我们观察到，从被操纵对象的角度来看，每个机器人操纵任务都可以被视为涉及运动任务，即对象可以学习如何自行达到目标状态。为了利用这一想法，我们引入了一个框架，通过该框架，最初使用现实的物理模拟器获得对象运动策略。然后，该策略用于生成辅助奖励，称为模拟运动演示奖励（SLDR），使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加，并可以实现更高的成功率和更快的学习率相比，替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Jiao Tong University（上海交通大学）；IIIS, Tsinghua University（清华大学人工智能研究院）；Nanyang Technological University（南洋理工大学）；A*STAR Institute for Infocomm Research（新加坡科技动力研究院）；University of Maryland（马里兰大学）
本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出 ArrayBot 触觉柱阵列系统，通过重塑空间局部与频域低频动作空间训练强化学习策略，实现仅靠触觉的可泛化物体操控，并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO
Real-World Dexterous Object Manipulation based Deep Reinforcement Learning
Westlake University（西湖大学）
深度强化学习已经在基于智能体状态的实时决策中显示出了优势。在这个阶段，我们解决了使用真实机器人操纵立方体到给定轨迹的任务。该方法将任务分解为不同的过程，提出了一种分层结构，高层的深度强化学习模型选择合适的接触位置，底层的控制模块根据相应的轨迹进行位置控制。该框架克服了深度强化学习样本效率低和传统机器人控制方法适应性差的缺点。我们的算法在模拟中进行训练，并在没有微调的情况下迁移到现实中。实验结果表明，我们的方法的有效性仿真和现实。我们的代码和视频可以在https://github.com/42jaylonw/RRC2021ThreeWolves和https://youtu.be/Jr176xsn9wg上找到。
2021-11-22 cs.LG cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
深度强化学习（DRL）已成为机器人科学中一种强大的控制技术。与控制理论相比，DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力，我们设计了具有挑战性的操作任务，以观察机器人处理复杂场景的策略。我们观察到，机器人不仅能成功地执行任务，而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性，以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation
Carnegie Mellon University（卡内基梅隆大学）
由于可变形物体的高维状态表示和复杂的动力学特性，操纵可变形物体一直是机器人领域的一个挑战。最近在深度强化学习方面的成功为使用数据驱动方法学习操纵可变形对象提供了一个有希望的方向。然而，现有的强化学习基准测试仅涵盖具有直接状态可观测性和简单低维动力学或相对简单的基于图像的环境（例如具有刚性对象的环境）的任务。在本文中，我们介绍了SoftGym，这是一组用于操纵可变形对象的开源模拟基准，具有标准的OpenAI Gym API和用于创建新环境的Python接口。我们的基准将使这一重要领域的可重复研究成为可能。此外，我们评估了这些任务的各种算法，并强调了强化学习算法的挑战，包括处理具有高内在维度且部分可观察的状态表示。实验和分析表明，现有的方法的优势和局限性的背景下，可变形的对象操作，可以帮助指出未来的方法发展的方向。学习策略的代码和视频可以在我们的项目网站上找到。
2021-03-08 cs.LG cs.RO
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Georgia Institute of Technology（佐治亚理工学院）
SPIRE通过任务与运动规划分解长时程操作任务，并结合模仿学习与强化学习，在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich（慕尼黑工业大学）
深度强化学习（RL）在机械手的运动规划中已经显示出有希望的结果。然而，没有方法保证高度动态的障碍物，如人类，在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此，我们提出了一种屏蔽机制，确保ISO验证的人类安全，同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析，以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University（斯坦福大学）；Nvidia（英伟达公司）；Robotics at Google（谷歌机器人部门）
许多强化学习（RL）方法使用联合控制信号（位置、速度、扭矩）作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平，以运动生成器（运动规划器和轨迹执行器的组合）的子目标的形式。我们认为，通过提升动作空间和利用基于采样的运动规划器，我们可以有效地使用RL来解决复杂的，长时间的任务，这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架，它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法，我们将ReLMoGen应用于两种类型的任务：1）交互式导航任务，需要与环境交互才能到达目的地的导航问题，以及2）移动操作任务，需要移动机器人底座的操作任务。这些问题是具有挑战性的，因为它们通常是长期的，难以在培训期间探索，并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中，ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性，这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Morphologically Symmetric Reinforcement Learning for Ambidextrous Bimanual Manipulation
TU Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe（本田欧洲研究所）；Istituto Italiano di Tecnologia（意大利理工学院）；DFKI（德国人工智能研究中心）；Robotics Institute Germany（德国机器人研究所）
本研究提出强化学习框架SYMDEX，以机器人双侧对称性为归纳偏置，通过等变神经网络复用双臂经验并蒸馏全局策略，提升双手及多臂操作的样本效率、鲁棒性与泛化能力。
2025-09-01 cs.LG cs.RO
Maglev-Pentabot: Magnetic Levitation System for Non-Contact Manipulation using Deep Reinforcement Learning
Department of Electrical and Computer Engineering, University of Wisconsin-Madison（电气与计算机工程系，威斯康星大学麦迪逊分校）；Flexcompute；Department of Electrical Engineering, Stanford University（电气工程系，斯坦福大学）
Maglev-Pentabot通过深度强化学习实现克级非接触操控，解决微米尺度操控限制，支持泛化运输任务和更大重量物体操控。
2025-11-26 cs.AI cs.RO
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain（谷歌大脑）；University of California Berkeley（加州大学伯克利分校）
在本文中，我们研究的问题，学习基于视觉的动态操作技能，使用可扩展的强化学习方法。我们研究这个问题的背景下把握，机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反，我们的方法实现了基于视觉的闭环控制，机器人根据最近的观察结果不断更新其抓取策略，以优化长期抓取成功。为此，我们引入了QT-Opt，这是一个可扩展的基于自监督视觉的强化学习框架，可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数，以执行闭环的真实世界抓取，从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外，我们的方法还表现出与更标准的抓取系统截然不同的行为：仅使用来自肩扛式摄像机的基于RGB视觉的感知，我们的方法自动学习重新抓取策略，探测对象以找到最有效的抓取，学习重新定位对象并执行其他非可伸缩的预抓取操作，并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design
Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）
研究无外部传感的手中操作难题，引入全局抓握质量先验和局部接触几何先验两种互补物理先验，用于多指机器人手操作物体的手中滚动操作学习，显著提升了旋转效率、抓握稳定性和抗干扰能力，增强任务稳健性与模拟到现实的转移。
2026-07-15 cs.LG cs.RO
Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；University of Washington（华盛顿大学）
复杂和接触丰富的机器人操作任务，特别是那些涉及多指手和欠驱动的对象操作，提出了一个重大的挑战，任何控制方法。基于强化学习的方法为这种设置提供了一个有吸引力的选择，因为它们可以使机器人学习微妙地平衡接触力并灵巧地重新定位物体，而无需强有力的建模假设。然而，在现实世界的灵巧操作系统上运行强化学习通常需要大量的人工工程。这否定了强化学习原则上应该提供的自主数据汇集和易用性的好处。在本文中，我们描述了一个基于视觉的灵巧操作系统，提供了一个“无编程”的方法，为用户定义新的任务，并使机器人与复杂的多指手，通过互动来学习执行它们。我们系统的核心原则是，在基于视觉的环境中，用户应该能够提供高水平的中间监督，以规避遥操作或动觉教学中的挑战，使机器人不仅能够有效地学习任务，而且能够自主练习。我们的系统包括一个框架，让用户定义一个最终的任务和中间的子任务与图像的例子，一个强化学习过程，学习任务自主没有干预，和实验结果与四指机器人手学习多阶段的对象操作任务直接在现实世界中，没有模拟，手动建模，或奖励工程。
2022-12-19 cs.AI cs.CV cs.LG
Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks
Bonsai
深度强化学习可以为大量问题产生很好的结果，但模型通常会为每个待解决的新问题重新训练。在训练新模型时，以前的学习和知识很难融入，随着问题变得越来越复杂，需要越来越长的训练时间。这对于奖励稀疏的问题尤其成问题。我们通过引入概念网络强化学习（CNRL）来解决这些问题，该框架允许我们使用多层次结构来分解问题。概念网络中的概念是可重用的，并且足够灵活以封装特征提取器、技能或其他概念网络。通过这种分层学习方法，深度强化学习可以通过问题分解以模块化方式解决复杂任务。我们通过训练模型抓住一个矩形棱柱并使用Kinova JACO手臂上的夹持器将其精确地堆叠在立方体顶部来展示CNRL的实力，在MuJoCo中模拟。我们的实验表明，我们使用的层次结构的结果减少了45倍的环境相互作用相比，国家的最先进的这项任务。
2017-09-20 cs.AI cs.RO
Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning
Institute for AI, Peking University（北京大学人工智能研究院）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
实现人类水平的灵活性是机器人技术中一个重要的开放性问题。然而，灵巧手操作的任务，即使在婴儿级别，通过强化学习（RL）解决也是具有挑战性的。困难在于高自由度和异构代理之间所需的合作（例如，手指的关节）。在这项研究中，我们提出了双手灵巧手基准（Bi-DexHands），一个模拟器，涉及两个灵巧的手与数十双手操作任务和数千个目标对象。具体来说，根据认知科学文献，Bi-DexHands中的任务旨在匹配不同水平的人类运动技能。我们在Issac Gym中构建了Bi-DexHands;这可以实现高效的RL训练，仅通过一台NVIDIA RTX 3090即可达到30，000 + FPS。我们为不同设置下的流行RL算法提供了一个全面的基准;这包括单代理/多代理RL，离线RL，多任务RL和Meta RL。我们的研究结果表明，PPO类型的策略算法可以掌握简单的操作任务，相当于48个月的人类婴儿（例如，捕捉飞行物体，打开瓶子），而多智能体RL可以进一步帮助掌握需要熟练双手合作的操作（例如，举锅、堆积木）。尽管在每个单一任务上都取得了成功，但当涉及到获取多种操作技能时，现有的RL算法无法在大多数多任务和少样本学习设置中工作，这需要RL社区进行更实质性的发展。我们的项目在https://github.com/PKU-MARL/DexterousHands上开源。
2022-10-11 cs.AI cs.LG cs.MA
Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching
Microsoft（微软）；Neal Analytics
考虑到在银行现金中心移动沉重的实物货币袋的困难，对培训和部署能够在协作工作空间中执行此类任务的安全自主系统的需求很大。然而，随着大量的刚性体硬币包含在它的袋子的变形特性，显着增加了袋检测，抓取和操纵的机器人夹具和arm.In本文中，我们应用深度强化学习和机器学习技术的任务控制的协作机器人自动卸载硬币袋从手推车的挑战。为了完成抓取硬币袋等柔性材料的特定任务过程，在操作过程中质量中心发生变化，在仿真中实现了一种特殊的夹持器，并在物理硬件中设计。利用深度相机和使用深度学习的目标检测，已经完成了包检测和姿态估计以选择最佳抓取点。提出了一种基于深度强化学习的智能方法，用于提出机器人末端执行器的最佳配置，以最大限度地提高抓取成功率。一种增强的运动规划被用来提高机器人操作期间的运动规划的速度。在实际环境中，使用拟议管道进行的实际试验表明成功率超过96%。
2020-12-02 cs.LG cs.RO
Bipedalism for Quadrupedal Robots: Versatile Loco-Manipulation through Risk-Adaptive Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））
针对四足机器人移动操作中腿臂冲突问题，提出风险自适应分布式强化学习框架，使其以后腿双足行走并解放前腿，仿真与 Unitree Go2 实验验证了性能、多功能性和鲁棒性。
2025-07-27 cs.LG cs.RO
Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
统计口语对话系统具有能够通过与真实用户的交互从数据优化的吸引人的特性。然而，在强化学习范例中，对话管理器（代理）通常需要大量的时间来探索状态-动作空间，以学习以期望的方式表现。这是一个关键的问题，当系统是在线训练与真实用户的学习成本是昂贵的。奖励塑造是解决这些问题的一种有前途的技术。在这里，我们研究了三种递归神经网络（RNN）方法，除了主要的（面向任务的）环境反馈外，还提供了奖励塑造信息。这些RNN是根据模拟用户生成的对话的返回值进行训练的，并试图将对话的整体评估扩散到回合级别，以引导智能体更快地实现良好的行为。在模拟和真实的用户场景中，这些RNN被证明可以提高策略学习速度。重要的是，它们不需要事先了解用户的目标。
2015-08-18 cs.CL cs.LG
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego（加州大学圣地亚哥分校）；HKUST（香港科技大学）
我们提出了一个模拟到真实的灵巧操作框架，可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化：（i）使用想象的手部点云作为增强输入;（ii）设计新颖的基于接触的奖励。我们经验性地评估我们的方法，使用快板手抓住新的对象在模拟和现实世界中。据我们所知，这是第一个基于策略学习的框架，可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Flanders Make（佛兰德斯制造）
我们考虑使用强化学习（RL）来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法：分布式近似RL（DA-RL），其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL（GT-RL），其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统，但DA-RL和GT-RL都适用于一般的多智能体系统，并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Data-efficient Deep Reinforcement Learning for Dexterous Manipulation
DeepMind
深度学习和强化学习方法最近已被用于解决连续控制领域中的各种问题。这些技术的一个明显的应用是机器人中的灵巧操作任务，这些任务很难使用传统的控制理论或手工工程方法来解决。这种任务的一个例子是抓住一个物体并将其精确地堆叠在另一个物体上。在现实世界中解决这个困难和实际相关的问题是机器人领域的一个重要的长期目标。在这里，我们通过研究模拟中的问题，并提供旨在解决它的模型和技术，向这个目标迈出了一步。我们引入了两个扩展的深度确定性策略梯度算法（DDPG），一个无模型的Q学习的方法，这使得它显着更数据效率和可扩展性。我们的研究结果表明，通过广泛使用的政策外的数据和重放，它是可能的控制策略，鲁棒地抓住对象和堆栈。此外，我们的研究结果表明，它可能很快就可行的训练成功的堆叠政策，通过收集真实的机器人的相互作用。
2017-04-10 cs.LG cs.RO
PIMbot: Policy and Incentive Manipulation for Multi-Robot Reinforcement Learning in Social Dilemmas
University of California, Riverside（加州大学河滨分校）
本文提出PIMbot方法，通过策略操纵和激励操纵多机器人协作中的奖励函数，在Gazebo模拟环境中验证了其对社会困境中任务结果的双向影响，为多智能体强化学习的通信操纵提供了新视角。
2023-07-29 cs.LG cs.RO
Dexterous Manipulation Based on Prior Dexterous Grasp Pose Knowledge
Shanghai Jiao Tong University（上海交通大学）
提出一种利用先验灵巧抓取位姿知识的强化学习方法，将操作解耦为抓取位姿生成与环境探索两阶段，显著提升了灵巧操作的学习效率与成功率。
2024-12-20 cs.LG cs.RO
H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University, IIIS（清华大学高等研究院）；Shanghai AI Lab（上海人工智能实验室）
提出H-InDex框架，利用3D人手姿态预训练和自监督关键点适应，仅微调0.36%参数，在12项灵巧操作任务上显著超越基线。
2023-10-13 cs.CV cs.LG cs.RO
Guided Reinforcement Learning for Robust Multi-Contact Loco-Manipulation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
本文提出任务无关MDP与自适应相位动力学引导的强化学习方法，仅需单次演示即可实现多接触运动操作，并在真实机器人上验证了鲁棒性与可行性。
2024-10-17 cs.AI cs.RO
