An Energy-Saving Snake Locomotion Gait Policy Obtained Using Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
蛇形机器人，由顺序连接的关节驱动器，最近得到了越来越多的关注，在工业领域，如生命探测在狭窄的空间。这样的机器人可以通过位于骨干上的多个电机的合作，通过复杂的环境中导航。然而，在未知环境中控制机器人是具有挑战性的，并且传统的控制策略可能是能量效率低的，甚至无法导航到目的地。在这项工作中，通过深度强化学习（DRL）开发了一种蛇运动步态策略，用于节能控制。我们将近端策略优化（PPO）应用于由角速度参数化的每个关节电机，并且DRL代理在每个时间步学习标准蛇形曲线。机器人模拟器和任务环境是基于PyBullet构建的。与传统的控制策略相比，经过训练的PPO智能体控制的蛇形机器人可以实现更快的运动速度和更节能的运动步态。这项工作表明，DRL为机器人控制提供了一种节能的解决方案。
2021-04-21 cs.LG cs.RO
Black-Box Data-efficient Policy Search for Robotics
Inria（法国国家信息与自动化研究所）；CNRS, Loria, UMR 7503（法国国家科学研究中心洛林计算机科学与应用研究实验室）；Université de Lorraine, Loria, UMR 7503（洛林大学洛林计算机科学与应用研究实验室）
机器人技术中最具数据效率的强化学习（RL）算法是基于不确定的动态模型：在每一集之后，它们首先学习机器人的动态模型，然后使用优化算法来找到一个最大化模型及其不确定性的预期回报的策略。通常认为，这种优化只有在使用基于梯度的分析算法时才是易于处理的;然而，这些算法需要使用特定的奖励函数和策略家族，这极大地限制了整体方法的灵活性。在本文中，我们介绍了一种新的基于模型的强化学习算法，称为Black-DROPS（黑盒数据高效机器人策略搜索）：（1）不对奖励功能或政策施加任何限制（它们被视为黑盒），（2）与机器人技术中数据高效RL的最新算法一样具有数据高效性，以及（3）当几个核可用时，与分析方法一样快（或更快）。其关键思想是用一种考虑模型不确定性的并行黑箱算法代替基于梯度的优化算法。我们证明了我们的新算法的性能在两个标准的控制基准问题（模拟）和一个低成本的机器人机械手（与一个真正的机器人）。
2017-07-22 cs.LG cs.RO
Teaching a Robot to Walk Using Reinforcement Learning
Stanford University（斯坦福大学）
经典的控制技术，如PID和LQR已被有效地用于维持系统状态，但这些技术变得更加难以实现时，模型动态的复杂性和灵敏度增加。对于具有多个自由度的自适应机器人运动任务，该任务用经典控制技术变得不可行。相反，强化学习可以轻松地训练最佳步行策略。我们应用深度Q学习和增强随机搜索（ARS）来教一个模拟的二维双足机器人如何使用OpenAI Gym BipedalWalker-v3环境行走。深度Q学习没有产生高奖励策略，通常过早地收敛到次优的局部最大值，这可能是由于粗略离散的动作空间。然而，ARS导致了一个更好的训练机器人，并产生了一个最佳的政策，正式“解决”的双足步行者-v3的问题。各种幼稚的政策，包括随机政策，手动编码的英寸前进的政策，并保持静止的政策，被用作基准，以评估熟练的学习算法的结果。
2021-12-13 cs.LG cs.RO
PIMbot: Policy and Incentive Manipulation for Multi-Robot Reinforcement Learning in Social Dilemmas
University of California, Riverside（加州大学河滨分校）
本文提出PIMbot方法，通过策略操纵和激励操纵多机器人协作中的奖励函数，在Gazebo模拟环境中验证了其对社会困境中任务结果的双向影响，为多智能体强化学习的通信操纵提供了新视角。
2023-07-29 cs.LG cs.RO
Large Scale Distributed Collaborative Unlabeled Motion Planning with Graph Policy Gradients
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种学习方法来解决大量机器人在二维空间中具有运动约束和空间约束的无标号运动问题。为了解决问题的任意动态和约束，我们建议制定的问题作为一个多智能体问题。我们能够证明我们的方法的可扩展性，大量的机器人采用图神经网络（GNN）参数化的机器人政策。GNN通过学习过滤器来降低问题的维度，这些过滤器在本地聚合机器人之间的信息，类似于卷积神经网络如何能够学习图像中的局部特征。此外，通过采用GNN，我们还能够克服大量机器人的训练策略的计算开销，首先训练少量机器人的图过滤器，然后将zero-shot策略转移到大量机器人。我们证明了我们的框架的有效性，通过各种模拟。
2021-02-11 cs.LG cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）
在非结构化机器人任务中，学习风险意识策略是必不可少的，但却具有挑战性。安全的强化学习方法为解决这一问题开辟了新的可能性。然而，保守的策略更新使得难以在复杂的、采样昂贵的环境中实现足够的探索和期望的性能。在本文中，我们提出了一个双代理安全的强化学习策略组成的基线和安全代理。这种解耦的框架为基于RL的控制提供了高灵活性、数据效率和风险意识。具体地说，基线代理负责在标准RL设置下最大化奖励。因此，它与无约束优化、探索和开发的现成训练技术兼容。另一方面，安全代理模仿基线代理进行策略改进，并通过非策略RL调优来学习满足安全约束。与从头开始训练相比，安全策略校正需要显著减少的交互来获得接近最优的策略。双重策略可以通过共享重放缓冲区同步优化，或者利用预训练模型或基于非学习的控制器作为固定基线代理。实验结果表明，我们的方法可以学习可行的技能，没有先验知识，以及从预先训练的不安全的政策产生风险厌恶的同行。所提出的方法优于国家的最先进的安全RL算法在困难的机器人运动和操作任务方面的安全约束满足和样本效率。
2022-12-14 cs.LG cs.RO
DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy
Carnegie Mellon University（卡内基梅隆大学）
提出DemoDiffusion方法，通过单次人类演示和预训练扩散策略，无需任务特定训练即可使机器人执行操作任务，在8项任务中平均成功率达83.8%。
2026-06-16 cs.LG cs.RO
Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于神经网络的机器人世界模型，通过双自回归机制和自监督训练实现鲁棒的长周期预测，从而提升机器人策略优化的效率和适应性。
2025-12-14 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam（阿姆斯特丹自由大学）
本文提出主动LfD算法Policy Transfer with Online Demonstrations，在有限演示预算下优化在线专家演示查询的时机与内容，显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland（马里兰大学）；National Institute for Standards and Technology（美国国家标准与技术研究院）
我们提出了多场景可验证的强化学习通过政策提取（MSVIPER），一种新的方法，政策蒸馏决策树，以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习（RL）技术来学习“专家”策略，然后使用模仿学习来学习决策树policy. We证明，MSVIPER导致高效的决策树，并且可以准确地模仿专家策略的行为。此外，我们提出了有效的政策蒸馏和树修改技术，利用决策树结构，允许改进的政策，而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为（减少高达95%）的移动机器人导航动态障碍物和减少振动和振荡（高达17%）的室外机器人导航复杂，不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Information-theoretic Model Identification and Policy Search using Physics Engines with Application to Robotic Manipulation
Rutgers University（罗格斯大学）
我们考虑的问题，一个机器人学习的机械性能的对象，通过与对象的物理交互，并引入一个实用的，数据高效的方法来识别这些对象的运动模型。所提出的方法利用物理引擎，其中机器人试图通过在不同的参数值下模拟其运动来识别物体的惯性和摩擦参数，并识别那些导致与观察到的真实运动相匹配的模拟的参数。该问题在贝叶斯优化框架中得到解决。相同的框架用于在线识别对象的模型和搜索将根据所识别的模型最小化给定成本函数的策略。仿真和实际机器人的实验结果表明，该方法优于最先进的无模型强化学习方法。
2017-03-22 cs.AI cs.LG cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
Learning a Group-Aware Policy for Robot Navigation
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）；UC Berkeley（加州大学伯克利分校）
具有人类感知能力的机器人导航技术具有广泛的应用前景，在这些应用中，移动机器人可以为人类环境中的人们提供多方面的帮助。虽然先前的研究主要集中在将行人建模为独立的、有意图的个体，但人们是以群体的方式移动的;因此，移动机器人在人们周围导航时必须尊重人类群体。本文探讨了使用深度强化学习基于动态组形成的学习组感知导航策略。通过模拟实验，我们表明，与忽略人类群体的基线策略相比，群体感知策略实现了更好的机器人导航性能（例如，减少碰撞），最大限度地减少违反社会规范和不适，并减少机器人对行人的运动影响。我们的研究结果有助于社会导航和移动机器人融入人类环境的发展。
2022-07-29 cs.HC cs.LG cs.RO
Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation of Off-Policy Methods
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们探索基于视觉的机器人抓取的深度强化学习算法。无模型深度强化学习（RL）已成功应用于一系列具有挑战性的环境，但算法的激增使得很难辨别哪种特定的方法最适合像抓取这样丰富多样的任务。为了回答这个问题，我们提出了一个模拟的机器人抓基准，强调离策略学习和泛化看不见的对象。离策略学习使得能够利用各种各样的对象上的抓取数据，并且多样性对于使得该方法能够推广到在训练期间未看到的新对象是重要的。我们评估的基准任务对各种Q函数估计方法，一种方法以前提出的机器人抓深神经网络模型，和一种新的方法的基础上结合蒙特卡洛返回估计和政策外校正。我们的研究结果表明，几种简单的方法提供了一个令人惊讶的强大的竞争对手流行的算法，如双Q学习，我们的稳定性分析揭示了算法之间的相对权衡。
2018-03-28 cs.LG cs.RO stat.ML
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
NVIDIA（英伟达）；KAIST（韩国科学技术院）
ACCRUE是一种持续离线策略强化学习框架，可跨任务复用轻量级演员与评论家网络，在近零遗忘的前提下加速后续任务学习，将真实机器人训练时间降低31.0%至68.5%。
2026-10-14 cs.AI cs.LG cs.RO
A Review of Online Diffusion Policy RL Algorithms for Scalable Robotic Control
Daegu Gyeongbuk Institute of Science and Technology（大邱庆尚科学技术院）；ShanghaiTech University（上海科技大学）
本文综述了在线扩散策略强化学习算法，分析了其在可扩展机器人控制中的性能、挑战及未来发展方向。
2026-02-09 cs.AI cs.LG cs.RO
XAI-N: Sensor-based Robot Navigation using Expert Policies and Decision Trees
University of Maryland（马里兰大学）
我们提出了一种新的基于传感器的学习导航算法，以计算机器人在密集和动态环境中移动障碍物或目标的无碰撞轨迹。我们的方法使用基于深度强化学习的专家策略，该策略使用sim2real范式进行训练。为了提高专家策略的可靠性和处理失败的情况下，我们结合了策略提取技术，将产生的策略转换成一个决策树格式。由此产生的决策树的属性，我们用来分析和修改的政策，并提高性能的导航指标，包括平滑度，振荡频率，频率的固定，和障碍的目标。我们能够修改策略来解决这些缺陷，而无需重新训练，将深度学习的学习能力与特定领域算法的控制相结合。我们强调了我们的算法在模拟环境中的好处，并在移动的行人中导航Clearpath Jackal机器人。（视频网址：https：//gamma.umd.edu/researchdirections/xrl/navviper）
2021-07-19 cs.AI cs.LG cs.RO
Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation
U.S. Army Research Laboratory（美国陆军研究实验室）；JP Morgan AI Research（摩根大通人工智能研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Central Florida（中佛罗里达大学）
针对机器人导航中稀疏奖励导致的探索低效问题，提出CCE依据策略熵动态调节轨迹长度，并在多种RL算法、仿真及真实户外场景中验证其样本效率与性能提升。
2025-03-13 cs.AI cs.LG cs.RO
Towards Interpretable Foundation Models of Robot Behavior: A Task Specific Policy Generation Approach
Tufts University（塔夫茨大学）；School of Engineering（工程学院）
针对现有机器人通才基础模型任务间缺乏模块化、更新易影响无关任务行为的问题，提出可生成独立任务特定策略的DPP方法，提升系统可解释性与可用性，并在仿真中验证了概念可行性。
2024-07-10 cs.AI cs.LG cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
RMP2: A Structured Composable Policy Class for Robot Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
我们考虑的问题，学习运动策略的加速度为基础的机器人系统与RMPflow指定的结构化政策类。RMPflow是一个多任务控制框架，已成功应用于许多机器人问题。使用RMPflow作为学习中的结构化策略类有几个好处，例如足够的表达能力，注入不同级别的先验知识的灵活性以及在机器人之间传输策略的能力。然而，实现用于端到端学习RMPflow策略的系统面临若干计算挑战。在这项工作中，我们重新审视了RMPflow的消息传递算法，并提出了一种更有效的替代算法，称为RMP 2，它使用现代自动微分工具（如TensorFlow和PyTorch）来计算RMPflow策略。我们的新设计保留了RMPflow的优势，同时带来了自动微分的优势，包括1）简单的编程接口来设计复杂的转换; 2）支持通用有向无环图（DAG）转换结构; 3）端到端的可微性策略学习; 4）提高计算效率。由于这些特征，RMP 2可以被视为一个结构化的策略类，用于有效的机器人学习，这是合适的编码领域知识。实验结果表明，在强化学习任务中，使用RMP 2给出的结构化策略类可以提高策略的性能和安全性。
2021-03-10 cs.LG cs.RO cs.SY
Robot Policy Evaluation for Sim-to-Real Transfer: A Benchmarking Perspective
NVIDIA（英伟达）
本文探讨了通用机器人操作策略在sim-to-real迁移评估中的挑战，提出利用高视觉保真度仿真、系统增加任务复杂度与场景扰动以及量化虚实性能对齐三项基准设计原则。
2025-08-14 cs.RO
Towards Optimally Decentralized Multi-Robot Collision Avoidance via Deep Reinforcement Learning
Dorabot Inc.（达闼机器人有限公司）；Fuzhou University（福州大学）；City University of Hong Kong（香港城市大学）
在分散式场景中，每个机器人生成其路径而不观察其他机器人的状态和意图，为多个机器人开发安全有效的避碰策略具有挑战性。虽然存在其他分布式多机器人碰撞避免系统，但它们通常需要提取代理级特征来规划本地无碰撞动作，这可能在计算上是禁止的并且不鲁棒。更重要的是，在实践中，这些方法的性能远远低于其集中式的同行。我们提出了一个分散的传感器级碰撞避免多机器人系统，直接映射到代理的运动速度方面的转向命令的原始传感器测量政策。作为减少分散式和集中式方法之间的性能差距的第一步，我们提出了一个多场景多阶段的训练框架，以找到一个最佳的政策，这是训练了大量的机器人在丰富的，复杂的环境，同时使用基于策略梯度的强化学习算法。我们验证了学习的传感器级碰撞避免策略在各种模拟场景中进行彻底的性能评估，并表明最终的学习策略是能够找到时间效率高，无碰撞路径的大型机器人系统。我们还证明了学习的策略可以很好地推广到整个训练期间没有出现的新场景，包括导航一组异构机器人和一个有100个机器人的大规模场景。视频可在https://sites.google.com/view/drlmaca上获得
2018-05-20 cs.AI cs.LG cs.MA
A survey on policy search algorithms for learning robot controllers in a handful of trials
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学及其应用研究所）；Research Centre on Interactive Media, Smart Systems and Emerging Technologies（互动媒体、智能系统与新兴技术研究中心）；German Aerospace Center (DLR)（德国航空航天中心）；Idiap Research Institute（Idiap研究所）
大多数策略搜索算法需要数千个训练集才能找到有效的策略，这对于物理机器人来说通常是不可行的。这篇调查文章关注的是极端的另一端：机器人如何在几次试验（十几次）和几分钟内适应？通过与“大数据”一词的类比，我们将这一挑战称为“微数据强化学习“。我们表明，第一个策略是利用政策结构的先验知识（例如，动态移动原语），策略参数（例如，演示），或动态（例如，模拟器）。第二种策略是创建预期回报的数据驱动的代理模型（例如，贝叶斯优化）或动态模型（例如，基于模型的策略搜索），从而策略优化器查询模型而不是真实系统。总的来说，所有成功的微数据算法都通过改变模型和先验知识的种类来结合这两种策略。目前的科学挑战基本上围绕着扩大到复杂的机器人（例如，类人机器人），设计通用先验，优化计算时间。
2019-12-04 cs.AI cs.LG cs.RO
Robust Feedback Motion Policy Design Using Reinforcement Learning on a 3D Digit Bipedal Robot
Ohio State University（俄亥俄州立大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）
本文提出了一种用于学习双足运动的层次化和鲁棒性框架，并在Agility Robotics构建的3D机器人Digit上成功实现。我们提出了一个级联结构的控制器，结合了直观的反馈规则的学习过程。这种设计使得框架能够实现具有降维的状态和动作空间的策略的鲁棒和稳定的行走，显著简化了设计并降低了学习方法的采样效率。将反馈调节纳入框架中提高了学习的步行步态的鲁棒性，并确保了所提出的控制器以最小的调谐成功地实现仿真到现实迁移。我们特别提出了一个学习流水线，考虑硬件可行的机器人在学习过程中的初始姿态，以确保学习的初始状态尽可能接近机器人在硬件实验中的初始状态。最后，我们证明了我们的方法的可行性，通过成功地将模拟学习的策略转移到Digit机器人硬件上，实现了在外力干扰和训练过程中不包括的具有挑战性的地形下的持续步行步态。据我们所知，这是第一次在硬件实验中成功地将基于学习的策略转移到Digit机器人，而不使用动态随机化或课程学习。
2021-03-29 cs.RO
A Novel Sample-efficient Deep Reinforcement Learning with Episodic Policy Transfer for PID-Based Control in Cardiac Catheterization Robots
目前，机器人导管插入术通常用于经皮冠状动脉介入手术，它涉及操纵柔性血管内工具以打开冠状动脉中的闭塞。在这项研究中，一个样本有效的深度强化学习与情节的政策转移，第一次，用于在机器人导管插入运动控制与完全自适应PID整定策略。强化模型有助于智能体从其环境中的相互作用中不断学习，并自适应地调整PID控制增益以用于血管内工具的轴向导航。该模型被验证为轴向运动控制的机器人系统设计的血管内导管插入术。仿真和实验验证了该模型的有效性，结果表明，该模型能够自整定PID增益，适用于机器人导管系统的运动控制。平均10次试验与传统方法的性能比较表明，代理调谐增益更好，误差为0.003 mm。因此，该模型将提供更稳定的设定点运动控制机器人导管插入术。
2021-10-28 cs.LG cs.RO cs.SY
Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids
Stanford University（斯坦福大学）
提出RTR框架，利用机械臂教师辅助人形机器人学生进行安全高效的真实世界强化学习，通过优化动力学编码潜在变量稳定仿真到现实迁移，并在速度跟踪和摆动起身任务中验证了有效性。
2025-08-26 cs.RO
RoboRecover: Benchmarking Robot Policy Recovery under Execution Deviations
School of Information, Renmin University of China（中国人民大学信息学院）；Key Laboratory of Data Engineering and Knowledge Engineering（数据工程与知识工程重点实验室）；University of Science and Technology of China（中国科学技术大学）；Engineering Research Center of Database and Business Intelligence（数据库与商务智能工程研究中心）
RoboRecover基准通过重放动作前缀重建执行偏差状态，评估策略恢复能力，发现初始性能不决定恢复性能，确立恢复为独立评估维度。
2026-09-25 cs.RO
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University（厄兹耶金大学）；Istinye University（伊斯坦布尔阿依登大学）
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍，需要开发现代和更有效的控制方法。通过这种方式，强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面，它们成为突出的方法，因为算法使用它们过去的经验来学习最优策略。在这项研究中，三个强化学习算法; DDPG，TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的，能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中，这三种算法的效率和速度进行了分析，在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
ManyQuadrupeds: Learning a Single Locomotion Policy for Diverse Quadruped Robots
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究借鉴动物运动控制原理，通过调制中枢模式发生器并搭配可变的模式形成层，训练出可适配不同自由度、形态、质量和尺寸四足机器人的单一运动策略，且在真实机器人负载测试中表现稳健。
2024-03-08 cs.AI cs.LG cs.RO
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion
University of Oxford（牛津大学）
深度强化学习（RL）使用无模型技术来优化特定于任务的控制策略。尽管强化学习已成为解决复杂问题的一种有前途的方法，但它仍然很难可靠地用于现实世界的应用。除了精确的奖励函数调整、不准确的传感和驱动以及非确定性响应等挑战外，现有的RL方法不能保证在所需的安全约束内的行为，而这些安全约束对于真实的机器人场景至关重要。在这方面，我们介绍了指导约束策略优化（GCPO），我们的约束近端策略优化（CPPO）跟踪基本速度命令，同时遵循定义的约束的实现的基础上的RL框架。我们还介绍了计划，鼓励状态恢复到约束区域的情况下，约束违反。我们提出了我们的训练方法的实验结果，并在真正的ANYmal四足机器人上进行测试。我们将我们的方法与无约束RL方法进行比较，结果表明，引导约束RL提供了更快的收敛速度，接近所需的最佳结果，从而获得最佳的，但物理上可行的机器人控制行为，而无需精确的奖励函数调整。
2020-02-22 cs.LG cs.RO cs.SY
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
NeuronsGym: A Hybrid Framework and Benchmark for Robot Tasks with Sim2Real Policy Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本研究提出面向机器人任务Sim2Real策略学习的混合框架NeuronsGym，含仿真训练与实物验证系统，提出SFPL安全评估指标，构建导航与对抗任务基准并举办挑战赛，推动通用移动智能体算法发展。
2024-10-29 cs.RO
Using Parameterized Black-Box Priors to Scale Up Model-Based Policy Search for Robotics
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
机器人技术中最有效的强化学习算法是基于模型的策略搜索算法，该算法在学习机器人的动态模型和优化策略之间交替，以最大化给定模型及其不确定性的预期回报。在提出的几种方法中，最近推出的Black-DROPS算法利用黑盒优化算法，在使用多个核心时实现高数据效率和良好的计算时间;然而，像所有基于模型的策略搜索方法一样，Black-DROPS不能扩展到高维状态/动作空间。在本文中，我们在Black-DROPS中引入了一个新的模型学习过程，该过程利用参数化的黑盒先验来（1）扩展到高维系统，（2）对先验信息的大不准确性具有鲁棒性。我们证明了我们的方法的有效性与“pendubot”摆动的任务在模拟和物理六足机器人（48维状态空间，18维动作空间），必须尽可能快地向前走。结果表明，我们的新算法比之前基于模型的策略搜索算法（有或没有先验知识）更有效，并且它可以让物理6条足式机器人在仅16到30秒的交互时间内学习新步态。
2018-03-13 cs.AI cs.LG cs.NE
Flow Policy Gradients for Robot Control
Amazon FAR（亚马逊Far）；UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；HKU（香港大学）；CMU（卡内基梅隆大学）
本文提出了一种基于流匹配的策略梯度方法，用于训练更复杂的机器人控制策略，实现了在四肢运动、人形运动跟踪和操作任务中的成功，并展示了在仿真到现实迁移中的鲁棒性。
2026-10-14 cs.AI cs.RO
RoboAssembly: Learning Generalizable Furniture Assembly Policy in a Novel Multi-robot Contact-rich Simulation Environment
Peking University（北京大学）；Stanford University（斯坦福大学）；Tencent AI Lab（腾讯人工智能实验室）
零件装配是机器人技术中一个典型但具有挑战性的任务，机器人将一组单独的零件装配成一个完整的形状。在本文中，我们开发了一个机器人装配仿真环境的家具装配。我们制定的部分装配任务作为一个具体的强化学习问题，并提出了一个管道，机器人学习组装一套不同的椅子。实验表明，当测试与看不见的椅子，我们的方法实现了74.5%的成功率下，以对象为中心的设置和50.0%下的完整设置。我们采用RRT连接算法作为基线，在显著更长的计算时间后，该算法仅实现了18.8%的成功率。补充材料和视频可在我们的项目网页上找到。
2021-12-19 cs.AI cs.CV cs.LG
A Data-Efficient Model-Based Learning Framework for the Closed-Loop Control of Continuum Robots
Imperial College London（伦敦帝国理工学院）
传统的连续体机器人动力学模型计算量大，不适合实时控制。最近使用基于学习的方法来近似连续体机器人的动态模型进行控制的方法很有前途，尽管真实数据饥饿-这可能会对机器人造成潜在的损害并且耗时-并且仅用仿真数据训练时性能较差。本文提出了一种基于模型的连续体机器人闭环控制的学习框架，通过结合仿真和真实数据，表明只需要100个真实数据，以超过一个真正的数据，只有控制器训练使用多达10000点。引入的具有三种控制策略的数据高效框架利用了高斯过程回归（GPR）和递归神经网络（RNN）。控制策略A使用GPR模型和在模拟中训练的RNN来优化模拟目标的控制输出;控制策略B使用从GPR模型生成的数据来重新训练策略A中的RNN，以适应真实的机器人物理;控制策略C利用策略A和B来形成混合策略。使用一个连续体机器人软脊椎，我们表明，我们的方法提供了一个有效的框架，以弥合基于模型的学习连续体机器人的模拟到真实的差距。
2022-04-22 cs.RO cs.SY eess.SY
Protective Policy Transfer
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）
在训练机器人在不可预测的现实世界环境中操作时，能够将现有技能转移到新的情况是一个关键能力。一个成功的转移算法不仅要尽量减少机器人在新环境中需要收集的样本数量，还要防止机器人在转移过程中损坏自身或周围环境。在这项工作中，我们引入了一个政策转移算法，以适应机器人运动技能，以新的情况下，同时尽量减少严重的故障。我们的算法在训练环境中训练两种控制策略：一种是优化的任务策略，以完成感兴趣的任务，另一种是专门用于防止机器人发生不安全事件（例如摔倒在地）的保护策略。为了决定在执行过程中使用哪个策略，我们在训练环境中学习了一个安全估计器模型，该模型估计机器人的连续安全级别。当与一组阈值一起使用时，安全估计器变成用于在保护策略和任务策略之间切换的分类器。我们评估我们的方法上四个模拟机器人运动问题和二维导航问题，并表明我们的方法可以实现成功的转移到显着不同的环境，同时考虑到机器人的安全性。
2020-12-11 cs.LG cs.RO
Dynamic Regret Convergence Analysis and an Adaptive Regularization Algorithm for On-Policy Robot Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
基于策略的模仿学习算法（如Dagger）通过执行机器人控制策略、测量性能（损失）、从监督者获得纠正反馈并生成下一个策略来进化机器人控制策略。由于迭代之间的损失可能会不可预测地变化，因此一个基本问题是在什么条件下此过程最终将实现收敛策略。如果假设基本的轨迹分布是静态的（平稳的），则可以证明Dagger的收敛性。然而，在更现实的机器人模型中，潜在的轨迹分布是动态的，因为它是策略的函数。最近的结果表明，它是可能的，以证明收敛的Dagger时，一个规则性条件的变化率的轨迹分布是满意的。在这篇文章中，我们使用来自在线优化领域的动态后悔理论重新构建了这一结果，并表明动态后悔可以应用于任何策略算法，以分析其收敛性和最优性。这些结果启发了一种新的算法，自适应按策略正则化（AOR），以确保收敛的条件。我们目前的仿真结果与车杆平衡和运动的基准，表明AOR可以显着减少动态遗憾和抖动的机器人学习。据我们所知，这是动态后悔理论在模仿学习中的首次应用。
2019-07-08 cs.LG cs.RO
Polybot: Training One Policy Across Robots While Embracing Variability
Stanford University（斯坦福大学）
Polybot通过腕部相机、模块化代码库和对比学习对齐不同机器人的观察、动作及内部表示，训练单一策略跨平台部署，在3种机器人6个任务上显著提升成功率和样本效率。
2023-07-07 cs.LG cs.RO
PoCo: Policy Composition from and for Heterogeneous Robot Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 PoCo 策略组合方法，用扩散模型表示并融合跨模态、跨领域异构机器人数据，实现多任务泛化操作与推理时行为调整，在工具使用任务中优于单一数据源基线。
2024-12-01 cs.LG cs.RO
REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
机器人学习中的一个流行范例是为每个新机器人从头开始训练策略。这不仅效率低下，而且对于复杂的机器人来说往往不切实际。在这项工作中，我们考虑的问题，在两个不同的机器人具有显着不同的参数，如运动学和形态学的政策。通过匹配动作或状态转换分布来训练新策略的现有方法（包括模仿学习方法）由于最优动作和/或状态分布在不同机器人中不匹配而失败。在本文中，我们提出了一种新的方法命名为$REvolveR$的使用连续进化模型的机器人策略传输实现在物理模拟器。我们找到一个连续的机器人参数的进化变化的源机器人和目标机器人之间的插值。源机器人上的专家策略通过训练逐渐演变成目标机器人的中间机器人序列来转移。在物理仿真器上的实验表明，所提出的连续进化模型可以有效地在机器人之间传递策略，并在新机器人上获得优异的样本效率。所提出的方法是特别有利的稀疏奖励设置，探索可以显着减少。代码发布于www.example.com。
2022-06-21 cs.AI cs.LG cs.RO
Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 Sparse Diffusion Policy（SDP），通过在 transformer 扩散策略中引入 MoE 实现专家与技能的选择性激活，从而以极少活跃参数支持多任务、持续学习与任务迁移。
2024-10-24 cs.LG cs.RO
Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?
Department of Mechanical Engineering, Carnegie Mellon University（卡内基梅隆大学机械工程系）；Inria, Département d’informatique de l’ENS, CNRS, PSL Research University（法国国家科学研究中心（CNRS）、巴黎综合理工学院（ENS）和PSL研究大学的Inria）
本文提出TFM-S3方法，通过结合局部和全局搜索提升机器人策略学习的全局探索效率，实验显示其在连续控制基准上加速收敛并提升性能。
2026-04-30 cs.LG cs.RO
Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出CrossFormer，一种基于transformer的可扩展策略，在20种机器人具身的900K轨迹上训练，用同一网络权重控制多种机器人，无需手动对齐空间，性能匹配专家策略并超越先前跨具身学习方法。
2024-08-21 cs.LG cs.RO
Renaissance Robot: Optimal Transport Policy Fusion for Learning Diverse Skills
University of Sydney（悉尼大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度强化学习（RL）是解决复杂机器人问题的一种很有前途的方法。然而，尽管RL算法最近取得了进展，但通过试错交互进行学习的过程通常非常耗时。此外，强化学习的成功关键取决于奖励成形函数是否适合任务，这也是一项耗时的设计。随着在各种机器人问题上接受培训的代理继续激增，将其宝贵的学习成果重新用于新领域的能力变得越来越重要。在本文中，我们提出了一个事后技术的政策融合使用最优运输理论作为一个强大的手段，巩固了多个代理人的知识，已在不同的情况下训练。我们进一步证明，这提供了一个改进的权重初始化的神经网络政策学习新的任务，需要更少的时间和计算资源比重新训练的父政策或从头开始训练一个新的政策。最终，我们对深度强化学习中常用的各种代理的研究结果表明，专业知识可以统一到“文艺复兴代理”中，从而更快地学习新技能。
2022-07-03 cs.LG cs.RO
Temporally Centered SIGReg Improves LeWorldModel Representations for Robot Policy Learning
Graduate School of Engineering, The University of Tokyo（东京大学工程学院）
该研究针对SIGReg在多任务LeWM中导致表示混叠的问题，提出将其应用于时间中心残差的改进方法，在LIBERO基准上显著提升了多任务世界模型的下游性能。
2026-08-27 cs.LG cs.RO
Intrinsic Robot Rewarding: Reusing VLA Representations for Autonomous Evaluation and Policy Improvement
Deggendorf Institute of Technology（德根多夫理工学院）
IRR方法重用VLA系统的视觉表示和演示终点，通过参考库和评分操作实现自主结果评估与策略改进，降低集成成本并减少人工评分。
2026-09-16 cs.LG cs.RO
Octo: An Open-Source Generalist Robot Policy
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Deepmind（谷歌DeepMind）
Octo是一个基于Transformer的开源通用机器人策略，在80万条轨迹上预训练，支持语言和图像指令，可快速微调至新平台，并在9个平台上验证了其有效性。
2024-05-26 cs.LG cs.RO
Query-Centric Diffusion Policy for Generalizable Robotic Assembly
Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学）
针对机器人装配中高层规划与低层控制不匹配的问题，提出以查询为中心的扩散策略QDP，利用物体、接触点和技能查询引导低层策略，在FurnitureBench上显著提升技能精度与长时程成功率。
2025-09-23 cs.LG cs.RO
Explaining the Decisions of Deep Policy Networks for Robotic Manipulations
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文通过输入归因方法解释深度策略网络在机器人操作中的决策，提出关节扭矩重要性测量和改进的相关性传播方法，首次在线揭示多模态传感器输入归因的动态变化。
2023-10-30 cs.AI cs.LG cs.RO
Meta-Evolve: Continuous Robot Evolution for One-to-many Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Meta-Evolve 方法，通过共享树状进化路径实现连续机器人进化，将专家策略高效地从源机器人迁移到多个目标机器人，实验显示一对三操作策略迁移效率提升最高 3.2 倍，一对六运动策略迁移提升 2.4 倍。
2024-05-06 cs.AI cs.LG cs.NE
