A Concise Introduction to Reinforcement Learning in Robotics
PES University（PES大学）
机器人技术面临的最大障碍之一是复杂和难以工程化的行为。强化学习提供了一套工具和框架来解决这个问题。与此同时，机器人技术的疑虑为强化学习的进步提供了坚实的试验场和评估指标。这两个学科齐头并进，就像数学和物理领域一样。通过这篇调查论文，我们的目标是通过关注机器人的机车和控制方面的强化学习所做的工作，来加强这两个学科的研究社区之间的联系。此外，我们的目标不仅是突出显着的成功，但也强化学习在机器人技术中的应用的关键挑战。本文旨在为强化学习应用于机器人领域的研究人员提供参考指南。文献调查是在一个相当入门的水平，旨在有抱负的研究人员。适当地，我们已经涵盖了强化学习领域研究所需的最基本的概念，并考虑到机器人技术。通过对这个问题的深入分析，我们能够证明强化学习是如何被有效应用的，并且还关注开放式问题以及未来研究的潜力。
2022-10-13 cs.AI cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
AR3n: A Reinforcement Learning-based Assist-As-Needed Controller for Robotic Rehabilitation
Target（塔吉特公司）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本文提出基于强化学习的按需辅助控制器AR3n，利用虚拟患者模型实现跨受试者泛化，在机器人辅助手写康复中根据跟踪误差实时调节辅助并最小化辅助量，通过仿真与人体实验验证其有效性。
2023-04-17 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models
University of Hamburg（汉堡大学）
针对机器人操作强化学习中样本效率低、奖励设定难的问题，提出Lafite-RL框架，借助大语言模型自然语言反馈提升学习效率与成功率，在RLBench任务上表现优于基线。
2023-11-04 cs.AI cs.LG cs.RO
Reinforcement Learning Approaches in Social Robotics
Örebro University（厄勒布鲁大学）
本文综述了社会机器人中的强化学习方法。强化学习是一个决策问题的框架，其中智能体通过试错与环境交互，以发现最佳行为。由于交互是强化学习和社交机器人的关键组成部分，因此它可以成为与物理体现的社交机器人进行真实世界交互的非常合适的方法。本文的范围特别集中在包括社交物理机器人和现实世界中的人机交互与用户的研究。我们对社会机器人中的强化学习方法进行了深入的分析。除了调查，我们分类现有的强化学习方法的基础上使用的方法和奖励机制的设计。此外，由于通信能力是社交机器人的一个突出特点，我们讨论和分组的基础上用于奖励制定的通信介质的论文。考虑到设计奖励函数的重要性，我们还根据奖励的性质对论文进行了分类。这种分类包括三个主要主题：交互式强化学习，内在动机的方法，和任务性能驱动的方法。强化学习在社会机器人中的好处和挑战，关于他们是否使用主观和算法措施的论文的评估方法，在现实世界的强化学习的挑战和建议的解决方案的角度进行讨论，还有待探讨的点，包括迄今为止得到较少关注的方法也在本文中给出。因此，本文的目的是成为一个起点，研究人员有兴趣使用和应用强化学习方法在这个特定的研究领域。
2021-02-11 cs.AI cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Evaluating Reinforcement Learning Algorithms for Navigation in Simulated Robotic Quadrupeds: A Comparative Study Inspired by Guide Dog Behaviour
University of Hertfordshire（赫特福德大学）
本研究比较了PPO、DQN和Q学习三种强化学习算法在模拟四足机器人导航与避障中的表现，发现PPO在所有指标上最优，为开发机器人导盲犬及医疗辅助机器人提供了依据。
2025-07-17 cs.AI cs.LG cs.RO
Deep Dive into Model-free Reinforcement Learning for Biological and Robotic Systems: Theory and Practice
University of Southern California（南加州大学）；Google Deep Mind（谷歌深度思维）；Fauna Robotics（Fauna机器人公司）
本文阐述无模型深度强化学习（尤其是 actor-critic 方法）的数学与算法基础，展示其如何用于获取感觉运动策略，并研究生物及机器人行为背后的具身反馈控制规律。
2024-05-19 cs.AI cs.LG cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
针对机器人通用策略训练数据质量限制性能的问题，提出RLDG方法，用强化学习生成高质量数据微调通用策略，在真实精密操作任务中成功率最高提升40%且泛化性更好，为开发兼具灵活性与高性能的机器人系统提供新路径。
2024-12-13 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China（中国科学技术大学）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
传统上，强化学习方法基于当前状态预测下一个动作。然而，在许多情况下，直接将动作应用于控制系统或机器人是危险的，并且可能导致意外的行为，因为动作是相当低级别的。在本文中，我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态，实际行动是由逆动力学模型产生的。为了稳定训练过程，我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下，广泛可用的状态只有示范可以有效地利用模仿学习。此外，先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法，并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
Decision Making for Human-in-the-loop Robotic Agents via Uncertainty-Aware Reinforcement Learning
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
在人在回路范例中，机器人代理能够在解决任务时大部分自主行动，但可以在需要时向外部专家请求帮助。然而，知道何时请求这种帮助是至关重要的：太少的请求可能导致机器人犯错，但太多的请求可能会使专家过载。在本文中，我们提出了一个基于强化学习的方法来解决这个问题，当一个半自主智能体对任务的最终成功信心不足时，它会请求外部帮助。置信水平通过估计当前状态的回报方差来计算。我们表明，这种估计可以在训练过程中使用Bellman递归迭代改进。在离散导航问题的完全和部分可观察的状态信息，我们表明，我们的方法有效地利用了有限的预算的专家调用在运行时，尽管没有访问的专家在训练时。
2023-03-14 cs.AI cs.LG cs.RO
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland（奥克兰大学）；New Dexterity（新 Dexterity 研究机构）
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作，对三种RL算法在复杂手内操作任务上进行了基准测试，验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
强化学习（RL）是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人，但是在机器人的时间和磨损方面，使用RL来完成每个任务都是非常昂贵的。为了解决这个问题，我们使用策略梯度有效终身学习算法（PG-ELLA），这是一种在线多任务RL算法，使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务，以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习，策略梯度RL和PG-ELLA-在地面机器人上，其任务是在不同的表面条件下的环境中找到目标对象。在本文中，我们讨论了我们的实现，以及提出了一个实证分析，他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
How Much Do Unstated Problem Constraints Limit Deep Robotic Reinforcement Learning?
Rice University（莱斯大学）
深度强化学习是机器人控制的一种很有前途的范例，它已被证明能够学习未建模系统的高维连续控制策略。然而，RoboticReinforcement Learning目前缺乏明确定义的基准任务，这使得研究人员难以复制和与先前的工作进行比较。“Reacher”任务是机器人操作的基础，通常用作基准，但缺乏正式的规范忽略了对复制至关重要的细节。在本文中，我们提出了一种新的实证分析表明，在常用的实现Reacher任务的未声明的空间约束，使它更容易学习一个成功的控制策略与DeepDeterministic策略梯度（DDPG），一个国家的最先进的深度RL算法。我们的分析表明，约束较少的Reacher任务更难学习，因此现有的事实上的基准并不能代表一般机器人操作的难度。
2019-09-20 cs.AI cs.LG cs.RO
Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks
Siemens（西门子）；UC Berkeley（加州大学伯克利分校）
机器人插入任务的特点是接触和摩擦力学，使他们具有挑战性的传统反馈控制方法，由于未建模的物理效应。强化学习（RL）是一种很有前途的学习控制策略，在这样的设置。然而，强化学习在探索过程中可能是不安全的，并且可能需要大量的真实世界的训练数据，这是昂贵的collect. In本文中，我们研究如何使用Meta强化学习来解决大部分的问题，通过解决一个家庭的模拟工业插入任务，然后在现实世界中快速适应政策的仿真。我们通过训练代理成功地执行具有挑战性的现实世界的插入任务，使用不到20个试验的现实世界的经验来展示我们的方法。视频和其他材料可在https://pearl-insertion.github.io/上获取
2020-05-23 cs.LG cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra（庞培法布拉大学）；PyTorch Team, Meta（Meta PyTorch团队）；ICREA, Universitat Pompeu Fabra（ICREA、庞培法布拉大学）
本文提出BricksRL平台，通过将乐高机器人与TorchRL库对接，实现现实世界中自定义乐高机器人的创建、设计与训练，支持GPU强化学习训练，提供灵活经济的扩展方案，助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Continual World: A Robotic Benchmark For Continual Reinforcement Learning
Jagiellonian University（雅盖隆大学）；DeepMind；Polish Academy of Sciences（波兰科学院）；University of Oxford（牛津大学）
持续学习（CL）--基于先前获得的知识持续学习的能力--是长寿自主强化学习（RL）代理的自然要求。在构建这样的代理时，需要平衡对立的需求，例如容量和计算的限制，不灾难性忘记的能力，以及在新任务上表现出积极的迁移。理解正确的权衡在概念上和计算上都具有挑战性，我们认为这导致了社区过度关注灾难性遗忘。针对这些问题，我们主张优先考虑向前转移，并提出了连续世界，这是一个基准，由建立在元世界之上的现实和有意义的多样化机器人任务组成。在对现有CL方法进行深入的实证评估之后，我们指出了它们的局限性，并强调了RL设置中独特的算法挑战。我们的基准测试旨在为社区提供有意义且计算成本低廉的挑战，从而帮助更好地了解现有和未来解决方案的性能。有关基准测试的信息，包括开源代码，可以在https://sites.google.com/view/continualworld上获得。
2021-10-28 cs.AI cs.LG cs.RO
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法，通过引入有向信息项和变分自编码器实现端到端策略学习，并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University（卡内基梅隆大学）；Computational Design Laboratory（计算设计实验室）；Robotics Institute（机器人研究所）
针对建筑机器人忽视人因复杂性的问题，本文提出以人为本的“工作伙伴漫游车”，通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
Towards a Common Implementation of Reinforcement Learning for Multiple Robotic Tasks
Instituto de Investigación Biomédica de Málaga, Universidad de Málaga（马拉加大学生物医学研究所）
移动机器人越来越多地被用于在动态环境中执行复杂的任务。强化学习（RL）方法被认为是有前途的指定这样的任务，在一个相对简单的方式。然而，学习方法和学习任务之间的强依赖性是一个众所周知的问题，限制了机器人中RL的实际实现，通常需要对参数进行重大修改并为每个特定任务添加其他技术。在本文中，我们提出了一个实用的RL核心实现，它使学习过程中的多个机器人任务与最小的每任务调整或没有。基于值迭代方法，该实现包括一种新的动作选择方法，称为Q偏置softmax回归（QBIASSR），它避免了机器人到达新的未探索状态时学习过程的性能不佳。我们的方法通过关注所涉及的物理变量（例如，到障碍物的距离、X、Y、θ姿态等），因此，经验丰富的状态集可能会支持未探索或很少探索的状态的决策过程。这种改进在减少特定任务的算法调整方面具有相关作用。与真实和模拟机器人的实验，与这里介绍的软件框架进行，表明我们的实现是有效地能够学习不同的机器人任务，而无需调整学习方法。结果还表明，真正的在线SARSA（λ）与QBIASSR的组合可以在低维机器人任务中优于现有的RL核心算法。
2017-02-21 cs.AI cs.LG cs.RO
Constrained Reinforcement Learning for Robotics via Scenario-Based Programming
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Verona（维罗纳大学）；The Weizmann Institute of Science（魏茨曼科学研究所）
深度强化学习（DRL）在各种机器人应用中取得了突破性的成功。一个自然的结果是采用这种范式的安全关键的任务，其中人的安全和昂贵的硬件可能涉及。在这种情况下，至关重要的是要优化基于DRL的代理的性能，同时提供有关其行为的保证。本文提出了一种新的技术，将领域专家知识到一个受约束的DRL训练循环。我们的技术利用了基于Java的编程范式，该范式旨在允许以简单直观的方式指定此类知识。我们验证了我们的方法对流行的机器人无地图导航问题，在模拟，并在实际平台上。我们的实验表明，使用我们的方法来利用专家知识显着提高了代理的安全性和性能。
2022-06-20 cs.LG cs.RO
Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review
本文综述了强化学习原理、深度强化学习算法及其在机器人和控制系统中的应用，探讨了核心算法策略及现代DRL技术，旨在连接理论进展与实际应用。
2026-03-15 cs.LG cs.RO
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services（亚马逊云科技）
我们提出了DeepSim，一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域，并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块，如冲突检测，行为控制，域随机化，产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中，我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种具有不确定性的机器人世界模型，结合MOPO-PPO框架，使基于模型的离线强化学习在真实机器人上有效，通过提高策略的鲁棒性并超越现有基线。
2026-01-08 cs.AI cs.LG cs.RO
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University（厄兹耶金大学）；Istinye University（伊斯坦布尔阿依登大学）
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍，需要开发现代和更有效的控制方法。通过这种方式，强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面，它们成为突出的方法，因为算法使用它们过去的经验来学习最优策略。在这项研究中，三个强化学习算法; DDPG，TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的，能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中，这三种算法的效率和速度进行了分析，在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Reinforcement-learning robotic sailboats: simulator and preliminary results
Fluminense Federal University（弗卢米嫩塞联邦大学）；Center Inria de l’Université de Lille（里尔大学Inria中心）；Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）；Center Inria Chile（智利Inria中心）
本文针对无人水面艇数字孪生虚拟海洋环境的开发，提出模拟方程定义、实现及RL控制与感知策略整合的方法，并展示基于真实帆船的建模与初步结果，为RL导航算法在实船应用奠定基础。
2024-01-16 cs.AI cs.LG cs.RO
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research（谷歌研究院）
强化学习为学习机器人技能提供了一个通用框架，同时最大限度地减少了工程工作量。然而，大多数强化学习算法假设提供了一个精心设计的奖励函数，并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法，在没有任何奖励功能的情况下获得各种技能，然后将这些技能重新用于下游任务？在本文中，我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法，使其适合在现实世界中执行无监督强化学习。首先，我们证明了我们提出的算法在学习效率上有了实质性的提高，使得无奖励的真实世界训练变得可行。其次，我们超越了仿真环境，并在真实的物理硬件上评估算法。在四足动物身上，我们观察到不同步态和不同方向的运动技能出现，没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航，没有任何额外的培训。
2020-04-27 cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Federated Reinforcement Learning for Collective Navigation of Robotic Swarms
The University of Manchester（曼彻斯特大学）；Czech Technical University in Prague（布拉格捷克理工大学）；Durham University（杜伦大学）
深度强化学习（DRL）的最新进展通过允许自动控制器设计而为机器人技术做出了贡献。群机器人系统需要比单个机器人系统更复杂的控制器来引导期望的集体行为，自动控制器的设计是群机器人系统设计的关键方法。虽然基于DRL的控制器设计方法显示了其有效性，但在机器人-服务器通信不稳定或有限的现实环境中，对中央训练服务器的依赖是一个关键问题。我们提出了一种新的联邦学习（FL）为基础的DRL训练策略（FLDDPG）用于群体机器人应用。通过在有限通信带宽的情况下与基线策略的比较，结果表明，FLDDPG方法导致更高的鲁棒性和推广能力到不同的环境和真实的机器人，而基线策略受到通信带宽的限制。这一结果表明，所提出的方法可以使在通信带宽有限的环境中操作的群机器人系统受益，例如，在高辐射、水下或地下环境中。
2022-09-11 cs.LG cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们认为现实世界的强化学习（RL）的机器人操作任务，涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策，映射多模态的感官观察（视觉和力）的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数（GVF），这些函数从视觉输入中做出反事实的预测。我们表明，结合离线学习的反事实预测与在线策略学习中的力反馈，可以有效的强化学习只给终端（成功/失败）奖励。我们认为，学习的反事实预测形成了一个紧凑的和信息丰富的表示，使样本效率，并提供辅助奖励信号，引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
Northeastern University（东北大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
该研究针对软手腕机器人孔轴装配任务，提出利用领域对称性进行数据增强和辅助损失约束的部分可观测深度强化学习方法，在仿真和真实机器人上均实现了高效学习。
2024-04-29 cs.AI cs.LG cs.RO
RMBench: Benchmarking Deep Reinforcement Learning for Robotic Manipulator Control
Tsinghua University（清华大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Chengdu University of Information Technology（成都信息工程大学）
强化学习被应用于解决来自高维、感官输入的实际复杂任务。在过去的十年中，开发了一长串强化学习算法。最近的进展受益于原始感觉信号表示的深度学习。一个问题自然会出现：它们在不同的机器人操作任务中表现如何？基准测试使用客观的性能指标来提供一种科学的方法来比较算法。在本文中，我们提出了RMBench，机器人操作的第一个基准，它具有高维连续的动作和状态空间。我们实现和评估直接使用观察到的像素作为输入的强化学习算法。我们报告他们的平均表现和学习曲线，以显示他们的训练表现和稳定性。我们的研究得出结论，没有一个研究的算法可以很好地处理所有的任务，软演员评论家优于大多数算法的平均奖励和稳定性，和算法结合数据增强可能会促进学习策略。我们的代码在https：//github.com/xiangyanfei212/RMBench-2022上公开，包括所有基准测试任务和研究的算法。
2023-03-07 cs.AI cs.RO
Reinforcement Learning Within the Classical Robotics Stack: A Case Study in Robot Soccer
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
本文提出一种将无模型强化学习集成到经典机器人技术栈的新架构，结合多保真度sim2real方法与启发式子行为选择，在RoboCup SPL中夺冠，验证了RL行为集成到完整机器人架构的可行性。
2025-03-07 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Virginia（弗吉尼亚大学）；Sony AI（索尼人工智能）
该综述梳理了深度强化学习在机器人领域的真实应用成果，分析了成功关键因素与研究空白，提出未来研究方向，为打造通用真实世界机器人系统提供参考。
2024-09-16 cs.LG cs.RO
Autonomous robotic nanofabrication with reinforcement learning
Forschungszentrum Jülich（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
能够像处理宏观积木一样有效地处理单个分子的能力，将使自组装无法实现的复杂超分子结构的构建成为可能。阻碍这一目标的根本挑战是原子尺度构象的不受控制的可变性和差的可观测性。在这里，我们提出了一种策略来解决这两个障碍，并通过操纵单分子来展示自主机器人纳米纤维。我们的方法采用强化学习（RL），即使面对大的不确定性和稀疏的反馈，也能找到解决方案。我们通过用扫描探针显微镜从超分子结构中自动去除分子来展示我们RL方法的潜力-这是纳米级减材制造的一个示例性任务。我们的RL代理达到了出色的性能，使我们能够自动执行以前必须由人类执行的任务。我们预计，我们的工作开辟了自主代理的机器人建设的功能超分子结构的速度，精度和毅力超出了我们目前的能力。
2020-10-01 cond-mat.mes-hall cs.AI cs.LG
Efficient Robotic Task Generalization Using Deep Model Fusion Reinforcement Learning
A*STAR Artificial Intelligence Initiative (A*AI)（新加坡科技研究局人工智能倡议（A*AI））；Institute of Information Research（信息研究院）；Institute of High Performance Computing（高性能计算研究院）
近年来，基于学习的方法已被用于编程机器人任务。然而，广泛的训练通常不仅需要初始任务的学习，而且还需要将学习到的模型推广到相同的任务，但在不同的环境中。在本文中，我们提出了一种新的深度强化学习算法，用于机器人任务学习问题中的有效任务泛化和环境适应。该方法能够有效地推广以前学习的任务模型融合，以解决环境适应问题。提出的深度模型融合（DMF）方法重用和合并了先前训练的模型，以提高学习效率和结果。此外，我们还引入了多目标指导奖励（MGR）整形技术，以进一步提高训练效率。在各种环境下，我们与先前的方法进行了基准测试，以验证其有效性。
2019-12-11 cs.AI cs.RO
Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
University of Houston（德克萨斯大学）；Cisco Systems（思科系统）；Princeton University（普林斯顿大学）；University of Copenhagen（哥本哈根大学）
针对 GRPO 难以用于机器人连续控制的问题，本文提出融合轨迹策略聚类、状态感知优势估计与正则化更新的理论扩展框架，并分析其收敛性与复杂度。
2025-07-25 cs.AI cs.RO
A Broad-persistent Advising Approach for Deep Interactive Reinforcement Learning in Robotic Environments
Deakin University（迪肯大学）
深度强化学习（DeepRL）方法已被广泛用于机器人技术中，以自主地学习环境并获取行为。深度交互式强化学习（DeepIRL）包括来自外部培训师或专家的交互式反馈，以帮助学习者选择行动来加快学习过程。然而，目前的研究仅限于提供可操作的建议，只有代理的当前状态的相互作用。此外，代理在单次使用后会丢弃信息，这会导致重新访问时处于相同状态的重复过程。在本文中，我们提出了广泛的持久性建议（BPA），一个广泛的持久性建议的方法，保留和重用处理后的信息。它不仅可以帮助训练者给出与类似状态相关的更一般的建议，而不仅仅是当前状态，而且还可以加快智能体的学习过程。我们测试所提出的方法在两个连续的机器人场景，即，一个车杆平衡任务和模拟机器人导航任务。所获得的结果表明，与DeepIRL方法相比，使用BPA的代理的性能得到了提高，同时保持了训练器所需的交互次数。
2021-11-18 cs.AI cs.RO
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
辅助机器人（Assistive Robotics）是一类机器人技术，它帮助人类完成日常护理任务，这些任务可能由于残疾或年龄而被禁止。虽然研究表明，经典的控制方法可以用来设计策略来完成这些任务，这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案，其中机器人在仿真中进行训练，并将其策略转移到现实世界的机器上。在这项工作中，我们复制了一个已发布的基线，用于在辅助健身房环境中训练机器人完成三项任务，并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线，然而，我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果，以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
