Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco（伯南布哥大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在机器人场景中处理社交任务是困难的，因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况，特别是涉及强化学习的模型。在这项工作中，我们讨论了这个问题和可能的解决方案，通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
强化学习（RL）是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人，但是在机器人的时间和磨损方面，使用RL来完成每个任务都是非常昂贵的。为了解决这个问题，我们使用策略梯度有效终身学习算法（PG-ELLA），这是一种在线多任务RL算法，使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务，以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习，策略梯度RL和PG-ELLA-在地面机器人上，其任务是在不同的表面条件下的环境中找到目标对象。在本文中，我们讨论了我们的实现，以及提出了一个实证分析，他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?
NTT Corporation（日本电报电话公司）；NTT West Corporation（日本电报电话公司西日本公司）
我们研究的目的是开发一种方法，通过这种方法，社交机器人可以问候路人并引起他们的注意，而不会让他们感到不适。最近，一些客户服务已经由社交机器人而不是人提供，包括担任接待员，导游和参展商。例如，机器人参展商可以解释机器人所有者正在推广的产品。然而，机器人突然打招呼可能会吓到路人，并给路人带来不适。因此，社交机器人应该使自己的举止适应他们面对的路人情况。我们根据相关工作的结果开发了一种满足这一要求的方法。我们提出的方法，以用户为中心的强化学习，使机器人迎接路人，并得到他们的注意，而不会使他们遭受不适（p<0.01）。在现场的实验结果，办公室入口，证明我们的方法满足这一要求。
2020-01-02 cs.AI cs.LG cs.RO
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln（林肯大学）；University of Toulouse III（图卢兹第三大学）
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题，特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法，作为朝着这个方向迈出的一步，我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏，我们将注意力集中在训练机器人感知游戏，并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征，并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明，机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音，视觉和手势-报告，合理和流畅的互动，可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
On Training Flexible Robots using Deep Reinforcement Learning
Intel AI Labs（英特尔人工智能实验室）；Indiana University（印第安纳大学）
在过去的几十年里，机器人技术在受控环境中的应用蓬勃发展，并且使用从其硬件的动态模型开发的控制策略来训练机器人执行任务已被证明非常有效。然而，在许多现实环境中，环境的不确定性，安全要求和机器人所期望的一般能力使得刚性工业机器人不适合。这创造了巨大的研究兴趣，开发控制策略的柔性机器人硬件，建立动态模型是具有挑战性的。本文受深度强化学习（DRL）在其他领域取得成功的启发，系统研究了使用DRL的策略搜索方法在训练柔性机器人中的有效性。我们的研究结果表明，DRL是成功地能够学习有效和强大的政策，复杂的任务，在不同程度的灵活性。我们还注意到，使用深度确定性策略梯度的DRL可能对传感器的选择敏感，并且添加更多信息传感器并不一定使任务更容易学习。
2019-07-13 cs.AI cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Robot Navigation with Entity-Based Collision Avoidance using Deep Reinforcement Learning
Lomonosov Moscow State University, Moscow, Russia（罗蒙诺索夫莫斯科国立大学，莫斯科，俄罗斯）
针对动态环境中机器人与多类实体交互的安全导航问题，提出利用实体类型信息的深度强化学习避障方法及新型奖励函数，并通过优化算法加速训练，实验表明其性能优于现有方法。
2025-09-28 cs.AI cs.LG cs.RO
Reinforcement Learning Approaches in Social Robotics
Örebro University（厄勒布鲁大学）
本文综述了社会机器人中的强化学习方法。强化学习是一个决策问题的框架，其中智能体通过试错与环境交互，以发现最佳行为。由于交互是强化学习和社交机器人的关键组成部分，因此它可以成为与物理体现的社交机器人进行真实世界交互的非常合适的方法。本文的范围特别集中在包括社交物理机器人和现实世界中的人机交互与用户的研究。我们对社会机器人中的强化学习方法进行了深入的分析。除了调查，我们分类现有的强化学习方法的基础上使用的方法和奖励机制的设计。此外，由于通信能力是社交机器人的一个突出特点，我们讨论和分组的基础上用于奖励制定的通信介质的论文。考虑到设计奖励函数的重要性，我们还根据奖励的性质对论文进行了分类。这种分类包括三个主要主题：交互式强化学习，内在动机的方法，和任务性能驱动的方法。强化学习在社会机器人中的好处和挑战，关于他们是否使用主观和算法措施的论文的评估方法，在现实世界的强化学习的挑战和建议的解决方案的角度进行讨论，还有待探讨的点，包括迄今为止得到较少关注的方法也在本文中给出。因此，本文的目的是成为一个起点，研究人员有兴趣使用和应用强化学习方法在这个特定的研究领域。
2021-02-11 cs.AI cs.RO
Setting up a Reinforcement Learning Task with a Real-World Robot
Kindred Inc.（Kindred公司）
强化学习是一种很有前途的方法，可以为复杂多样的机器人任务开发难以工程化的自适应解决方案。然而，与现实世界的机器人学习往往是不可靠的和困难的，这导致他们在强化学习研究中的低采用率。由于缺乏使用机器人设置学习任务的指导方针，这种困难变得更加严重。在这项工作中，我们使用UR5机器人手臂开发了一个学习任务，以揭示任务设置的一些关键要素，并研究它们对机器人挑战的贡献。我们发现，学习性能可能对设置高度敏感，因此设置细节中的疏忽和遗漏可能会使有效的学习，可重复性和公平比较变得困难。我们的研究提出了一些缓解措施，以帮助未来的实验者避免困难和陷阱。我们表明，高度可靠和可重复的实验可以在我们的设置，表明强化学习研究广泛基于现实世界的机器人的可能性。
2018-03-19 cs.AI cs.LG cs.RO
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg（汉堡大学）
强化学习是一种很有前途的机器人控制方法。然而，演奏乐器的任务在很大程度上是未被探索的，因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中，我们解决机器人音乐通过引入一个时间扩展目标条件强化学习：时间依赖性目标。我们证明，这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策，以现实世界的机器人thereminist。补充视频：https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer
Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Mila, Universite de Montréal（蒙特利尔大学 Mila）
本文介绍了一个开放的框架，称为VSSS-RL，研究强化学习（RL）和模拟到真实的机器人足球，专注于IEEE非常小尺寸足球（VSSS）联赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练控制足球代理的完整行为和一个模拟到真实的方法的基础上领域自适应，以适应所获得的政策，真正的机器人。我们的研究结果表明，经过训练的政策学习了广泛的行为，这些行为很难用手工制定的控制政策来实现。借助VSSS-RL，我们在2019年拉丁美洲机器人竞赛（LARC）中击败了人类设计的策略，在21支队伍中获得第四名，成为第一个在该竞赛中成功应用强化学习（RL）的团队。环境和硬件规格都是开源的，以允许我们的结果和进一步研究的再现性。
2020-08-18 cs.AI cs.LG cs.RO
One-Shot Reinforcement Learning for Robot Navigation with Interactive Replay
QUT（昆士兰科技大学）；DeepMind
最近，无模型强化学习算法已被证明可以通过从与环境的广泛交互中学习来解决具有挑战性的问题。将这种成功转移到机器人领域的一个重要问题是，与现实世界的交互成本很高，但在有限经验的基础上进行训练容易过度拟合。我们提出了一种学习导航的方法，一个固定的目标，并在一个已知的环境中，在移动机器人。该机器人利用从环境的单次遍历构建的交互式世界模型，预训练的视觉特征编码器和随机环境增强，以展示在真实世界环境变化下成功的zero-shot传输而无需微调。
2017-11-29 cs.AI cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge
Shanghai Jiao Tong University（上海交通大学）；Ruijin Hospital affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Shanghai Ruijin Rehabilitation Hospital（上海瑞金康复医院）
相对于强化学习中普遍研究的刚性机器人，一些复杂机器人如柔性机器人或连续体机器人的物理特性更加复杂。此外，最近的强化学习方法是数据效率低下的，并且不能在没有仿真的情况下直接部署到机器人。针对这类问题，本文提出了一种基于非显式先验知识的高效强化学习方法。我们首先证实了模拟的方法，并直接在现实世界中使用。通过使用我们的方法，我们可以实现主动视觉跟踪和距离保持的肌腱驱动机器人，这将是微创手术的关键。代码可在https://github.com/Skylark0924/TendonTrack上获得。
2020-10-02 cs.AI cs.RO
Comparing Popular Simulation Environments in the Scope of Robotics and Reinforcement Learning
German Aerospace Center (DLR)（德国航空航天中心）；ZAL Center of Applied Aeronautical Research（ZAL应用航空研究中心）
这封信通过一系列基准测试比较了四种不同的、流行的机器人和强化学习（RL）仿真环境的性能。基准场景是根据当前的工业应用精心设计的。考虑到需要尽可能快地运行模拟以减少RL代理的真实训练时间，比较不仅包括不同的模拟环境，还包括不同的硬件配置，从入门级笔记本电脑到双CPU高性能服务器。我们表明，选择的模拟环境受益最多的单核性能。然而，使用多核系统，可以并行运行多个模拟以提高性能。
2021-03-08 cs.AI cs.LG cs.RO
A Concise Introduction to Reinforcement Learning in Robotics
PES University（PES大学）
机器人技术面临的最大障碍之一是复杂和难以工程化的行为。强化学习提供了一套工具和框架来解决这个问题。与此同时，机器人技术的疑虑为强化学习的进步提供了坚实的试验场和评估指标。这两个学科齐头并进，就像数学和物理领域一样。通过这篇调查论文，我们的目标是通过关注机器人的机车和控制方面的强化学习所做的工作，来加强这两个学科的研究社区之间的联系。此外，我们的目标不仅是突出显着的成功，但也强化学习在机器人技术中的应用的关键挑战。本文旨在为强化学习应用于机器人领域的研究人员提供参考指南。文献调查是在一个相当入门的水平，旨在有抱负的研究人员。适当地，我们已经涵盖了强化学习领域研究所需的最基本的概念，并考虑到机器人技术。通过对这个问题的深入分析，我们能够证明强化学习是如何被有效应用的，并且还关注开放式问题以及未来研究的潜力。
2022-10-13 cs.AI cs.RO
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；Friedrich-Alexander-University Erlangen-Nuremberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学（FAU））
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人，使用深度强化学习的最新进展。从随机初始状态开始，即，位置，速度和方向，机器人达到任意的目标状态，同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间，还执行连续的动作，即，车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Learning Visual Tracking and Reaching with Deep Reinforcement Learning on a UR10e Robotic Arm
National Research Council of Canada（加拿大国家研究委员会）；Carleton University（卡尔顿大学）
针对工业机器人编程复杂、现有强化学习方法依赖仿真难以落地的问题，本研究在UR10e机械臂上搭建强化学习环境，对比训练深度Q学习与PPO智能体，发现PPO以更少数据学到更优稳定策略，相关代码已开源。
2023-08-28 cs.AI cs.RO
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息科学研究生院）；Zuse Institute Berlin（柏林泽尼奇研究所）
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性，发现其比在线方法更脆弱，表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University（卡内基梅隆大学）；Computational Design Laboratory（计算设计实验室）；Robotics Institute（机器人研究所）
针对建筑机器人忽视人因复杂性的问题，本文提出以人为本的“工作伙伴漫游车”，通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra（庞培法布拉大学）；PyTorch Team, Meta（Meta PyTorch团队）；ICREA, Universitat Pompeu Fabra（ICREA、庞培法布拉大学）
本文提出BricksRL平台，通过将乐高机器人与TorchRL库对接，实现现实世界中自定义乐高机器人的创建、设计与训练，支持GPU强化学习训练，提供灵活经济的扩展方案，助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Decentralized Global Connectivity Maintenance for Multi-Robot Navigation: A Reinforcement Learning Approach
Sun Yat-sen University（中山大学）
在多机器人应用中，连通性维护的多机器人导航问题是一个具有挑战性的问题。这项工作研究了如何在未知环境中导航多机器人团队，同时保持连接。我们提出了一个强化学习（RL）的方法来开发一个分散的政策，这是多个机器人之间共享。给定距离传感器测量值和其他机器人的位置，该策略旨在生成用于导航的控制命令并保持机器人团队的全局连通性。我们将连接性问题作为约束纳入RL框架，并引入行为克隆来降低策略优化的探索复杂度。该策略是优化与多个机器人在随机模拟场景中收集的所有过渡数据。我们通过比较不同的连接约束和行为克隆的组合，验证了所提出的方法的有效性。我们还表明，我们的政策可以推广到看不见的情况下，在模拟和完整的机器人实验。
2021-09-17 cs.LG cs.RO
Fault-Aware Robust Control via Adversarial Reinforcement Learning
Tsinghua University（清华大学）
与人类和动物相比，机器人在受损情况下的适应能力有限。然而，机器人损坏在现实世界的应用中普遍存在，特别是对于部署在极端环境中的机器人。机器人的脆弱性极大地限制了它们的广泛应用。我们提出了一个对抗性的强化学习框架，它显着提高了机器人的鲁棒性关节损伤的情况下，在操作任务和运动任务。在性能较差的关节损伤情况下，对智能体进行迭代训练。我们验证我们的算法上的三指机器人手和四足机器人。我们的算法只能在模拟中训练，并直接部署在真实机器人上，无需任何微调。它还证明了超过任意关节损伤案件的成功率。
2020-11-30 cs.LG cs.RO
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore（新加坡国立大学）
审核目的：传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门，该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习（MARL）为多机器人系统（MRS）设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果：分散MRS面临的基本挑战，如非平稳性和部分可观测性。建立在“集中培训，分散执行”的范式，最近的MARL方法包括独立学习，集中批评，价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能（如多机器人运动/路径规划）进行演示。摘要：本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序，并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA
Curiosity Based Reinforcement Learning on Robot Manufacturing Cell
South Westphalia University of Applied Sciences（西南法伦应用科学大学）
本文介绍了一种新的组合调度控制的柔性机器人制造单元的好奇心为基础的强化学习。事实证明，强化学习在解决机器人和调度等任务方面非常成功。但这需要在机器人和调度等问题领域手动调整奖励，即使解决方案并不明显。为此，我们应用好奇心为基础的强化学习，使用内在动机作为奖励的形式，在灵活的机器人制造单元，以减轻这个问题。此外，学习代理被嵌入到运输机器人中，以实现可以应用于各种环境的通用学习解决方案。在第一种方法中，基于好奇心的强化学习被应用到一个简单的结构化机器人制造单元。在第二种方法中，同样的算法被应用到图结构的机器人制造单元。实验结果表明，代理能够解决这两个环境的好奇心模块直接从一个环境转移到另一个环境的能力。我们的结论是，基于好奇心的学习调度任务提供了一个可行的替代传统上使用的奖励形强化学习。
2020-11-17 cs.AI cs.MA cs.RO
Crowd-Robot Interaction: Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning
Ecole Polytechnique Federal de Lausanne, EPFL（洛桑联邦理工学院（EPFL））
针对拥挤场景中机器人导航的社会合规性与效率问题，提出基于自注意力和深度强化学习的人群-机器人交互模型，联合建模人机与人际交互，可预判人群动态，导航效率优于现有最优方法。
2019-02-19 cs.LG cs.RO
TIAGo RL: Simulated Reinforcement Learning Environments with Tactile Data for Mobile Robots
PAL Robotics S.L.（PAL Robotics公司）；Bielefeld University（比勒费尔德大学）
本文提出TIAGo机器人的开源强化学习环境，生成逼真触觉数据以支持DRL策略迁移，并初步验证了学习力控制策略优于经典PI控制器。
2023-11-13 cs.AI cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
深度强化学习（DRL）已成为机器人科学中一种强大的控制技术。与控制理论相比，DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力，我们设计了具有挑战性的操作任务，以观察机器人处理复杂场景的策略。我们观察到，机器人不仅能成功地执行任务，而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性，以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
Reinforcement learning for freeform robot design
Northwestern University（西北大学）
针对强化学习仅能优化固定拓扑机器人形态的限制，本文提出用策略梯度沉积或移除原子构建块，以设计具有任意外内部结构的自由形态机器人。
2024-03-01 cs.AI cs.RO
Mobile Robot Planner with Low-cost Cameras Using Deep Reinforcement Learning
VNUHCM-University of Science（越南胡志明市国家大学胡志明市自然科学大学）
本研究开发了一种基于深度强化学习的机器人移动策略。由于传统的机器人导航方法依赖于精确的地图再现，并且需要高端传感器，因此基于学习的方法是积极的趋势，特别是深度强化学习。该问题是建模的马尔可夫决策过程（MDP）的形式与代理是一个移动机器人。它的视图状态由输入传感器（如激光探测器或摄像机）获得，目的是在没有任何碰撞的情况下导航到目标。已经有许多深度学习方法来解决这个问题。然而，为了将机器人推向市场，低成本大规模生产也是需要解决的问题。因此，这项工作试图构建一个伪激光发现系统的基础上直接从一个单一的相机图像的深度矩阵预测，同时仍然保持稳定的性能。实验结果表明，它们与使用高价传感器的其他传感器直接可比。
2020-12-21 cs.LG cs.RO
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland（马里兰大学）；National Institute for Standards and Technology（美国国家标准与技术研究院）
我们提出了多场景可验证的强化学习通过政策提取（MSVIPER），一种新的方法，政策蒸馏决策树，以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习（RL）技术来学习“专家”策略，然后使用模仿学习来学习决策树policy. We证明，MSVIPER导致高效的决策树，并且可以准确地模仿专家策略的行为。此外，我们提出了有效的政策蒸馏和树修改技术，利用决策树结构，允许改进的政策，而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为（减少高达95%）的移动机器人导航动态障碍物和减少振动和振荡（高达17%）的室外机器人导航复杂，不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Benchmarking Reinforcement Learning Algorithms on Real-World Robots
通过最近在仿真方面的许多成功，无模型强化学习已经成为解决连续控制机器人任务的一种有前途的方法。由于学习算法和模拟基准任务的开源实现，研究社区现在能够快速地再现、分析和构建这些结果。为了将这些成功推广到现实世界的应用中，关键是要保留无法转移到现实世界的模拟的独特优势，并直接使用物理机器人进行实验。然而，由于缺乏基准任务和支持源代码，使用物理机器人的强化学习研究面临着巨大的阻力。在这项工作中，我们介绍了几个强化学习任务与多个商用机器人，目前不同程度的学习难度，设置和可重复性。在这些任务中，我们测试了四种强化学习算法的现成实现的学习性能，并分析了它们对超参数的敏感性，以确定它们是否适合应用于各种现实任务。我们的研究结果表明，通过仔细设置任务界面和计算，其中一些实现可以很容易地适用于物理机器人。我们发现，国家的最先进的学习算法是高度敏感的超参数和它们的相对顺序不跨任务转移，表明重新调整他们为每个任务的最佳性能的必要性。另一方面，即使使用不同的机器人，一项任务的最佳超参数配置通常也可能会导致对已完成任务的有效学习，从而提供合理的默认值。我们公开了基准任务，以提高现实世界强化学习的可重复性。
2018-09-20 cs.AI cs.LG cs.RO
Target Search and Navigation in Heterogeneous Robot Systems with Deep Reinforcement Learning
University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）
针对异构机器人协作搜救训练中协作奖励难获取的问题，提出多阶段强化学习框架与好奇心模块，可在目标位置未知的迷宫式矿井环境中完成搜索导航，且训练速度优于现有基线。
2023-08-01 cs.AI cs.RO
A Human-Centered Safe Robot Reinforcement Learning Framework with Interactive Behaviors
Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；King’s College London（伦敦国王学院）；Tongji University（同济大学）
本文提出一个以人为中心的安全机器人强化学习框架，包含安全探索、价值对齐和协作三阶段，并强调利用交互行为（如ChatGPT）来应对鲁棒性、效率、透明性和适应性挑战。
2023-10-16 cs.AI cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology（柏林工业大学）
工业机器人广泛用于各种制造环境中，因为它们可以高效地完成重复性任务，例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法，如RRT，需要很长的计算时间，特别是在复杂的环境中。此外，需要事先了解使用它们的环境。当在新环境中使用这些方法时，需要进行设置超参数的繁琐工程工作，这是时间和成本密集型的。另一方面，深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此，本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明，我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
Inverse Reinforcement Learning with Multi-Relational Chains for Robot-Centered Smart Home
在以机器人为中心的灵巧家庭中，机器人通过自身的传感器观察家庭状态，然后它可以根据操作者的命令改变某些对象状态进行远程操作，或者模仿操作者在房屋中的行为进行自主操作。为了模拟机器人在动态室内环境中模仿操作者的行为，我们使用多关系链来描述环境状态的变化，并应用逆强化学习来编码操作者的行为，并学习奖励函数。我们实现了这种方法与移动机器人，并做了五个实验，包括增加训练天，对象数量和动作类型。此外，还实现了一种直接记录操作者行为的基线方法，并对原位状态评估的准确性和机器人动作选择的准确性进行了比较。实验结果表明，该方法能较好地处理动态环境，更准确地指导机器人在室内的动作。
2015-04-18 cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology（意大利理工学院）；University of Genova（热那亚大学）；University of Lethbridge（莱斯布里奇大学）
在未来，机器人将与人类进行越来越多的互动，并且必须进行自然和有效的沟通。自动语音识别系统（ASR）将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别，能够滤除噪音。在这种嘈杂的环境中，看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标，我们提出了一个基于自我监督强化学习的框架，该框架受到人类早期发展的启发，允许机器人自主创建一个数据集，该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
An Augmented Reality Platform for Introducing Reinforcement Learning to K-12 Students with Robots
Tufts University（塔夫茨大学）
交互式强化学习，其中人类在代理的学习过程中积极协助，有希望减轻实际算法的样本复杂性挑战。然而，当人类提供反馈时，机器人的内部工作和状态通常对教师隐藏。为了在人类和学习机器人之间建立一个共同点，在本文中，我们提出了一个增强现实（AR）系统，揭示了隐藏的学习状态的人类用户。本文介绍了我们的系统的设计和实现，并总结了我们正在追求的未来工作的两个方向的讨论：1）使用我们的系统在K-12水平的人工智能教育活动;和2）开发一个框架，基于AR的人在回路强化学习，其中人类教师可以看到覆盖在现实世界中的机器人的感官和认知表示。
2021-10-10 cs.AI cs.RO
Unity RL Playground: A Versatile Reinforcement Learning Framework for Mobile Robots
School of Future Technology, Shanghai University（上海大学未来技术学院）
本文提出Unity RL Playground开源框架，基于Unity ML-Agents实现移动机器人多种运动任务的一键仿真训练、通用兼容与极限性能测试，并支持向真实硬件迁移。
2025-03-07 cs.LG cs.RO
