Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán（尤卡坦自治大学）
自主导航对于移动机器人来说是一个挑战，特别是在未知环境中。通常，机器人需要多个传感器来绘制环境地图，定位自己，并制定到达目标的计划。然而，强化学习方法通过学习要采取的最佳行动，为无地图导航任务提供了一种替代方案。在本文中，深度强化学习代理使用深度Q网络方法的变体，D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外，在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Curiosity Based Reinforcement Learning on Robot Manufacturing Cell
South Westphalia University of Applied Sciences（西南法伦应用科学大学）
本文介绍了一种新的组合调度控制的柔性机器人制造单元的好奇心为基础的强化学习。事实证明，强化学习在解决机器人和调度等任务方面非常成功。但这需要在机器人和调度等问题领域手动调整奖励，即使解决方案并不明显。为此，我们应用好奇心为基础的强化学习，使用内在动机作为奖励的形式，在灵活的机器人制造单元，以减轻这个问题。此外，学习代理被嵌入到运输机器人中，以实现可以应用于各种环境的通用学习解决方案。在第一种方法中，基于好奇心的强化学习被应用到一个简单的结构化机器人制造单元。在第二种方法中，同样的算法被应用到图结构的机器人制造单元。实验结果表明，代理能够解决这两个环境的好奇心模块直接从一个环境转移到另一个环境的能力。我们的结论是，基于好奇心的学习调度任务提供了一个可行的替代传统上使用的奖励形强化学习。
2020-11-17 cs.AI cs.MA cs.RO
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低，与使用标准摄像机的现有基于视觉的学习应用相比，可以实现更快的机器人控制。为了处理强化学习的事件流，我们引入了一个类似图像的功能，并证明了在模拟器中训练代理的两个任务的可行性：快速避碰和障碍物跟踪。最后，我们在现实世界中设置了一个带有事件摄像机的机器人，然后转移了在模拟器中训练的代理，从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中，通过端到端学习方法，为需要快速控制的各种机器人应用（如自动驾驶汽车和无人机）开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
TIAGo RL: Simulated Reinforcement Learning Environments with Tactile Data for Mobile Robots
PAL Robotics S.L.（PAL Robotics公司）；Bielefeld University（比勒费尔德大学）
本文提出TIAGo机器人的开源强化学习环境，生成逼真触觉数据以支持DRL策略迁移，并初步验证了学习力控制策略优于经典PI控制器。
2023-11-13 cs.AI cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Reinforcement learning for freeform robot design
Northwestern University（西北大学）
针对强化学习仅能优化固定拓扑机器人形态的限制，本文提出用策略梯度沉积或移除原子构建块，以设计具有任意外内部结构的自由形态机器人。
2024-03-01 cs.AI cs.RO
Target Search and Navigation in Heterogeneous Robot Systems with Deep Reinforcement Learning
University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）
针对异构机器人协作搜救训练中协作奖励难获取的问题，提出多阶段强化学习框架与好奇心模块，可在目标位置未知的迷宫式矿井环境中完成搜索导航，且训练速度优于现有基线。
2023-08-01 cs.AI cs.RO
A Human-Centered Safe Robot Reinforcement Learning Framework with Interactive Behaviors
Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；King’s College London（伦敦国王学院）；Tongji University（同济大学）
本文提出一个以人为中心的安全机器人强化学习框架，包含安全探索、价值对齐和协作三阶段，并强调利用交互行为（如ChatGPT）来应对鲁棒性、效率、透明性和适应性挑战。
2023-10-16 cs.AI cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology（意大利理工学院）；University of Genova（热那亚大学）；University of Lethbridge（莱斯布里奇大学）
在未来，机器人将与人类进行越来越多的互动，并且必须进行自然和有效的沟通。自动语音识别系统（ASR）将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别，能够滤除噪音。在这种嘈杂的环境中，看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标，我们提出了一个基于自我监督强化学习的框架，该框架受到人类早期发展的启发，允许机器人自主创建一个数据集，该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
An Augmented Reality Platform for Introducing Reinforcement Learning to K-12 Students with Robots
Tufts University（塔夫茨大学）
交互式强化学习，其中人类在代理的学习过程中积极协助，有希望减轻实际算法的样本复杂性挑战。然而，当人类提供反馈时，机器人的内部工作和状态通常对教师隐藏。为了在人类和学习机器人之间建立一个共同点，在本文中，我们提出了一个增强现实（AR）系统，揭示了隐藏的学习状态的人类用户。本文介绍了我们的系统的设计和实现，并总结了我们正在追求的未来工作的两个方向的讨论：1）使用我们的系统在K-12水平的人工智能教育活动;和2）开发一个框架，基于AR的人在回路强化学习，其中人类教师可以看到覆盖在现实世界中的机器人的感官和认知表示。
2021-10-10 cs.AI cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Learning multiple gaits of quadruped robot using hierarchical reinforcement learning
Seoul National University（首尔大学）
基于强化学习的四足机器人速度指令跟踪控制器具有鲁棒性和可扩展性，受到越来越多的关注。然而，经过端到端训练的单个策略通常显示单个步态，而不管命令速度如何。这可能是一个次优的解决方案，考虑到最佳步态的存在，根据四足动物的速度。在这项工作中，我们提出了一个分层控制器的四足机器人，可以产生多个步态（即步伐，小跑，绑定），同时跟踪速度命令。我们的控制器由两个策略组成，每个策略作为中央模式生成器和局部反馈控制器，并使用分层强化学习进行训练。实验结果表明：1）最佳步态的存在，为特定的速度范围2）的效率，我们的分层控制器相比，由一个单一的政策，通常显示一个单一的步态控制器。代码是公开的。
2021-12-09 cs.AI cs.RO
Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（Resero有限公司）；Universidad de León（莱昂大学）
强化学习在机器人领域显示出了巨大的潜力，这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是，强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中，我们定义了一个强大的，可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练，然后转移到物理机器人操纵器上。结果表明，增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时，目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control
Graduate School of Science and Engineering, Chiba University（千叶大学理工学研究科）；Graduate School of Engineering, Chiba University（千叶大学工学研究科）
针对四足机器人执行器故障容错问题，提出带动力学随机化的自适应课程强化学习算法ACDR，通过hard2easy课程训练单一鲁棒策略，无需故障检测与策略切换模块，并在平均奖励和行走距离上优于传统算法。
2021-11-19 cs.AI cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
在未知环境中的探索是移动机器人的核心功能。基于学习的探索方法，包括卷积神经网络，为特征提取提供了优秀的策略，而无需人为设计的逻辑。但是传统的监督学习算法不可避免地要花费大量的精力对数据集进行标注。未包含在训练集中的场景也大多无法识别。我们提出了一种深度强化学习方法，用于在室内环境中仅使用RGB-D传感器的深度信息探索移动机器人。基于Deep Q-Network框架，将原始深度图像作为唯一输入来估计与所有移动命令相对应的Q值。网络权重的训练是端到端的。在任意构造的仿真环境中，我们表明，机器人可以快速适应不熟悉的场景，而无需任何人为的标签。此外，通过分析特征表示的感受野，深度强化学习促使卷积网络估计场景的可遍历性。将测试结果分别与基于深度学习或强化学习的探索策略进行比较。即使只在模拟环境中训练，在真实世界环境中的实验结果表明，机器人控制器的认知能力显着提高监督的方法相比。我们相信这是第一次使用原始传感器信息通过端到端深度强化学习来构建移动机器人的认知探索策略。
2016-10-06 cs.AI cs.RO
rSoccer: A Framework for Studying Reinforcement Learning in Small and Very Small Size Robot Soccer
Universidade Federal de Pernambuco（伯南布哥联邦大学）
强化学习是一个活跃的研究领域，在机器人技术中有大量的应用，RoboCup比赛是研究和评估强化学习方法的有趣环境。将强化学习应用于机器人技术的一个已知困难是需要大量的经验样本，使用模拟环境来训练代理，然后迁移学习到现实世界（模拟到现实）是一条可行的路径。本文介绍了一个开源的模拟器，用于IEEE非常小尺寸足球和小尺寸联赛优化强化学习实验。我们还提出了一个框架，用于创建OpenAI Gym环境，其中包含一组用于评估单智能体和多智能体机器人足球技能的基准任务。然后，我们展示了两个国家的最先进的强化学习方法的学习能力，以及在此框架中引入的某些情况下，他们的局限性。我们相信这将使更多的团队更容易使用端到端的强化学习方法在这些类别中竞争，并进一步发展这一研究领域。
2021-06-15 cs.AI cs.LG cs.RO
Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots
York University（约克大学）
本研究针对微重力下机器人预抓取自由漂浮运动目标的难题，提出基于软演员-评论家的离策略强化学习控制方法，设计专用奖励函数，经仿真与真实实验验证有效，相关代码与演示已开源。
2024-06-10 cs.AI cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们认为现实世界的强化学习（RL）的机器人操作任务，涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策，映射多模态的感官观察（视觉和力）的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数（GVF），这些函数从视觉输入中做出反事实的预测。我们表明，结合离线学习的反事实预测与在线策略学习中的力反馈，可以有效的强化学习只给终端（成功/失败）奖励。我们认为，学习的反事实预测形成了一个紧凑的和信息丰富的表示，使样本效率，并提供辅助奖励信号，引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
Towards a Sample Efficient Reinforcement Learning Pipeline for Vision Based Robotics
MINES ParisTech, PSL Research University（巴黎高等矿业学院，巴黎文理研究大学）
深度强化学习保证了自我管理的机器人能够掌握大量的行为能力，而人类的干预可以忽略不计。这项技术带来的改进使机器人能够执行困难的任务，如抓取或到达目标。然而，训练过程仍然是耗时和繁琐的，特别是当仅使用RGB相机信息学习策略时。这种学习方式是将任务从模拟转移到现实世界的资本，因为机器人在现实生活中唯一的外部信息来源是视频。在本文中，我们研究如何限制训练机器人手臂的时间与6自由度（DOF），达到一个球从头组装管道尽可能有效。该流水线分为两个部分：第一部分是用计算机视觉算法从RGB视频中捕获相关信息。第二个研究如何更快地训练深度强化学习算法，以使机器人手臂到达他面前的目标。点击此链接查找更高分辨率的视频和绘图：\url{https://drive.google.com/drive/folders/1_lRlDSoPzd_GTcVrxNip10o_lm-_DPdn?usp=sharing}
2021-05-20 cs.AI cs.RO
Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics
KAIST（韩国科学技术院）；Yonsei University（延世大学）；UC Berkeley（加州大学伯克利分校）；RLWRLD
Robot-R1通过强化学习提升机器人中的具身推理，优于SFT方法并超越GPT-4o在低级动作控制推理任务中
2026-01-16 cs.AI cs.RO
DRL: Deep Reinforcement Learning for Intelligent Robot Control -- Concept, Literature, and Future
结合机器学习（用于生成机器智能），计算机视觉（用于更好的环境感知）和机器人系统（用于受控环境交互），促使这项工作朝着提出一个基于视觉的学习框架智能机器人控制作为最终目标（基于视觉的学习机器人）。这项工作特别引入了深度强化学习作为学习框架，这是一个通用的AI框架（AGI），意味着独立于应用程序和平台。在机器人控制方面，该框架特别提出了一种独立于低级控制的高级控制架构，这意味着这两个所需的控制级别可以相互独立地开发。在这方面，高级控制使用由训练者生成的来自同一平台的记录的低级控制数据来创建用于平台控制的所需智能。所记录的低级控制数据仅仅指示成功和失败的经验或由训练者使用相同的机器人平台进行的实验序列。记录数据的序列由观察数据（输入传感器）、生成的奖励（反馈值）和动作数据（输出控制器）组成。对于实验平台和实验，视觉传感器用于感知环境，不同的运动控制器基于平台应用创建所需的运动命令，深度学习方法生成所需的智能，最后强化学习技术逐步改进生成的智能，直到机器人完成任务。
2021-04-20 cs.AI cs.RO
Setting up a Reinforcement Learning Task with a Real-World Robot
Kindred Inc.（Kindred公司）
强化学习是一种很有前途的方法，可以为复杂多样的机器人任务开发难以工程化的自适应解决方案。然而，与现实世界的机器人学习往往是不可靠的和困难的，这导致他们在强化学习研究中的低采用率。由于缺乏使用机器人设置学习任务的指导方针，这种困难变得更加严重。在这项工作中，我们使用UR5机器人手臂开发了一个学习任务，以揭示任务设置的一些关键要素，并研究它们对机器人挑战的贡献。我们发现，学习性能可能对设置高度敏感，因此设置细节中的疏忽和遗漏可能会使有效的学习，可重复性和公平比较变得困难。我们的研究提出了一些缓解措施，以帮助未来的实验者避免困难和陷阱。我们表明，高度可靠和可重复的实验可以在我们的设置，表明强化学习研究广泛基于现实世界的机器人的可能性。
2018-03-19 cs.AI cs.LG cs.RO
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
辅助机器人（Assistive Robotics）是一类机器人技术，它帮助人类完成日常护理任务，这些任务可能由于残疾或年龄而被禁止。虽然研究表明，经典的控制方法可以用来设计策略来完成这些任务，这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案，其中机器人在仿真中进行训练，并将其策略转移到现实世界的机器上。在这项工作中，我们复制了一个已发布的基线，用于在辅助健身房环境中训练机器人完成三项任务，并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线，然而，我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果，以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco（伯南布哥大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在机器人场景中处理社交任务是困难的，因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况，特别是涉及强化学习的模型。在这项工作中，我们讨论了这个问题和可能的解决方案，通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
I-CTRL: Imitation to Control Humanoid Robots Through Constrained Reinforcement Learning
Technische Universität Wien (TU Wien)（维也纳技术大学）；Institute of Robotics and Mechatronics (DLR), German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
针对人形机器人高保真动作难以物理落地的问题，本文提出I-CTRL框架，用有界残差强化学习约束非物理重定向动作，并以自动优先级调度器训练统一策略，实现跨五种机器人的高质量物理模仿。
2025-02-17 cs.AI cs.RO
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）；Universidade de Pernambuco（伯南布哥大学）
机器人每天都在扩大其在家庭环境中的存在，在家庭场景中执行任务的情况更加常见。未来，机器人将越来越多地执行更复杂的任务，因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈，其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外，深度强化学习最近已被广泛用于机器人技术，以自主学习环境并获得新技能。然而，使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中，我们提出了一个深度的强化学习方法与交互式反馈，学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法，用于组织不同对象的任务;所提出的方法是（i）深度强化学习（DeepRL）;（ii）使用先前训练的人工代理作为顾问的交互式深度强化学习（agent-IDeepRL）;以及（iii）使用人类顾问的交互式深度强化学习（human-IDeepRL）。我们证明，互动的方法提供的学习过程中的优势。所获得的结果表明，学习者代理，使用代理-IDeepRL或人类-IDeepRL，完成给定的任务更早，有更少的错误相比，自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Robot gains Social Intelligence through Multimodal Deep Reinforcement Learning
Osaka University（大阪大学）
机器人要想在我们这样的社会世界中与人类共存，关键是它们要拥有类似人类的社交技能。为机器人编程以使其具备这些技能是一项具有挑战性的任务。在本文中，我们提出了一种多模态深度Q网络（MDQN），使机器人能够通过试错法学习类似人类的交互技能。本文旨在开发一种机器人，它在与人类交互过程中收集数据，并使用端到端的强化学习从高维感知信息中学习人类的交互行为。本文证明了机器人能够成功地学习基本的互动技能，经过14天的与人互动。
2017-02-24 cs.AI cs.CV cs.RO
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
强化学习（RL）是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人，但是在机器人的时间和磨损方面，使用RL来完成每个任务都是非常昂贵的。为了解决这个问题，我们使用策略梯度有效终身学习算法（PG-ELLA），这是一种在线多任务RL算法，使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务，以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习，策略梯度RL和PG-ELLA-在地面机器人上，其任务是在不同的表面条件下的环境中找到目标对象。在本文中，我们讨论了我们的实现，以及提出了一个实证分析，他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?
NTT Corporation（日本电报电话公司）；NTT West Corporation（日本电报电话公司西日本公司）
我们研究的目的是开发一种方法，通过这种方法，社交机器人可以问候路人并引起他们的注意，而不会让他们感到不适。最近，一些客户服务已经由社交机器人而不是人提供，包括担任接待员，导游和参展商。例如，机器人参展商可以解释机器人所有者正在推广的产品。然而，机器人突然打招呼可能会吓到路人，并给路人带来不适。因此，社交机器人应该使自己的举止适应他们面对的路人情况。我们根据相关工作的结果开发了一种满足这一要求的方法。我们提出的方法，以用户为中心的强化学习，使机器人迎接路人，并得到他们的注意，而不会使他们遭受不适（p<0.01）。在现场的实验结果，办公室入口，证明我们的方法满足这一要求。
2020-01-02 cs.AI cs.LG cs.RO
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln（林肯大学）；University of Toulouse III（图卢兹第三大学）
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题，特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法，作为朝着这个方向迈出的一步，我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏，我们将注意力集中在训练机器人感知游戏，并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征，并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明，机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音，视觉和手势-报告，合理和流畅的互动，可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
On Training Flexible Robots using Deep Reinforcement Learning
Intel AI Labs（英特尔人工智能实验室）；Indiana University（印第安纳大学）
在过去的几十年里，机器人技术在受控环境中的应用蓬勃发展，并且使用从其硬件的动态模型开发的控制策略来训练机器人执行任务已被证明非常有效。然而，在许多现实环境中，环境的不确定性，安全要求和机器人所期望的一般能力使得刚性工业机器人不适合。这创造了巨大的研究兴趣，开发控制策略的柔性机器人硬件，建立动态模型是具有挑战性的。本文受深度强化学习（DRL）在其他领域取得成功的启发，系统研究了使用DRL的策略搜索方法在训练柔性机器人中的有效性。我们的研究结果表明，DRL是成功地能够学习有效和强大的政策，复杂的任务，在不同程度的灵活性。我们还注意到，使用深度确定性策略梯度的DRL可能对传感器的选择敏感，并且添加更多信息传感器并不一定使任务更容易学习。
2019-07-13 cs.AI cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University（卡内基梅隆大学）；Computational Design Laboratory（计算设计实验室）；Robotics Institute（机器人研究所）
针对建筑机器人忽视人因复杂性的问题，本文提出以人为本的“工作伙伴漫游车”，通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
Decentralized Circle Formation Control for Fish-like Robots in the Real-world via Reinforcement Learning
College of Engineering, Peking University（北京大学工学院）；Microsoft Research Asia（微软亚洲研究院）；National Engineering Research Center of Software Engineering, Peking University（北京大学国家软件工程研究中心）
研究了一类具有未知非线性动力学和干扰的欠驱动仿鱼机器人的圆编队控制问题。基于强化学习和认知一致性理论，提出了一种分散控制器，该控制器不需要鱼形机器人的动力学知识。所提出的控制器可以从仿真转移到现实。它只在我们建立的仿真环境中进行训练，经过训练的控制器可以部署到真正的机器人上，而无需任何手动调整。仿真结果表明，所提出的无模型鲁棒编队控制方法是可扩展的相对于组的机器人的大小，并优于其他代表RL算法。在现实世界中的几个实验验证了我们的RL为基础的方法的有效性圆编队控制。
2021-03-09 cs.AI cs.MA cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提供了一个初步的报告，同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂，但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后，机器人代理的半自主动作可以通过人类反馈来塑造，从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来，或者包括间接控制信号。相比之下，在本文中，我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统，我们比较一个简单的运动任务的训练性能时，奖励是来自环境，奖励是由人类提供的，以及这两种方法的组合。我们的研究结果表明，一些好处，可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
Robot Navigation with Entity-Based Collision Avoidance using Deep Reinforcement Learning
Lomonosov Moscow State University, Moscow, Russia（罗蒙诺索夫莫斯科国立大学，莫斯科，俄罗斯）
针对动态环境中机器人与多类实体交互的安全导航问题，提出利用实体类型信息的深度强化学习避障方法及新型奖励函数，并通过优化算法加速训练，实验表明其性能优于现有方法。
2025-09-28 cs.AI cs.LG cs.RO
Energy-based Legged Robots Terrain Traversability Modeling via Deep Inverse Reinforcement Learning
University of Michigan（密歇根大学）
这项工作报告开发一个深逆强化学习方法的足式机器人地形可穿越性建模，结合了外感受和本体感受的感觉数据。现有的作品使用机器人不可知的外感受环境功能或手工制作的运动学功能，相反，我们建议还学习机器人特定的惯性功能，从本体感觉的感官数据奖励近似在一个单一的深神经网络。简化惯性特征可以提高模型保真度，并提供取决于部署期间机器人状态的奖励。我们使用最大熵深度逆强化学习（MEDIRL）算法训练奖励网络，并同时提出最小化轨迹排序损失来处理足式机器人演示的次优性。演示的轨迹排名的运动能量消耗，为了学习一个能源意识的奖励函数和更节能的政策比演示。我们评估我们的方法使用的数据集收集的MIT迷你猎豹机器人和迷你猎豹模拟器。该代码可在https://github.com/ganlumomo/minicheetah-traversability-irl上公开获取。
2022-07-07 cs.RO
A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer
Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Mila, Universite de Montréal（蒙特利尔大学 Mila）
本文介绍了一个开放的框架，称为VSSS-RL，研究强化学习（RL）和模拟到真实的机器人足球，专注于IEEE非常小尺寸足球（VSSS）联赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练控制足球代理的完整行为和一个模拟到真实的方法的基础上领域自适应，以适应所获得的政策，真正的机器人。我们的研究结果表明，经过训练的政策学习了广泛的行为，这些行为很难用手工制定的控制政策来实现。借助VSSS-RL，我们在2019年拉丁美洲机器人竞赛（LARC）中击败了人类设计的策略，在21支队伍中获得第四名，成为第一个在该竞赛中成功应用强化学习（RL）的团队。环境和硬件规格都是开源的，以允许我们的结果和进一步研究的再现性。
2020-08-18 cs.AI cs.LG cs.RO
Control of a Nature-inspired Scorpion using Reinforcement Learning
Indian Institute of Science（印度科学理工学院）
一个能够在崎岖地形上机动和侦察的陆地机器人在绘制未知区域的地图方面非常有用。它也可以用来代替人类探索危险区域。一个模仿蝎子的地面机器人将能够不被发现地穿越，并可用于监视目的。因此，本文提出了建模的蝎子启发机器人和强化学习（RL）为基础的控制器导航。机器蝎子采用串联四杆机构进行腿部运动。它也有一个活跃的尾巴和一个可移动的爪子。控制器被训练为将机器人蝎子导航到目标航路点。仿真结果表明，有效的机器人蝎子导航。
2020-08-31 cs.AI cs.RO cs.SY
MAMBPO: Sample-efficient multi-robot reinforcement learning using learned world models
Delft University of Technology（代尔夫特理工大学）
多机器人系统可以受益于强化学习（RL）算法，该算法在少量试验中学习行为，这一特性被称为样本效率。因此，本研究探讨使用学习世界模型，以提高样本效率。我们提出了一种新的基于多Agent模型的强化学习算法：基于多Agent模型的策略优化（MAMBPO），利用集中学习分散执行（CLDE）框架。CLDE算法允许一组代理在训练后以完全分散的方式行事。这对于包括多个机器人的许多系统是期望的属性。MAMBPO使用一个学习世界模型，以提高样本效率相比，无模型的多智能体软Actor-Critic（MASAC）。我们在两个模拟的多机器人任务上证明了这一点，MAMBPO实现了与MASAC相似的性能，但需要的样本要少得多。通过这一点，我们迈出了重要的一步，使现实生活中的学习多机器人系统成为可能。
2021-03-05 cs.AI cs.MA cs.RO
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore（新加坡国立大学）
审核目的：传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门，该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习（MARL）为多机器人系统（MRS）设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果：分散MRS面临的基本挑战，如非平稳性和部分可观测性。建立在“集中培训，分散执行”的范式，最近的MARL方法包括独立学习，集中批评，价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能（如多机器人运动/路径规划）进行演示。摘要：本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序，并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA
Active Embodiment Identification with Reinforcement Learning for Legged Robots
Department of Computer Science, Technical University of Darmstadt（德累斯顿技术大学计算机科学系）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG）；德国人工智能研究中心（DFKI）；hessian.AI）；German Research Center for AI (DFKI)；hessian.AI
本文提出一种结合信息寻求行为与显式具身预测的主动具身识别方法，通过仿真环境中的交互学习不同形态机器人的关节级和全局具身参数。
2026-05-08 cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息科学研究生院）；Zuse Institute Berlin（柏林泽尼奇研究所）
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性，发现其比在线方法更脆弱，表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
