Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital affiliated to Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Shanghai Ruijin Rehabilitation Hospital(上海瑞金康复医院)
相对于强化学习中普遍研究的刚性机器人,一些复杂机器人如柔性机器人或连续体机器人的物理特性更加复杂。此外,最近的强化学习方法是数据效率低下的,并且不能在没有仿真的情况下直接部署到机器人。针对这类问题,本文提出了一种基于非显式先验知识的高效强化学习方法。我们首先证实了模拟的方法,并直接在现实世界中使用。通过使用我们的方法,我们可以实现主动视觉跟踪和距离保持的肌腱驱动机器人,这将是微创手术的关键。代码可在https://github.com/Skylark0924/TendonTrack上获得。
2020-10-02 cs.AI cs.RO
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所 IIS);Friedrich-Alexander-University Erlangen-Nuremberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学(FAU))
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人,使用深度强化学习的最新进展。从随机初始状态开始,即,位置,速度和方向,机器人达到任意的目标状态,同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间,还执行连续的动作,即,车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Learning Visual Tracking and Reaching with Deep Reinforcement Learning on a UR10e Robotic Arm
National Research Council of Canada(加拿大国家研究委员会);Carleton University(卡尔顿大学)
针对工业机器人编程复杂、现有强化学习方法依赖仿真难以落地的问题,本研究在UR10e机械臂上搭建强化学习环境,对比训练深度Q学习与PPO智能体,发现PPO以更少数据学到更优稳定策略,相关代码已开源。
2023-08-28 cs.AI cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London(伦敦帝国理工学院);University of Bristol(布里斯托尔大学)
近几十年来,手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点,可以为患者提供更短的恢复时间和更短的住院时间。然而,目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中,存在大量重复但简单的操作,这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明,该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán(尤卡坦自治大学)
自主导航对于移动机器人来说是一个挑战,特别是在未知环境中。通常,机器人需要多个传感器来绘制环境地图,定位自己,并制定到达目标的计划。然而,强化学习方法通过学习要采取的最佳行动,为无地图导航任务提供了一种替代方案。在本文中,深度强化学习代理使用深度Q网络方法的变体,D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外,在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Multi-robot Social-aware Cooperative Planning in Pedestrian Environments Using Multi-agent Reinforcement Learning
行人参与环境中多机器人安全、高效的协同规划具有广阔的应用前景。在部分变维观测和不完全感知条件下,提出了一种基于离策略多智能体强化学习(MARL)的多机器人社会感知高效协作规划器.我们采用基于时空图(TSG)的社会编码器,以更好地提取每个机器人和行人在其视野(FOV)的社会关系的重要性。此外,我们在多机器人RL框架中引入K步前瞻奖励设置,以避免机器人产生的侵略性,侵入性,短视和不自然的运动决策。此外,我们改进了传统的集中式评论家网络与多头全局注意力模块,更好地聚集不同机器人之间的局部观察信息,以指导个体的策略更新过程。最后,多组实验结果验证了所提出的协作运动规划器的有效性。
2022-11-29 cs.AI cs.RO
TIAGo RL: Simulated Reinforcement Learning Environments with Tactile Data for Mobile Robots
PAL Robotics S.L.(PAL Robotics公司);Bielefeld University(比勒费尔德大学)
本文提出TIAGo机器人的开源强化学习环境,生成逼真触觉数据以支持DRL策略迁移,并初步验证了学习力控制策略优于经典PI控制器。
2023-11-13 cs.AI cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore(新加坡国立大学)
强化学习已经在机器人任务中显示出广泛的用途,例如插入和抓取。然而,如果没有一个实际的sim2real策略,在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究,但这些方法大多依赖于繁重的图像渲染,域随机化训练或调整。在这项工作中,我们解决了插入任务,使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略,Real2Sim,它提供了一个新的和更容易的解决方案,在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
Reinforcement learning for freeform robot design
Northwestern University(西北大学)
针对强化学习仅能优化固定拓扑机器人形态的限制,本文提出用策略梯度沉积或移除原子构建块,以设计具有任意外内部结构的自由形态机器人。
2024-03-01 cs.AI cs.RO
Target Search and Navigation in Heterogeneous Robot Systems with Deep Reinforcement Learning
University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学)
针对异构机器人协作搜救训练中协作奖励难获取的问题,提出多阶段强化学习框架与好奇心模块,可在目标位置未知的迷宫式矿井环境中完成搜索导航,且训练速度优于现有基线。
2023-08-01 cs.AI cs.RO
A Human-Centered Safe Robot Reinforcement Learning Framework with Interactive Behaviors
Technical University of Munich(慕尼黑工业大学);Technical University of Darmstadt(达姆施塔特工业大学);King’s College London(伦敦国王学院);Tongji University(同济大学)
本文提出一个以人为中心的安全机器人强化学习框架,包含安全探索、价值对齐和协作三阶段,并强调利用交互行为(如ChatGPT)来应对鲁棒性、效率、透明性和适应性挑战。
2023-10-16 cs.AI cs.RO
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择,发现某些默认设置可能有害,而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology(意大利理工学院);University of Genova(热那亚大学);University of Lethbridge(莱斯布里奇大学)
在未来,机器人将与人类进行越来越多的互动,并且必须进行自然和有效的沟通。自动语音识别系统(ASR)将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别,能够滤除噪音。在这种嘈杂的环境中,看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标,我们提出了一个基于自我监督强化学习的框架,该框架受到人类早期发展的启发,允许机器人自主创建一个数据集,该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
Agile and versatile bipedal robot tracking control through reinforcement learning
受生物平衡与运动模式解耦的启发,研究提出基于模型IK求解器与强化学习的双足机器人通用控制器,以单步为最小控制单元结合三阶段训练,实现多步态轨迹跟踪与灵活平衡,经仿真验证有效。
2024-04-12 cs.LG cs.RO
An Augmented Reality Platform for Introducing Reinforcement Learning to K-12 Students with Robots
Tufts University(塔夫茨大学)
交互式强化学习,其中人类在代理的学习过程中积极协助,有希望减轻实际算法的样本复杂性挑战。然而,当人类提供反馈时,机器人的内部工作和状态通常对教师隐藏。为了在人类和学习机器人之间建立一个共同点,在本文中,我们提出了一个增强现实(AR)系统,揭示了隐藏的学习状态的人类用户。本文介绍了我们的系统的设计和实现,并总结了我们正在追求的未来工作的两个方向的讨论:1)使用我们的系统在K-12水平的人工智能教育活动;和2)开发一个框架,基于AR的人在回路强化学习,其中人类教师可以看到覆盖在现实世界中的机器人的感官和认知表示。
2021-10-10 cs.AI cs.RO
Learning multiple gaits of quadruped robot using hierarchical reinforcement learning
Seoul National University(首尔大学)
基于强化学习的四足机器人速度指令跟踪控制器具有鲁棒性和可扩展性,受到越来越多的关注。然而,经过端到端训练的单个策略通常显示单个步态,而不管命令速度如何。这可能是一个次优的解决方案,考虑到最佳步态的存在,根据四足动物的速度。在这项工作中,我们提出了一个分层控制器的四足机器人,可以产生多个步态(即步伐,小跑,绑定),同时跟踪速度命令。我们的控制器由两个策略组成,每个策略作为中央模式生成器和局部反馈控制器,并使用分层强化学习进行训练。实验结果表明:1)最佳步态的存在,为特定的速度范围2)的效率,我们的分层控制器相比,由一个单一的政策,通常显示一个单一的步态控制器。代码是公开的。
2021-12-09 cs.AI cs.RO
Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control
Graduate School of Science and Engineering, Chiba University(千叶大学理工学研究科);Graduate School of Engineering, Chiba University(千叶大学工学研究科)
针对四足机器人执行器故障容错问题,提出带动力学随机化的自适应课程强化学习算法ACDR,通过hard2easy课程训练单一鲁棒策略,无需故障检测与策略切换模块,并在平均奖励和行走距离上优于传统算法。
2021-11-19 cs.AI cs.RO
Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
在未知环境中的探索是移动机器人的核心功能。基于学习的探索方法,包括卷积神经网络,为特征提取提供了优秀的策略,而无需人为设计的逻辑。但是传统的监督学习算法不可避免地要花费大量的精力对数据集进行标注。未包含在训练集中的场景也大多无法识别。我们提出了一种深度强化学习方法,用于在室内环境中仅使用RGB-D传感器的深度信息探索移动机器人。基于Deep Q-Network框架,将原始深度图像作为唯一输入来估计与所有移动命令相对应的Q值。网络权重的训练是端到端的。在任意构造的仿真环境中,我们表明,机器人可以快速适应不熟悉的场景,而无需任何人为的标签。此外,通过分析特征表示的感受野,深度强化学习促使卷积网络估计场景的可遍历性。将测试结果分别与基于深度学习或强化学习的探索策略进行比较。即使只在模拟环境中训练,在真实世界环境中的实验结果表明,机器人控制器的认知能力显着提高监督的方法相比。我们相信这是第一次使用原始传感器信息通过端到端深度强化学习来构建移动机器人的认知探索策略。
2016-10-06 cs.AI cs.RO
Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots
York University(约克大学)
本研究针对微重力下机器人预抓取自由漂浮运动目标的难题,提出基于软演员-评论家的离策略强化学习控制方法,设计专用奖励函数,经仿真与真实实验验证有效,相关代码与演示已开源。
2024-06-10 cs.AI cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta(阿尔伯塔大学)
我们认为现实世界的强化学习(RL)的机器人操作任务,涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策,映射多模态的感官观察(视觉和力)的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数(GVF),这些函数从视觉输入中做出反事实的预测。我们表明,结合离线学习的反事实预测与在线策略学习中的力反馈,可以有效的强化学习只给终端(成功/失败)奖励。我们认为,学习的反事实预测形成了一个紧凑的和信息丰富的表示,使样本效率,并提供辅助奖励信号,引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
Towards a Sample Efficient Reinforcement Learning Pipeline for Vision Based Robotics
MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学)
深度强化学习保证了自我管理的机器人能够掌握大量的行为能力,而人类的干预可以忽略不计。这项技术带来的改进使机器人能够执行困难的任务,如抓取或到达目标。然而,训练过程仍然是耗时和繁琐的,特别是当仅使用RGB相机信息学习策略时。这种学习方式是将任务从模拟转移到现实世界的资本,因为机器人在现实生活中唯一的外部信息来源是视频。在本文中,我们研究如何限制训练机器人手臂的时间与6自由度(DOF),达到一个球从头组装管道尽可能有效。该流水线分为两个部分:第一部分是用计算机视觉算法从RGB视频中捕获相关信息。第二个研究如何更快地训练深度强化学习算法,以使机器人手臂到达他面前的目标。点击此链接查找更高分辨率的视频和绘图:\url{https://drive.google.com/drive/folders/1_lRlDSoPzd_GTcVrxNip10o_lm-_DPdn?usp=sharing}
2021-05-20 cs.AI cs.RO
Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics
KAIST(韩国科学技术院);Yonsei University(延世大学);UC Berkeley(加州大学伯克利分校);RLWRLD
Robot-R1通过强化学习提升机器人中的具身推理,优于SFT方法并超越GPT-4o在低级动作控制推理任务中
2026-01-16 cs.AI cs.RO
DRL: Deep Reinforcement Learning for Intelligent Robot Control -- Concept, Literature, and Future
结合机器学习(用于生成机器智能),计算机视觉(用于更好的环境感知)和机器人系统(用于受控环境交互),促使这项工作朝着提出一个基于视觉的学习框架智能机器人控制作为最终目标(基于视觉的学习机器人)。这项工作特别引入了深度强化学习作为学习框架,这是一个通用的AI框架(AGI),意味着独立于应用程序和平台。在机器人控制方面,该框架特别提出了一种独立于低级控制的高级控制架构,这意味着这两个所需的控制级别可以相互独立地开发。在这方面,高级控制使用由训练者生成的来自同一平台的记录的低级控制数据来创建用于平台控制的所需智能。所记录的低级控制数据仅仅指示成功和失败的经验或由训练者使用相同的机器人平台进行的实验序列。记录数据的序列由观察数据(输入传感器)、生成的奖励(反馈值)和动作数据(输出控制器)组成。对于实验平台和实验,视觉传感器用于感知环境,不同的运动控制器基于平台应用创建所需的运动命令,深度学习方法生成所需的智能,最后强化学习技术逐步改进生成的智能,直到机器人完成任务。
2021-04-20 cs.AI cs.RO
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
辅助机器人(Assistive Robotics)是一类机器人技术,它帮助人类完成日常护理任务,这些任务可能由于残疾或年龄而被禁止。虽然研究表明,经典的控制方法可以用来设计策略来完成这些任务,这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案,其中机器人在仿真中进行训练,并将其策略转移到现实世界的机器上。在这项工作中,我们复制了一个已发布的基线,用于在辅助健身房环境中训练机器人完成三项任务,并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线,然而,我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果,以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
Curiosity Based Reinforcement Learning on Robot Manufacturing Cell
South Westphalia University of Applied Sciences(西南法伦应用科学大学)
本文介绍了一种新的组合调度控制的柔性机器人制造单元的好奇心为基础的强化学习。事实证明,强化学习在解决机器人和调度等任务方面非常成功。但这需要在机器人和调度等问题领域手动调整奖励,即使解决方案并不明显。为此,我们应用好奇心为基础的强化学习,使用内在动机作为奖励的形式,在灵活的机器人制造单元,以减轻这个问题。此外,学习代理被嵌入到运输机器人中,以实现可以应用于各种环境的通用学习解决方案。在第一种方法中,基于好奇心的强化学习被应用到一个简单的结构化机器人制造单元。在第二种方法中,同样的算法被应用到图结构的机器人制造单元。实验结果表明,代理能够解决这两个环境的好奇心模块直接从一个环境转移到另一个环境的能力。我们的结论是,基于好奇心的学习调度任务提供了一个可行的替代传统上使用的奖励形强化学习。
2020-11-17 cs.AI cs.MA cs.RO
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低,与使用标准摄像机的现有基于视觉的学习应用相比,可以实现更快的机器人控制。为了处理强化学习的事件流,我们引入了一个类似图像的功能,并证明了在模拟器中训练代理的两个任务的可行性:快速避碰和障碍物跟踪。最后,我们在现实世界中设置了一个带有事件摄像机的机器人,然后转移了在模拟器中训练的代理,从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中,通过端到端学习方法,为需要快速控制的各种机器人应用(如自动驾驶汽车和无人机)开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University(东北大学)
强化学习(Reinforcement learning,RL)是空间机器人领域中一个很有前途的研究领域,它可以提高机器人的自主性和决策能力,但由于环境的随机性和不确定性,传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索,很少有人类反馈,更快,更安全的月球表面运动或多机器人系统的协调和协作。然而,使用RL和机器学习的空间机器人应用研究面临许多障碍,特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台,称为强化学习,用于基于仿真的机器人训练,或RL STaR,有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台,以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Deep Reinforcement Learning in Surgical Robotics: Enhancing the Automation Level
Technical University of Munich(慕尼黑工业大学);The Chinese University of Hong Kong(香港中文大学)
本文综述了强化学习在手术机器人中的应用,涵盖术前、体内和经皮手术,指出其能提升机器人自主性、精度,并教会复杂任务如缝合和组织操作。
2023-09-02 cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Guided Deep Reinforcement Learning for Articulated Swimming Robots
Columbia University(哥伦比亚大学)
深度强化学习最近已应用于各种机器人应用,但具有非常规配置的机器人的学习运动仍然有限。先前的工作已经表明,尽管关节式游泳机器人的建模很简单,但由于搜索空间的异质性,这种系统很难使用强化学习找到有效的步态。在这项工作中,我们利用这些机器人的几何模型的洞察力,以专注于空间的有前途的区域,并指导学习过程。我们证明了我们的增强学习技术能够在低雷诺数和高雷诺数流体中为游泳机器人产生不同学习目标的步态。
2023-01-30 cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University(斯坦福大学)
多任务学习理想地允许机器人获得各种有用的技能。然而,许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上,机器人学习的任务是顺序到达的,这取决于用户和机器人当前的环境。在这项工作中,我们研究了一个实际的顺序多任务RL问题,该问题的动机是物理机器人系统的实际约束,并推导出一种方法,有效地利用以前的任务学习的数据和政策,以累积增长机器人的技能。在一系列的模拟机器人操作实验中,我们的方法需要不到一半的样本比从头开始学习每个任务,同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上,我们的方法逐步学习十项具有挑战性的任务,包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
rSoccer: A Framework for Studying Reinforcement Learning in Small and Very Small Size Robot Soccer
Universidade Federal de Pernambuco(伯南布哥联邦大学)
强化学习是一个活跃的研究领域,在机器人技术中有大量的应用,RoboCup比赛是研究和评估强化学习方法的有趣环境。将强化学习应用于机器人技术的一个已知困难是需要大量的经验样本,使用模拟环境来训练代理,然后迁移学习到现实世界(模拟到现实)是一条可行的路径。本文介绍了一个开源的模拟器,用于IEEE非常小尺寸足球和小尺寸联赛优化强化学习实验。我们还提出了一个框架,用于创建OpenAI Gym环境,其中包含一组用于评估单智能体和多智能体机器人足球技能的基准任务。然后,我们展示了两个国家的最先进的强化学习方法的学习能力,以及在此框架中引入的某些情况下,他们的局限性。我们相信这将使更多的团队更容易使用端到端的强化学习方法在这些类别中竞争,并进一步发展这一研究领域。
2021-06-15 cs.AI cs.LG cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.(Preferred Networks 公司)
为了让机器人执行关键任务,它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而,现有方法通常仅采用单个策略。这可能会限制适应性,因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题,我们提出了基于地图的多策略强化学习(MMPRL),其目的是搜索和存储编码不同行为特征的多个策略,同时在环境变化之前最大化期望奖励。由于这些政策,这是存储到一个多维的离散地图,根据其行为特征,适应可以在合理的时间内进行,而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明,MMPRL使机器人能够快速适应大的变化,而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到:https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics(Acutronic机器人技术公司)
我们提出了一个新的框架,深度强化学习(DRL)模块化机器人训练机器人直接从关节状态,使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化,信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策,在四个不同的模块化关节机械臂(MARA)环境。我们使用与机器人中使用的典型工具(如Gazebo和Robot操作系统2(ROS 2))通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo
Erle Robotics
本文介绍了使用机器人操作系统(ROS)和Gazebo模拟器对OpenAI Gym进行机器人扩展。内容讨论的软件架构建议和使用两个强化学习技术:Q-学习和Sarsa获得的结果。最终,这项工作的输出提出了一个机器人基准测试系统,允许使用相同的虚拟条件比较不同的技术和算法。
2017-02-07 cs.RO
MASQ: Multi-Agent Reinforcement Learning for Single Quadruped Robot Locomotion
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics(广东省智能变胞机构与自适应机器人重点实验室)
本文提出MASQ方法,将单体四足机器人的每条腿视为智能体,通过共享全局评论家的多智能体强化学习进行协作探索,显著提升了运动学习的收敛速度与真实环境中的鲁棒性。
2024-10-17 cs.RO
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile(智利中央大学);Deakin University(迪肯大学);Universidade de Pernambuco(伯南布哥大学)
机器人每天都在扩大其在家庭环境中的存在,在家庭场景中执行任务的情况更加常见。未来,机器人将越来越多地执行更复杂的任务,因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈,其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外,深度强化学习最近已被广泛用于机器人技术,以自主学习环境并获得新技能。然而,使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中,我们提出了一个深度的强化学习方法与交互式反馈,学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法,用于组织不同对象的任务;所提出的方法是(i)深度强化学习(DeepRL);(ii)使用先前训练的人工代理作为顾问的交互式深度强化学习(agent-IDeepRL);以及(iii)使用人类顾问的交互式深度强化学习(human-IDeepRL)。我们证明,互动的方法提供的学习过程中的优势。所获得的结果表明,学习者代理,使用代理-IDeepRL或人类-IDeepRL,完成给定的任务更早,有更少的错误相比,自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Collisionless Pattern Discovery in Robot Swarms Using Deep Reinforcement Learning
Louisiana State University(路易斯安那州立大学);Kent State University(肯特州立大学)
我们提出了一个基于深度强化学习的框架,用于自动发现脂肪机器人群的任何给定初始配置中可用的模式。特别是,我们模型的问题,无碰撞收集和相互可见性的脂肪机器人群,并发现使用我们的框架来解决它们的模式。我们表明,通过基于某些约束(如相互可见性和安全接近度)塑造奖励信号,机器人可以发现无碰撞的轨迹,从而形成良好的聚集和可见性模式。
2022-09-20 cs.RO
Causality-Based Reinforcement Learning Method for Multi-Stage Robotic Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出一种将因果关系与强化学习结合的方法,通过自动发现动作与奖励的因果关系构建因果动作空间,并利用因果策略梯度提升多阶段机器人任务的性能。
2025-03-05 cs.RO
From Multi-agent to Multi-robot: A Scalable Training and Evaluation Platform for Multi-robot Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学)
多智能体强化学习(MARL)在过去的几十年里得到了学术界和工业界的广泛关注。MARL的一个基本问题是如何对不同的方法进行综合评价。大多数现有的MARL方法在视频游戏或简单的模拟场景中进行评估。这些方法在现实世界的场景中,特别是多机器人系统中的表现如何仍然是未知的。本文介绍了一个可扩展的多机器人强化学习(MRRL)仿真平台SMART,以满足这一需求。准确地说,SMART由两个部分组成:1)一个仿真环境,提供了各种复杂的交互场景的培训和2)现实世界的多机器人系统的现实性能评估。此外,SMART提供了代理环境API,这些API是用于算法实现的即插即用。为了说明我们的平台的实用性,我们进行了一个案例研究的合作驾驶车道变换的情况下。在案例研究的基础上,我们总结了MRRL的几个独特的挑战,这是以前很少考虑。最后,我们开源了仿真环境、相关的基准任务和最先进的基线,以鼓励和支持MRRL研究。
2022-06-20 cs.AI cs.MA cs.RO
Evaluation of Deep Reinforcement Learning Methods for Modular Robots
Erle Robotics(厄勒机器人公司)
我们提出了一个新的框架,深度强化学习(DRL)在模块化机器人使用传统的机器人工具,扩展国家的最先进的DRL实现,并提供一个端到端的方法,直接从关节状态训练机器人。此外,我们提出了一种新的技术,将这些DLR方法转移到真正的机器人,旨在关闭模拟现实的差距。我们展示了最先进的DRL方法在模块化机器人中连续动作空间的性能的鲁棒性,在模拟和真实机器人中进行了实证研究,我们还评估了加速模拟时间如何影响机器人的性能。我们的研究结果表明,扩展模块化机器人从3度的自由度(DoF),4自由度,不影响机器人的学习。这为使用DRL技术训练模块化机器人铺平了道路。
2018-02-07 cs.RO
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London(帝国理工学院)
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率,我们实现了一个机器人平台,该平台能够与人类合作伙伴一起学习非平凡的协作任务,而无需在模拟中进行预训练,并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果,表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人,但是在机器人的时间和磨损方面,使用RL来完成每个任务都是非常昂贵的。为了解决这个问题,我们使用策略梯度有效终身学习算法(PG-ELLA),这是一种在线多任务RL算法,使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务,以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习,策略梯度RL和PG-ELLA-在地面机器人上,其任务是在不同的表面条件下的环境中找到目标对象。在本文中,我们讨论了我们的实现,以及提出了一个实证分析,他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Intrinsically motivated reinforcement learning for human-robot interaction in the real-world
为了实现自然的社会性人机交互,机器人学习类似人类的社会技能是必不可少的。然而,学习这些技能是出了名的困难,因为人们教机器人的直接指令有限。在本文中,我们提出了一个内在动机的强化学习框架中,一个代理获得的内在动机为基础的奖励,通过行动条件预测模型。通过使用所提出的方法,机器人学习的社会技能,从人与机器人在真实的不受控制的环境中收集的互动经验。结果表明,机器人不仅获得了类似人类的社交技能,而且在测试数据集上做出了更多类似人类的决策,而不是直接获得任务成就奖励的机器人。
2018-04-14 cs.RO
Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?
NTT Corporation(日本电报电话公司);NTT West Corporation(日本电报电话公司西日本公司)
我们研究的目的是开发一种方法,通过这种方法,社交机器人可以问候路人并引起他们的注意,而不会让他们感到不适。最近,一些客户服务已经由社交机器人而不是人提供,包括担任接待员,导游和参展商。例如,机器人参展商可以解释机器人所有者正在推广的产品。然而,机器人突然打招呼可能会吓到路人,并给路人带来不适。因此,社交机器人应该使自己的举止适应他们面对的路人情况。我们根据相关工作的结果开发了一种满足这一要求的方法。我们提出的方法,以用户为中心的强化学习,使机器人迎接路人,并得到他们的注意,而不会使他们遭受不适(p<0.01)。在现场的实验结果,办公室入口,证明我们的方法满足这一要求。
2020-01-02 cs.AI cs.LG cs.RO
Setting up a Reinforcement Learning Task with a Real-World Robot
Kindred Inc.(Kindred公司)
强化学习是一种很有前途的方法,可以为复杂多样的机器人任务开发难以工程化的自适应解决方案。然而,与现实世界的机器人学习往往是不可靠的和困难的,这导致他们在强化学习研究中的低采用率。由于缺乏使用机器人设置学习任务的指导方针,这种困难变得更加严重。在这项工作中,我们使用UR5机器人手臂开发了一个学习任务,以揭示任务设置的一些关键要素,并研究它们对机器人挑战的贡献。我们发现,学习性能可能对设置高度敏感,因此设置细节中的疏忽和遗漏可能会使有效的学习,可重复性和公平比较变得困难。我们的研究提出了一些缓解措施,以帮助未来的实验者避免困难和陷阱。我们表明,高度可靠和可重复的实验可以在我们的设置,表明强化学习研究广泛基于现实世界的机器人的可能性。
2018-03-19 cs.AI cs.LG cs.RO
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln(林肯大学);University of Toulouse III(图卢兹第三大学)
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题,特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法,作为朝着这个方向迈出的一步,我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏,我们将注意力集中在训练机器人感知游戏,并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征,并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明,机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音,视觉和手势-报告,合理和流畅的互动,可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation
University of Southampton(南安普顿大学)
MARLIN通过语言引导的多机器人协商与强化学习结合,提升早期训练性能和最终效果,采用语言模型进行高层规划和行动协商。
2026-11-05 cs.RO
On Training Flexible Robots using Deep Reinforcement Learning
Intel AI Labs(英特尔人工智能实验室);Indiana University(印第安纳大学)
在过去的几十年里,机器人技术在受控环境中的应用蓬勃发展,并且使用从其硬件的动态模型开发的控制策略来训练机器人执行任务已被证明非常有效。然而,在许多现实环境中,环境的不确定性,安全要求和机器人所期望的一般能力使得刚性工业机器人不适合。这创造了巨大的研究兴趣,开发控制策略的柔性机器人硬件,建立动态模型是具有挑战性的。本文受深度强化学习(DRL)在其他领域取得成功的启发,系统研究了使用DRL的策略搜索方法在训练柔性机器人中的有效性。我们的研究结果表明,DRL是成功地能够学习有效和强大的政策,复杂的任务,在不同程度的灵活性。我们还注意到,使用深度确定性策略梯度的DRL可能对传感器的选择敏感,并且添加更多信息传感器并不一定使任务更容易学习。
2019-07-13 cs.AI cs.LG cs.RO
Reinforcement Learning for Robotic Safe Control with Force Sensing
本文提出基于力感知的强化学习方法,提升机器人在复杂环境中的安全性和可靠性,通过实验验证其在物体推动任务中的高效性与安全性。
2025-10-30 cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(雷塞罗有限公司);Universidad de León(莱昂大学)
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化,允许用户快速比较不同的训练参数集。我们提出了rl_reach,一个独立的,开源的和易于使用的软件包,旨在运行可重复的强化学习实验,可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起,允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得:https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University(机器人科学与工程学院,东北大学);Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen(智能变形机制与适应机器人重点实验室和智能科学与工程学院,哈尔滨工业大学深圳)
本文提出MASH方法,将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习,有效加速了训练收敛并提升了全身协作能力,优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Decentralized Circle Formation Control for Fish-like Robots in the Real-world via Reinforcement Learning
College of Engineering, Peking University(北京大学工学院);Microsoft Research Asia(微软亚洲研究院);National Engineering Research Center of Software Engineering, Peking University(北京大学国家软件工程研究中心)
研究了一类具有未知非线性动力学和干扰的欠驱动仿鱼机器人的圆编队控制问题。基于强化学习和认知一致性理论,提出了一种分散控制器,该控制器不需要鱼形机器人的动力学知识。所提出的控制器可以从仿真转移到现实。它只在我们建立的仿真环境中进行训练,经过训练的控制器可以部署到真正的机器人上,而无需任何手动调整。仿真结果表明,所提出的无模型鲁棒编队控制方法是可扩展的相对于组的机器人的大小,并优于其他代表RL算法。在现实世界中的几个实验验证了我们的RL为基础的方法的有效性圆编队控制。
2021-03-09 cs.AI cs.MA cs.RO
Robot Crowd Navigation in Dynamic Environment with Offline Reinforcement Learning
Wuhan University of Science and Technology(武汉科技大学)
针对在线深度强化学习在机器人人群导航中探索不安全、采样效率低的问题,提出融合时空状态与 implicit Q-Learning 的离线强化学习算法,并通过实验证明其优于现有方法。
2023-12-18 cs.RO