Benchmarking Massively Parallelized Multi-Task Reinforcement Learning for Robotics Tasks
针对现有多任务强化学习研究多局限于低并行离策略方法的问题,提出基于IsaacGym的开源基准MTBench,含70项机器人任务与多种算法框架,验证了其评估效率并揭示了相关挑战。
2025-08-01 cs.RO
AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale
Robotics at Google(谷歌机器人部门);X, The Moonshot Factory(X(登月工厂));UC Berkeley(加州大学伯克利分校)
机器人技能可以通过模仿学习(IL)使用用户提供的演示来学习,或者通过强化学习(RL)使用大量自主收集的经验来学习。这两种方法都有互补的优点和缺点:RL可以达到高水平的性能,但需要探索,这可能非常耗时且不安全; IL不需要探索,只需要学习与所提供的演示一样好的技能。单一方法可以结合两种方法的优点吗?许多先前的方法旨在解决这个问题,提出了各种技术,整合IL和RL的元素。然而,将这些方法扩展到复杂的机器人技能,整合各种离线数据并将其推广到现实世界的场景仍然是一个重大挑战。在本文中,我们的目标是测试现有IL + RL算法的可扩展性,并设计一个系统的基础上详细的实证实验,结合现有的组件在themost有效和可扩展的方式。为此,我们提出了一系列的experimentsaimed在理解每个设计决策的影响,从而开发combined方法,可以利用示范和异构先验datato实现最佳性能的一系列现实世界和现实simulatedrobotic问题。我们的完整方法,我们称之为AW-Opt,结合了加权回归[1,2]和QT-Opt [3]的元素,为机器人操作集成演示和离线数据提供了统一的方法。请参阅https://awopt.github.io了解更多详细信息。
2021-11-11 cs.RO
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University(首尔国立大学)
我们提出了一个自动学习框架的机器人素描代理,能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策,基于笔划的渲染和电机控制独立学习,以实现子任务的绘图,并形成一个层次结构时,合作的现实世界的绘图。没有手工制作的功能,绘图序列或轨迹,和逆运动学,所提出的方法训练的机器人草图代理从头开始。我们进行了实验,6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明,这两种策略成功地学习了子任务,并合作绘制目标图像。此外,通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
AffordanceGrasp-R1:Leveraging Reasoning-Based Affordance Segmentation with Reinforcement Learning for Robotic Grasping
AffordanceGrasp-R1 通过结合推理和强化学习,提升机器人抓取任务中的推理能力和空间定位,实验表明其在基准和现实场景中均表现优异。
2026-02-03 cs.CV cs.RO
Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks
Siemens(西门子);UC Berkeley(加州大学伯克利分校)
机器人插入任务的特点是接触和摩擦力学,使他们具有挑战性的传统反馈控制方法,由于未建模的物理效应。强化学习(RL)是一种很有前途的学习控制策略,在这样的设置。然而,强化学习在探索过程中可能是不安全的,并且可能需要大量的真实世界的训练数据,这是昂贵的collect. In本文中,我们研究如何使用Meta强化学习来解决大部分的问题,通过解决一个家庭的模拟工业插入任务,然后在现实世界中快速适应政策的仿真。我们通过训练代理成功地执行具有挑战性的现实世界的插入任务,使用不到20个试验的现实世界的经验来展示我们的方法。视频和其他材料可在https://pearl-insertion.github.io/上获取
2020-05-23 cs.LG cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra(庞培法布拉大学);PyTorch Team, Meta(Meta PyTorch团队);ICREA, Universitat Pompeu Fabra(ICREA、庞培法布拉大学)
本文提出BricksRL平台,通过将乐高机器人与TorchRL库对接,实现现实世界中自定义乐高机器人的创建、设计与训练,支持GPU强化学习训练,提供灵活经济的扩展方案,助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Constrained Reinforcement Learning for Robotics via Scenario-Based Programming
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Verona(维罗纳大学);The Weizmann Institute of Science(魏茨曼科学研究所)
深度强化学习(DRL)在各种机器人应用中取得了突破性的成功。一个自然的结果是采用这种范式的安全关键的任务,其中人的安全和昂贵的硬件可能涉及。在这种情况下,至关重要的是要优化基于DRL的代理的性能,同时提供有关其行为的保证。本文提出了一种新的技术,将领域专家知识到一个受约束的DRL训练循环。我们的技术利用了基于Java的编程范式,该范式旨在允许以简单直观的方式指定此类知识。我们验证了我们的方法对流行的机器人无地图导航问题,在模拟,并在实际平台上。我们的实验表明,使用我们的方法来利用专家知识显着提高了代理的安全性和性能。
2022-06-20 cs.LG cs.RO
Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review
本文综述了强化学习原理、深度强化学习算法及其在机器人和控制系统中的应用,探讨了核心算法策略及现代DRL技术,旨在连接理论进展与实际应用。
2026-03-15 cs.LG cs.RO
RMBench: Benchmarking Deep Reinforcement Learning for Robotic Manipulator Control
Tsinghua University(清华大学);University at Buffalo, State University of New York(纽约州立大学布法罗分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Chengdu University of Information Technology(成都信息工程大学)
强化学习被应用于解决来自高维、感官输入的实际复杂任务。在过去的十年中,开发了一长串强化学习算法。最近的进展受益于原始感觉信号表示的深度学习。一个问题自然会出现:它们在不同的机器人操作任务中表现如何?基准测试使用客观的性能指标来提供一种科学的方法来比较算法。在本文中,我们提出了RMBench,机器人操作的第一个基准,它具有高维连续的动作和状态空间。我们实现和评估直接使用观察到的像素作为输入的强化学习算法。我们报告他们的平均表现和学习曲线,以显示他们的训练表现和稳定性。我们的研究得出结论,没有一个研究的算法可以很好地处理所有的任务,软演员评论家优于大多数算法的平均奖励和稳定性,和算法结合数据增强可能会促进学习策略。我们的代码在https://github.com/xiangyanfei212/RMBench-2022上公开,包括所有基准测试任务和研究的算法。
2023-03-07 cs.AI cs.RO
Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Virginia(弗吉尼亚大学);Sony AI(索尼人工智能)
该综述梳理了深度强化学习在机器人领域的真实应用成果,分析了成功关键因素与研究空白,提出未来研究方向,为打造通用真实世界机器人系统提供参考。
2024-09-16 cs.LG cs.RO
Deep Reinforcement Learning for Robotic Manipulation-The state of the art
Carnegie Mellon University(卡内基梅隆大学)
这项工作的重点是列举各种方法和算法,围绕强化学习在机器人制造任务中的应用。早期的方法利用专门的策略表示和人工演示来压缩策略。这些方法可以很好地处理机器人的连续状态和策略空间,但无法提出广义策略。随后,像神经网络这样的高维非线性函数逼近器被用来从头开始学习策略。几种新的和最近的方法还使用深度学习嵌入了具有有效感知表示的控制策略。这导致了动态机器人控制系统的一个新分支的出现,称为深度学习(DRL)。这项工作体现了最新的算法,架构及其在模拟和现实世界的机器人平台的实施调查。DRL体系结构的范围被划分为两个不同的分支,即离散动作空间算法(DAS)和连续动作空间算法(CAS)。进一步地,CAS算法被分为随机连续动作空间(SCAS)和确定性连续动作空间(DCAS)算法。除了阐明DRL算法的组织化之外,这项工作还体现了这些方法在机器人操作任务中的一些最新应用。
2017-01-31 cs.AI cs.RO
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich(慕尼黑工业大学)
深度强化学习(RL)在机械手的运动规划中已经显示出有希望的结果。然而,没有方法保证高度动态的障碍物,如人类,在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此,我们提出了一种屏蔽机制,确保ISO验证的人类安全,同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析,以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg(弗赖堡大学)
本文综述了深度学习在机器人学习控制中的应用,探讨了深度强化学习和模仿学习两大主流方法,分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
Analysis of Randomization Effects on Sim2Real Transfer in Reinforcement Learning for Robotic Manipulation Tasks
Department of Informatics, Technical University of Munich(慕尼黑技术大学信息学院);Rosenheim University of Applied Sciences(罗森海姆应用技术大学)
本文提出一个可复现的实验框架,比较四种随机化策略在仿真和现实中的表现,发现更多随机化有助于仿真到现实转移,但可能影响仿真中策略的学习能力。
2022-10-09 cs.AI cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control
ARC Centre of Excellence for Robotic Vision (ACRV)(ARC机器人视觉卓越中心(ACRV));Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
介绍了一种基于机器学习的机器人视觉控制系统。第一次展示了仅从原始像素图像并且没有任何配置的先验知识的自主学习机器人控制器的能力。我们建立在最近的深度强化学习的成功,并开发了一个系统,学习目标达到与三关节机器人机械手使用外部视觉观察。在仿真中,演示了深度Q网络(DQN)在训练后执行目标到达。将网络转移到真实的硬件和真实的观察中失败了,但实验表明,当用合成图像替换相机图像时,网络可以工作。
2015-11-13 cs.CV cs.LG cs.RO
Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment
Tsinghua University(清华大学);Shenzhen Academy of Robotics(深圳机器人研究院)
本文提出了一种新的机器人抓取系统,用于在复杂场景中自动拾取物体。设计了一种由吸盘和夹持器组成的复合机械手,用于稳定抓取物体。吸盘用于首先将物体从杂物中提起,并且抓持器用于相应地抓持物体。我们利用示能图为吸盘提供像素级提升点候选。为了获得良好的示能图,系统引入了主动探索机制。设计了一个有效的度量来计算当前示能图的奖励,并采用深度Q网络(DQN)来引导机器人手主动探索环境,直到生成的示能图适合抓取。实验结果表明,所提出的机器人抓取系统是能够大大提高机器人抓取的成功率在混乱的场景。
2023-02-21 cs.CV cs.LG cs.RO
Enhancing Tactile-based Reinforcement Learning for Robotic Control
University of Edinburgh(爱丁堡大学)
本文提出自监督学习方法增强触觉强化学习,利用稀疏二元接触信号,在球弹跳和保定球旋转任务中实现超人灵巧性,并发布RoTO基准以推动触觉操作研究。
2025-10-24 cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills
Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
我们考虑的问题,学习有用的机器人技能,从以前收集的离线数据,而不访问手动指定的奖励或额外的在线探索,一个设置,这是越来越重要的缩放机器人学习通过重用过去的机器人数据。特别是,我们提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能理解的目标。我们采用目标条件Q学习与后见之明重新标记,并开发了几种技术,使培训在一个特别具有挑战性的离线设置。我们发现,我们的方法可以在高维相机图像上操作,并在真实机器人上学习各种技能,这些技能可以推广到以前看不见的场景和物体。我们还表明,我们的方法可以通过目标链学习在多个事件中实现长期目标,并通过预训练或辅助目标学习丰富的表示,可以帮助下游任务。我们的实验视频可以在www.example.com上找到
2021-06-10 cs.LG cs.RO
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法,例如近端策略优化或Q学习,通常需要与环境进行数千次交互,以近似最佳控制器,由于安全性和时间消耗,这在机器人技术中可能并不总是可行的。基于模型的方法,如PILCO或BlackDrops,虽然数据效率高,但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题,我们引入了基于主动不确定性减少的虚拟环境,它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理,这是用来作为一个度量自我改进的点,通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数,同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明,我们的方法提供了一个更好的建模能力,复杂的系统动力学相比,已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology(查尔姆斯理工大学);Gothenburg University(哥德堡大学)
本文提出了一种两阶段奖励课程方法,通过分离任务目标与行为术语,提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Hardware-Software Collaborative Computing of Photonic Spiking Reinforcement Learning for Robotic Continuous Control
Xidian University(西安电子科技大学)
本文提出基于光子脉冲RL的软硬件协同计算架构,通过硅光子芯片与电子域结合,实现机器人连续控制的高效能效和低延迟。
2025-11-29 cs.RO physics.optics
MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale
Robotics at Google(谷歌机器人)
通用机器人系统必须掌握大量不同的技能,才能在一系列日常任务中发挥作用。虽然强化学习为获取个体行为提供了一个强大的框架,但获得每项技能所需的时间使得用RL训练的通才机器人的前景令人生畏。在本文中,我们研究了一个大规模的集体机器人学习系统如何能够同时获得一系列行为,在任务之间共享探索,经验和表示。在这个框架中,新的任务可以从以前学习的任务中不断地实例化,从而提高系统的整体性能和能力。为了实例化这个系统,我们开发了一个可扩展和直观的框架,通过用户提供的期望结果的例子来指定新任务,设计了一个多机器人集体学习系统,用于同时收集多个任务的经验的数据汇集,并开发了一个可扩展和可推广的多任务深度强化学习方法,我们称之为MT-Opt。我们演示了MT-Opt如何学习广泛的技能,包括语义挑选(即,从特定类别中挑选对象),放置到各种固定装置中(例如,将食物放置在盘子上)、覆盖、对准和重新排列。我们训练和评估我们的系统上的一组12个现实世界的任务,从7个机器人收集的数据,并证明了我们的系统的性能,无论是在其能力,以概括到结构相似的新任务,并获得不同的新任务更快地利用过去的经验。我们建议您在https://karolhausman.github.io/mt-opt/上观看视频
2021-04-27 cs.LG cs.RO
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China(中国科学技术大学);Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学网络空间先进技术研究院)
传统上,强化学习方法基于当前状态预测下一个动作。然而,在许多情况下,直接将动作应用于控制系统或机器人是危险的,并且可能导致意外的行为,因为动作是相当低级别的。在本文中,我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态,实际行动是由逆动力学模型产生的。为了稳定训练过程,我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下,广泛可用的状态只有示范可以有效地利用模仿学习。此外,先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法,并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley(加州大学伯克利分校伯克利人工智能研究中心);Open AI(OpenAI)
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而,当与环境的交互时间有限时,无模型方法的性能很差,就像大多数真实世界的机器人任务一样。在本文中,我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先,软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次,我们证明了使用软Q学习学习的策略可以组合以创建新的策略,并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具,通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明,软Q学习比以前的无模型深度强化学习方法具有更高的样本效率,并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey
University of Turku(图尔库大学)
深度强化学习最近在机器人领域的多个领域取得了巨大成功。由于收集真实世界数据的局限性,即,样本的低效率和收集它的成本,模拟环境被用于训练不同的代理。这不仅有助于提供潜在的无限数据源,而且还消除了真实机器人的安全问题。尽管如此,一旦模型被转移到真实的机器人中,模拟世界和真实世界之间的差距会降低策略的性能。因此,目前正在进行多种研究努力,以缩小这种模拟与实际之间的差距,实现更有效的政策转移。近年来,出现了适用于不同领域的多种方法,但据我们所知,缺乏对不同方法进行总结和分析的全面审查。在这篇调查论文中,我们涵盖了深度强化学习中的仿真到现实迁移背后的基本背景,并概述了目前使用的主要方法:域随机化,领域自适应,模仿学习,元学习和知识蒸馏。我们对一些最相关的近期作品进行了分类,并概述了主要的应用场景。最后,我们讨论了不同方法的主要机遇和挑战,并指出了最有前途的方向。
2021-07-08 cs.LG cs.RO
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto(多伦多大学航空航天研究所);University of Toronto Robotics Institute(多伦多大学机器人研究所);Vector Institute for Artificial Intelligence(向量人工智能研究院)
在过去的五年中,控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾,重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括:通过学习不确定动态安全地提高性能的基于学习的控制方法,鼓励安全性或鲁棒性的强化学习方法,以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力,研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们,例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战,并强调需要现实的基于物理的基准,以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Dot-to-Dot: Explainable Hierarchical Reinforcement Learning for Robotic Manipulation
Dept. of Computing(计算机系);Dept. of Bioengineering(生物工程系);Data Science Institute(数据科学研究所)
机器人系统越来越能够自动化和完成复杂的任务,特别是依靠智能系统、深度学习和人工智能的最新进展。然而,随着机器人和人类在交互中的接近,机器人决策过程的可解释性或可解释性对于人类来说变得越来越重要。只有通过对环境和手头任务的基本表示的相互理解,才能实现成功的交互和协作。这是当前深度学习系统中的一个挑战。我们提出了一个层次化的深度强化学习系统,由一个低级别的代理有效地处理大的动作/状态空间的机器人系统,通过以下的指示的高级代理,这是学习的环境和任务的高级动态。这个高级代理形成了一个对世界和手头任务的表示,这是人类操作员可以解释的。该方法,我们称之为点到点,测试MuJoCo为基础的模型的获取机器人机械手,以及阴影的手,以测试其性能。结果表明,有效的学习复杂的动作/状态空间的低级代理,和可解释的任务和决策过程中学习的高级代理表示。
2019-08-11 cs.AI cs.LG cs.RO
Reinforcement Learning for Robotic Time-optimal Path Tracking Using Prior Knowledge
South China University of Technology(华南理工大学)
时间最优路径跟踪作为工业机器人的一个重要工具,受到了众多研究者的关注。在大多数时间最优路径跟踪问题中,假设致动器转矩约束是保守的,这忽略了电机特性;即,致动器转矩约束是速度相关的,并且转矩和速度之间的关系是分段线性的。然而,考虑到电机特性增加了求解难度,在这项研究中,提出了一种改进的Q-学习算法的机器人时间最优路径跟踪的先验知识。在考虑Q-学习算法的局限性后,提出了一种改进的动作-价值函数,以提高收敛速度。该算法采用奖惩的思想,对满足约束条件的动作进行奖励,对违反约束条件的动作进行惩罚,最终得到满足约束条件的时间最优轨迹。通过实验验证了算法的有效性。
2019-06-30 cs.RO cs.SY eess.SY
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University(普渡大学);KAUST(阿卜杜拉国王科技大学);George Washington University(乔治华盛顿大学)
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法,通过引入有向信息项和变分自编码器实现端到端策略学习,并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier(机器人与交互系统——UPSSITECH,保罗·萨巴蒂埃大学)
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响,通过不同复杂度的机械臂逆运动学学习实验,发现反馈频率需随任务熟练度动态调整,无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
Northeastern University(东北大学);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
该研究针对软手腕机器人孔轴装配任务,提出利用领域对称性进行数据增强和辅助损失约束的部分可观测深度强化学习方法,在仿真和真实机器人上均实现了高效学习。
2024-04-29 cs.AI cs.LG cs.RO
Efficiently Training On-Policy Actor-Critic Networks in Robotic Deep Reinforcement Learning with Demonstration-like Sampled Exploration
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
在高维复杂环境中,从头开始训练强化学习(RL)模型通常会遇到冗长乏味的Agent-环境交互收集。相反,利用专家演示来指导RL代理可以提高样本效率并提高最终收敛性。为了更好地将专家先验知识与基于策略的强化学习模型相结合,提出了一种基于行动者-评论者算法的示教学习(LfD)通用框架。在技术上,我们首先使用K-Means聚类来评估样本勘探与示范数据的相似性。然后,我们通过修改梯度更新策略来利用演示来增加相似帧中的动作的可能性。我们在Mujoco的4个标准基准环境和2个自行设计的机器人环境上进行实验。实验结果表明,在一定条件下,该算法可以提高样本效率20% ~ 40%.通过将我们的框架与策略算法相结合,RL模型可以加速收敛并获得更好的最终平均情节奖励,特别是在交互代价高昂的复杂机器人环境中。
2021-09-27 cs.HC cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG;University of Warwick(华威大学)
通过强化学习(RL)掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明,使用稀疏奖励,即只有在任务成功完成时才奖励代理,可以产生更好的策略。然而,在这种情况下,状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习,利用了高质量的人类演示来完成任务,但这些演示可能是昂贵的,耗时的,甚至不可能获得。在本文中,我们提出了一种新颖而有效的方法,不需要人类的示范。我们观察到,从被操纵对象的角度来看,每个机器人操纵任务都可以被视为涉及运动任务,即对象可以学习如何自行达到目标状态。为了利用这一想法,我们引入了一个框架,通过该框架,最初使用现实的物理模拟器获得对象运动策略。然后,该策略用于生成辅助奖励,称为模拟运动演示奖励(SLDR),使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加,并可以实现更高的成功率和更快的学习率相比,替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
A Reinforcement Learning Approach for Robotic Unloading from Visual Observations
Boston University(波士顿大学);Pickle Robot Co.(Pickle机器人公司)
针对机器人基于视觉观测的卸货问题,提出结合深度强化学习与经典运动控制的分层控制器框架,通过引入安全偏置机制和定制奖励函数,在无需标签数据的情况下实现了样本高效的学习,并开源代码与仿真环境以建立研究基准。
2023-09-12 cs.AI cs.RO cs.SY
Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo
Erle Robotics
本文介绍了使用机器人操作系统(ROS)和Gazebo模拟器对OpenAI Gym进行机器人扩展。内容讨论的软件架构建议和使用两个强化学习技术:Q-学习和Sarsa获得的结果。最终,这项工作的输出提出了一个机器人基准测试系统,允许使用相同的虚拟条件比较不同的技术和算法。
2017-02-07 cs.RO
Deep Reinforcement Learning in Surgical Robotics: Enhancing the Automation Level
Technical University of Munich(慕尼黑工业大学);The Chinese University of Hong Kong(香港中文大学)
本文综述了强化学习在手术机器人中的应用,涵盖术前、体内和经皮手术,指出其能提升机器人自主性、精度,并教会复杂任务如缝合和组织操作。
2023-09-02 cs.RO
Causality-Based Reinforcement Learning Method for Multi-Stage Robotic Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出一种将因果关系与强化学习结合的方法,通过自动发现动作与奖励的因果关系构建因果动作空间,并利用因果策略梯度提升多阶段机器人任务的性能。
2025-03-05 cs.RO
Open-Sourced Reinforcement Learning Environments for Surgical Robotics
University of California San Diego(加利福尼亚大学圣地亚哥分校)
强化学习(Reinforcement Learning,RL)是一种用于人工智能系统解决各种复杂问题的机器学习框架。近年来,在解决具有挑战性的游戏和较小的领域问题方面取得了巨大的成功,包括简单但非特定的机器人操作和抓取任务。RL的快速成功部分归功于RL社区的强大合作努力,致力于开发通用的开源环境模拟器,例如OpenAI的Gym,允许加速开发和不同的最先进策略之间的有效比较。在本文中,我们的目标是通过介绍第一个用于手术机器人的开源强化学习环境,称为dVRL[3]{dVRL可在https://github.com/ucsdarclab/dVRL},在RL和手术机器人社区之间架起桥梁。通过拟议的RL环境,这是功能上等同于健身房,我们表明,它很容易原型和实现最先进的RL算法的手术机器人问题,旨在引入自主机器人的精度和准确性,以协助,协作,或重复性任务在手术过程中。此外,学习的策略可以成功地转移到真正的机器人。最后,将dVRL与学术机构积极使用的40多个达芬奇手术研究套件的国际网络相结合,我们认为dVRL使广泛的手术机器人社区能够充分利用强化学习的最新策略,并使没有手术机器人知识的强化学习科学家能够测试和开发可以解决现实世界的新算法,自主手术中的高影响力挑战。
2020-01-27 cs.RO
Robotic Arm Manipulation with Inverse Reinforcement Learning & TD-MPC
North South University(北南大学)
本文提出一种基于梯度的逆强化学习框架,仅从视觉人类演示中学习代价函数,并结合TD-MPC优化轨迹,在真实机械臂上验证了基本物体操作任务。
2024-08-07 cs.RO
Active Robotic Mapping through Deep Reinforcement Learning
Stanford University(斯坦福大学)
我们提出了一种方法来学习代理主动机器人映射,其目标是尽可能快地映射环境。智能体通过获得与其构建准确地图的速度相对应的奖励来学习在模拟环境中有效地进行地图绘制。与以前的工作相比,这种方法学习的探索政策的基础上,用户指定的环境配置和传感器模型的先验,使其专门的规格。我们评估的方法,通过一个模拟的灾难地图的情况下,发现它实现的性能略好于一个接近最佳的近视勘探计划,这表明它可能是有用的,在更复杂的问题场景。
2017-12-28 cs.RO
Deep Reinforcement Learning for the Control of Robotic Manipulation: A Focussed Mini-Review
ICube Lab Robotics Department Strasbourg University UMR 7357 CNRS(斯特拉斯堡大学ICube实验室机器人系 UMR 7357 CNRS);ICube Lab UMR 7357 Centre National de la Recherche Scientifique CNRS(ICube实验室 UMR 7357 法国国家科学研究中心)
深度学习提供了操纵、处理和分析数据的新方法。它有时可能达到与人类专家表现相当或超过人类专家表现的结果,并已成为人工智能时代的灵感来源。机器学习的另一个子领域称为强化学习,试图通过与环境的交互来找到最佳行为策略。结合深度学习和强化学习可以解决与稀疏奖励信号任务(如机器人操作和控制任务)中数据的维度和可扩展性相关的关键问题,这两种方法都不允许单独应用。本文介绍了深度强化学习算法的最新进展,这些算法试图解决机器人操作控制领域的应用问题,如样本效率和泛化能力。尽管有这些不断的改进,目前,学习强大的和通用的操作技能的机器人与深度强化学习的挑战仍然远远没有解决现实世界的应用。
2021-02-08 cs.RO
Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning
本文提出利用可微动力学模型的分析性策略梯度,引导机器人强化学习探索更优轨迹,提升策略学习效率和质量。
2026-04-01 cs.RO
Agile Robotics: Optimal Control, Reinforcement Learning, and Differentiable Simulation
University of Zurich(苏黎世大学)
本文围绕如何提升自主机器人在极限任务中的敏捷性并保持抗扰鲁棒性,提出融合最优控制、强化学习与可微仿真的控制算法设计思路。
2024-05-25 cs.RO
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这项工作中,我们提出了一种基于深度强化学习的方法来解决机器人抓取问题,使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率,用于学习抓取,以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制,使用多视图摄像机设置,观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明,我们提出的方法优于基线Q学习框架,并通过适应多视图模型相比,单视图模型,提高了抓取精度。
2020-07-09 cs.RO
Efficient Reinforcement Learning of Task Planners for Robotic Palletization through Iterative Action Masking Learning
University of California, Berkeley(加州大学伯克利分校);the Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学)
针对机器人码垛任务规划中动作空间过大的问题,本文提出利用监督学习迭代剪枝和管理动作空间,从而提升强化学习的训练效率、规划有效性与可靠性。
2024-04-07 cs.RO
Learning to Crawl: Latent Model-Based Reinforcement Learning for Soft Robotic Adaptive Locomotion
Embodied Learning and Intelligence for eXploration and Innovative soft Robotics (ELIXIR) Lab(具身学习与智能探索与创新软机器人实验室)
针对软体爬行机器人的控制难题,提出基于潜在动力学的模型强化学习框架,利用传感器推断潜在动力学指导演员-评论家算法,在仿真中实现自适应运动。
2025-10-07 cs.RO
Reinforcement Learning for Solving Robotic Reaching Tasks in the Neurorobotics Platform
Technical University of Munich(慕尼黑工业大学)
本文针对神经机器人平台仿真中的6自由度机器人随机目标到达任务,对比多种无模型强化学习算法,验证了带合适动态调度函数的课程学习可提升图像输入等复杂场景下的训练效率与效果。
2022-10-31 cs.RO
Impact of Static Friction on Sim2Real in Robotic Reinforcement Learning
Lenovo Research Shanghai(联想研究院上海分部)
针对机器人强化学习中静摩擦力导致的Sim2Real迁移难题,提出感知静摩擦力的域随机化方法及降低学习复杂度的方案,实验证明其优于传统方法和Actuator Net。
2025-03-03 cs.RO
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg(汉堡大学)
强化学习是一种很有前途的机器人控制方法。然而,演奏乐器的任务在很大程度上是未被探索的,因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中,我们解决机器人音乐通过引入一个时间扩展目标条件强化学习:时间依赖性目标。我们证明,这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策,以现实世界的机器人thereminist。补充视频:https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
Steering Generative Reinforcement Learning into Stable Robotic Controller
ShanghaiTech University(上海科技大学)
提出SteerGenPO框架,通过潜在空间强化学习将训练好的生成式策略转化为鲁棒的确定性机器人控制器,在Isaac Lab和Unitree G1任务上优于基线方法,实现更稳定的推理行为。
2026-06-16 cs.RO
A Concise Introduction to Reinforcement Learning in Robotics
PES University(PES大学)
机器人技术面临的最大障碍之一是复杂和难以工程化的行为。强化学习提供了一套工具和框架来解决这个问题。与此同时,机器人技术的疑虑为强化学习的进步提供了坚实的试验场和评估指标。这两个学科齐头并进,就像数学和物理领域一样。通过这篇调查论文,我们的目标是通过关注机器人的机车和控制方面的强化学习所做的工作,来加强这两个学科的研究社区之间的联系。此外,我们的目标不仅是突出显着的成功,但也强化学习在机器人技术中的应用的关键挑战。本文旨在为强化学习应用于机器人领域的研究人员提供参考指南。文献调查是在一个相当入门的水平,旨在有抱负的研究人员。适当地,我们已经涵盖了强化学习领域研究所需的最基本的概念,并考虑到机器人技术。通过对这个问题的深入分析,我们能够证明强化学习是如何被有效应用的,并且还关注开放式问题以及未来研究的潜力。
2022-10-13 cs.AI cs.RO
GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);University of Copenhagen(哥本哈根大学)
大多数深度强化学习(Deep RL)算法需要大量的训练样本来学习复杂的任务。最近许多加速深度强化学习的工作都集中在分布式训练和模拟上。虽然分布式训练通常在GPU上完成,但模拟不是。在这项工作中,我们建议使用GPU加速的RL模拟作为CPU模拟的替代方案。使用NVIDIA Flex,一个基于GPU的物理引擎,我们展示了学习各种连续控制,运动任务的有前途的速度。使用一个GPU和CPU核心,我们能够在不到20分钟的时间内训练Humanoid运行任务,使用的CPU核心比以前的作品少10- 1000倍。我们还展示了我们的模拟器的可扩展性,多GPU设置训练更具挑战性的运动任务。
2018-10-24 cs.RO