MoRe-ERL: Learning Motion Residuals using Episodic Reinforcement Learning
提出 MoRe-ERL 框架,通过 ERL 与基于 B 样条运动基元的残差学习优化参考轨迹,在样本效率、任务性能和 sim-to-real 部署上表现优异。
2025-10-19 cs.LG cs.RO
A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning
Stanford University(斯坦福大学)
虽然强化学习(RL)提供了一个通过试错进行学习的框架,但将RL算法转化为现实世界仍然具有挑战性。现实世界应用的一个主要障碍来自于在情景设置中开发算法,在情景设置中,每次试验后环境都会重置,与人类和机器人等具体代理遇到的现实世界的连续性和非情景性相反。以前的作品已经考虑了一种交替的方法,其中向前的政策学习解决任务和向后的政策学习重置环境,但什么样的初始状态分布应该向后的政策重置代理?假设访问几个示范,我们提出了一个新的方法,MEDAL,培训落后的政策,以配合国家分布在提供的示范。这使代理接近任务相关的状态,允许向前策略的简单和困难的起始状态的混合。我们的实验表明,MEDAL在EARL基准测试中的三个稀疏奖励连续控制任务上匹配或优于先前的方法,在最困难的任务上获得了40%的收益,同时比先前的工作做出了更少的假设。
2022-05-11 cs.AI cs.LG cs.RO
A Novel Sample-efficient Deep Reinforcement Learning with Episodic Policy Transfer for PID-Based Control in Cardiac Catheterization Robots
目前,机器人导管插入术通常用于经皮冠状动脉介入手术,它涉及操纵柔性血管内工具以打开冠状动脉中的闭塞。在这项研究中,一个样本有效的深度强化学习与情节的政策转移,第一次,用于在机器人导管插入运动控制与完全自适应PID整定策略。强化模型有助于智能体从其环境中的相互作用中不断学习,并自适应地调整PID控制增益以用于血管内工具的轴向导航。该模型被验证为轴向运动控制的机器人系统设计的血管内导管插入术。仿真和实验验证了该模型的有效性,结果表明,该模型能够自整定PID增益,适用于机器人导管系统的运动控制。平均10次试验与传统方法的性能比较表明,代理调谐增益更好,误差为0.003 mm。因此,该模型将提供更稳定的设定点运动控制机器人导管插入术。
2021-10-28 cs.LG cs.RO cs.SY
Autonomous Reinforcement Learning: Formalism and Benchmarking
Stanford University(斯坦福大学);Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)为通过试错进行学习提供了一个自然主义的框架,这是很有吸引力的,因为它的简单性和有效性,也因为它与人类和动物通过经验获得技能的方式相似。然而,现实世界的具身学习,例如人类和动物所进行的学习,位于一个连续的、非情景的世界中,而RL中的常见基准任务是情景的,在试验之间环境会重置,为代理提供多次尝试。当试图将为情景模拟环境开发的RL算法应用于真实世界的平台(如机器人)时,这种差异带来了一个重大挑战。在本文中,我们的目标是通过为自主强化学习(ARL)制定一个框架来解决这种差异:强化学习,其中智能体不仅通过自己的经验学习,而且还需要在缺乏人类监督的情况下在试验之间进行重置。我们介绍了一个模拟基准EARL围绕这个框架,包含一组不同的和具有挑战性的模拟任务,反映了学习的障碍时,只有一个最小的依赖于外部干预可以假设。我们表明,标准的方法,情节RL和现有的方法斗争的干预措施最小化,强调需要开发新的算法,强化学习更注重自主性。
2022-08-08 cs.LG cs.RO
Continuous Episodic Control
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对情景控制仅限离散动作空间的局限,提出非参数化的Continuous Episodic Control(CEC),在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
Contact-Safe Reinforcement Learning with ProMP Reparameterization and Energy Awareness
本研究提出一种基于任务空间和能量安全的框架,结合PPO和运动原语,通过能量意识的笛卡尔阻抗控制器实现安全交互,提升复杂机器人任务的性能。
2026-03-06 cs.RO
Sequential memory improves sample and memory efficiency in Episodic Control
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑认知与行为研究所);Radboud University(拉德堡德大学)
本文提出序列情景控制(SEC)模型,通过在情景记忆中引入采样顺序偏置并存储整合事件序列,在觅食任务中相比无模型情景控制实现了更快学习与更低记忆需求,并探讨了其对哺乳动物习惯形成的启示。
2024-06-06 cs.AI cs.LG cs.RO
A Model-free Deep Reinforcement Learning Approach To Maneuver A Quadrotor Despite Single Rotor Failure
IIIT Delhi(德里印度理工学院);IISER Bhopal(博帕尔印度科学教育与研究学院)
从故障恢复并继续任务的能力对于许多四旋翼应用是期望的。四旋翼飞行器的旋翼在执行任务时可能会发生故障,因此必须制定恢复策略,以便飞行器不受损坏。在本文中,我们开发了一种无模型的深度强化学习方法,用于四旋翼从单旋翼故障中恢复。该方法是基于软演员批评,使车辆悬停,土地,并执行复杂的机动。仿真结果验证所提出的方法,使用自定义模拟器。仿真结果表明,该方法实现了机器人的悬停、着陆和路径跟踪。我们还表明,所提出的方法是强大的风干扰。
2021-09-22 cs.RO
Growing Trees with an Agent: Accelerating RRTs with Learned, Multi-Step Episodic Exploration
本文提出Episodic RRT框架,用深度强化学习智能体生成多步探索情景替代随机采样,将RRT搜索从体积式扩张转为定向枝状生长,在2D、3D和6D环境中显著提升成功率、速度并大幅减少碰撞检测。
2025-07-22 cs.RO
Episodic Learning with Control Lyapunov Functions for Uncertain Robotic Systems
California Institute of Technology(加州理工学院)
本文提出了一种基于控制李雅普诺夫函数的机器学习框架,用于适应机器人系统中的参数不确定性和未建模动态,通过迭代更新李雅普诺夫函数导数的估计和改进控制器,最终获得一个稳定性的二次规划基于控制器,并在平面Segway模拟中验证了方法的有效性。
2019-03-04 cs.LG cs.RO cs.SY
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute(上海启智研究院);Shanghai Jiao Tong University(上海交通大学);IIIS, Tsinghua University(清华大学人工智能研究院);Nanyang Technological University(南洋理工大学);A*STAR Institute for Infocomm Research(新加坡科技动力研究院);University of Maryland(马里兰大学)
本研究提出FARL框架,通过整合安全批评者和恢复策略,有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
When Learning Is Out of Reach, Reset: Generalization in Autonomous Visuomotor Reinforcement Learning
Allen Institute for AI(艾伦人工智能研究所)
针对无重置强化学习中的不可逆转换和泛化问题,提出最小化重置的视觉运动RL方法,构建新基准和无监督指标,在多任务上以更少重置实现更高成功率。
2023-03-30 cs.CV cs.RO
Mid-flight Propeller Failure Detection and Control of Propeller-deficient Quadcopter using Reinforcement Learning
Indian Institute of Science(印度科学院)
四轴飞行器可能在飞行中遭受螺旋桨损失,因此需要具有检测单个和多个螺旋桨故障的系统以及稳定螺旋桨不足的四轴飞行器的自适应控制器。本文提出了基于强化学习的四轴飞行器控制器与4,3,和2(相对)功能螺旋桨。本文还提出了一种基于神经网络的螺旋桨故障检测系统,以检测螺旋桨损失并切换到适当的控制器。仿真结果表明,一个稳定的四轴飞行器与有效的航路点跟踪的所有控制器。该检测系统能够在短时间内检测到螺旋桨故障并稳定四轴飞行器。
2020-07-06 cs.LG cs.RO cs.SY
Episodic Curiosity through Reachability
Google Brain(谷歌大脑);DeepMind(深度思维);ETH Zürich(苏黎世联邦理工学院)
在现实世界中,奖励是稀疏的,今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是,受动物好奇行为的启发,观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法,利用情景记忆形成新奇奖金。为了确定奖金,将当前观察与内存中的观察进行比较。至关重要的是,这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题,以前的工作-当代理人找到一种方法,立即满足自己利用行动,导致难以预测的后果。我们在ViZDoom,DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中,我们的代理优于最先进的好奇心方法ICM。在MuJoCo中,一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG