Efficient Model-Based Reinforcement Learning for Robot Control via Online Learning
CREATE Lab, EPFL, Lausanne, Switzerland(洛桑联邦理工学院CREATE实验室)
本研究提出一种在线基于模型的强化学习算法,基于实时交互数据构建动力学模型并更新策略,在液压挖掘机臂和软体机器人臂上验证了其高样本效率与鲁棒自适应能力,为机器人本体高效学习提供了新方案。
2025-10-21 cs.RO
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择,发现某些默认设置可能有害,而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
我们提出了一种逆强化学习(IRL)方法,使用深度Q网络来提取具有大状态空间的问题中的奖励。我们评估这种方法在基于模拟的自动驾驶场景中的性能。我们的研究结果类似于奖励函数和安装在汽车上不同姿势的距离传感器读数之间的直观关系。我们还表明,经过几轮学习,我们的模拟代理生成无碰撞运动,并执行类似人类的换道行为。
2017-09-21 cs.AI cs.RO
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research(脸书人工智能研究院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Edinburgh(爱丁堡大学);University of Pennsylvania(宾夕法尼亚大学)
将基于模型的逆强化学习(IRL)扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型,开发可扩展到高维状态空间的算法,以及能够从视觉和本体感受演示中学习。在这项工作中,我们提出了一个基于梯度的逆强化学习框架,该框架利用预先训练的视觉动力学模型来学习成本函数时,只有视觉人类示范。然后,学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation
HoRD通过历史条件强化学习和在线蒸馏,使单个策略能零样本适应未知领域,提升人形机器人在动态变化和外部扰动下的鲁棒性和迁移能力。
2026-03-15 cs.LG cs.RO
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Residual Learning and Context Encoding for Adaptive Offline-to-Online Reinforcement Learning
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心)
针对离线到在线强化学习中转移动态变化问题,提出残差学习与上下文编码方法,在 D4RL MuJoCo 实验中实现样本高效的自适应与泛化。
2024-06-12 cs.LG cs.RO
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而,现有的工作往往把离线策略学习和在线探索作为两个独立的过程,这往往是伴随着严重的性能下降,在离线到在线的过渡。此外,许多机器人操作任务涉及复杂的子任务结构,这是非常具有挑战性的稀疏奖励RL解决。在这项工作中,我们提出了一个统一的离线到在线RL框架,解决了过渡性能下降的问题。此外,我们引入目标感知的状态信息的RL代理,这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块,我们的框架实现了很大的训练效率和性能相比,国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
强化学习是机器人控制学习的一种很有前途的范例,它允许在不需要动力学模型的情况下学习复杂的控制策略。然而,即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成,每个代理具有不同的超参数集,以及在线选择最佳性能集的机制。在文献中,合奏技术通常用于提高性能,但目前的工作专门解决减少超参数调整工作。此外,我们的方法的目标在线学习一个机器人系统,并不需要并行运行多个模拟器。虽然这个想法是通用的,但选择的模型是深度确定性策略梯度,它是一种代表性的深度学习行动者-批评者方法,在连续动作设置中具有良好的性能,但已知具有高方差。我们比较了我们的在线加权q-集成的方法,q-平均集成策略在文献中使用替代政策的培训,以及在线培训,证明了新方法的优势,在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性:双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比,在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
Inverse Reinforcement Learning in Large State Spaces via Function Approximation
California Institute of Technology(加州理工学院)
提出了一种在大规模高维状态空间中进行逆强化学习的新方法。为了避免在奖励学习中解决计算昂贵的强化学习问题,我们提出了一种函数逼近方法,以确保Bellman最优方程始终成立,然后估计一个函数,以最大化所观察到的运动的可能性。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理大的状态空间。我们在模拟环境中测试所提出的方法,并表明它是更准确的比现有的方法和显着更好的可扩展性。我们还表明,所提出的方法可以扩展到高维状态空间的许多现有的方法。然后,我们将该方法应用于评估康复刺激对脊髓损伤患者的影响,根据观察到的患者运动。
2017-08-13 cs.LG cs.RO
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley(加州大学伯克利分校);University of Sheffield(谢菲尔德大学)
提出了一种基于深度高斯过程(deep GP)模型的逆强化学习(IRL)新方法,该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示,这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题,我们开发了一个非标准的变分逼近框架,扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理,并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法,正如我们在标准基准(“对象世界”,“高速公路驾驶”)和新基准(“二进制世界”)上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
A New Perspective on Transformers in Online Reinforcement Learning for Continuous Control
Cognitive AI Lab(认知人工智能实验室);Cognitive AI Lab, IAI MIPT(认知人工智能实验室,IAI MIPT)
本文探讨Transformer在在线无模型强化学习连续控制中的应用,通过研究输入条件化、组件共享与数据切片等设计问题,提出稳定架构与训练策略,在多种任务中实现有竞争力的性能。
2025-10-15 cs.AI cs.LG cs.RO
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Bilibili(哔哩哔哩)
针对离线到在线强化学习在线阶段性能下降和提升慢的问题,提出ENOTO框架,通过增加Q网络数量、放宽悲观估计并引入集成探索,显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute(上海启智研究院);Shanghai Jiao Tong University(上海交通大学);IIIS, Tsinghua University(清华大学人工智能研究院);Nanyang Technological University(南洋理工大学);A*STAR Institute for Infocomm Research(新加坡科技动力研究院);University of Maryland(马里兰大学)
本研究提出FARL框架,通过整合安全批评者和恢复策略,有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项,以信赖域式更新逐步放宽约束,实现稳定且高效的离线到在线强化学习微调,并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Online Model-Free Reinforcement Learning for the Automatic Control of a Flexible Wing Aircraft
University of Ottawa(渥太华大学);Aswan University(阿斯旺大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
由于柔性机翼系统的高度非线性变形,使得柔性机翼飞行器的控制问题具有挑战性。这就迫切需要新的控制机制,对机翼空气动力学的实时变化具有鲁棒性。提出了一种基于数值迭代强化学习的柔性机翼天线结构在线控制方法。它采用无模型控制策略框架和保证收敛的自适应学习架构来解决系统的贝尔曼最优性方程。一个Riccati方程的推导和证明是等价的,以解决底层贝尔曼方程。在线强化学习解决方案使用自适应批评机制来实现。证明了该控制器在李雅普诺夫意义下是渐近稳定的。它是通过计算机模拟评估和其优越的性能表现在两个方案在不同的操作条件下。
2021-08-05 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人,但是在机器人的时间和磨损方面,使用RL来完成每个任务都是非常昂贵的。为了解决这个问题,我们使用策略梯度有效终身学习算法(PG-ELLA),这是一种在线多任务RL算法,使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务,以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习,策略梯度RL和PG-ELLA-在地面机器人上,其任务是在不同的表面条件下的环境中找到目标对象。在本文中,我们讨论了我们的实现,以及提出了一个实证分析,他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University(波士顿大学)
强化学习(RL)的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而,对于实际应用,在勘探期间确保制剂的安全至关重要,因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于,对于大的连续状态或动作空间和未知环境,难以表征不安全状态和动作。在本文中,我们提出了一种新的方法,在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性,我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数,并扩展控制理论的结果,以近似其导数使用在线高斯过程(GP)估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
受人类视觉注意力的启发,我们提出了一种新的逆强化学习公式,使用最大熵深度逆强化学习(MEDIRL)来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外,我们还介绍了EyeCar,这是一种新的驾驶员注意力数据集,适用于事故多发情况。我们进行了全面的实验,以评估我们提出的模型在三个常见的基准:(DR(眼)VE,BDD-A,DADA-2000),和我们的EyeCar数据集。结果表明,MEDIRL在预测注意力方面优于现有模型,并达到了最先进的性能。我们提出了广泛的消融研究,以提供更多的见解,我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego(加利福尼亚大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一个问题,学习奖励和政策,从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上,并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示,这有利地导致更一般化的行为,从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报,其中训练和测试环境在动态或结构方面彼此不同。结果表明,我们提出的方法不仅学习接近最优的奖励和政策,是匹配专家的行为,但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO