Robotic Arm Manipulation with Inverse Reinforcement Learning & TD-MPC
North South University(北南大学)
本文提出一种基于梯度的逆强化学习框架,仅从视觉人类演示中学习代价函数,并结合TD-MPC优化轨迹,在真实机械臂上验证了基本物体操作任务。
2024-08-07 cs.RO
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
ViSaRL: Visual Reinforcement Learning Guided by Human Saliency
University of Southern California(南加利福尼亚大学)
针对像素输入强化学习样本效率低的问题,提出ViSaRL方法,利用人类视觉显著性引导CNN和Transformer编码器学习视觉表示,在仿真和真实机器人任务中显著提升成功率、样本效率和泛化能力。
2024-10-20 cs.LG cs.RO
A Deep Reinforcement Learning Approach for Dynamically Stable Inverse Kinematics of Humanoid Robots
Robotics Research Center IIIT Hyderabad(国际信息技术研究所海得拉巴机器人研究中心)
人形机器人极易失去平衡,因此实时的计算动态稳定位形的逆运动学是非常必要的。提出了一种利用深度强化学习(RL)生成稳定构型的关节空间轨迹以求解逆运动学的方法。我们的方法是基于探索整个配置空间的机器人和学习的最佳可能的解决方案,使用深度确定性策略梯度(DDPG)的想法。所提出的策略进行了评估的高度铰接的上半身的人形模型与27度的自由度(DoF)。训练后的模型能够以90%的精度求解末端执行器的逆运动学,同时保持双支撑阶段的平衡。
2018-01-31 cs.RO
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法,并提出 Heuristic RL 算法,利用启发式引导早期训练并缓解人类偏差,实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.(Offworld公司)
批量(离线)强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果,并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见,现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习,但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此,我们提出了一种新的方法,使用不确定性估计来触发人类演示数据的注入,并引导策略训练向最佳行为,同时降低整体样本的复杂性。我们的实验表明,这种方法是更有效的样本相比,一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习,并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
Probabilistic Safeguard for Reinforcement Learning Using Safety Index Guided Gaussian Process Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于高斯过程模型学习与安全指数引导的集成框架,在缺乏动力学模型时为强化学习智能体提供概率前向不变性安全保障,并在连续控制任务中实现近乎零的安全违规。
2023-10-17 cs.RO
Keyframe-Guided Structured Rewards for Reinforcement Learning in Long-Horizon Laboratory Robotics
Suzhou Institute for Advanced Research, University of Science and Technology of China(科学技术大学苏州市先进研究院)
本文提出关键帧引导的结构化奖励方法,用于提升实验室机器人在长周期任务中的精确操作能力。
2026-02-28 cs.RO
Deep Reinforcement-Learning-Guided Model Predictive Control for Preventing Overtakes in Autonomous Racing
University of Michigan(密歇根大学);National University of Singapore(新加坡国立大学)
研究自主赛车防御性阻挡问题,通过分层强化学习引导的模型预测控制框架,将防御转化为空间占用调节问题。在仿真中提升平均超车时间,减少对手前进距离,使车辆有效利用轮胎力,且求解时间短,支持实时高速对抗。
2026-07-24 cs.RO
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一种通过深度强化学习训练人机交互控制策略的方法,例如握手或拍手。该策略控制一个人形的影子灵巧手,连接到一个机器人arm.We提出了一个参数化的多目标奖励函数,允许学习的各种互动,而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计,以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用:握手,拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策,并进行了大规模的用户研究,表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
我们提出了一种逆强化学习(IRL)方法,使用深度Q网络来提取具有大状态空间的问题中的奖励。我们评估这种方法在基于模拟的自动驾驶场景中的性能。我们的研究结果类似于奖励函数和安装在汽车上不同姿势的距离传感器读数之间的直观关系。我们还表明,经过几轮学习,我们的模拟代理生成无碰撞运动,并执行类似人类的换道行为。
2017-09-21 cs.AI cs.RO
Reduced-Order Model-Guided Reinforcement Learning for Demonstration-Free Humanoid Locomotion
Laurentian University(拉芙勒大学)
该研究提出ROM-GRL两阶段强化学习框架,无需运动捕捉数据或复杂奖励塑形,先通过ROM生成高效步态模板,再引导全身策略训练,实验显示其步态稳定对称且跟踪误差低于纯奖励基线,弥合了两类运动方法的差距。
2025-09-23 cs.AI cs.RO
LineRides: Line-Guided Reinforcement Learning for Bicycle Robot Stunts
RAI Institute(RAI研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出LineRides框架,通过空间引导线和稀疏关键姿态实现自行车机器人自主学习多样特技行为,无需示范或显式时间信息。
2026-05-08 cs.AI cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出物理模型引导的最坏情况采样策略,并将其集成至Phy-DRL框架,以解决DRL训练中忽略安全关键极端场景的问题,显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research(脸书人工智能研究院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Edinburgh(爱丁堡大学);University of Pennsylvania(宾夕法尼亚大学)
将基于模型的逆强化学习(IRL)扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型,开发可扩展到高维状态空间的算法,以及能够从视觉和本体感受演示中学习。在这项工作中,我们提出了一个基于梯度的逆强化学习框架,该框架利用预先训练的视觉动力学模型来学习成本函数时,只有视觉人类示范。然后,学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley(加州大学伯克利分校);University of Sheffield(谢菲尔德大学)
提出了一种基于深度高斯过程(deep GP)模型的逆强化学习(IRL)新方法,该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示,这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题,我们开发了一个非标准的变分逼近框架,扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理,并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法,正如我们在标准基准(“对象世界”,“高速公路驾驶”)和新基准(“二进制世界”)上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
机器人技能的自主学习可以让通用机器人学习广泛的行为,而不需要大量的人工工程。然而,机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习,诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中,我们提出了一种新的强化学习算法学习操作技能,可以训练通用的神经网络政策与最小的人类工程,同时仍然允许快速,有效的学习随机环境。我们的方法建立在引导策略搜索(GPS)算法的基础上,该算法将强化学习问题转化为来自计算教师的监督学习(无需人工演示)。与之前的GPS方法相比,它需要一组一致的初始状态,系统必须在每次发作后重置,我们的方法可以处理随机初始状态,使其能够用于确定性重置是不可能的环境中。我们比较我们的方法,现有的政策搜索技术在模拟,表明它可以训练高维神经网络的政策,具有相同的样本效率作为以前的GPS方法,并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University(南洋理工大学)
由深度Q网络(DQN)算法解决的大量实际工作表明,随机策略尽管简单,但却是最常用的探索方法。然而,大多数现有的随机探索方法要么探索新的行动,无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中,我们提出了一种新的偏好引导的$ε$贪婪探索算法,可以有效地学习动作分布符合景观的Q值DQN,而不引入额外的偏见。具体来说,我们设计了一个双架构,由两个分支组成,其中一个是DQN的副本,即Q分支。另一个分支,我们称之为偏好分支,学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策,并通过实验表明,推断出的动作偏好分布与相应的Q值的景观一致。因此,偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作,即,具有较大Q值的动作可以被更频繁地采样,而具有较小Q值的动作仍然有机会被探索,从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索,随机策略,数据效率,深度强化学习,深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习(RL)的方法为手术自动化提供了可扩展的解决方案,但是如果没有给出先验知识,则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战,可以通过向RL代理提供专家演示来缓解。然而,如何有效地利用示范数据,提高勘探效率仍然是一个开放的挑战。在这项工作中,我们引入演示引导探索(DEX),一个有效的强化学习算法,旨在克服探索问题的专家演示手术自动化。为了有效地利用演示,我们的方法估计具有更高值的专家行为,以促进富有成效的交互,并采用非参数回归,以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL,一个全面的手术模拟平台,证明显着提高探索效率和任务成功率的方法。此外,我们还将学习到的策略部署到达芬奇研究工具包(dVRK)平台上,以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
An offline approach to fNIRS-guided reinforcement learning for robot behavior
研究利用fNIRS脑信号调节机器人模拟学习的可行性,比较不同交互任务训练的智能体,测试多种增强强化学习算法的方法,发现该框架能有效利用神经信号增强学习,还可离线学习,为特定场景提供替代方案。
2026-11-10 cs.AI cs.RO
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University(波士顿大学)
强化学习(RL)的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而,对于实际应用,在勘探期间确保制剂的安全至关重要,因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于,对于大的连续状态或动作空间和未知环境,难以表征不安全状态和动作。在本文中,我们提出了一种新的方法,在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性,我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数,并扩展控制理论的结果,以近似其导数使用在线高斯过程(GP)估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
Sample-Efficient Reinforcement Learning with Symmetry-Guided Demonstrations for Robotic Manipulation
本文提出Demo-EASE框架,通过通用抽象对称性聚合示范并结合双缓冲区与行为克隆,显著提升机器人操作中强化学习的样本效率和最终性能。
2025-09-19 cs.AI cs.RO
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Relay Hindsight Experience Replay: Self-Guided Continual Reinforcement Learning for Sequential Object Manipulation Tasks with Sparse Rewards
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院智能机械研究所);University of Science and Technology of China(中国科学技术大学)
具有稀疏奖励的探索是强化学习(RL)中一个具有挑战性的研究问题。特别是对于顺序对象操作任务,RL Agent在完成所有子任务之前总是获得负的奖励,这导致了较低的探索效率。为了有效地解决这些任务,我们提出了一种新的自引导持续强化学习框架,RelayHER(RHER)。RHER首先将顺序任务分解为复杂性不断增加的新子任务,并确保最简单的子任务可以通过使用后见之明经验重放(HER)快速学习。其次,我们设计了一个多目标多任务网络来同时学习这些子任务。最后,我们提出了一个自我引导的探索策略(SGES)。通过SGES,学习到的子任务策略将引导智能体进入有助于HER学习更复杂子任务的状态,通过这种自我引导的探索和中继策略学习,RHER可以有效地逐步解决这些顺序任务。实验结果表明,在五个单对象和五个复杂的多对象操作任务(例如,Push、Insert、ObstaclePush、Stack、TStack等)。所提出的RHER也被应用于从头开始学习物理机器人上的接触丰富的推送任务,并且成功率达到10/10,只有250集。
2022-11-03 cs.AI cs.RO
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);University of Cambridge(剑桥大学)
大动态环境中移动机器人的路径规划是一个具有挑战性的问题,因为机器人需要有效地达到其给定的目标,同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下,传统的解决方案通常采用重新规划策略,每当机器人遇到冲突时,重新调用规划算法来搜索替代路径。然而,这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题,我们提出了一种基于学习的技术,利用环境时空信息。与现有的基于学习的方法不同,我们引入了一种全局引导的强化学习方法(G2RL),该方法采用了一种新的奖励结构,可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题,在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型,障碍物密度和机器人的数量。实验结果表明,G2RL的泛化能力很好,优于现有的分布式方法,并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
受人类视觉注意力的启发,我们提出了一种新的逆强化学习公式,使用最大熵深度逆强化学习(MEDIRL)来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外,我们还介绍了EyeCar,这是一种新的驾驶员注意力数据集,适用于事故多发情况。我们进行了全面的实验,以评估我们提出的模型在三个常见的基准:(DR(眼)VE,BDD-A,DADA-2000),和我们的EyeCar数据集。结果表明,MEDIRL在预测注意力方面优于现有模型,并达到了最先进的性能。我们提出了广泛的消融研究,以提供更多的见解,我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG