Representation Alignment from Human Feedback for Cross-Embodiment Reward Learning from Mixed-Quality Demonstrations
Kalhert School of Computing（卡尔赫特计算机学院）；University of Utah（犹他大学）
针对混合质量演示下的跨具身逆强化学习，本文分析多种利用人类反馈进行表征对齐的方法，揭示其对奖励塑形和跨具身泛化的影响。
2024-08-10 cs.AI cs.RO
BC-IRL: Learning Generalizable Reward Functions from Demonstrations
Meta AI；Georgia Tech（佐治亚理工学院）
用逆强化学习（IRL）学习的奖励函数推广效果如何？我们说明，国家的最先进的IRL算法，最大限度地提高了最大熵的目标，学习奖励过拟合的示威。这种奖励很难为示威活动未覆盖的国家提供有意义的奖励，这在利用奖励学习新形势下的政策时是一个重大损害。我们引入了BC-IRL，这是一种新的逆强化学习方法，与最大熵IRL方法相比，该方法可以学习更好地推广的奖励函数。与MaxEnt框架相反，它学习最大化演示的奖励，BC-IRL更新奖励参数，以便使用新奖励训练的策略更好地匹配专家演示。我们表明，BC-IRL学习奖励，更好地概括一个说明性的简单任务和两个连续的机器人控制任务，在具有挑战性的概括设置中实现了基线的成功率的两倍以上。
2023-03-28 cs.LG
Learning Reward Functions by Integrating Human Demonstrations and Preferences
Stanford University（斯坦福大学）
我们的目标是准确有效地学习自主机器人的奖励函数。目前解决这个问题的方法包括逆强化学习（IRL），它使用专家演示，和基于偏好的学习，它迭代地查询用户在轨迹之间的偏好。然而，在机器人技术中，IRL经常会遇到困难，因为它很难获得高质量的演示;相反，基于偏好的学习效率很低，因为它试图从二进制反馈中学习一个连续的高维函数。我们提出了一个新的奖励学习框架，DemPref，它使用演示和偏好查询来学习奖励函数。具体来说，我们（1）使用演示来学习奖励函数空间上的粗糙先验，以减少生成查询的空间的有效大小;以及（2）使用演示来接地（主动）查询生成过程，以提高生成的查询的质量。我们的方法解决了标准的基于偏好的学习方法所面临的效率问题，并且不完全依赖于（可能是低质量的）演示。在数值实验中，我们发现DemPref比标准的基于主动偏好的学习方法更有效。在用户研究中，我们将我们的方法与标准的IRL方法进行比较;我们发现，用户将DemPref训练的机器人评为更成功地学习他们所需的行为，并且更喜欢使用DemPref系统（超过IRL）来训练机器人。
2019-06-21 cs.AI cs.RO
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech（巴黎高等矿业学院）；PSL University（巴黎文理研究大学）
在寻找更有效的样本学习（RL）算法时，一个有希望的方向是利用尽可能多的外部非策略数据。例如，专家示范。在过去，已经提出了多种想法来充分利用添加到重放缓冲区的演示，例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节（通过重新标记），鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明，我们的方法的基础上奖励重新标记提高了性能的基础算法（SAC和DDPG）对这些任务。最后，我们最好的算法STIR $^2$（通过奖励重新标记的自我和教师模仿），它集成到我们的方法中，从以前的作品中进行了多次改进，比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley（加州大学伯克利分校）；University of Utah（犹他大学）
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的，这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而，先前的RL演示算法引入了显着的复杂性和许多超参数，使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论（MCAC），一个参数的自由修改标准演员评论家算法，它将重放缓冲区的演示和计算修改后的$Q$值，通过采取最大的标准时间距离（TD）的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明，MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料，请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
Align-RUDDER: Learning From Few Demonstrations by Reward Redistribution
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace研究院）；enliteAI（enliteAI公司）；Microsoft Research（微软研究院）；Institute of Advanced Research in Artificial Intelligence（高级人工智能研究所）
强化学习算法在解决具有稀疏和延迟奖励的复杂分层任务时需要大量样本。对于这种复杂的任务，最近提出的RUDDER使用奖励再分配来利用Q函数中与完成子任务相关的步骤。然而，通常只有少数具有高回报的情节可用作演示，因为当前的探索策略不能在合理的时间内发现它们。在这项工作中，我们引入了Align-RUDDER，它利用了一个配置文件模型奖励再分配，是从多序列比对的演示。因此，Align-RUDDER有效地采用了奖励再分配，从而大大提高了对少数演示的学习。Align-RUDDER在复杂的人工任务中表现优于竞争对手，延迟奖励和很少的演示。在Minecraft ObtainDiamond任务中，Align-RUDDER能够开采钻石，但不经常。代码可在https://github.com/ml-jku/align-rudder上获得。YouTube：https://youtu.be/HO-_8ZUl-UY
2022-06-28 cs.AI cs.LG stat.ML
From Demonstrations to Rewards: Alignment Without Explicit Human Preferences
University of Minnesota（明尼苏达大学）；Amazon（亚马逊）
本文提出基于逆强化学习的对齐方法，直接从示范数据学习奖励模型，无需偏好数据即可获得与现有仅用示范数据的 SOTA 方法相当或更优的效果。
2025-03-15 cs.AI cs.LG
Minimal Ingredients for Reward Assignment from Expert Demonstrations
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎赫尔分校）；Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning, NYU Shanghai（上海前沿科学中心（人工智能与深度学习））
该研究探究从专家演示分配奖励的最小结构，通过32个基准测试和三种下游RL算法，发现离线场景仅需接近度，在线或多演示时需轻量级时间对应，倡导奖励设计的算法极简主义。
2026-08-10 cs.AI cs.LG
Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models
University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute（向量研究所）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
无模型强化学习对真实机器人系统的潜在好处受到其不知情探索的限制，导致收敛缓慢，缺乏数据效率以及与环境的不必要交互。为了解决这些缺点，我们提出了一种结合强化和模仿学习的方法，该方法通过使用生成模型来塑造奖励函数，该奖励函数具有从演示数据中训练的状态和动作依赖的潜力。我们表明，这加速了策略学习，指定高价值领域的国家和行动空间，是值得探索的第一。与大多数现有的方法，假设最佳的演示和纳入演示数据作为政策优化的硬约束不同，我们将演示数据作为建议，以奖励塑造潜力的形式训练为生成模型的状态和动作。特别是，我们研究了归一化流和生成对抗网络来表示这些潜力。我们表明，与许多现有的方法，将示威作为硬约束，我们的方法是公正的，即使在次优和嘈杂的示威的情况下。我们提出了一个广泛的模拟，以及实验上的Franka Rankka 7自由度的手臂，证明我们的方法的实用性。
2020-11-02 cs.LG cs.RO
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
Learning from demonstrations with SACR2: Soft Actor-Critic with Reward Relabeling
MINES ParisTech（巴黎矿业学院）；PSL University（巴黎文理研究大学）；Valeo（法雷奥）
近年来，深度强化学习（DRL）已经成功地进入了机器人、自动驾驶或视频游戏等复杂的决策应用领域。策略外算法往往比策略内算法更具采样效率，并且可以额外受益于存储在重放缓冲区中的任何策略外数据。专家演示是这类数据的一个流行来源：智能体在早期就暴露于成功的状态和动作，这可以加速学习过程并提高性能。在过去，已经提出了多种想法来充分利用缓冲区中的演示，例如仅对演示进行预训练或最小化额外的成本函数。我们进行了一项研究，孤立地评估其中的几个想法，看看它们中哪些影响最大。我们还提出了一种新的方法，稀疏奖励任务的基础上，奖励奖金的演示和成功的插曲。首先，我们对来自演示的转换给予奖励奖金，以鼓励代理匹配演示的行为。然后，在收集到一个成功的片段后，我们在将其添加到重放缓冲区之前，用相同的奖金重新标记其转换，鼓励智能体也匹配其先前的成功。我们实验的基本算法是流行的Soft Actor-Critic（SAC），这是一种用于连续动作空间的最先进的非策略算法。我们的实验集中在操作机器人，特别是在模拟机器人手臂的3D达到任务。我们表明，我们的方法SACR 2的基础上奖励重新标记，提高了这项任务的性能，即使在没有演示。
2021-12-03 cs.LG cs.RO
Infer and Adapt: Bipedal Locomotion Reward Learning from Demonstrations via Inverse Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
本文研究复杂地形双足运动中的专家奖励学习问题，提出基于逆强化学习的奖励函数推断与分析算法，并证明所学奖励能提升策略在未知地形上的行走适应性。
2023-09-28 cs.LG cs.RO
Reward learning from human preferences and demonstrations in Atari
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
为了用强化学习解决复杂的现实问题，我们不能依赖手动指定的奖励函数。相反，我们可以让人类直接向智能体传达目标。在这项工作中，我们结合了两种方法来学习人类的反馈：专家演示和轨迹偏好。我们训练一个深度神经网络来模拟奖励函数，并使用其预测的奖励来训练一个基于DQN的深度强化学习代理9个Atari游戏。我们的方法在7个游戏中击败了模仿学习基线，并在2个游戏中实现了严格的超人表现，而不使用游戏奖励。此外，我们研究了奖励模型的拟合优度，提出了一些奖励投机问题，并研究了人类标签中噪声的影响。
2018-11-15 cs.AI cs.LG cs.NE
Learning Safety Constraints from Demonstrations with Unknown Rewards
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research（微软研究院）
提出CoCoRL，在奖励和环境动态未知时从多奖励安全演示中推断CMDP共享约束，并保证安全、可收敛及跨环境迁移。
2024-03-02 cs.AI cs.LG stat.ML
Robot Policy Learning with Temporal Optimal Transport Reward
McGill University（麦吉尔大学）；Horizon Robotics（地平线机器人）
针对强化学习奖励设计困难，本文提出时间最优传输奖励，利用时间顺序信息改进基于OT的代理奖励，并在Meta-world基准上验证有效性。
2024-11-02 cs.AI cs.LG cs.RO
Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
针对次优示范逆强化学习中奖励模糊性问题，提出距离排名感知序列奖励学习框架，结合轨迹排名、策略距离与Transformer，显著提升奖励估计性能。
2023-10-13 cs.AI cs.LG
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards
Deepmind（深度思维）
我们提出了一个通用的和无模型的方法，强化学习（RL）在真正的机器人稀疏奖励。我们建立在深度确定性策略梯度（DDPG）算法使用演示。演示和实际交互都用于填充重放缓冲区，演示和转换之间的采样率通过优先级重放机制自动调整。通常，需要精心设计的成形奖励，以使智能体能够有效地探索高维控制问题，如机器人。依赖于本地求解器的基于模型的加速方法也需要它们，例如iLQG（例如，引导策略搜索和归一化优势函数）。这些演示取代了对精心设计的奖励的需求，并减少了经典RL方法在这些领域遇到的探索问题。演示是由一个机器人动觉力控制的人类演示收集。四个模拟插入任务的结果表明，DDPG从演示DDPG的表现，并不需要工程奖励。最后，我们展示了一个真正的机器人任务，包括插入一个剪辑（灵活的对象）到一个刚性的对象上的方法。
2018-10-08 cs.AI
Learning 6DoF Grasping Using Reward-Consistent Demonstration
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；LINE Corporation（LINE公司）；Faculty of Engineering, Kyoto University of Advanced Science（京都先进科学大学工学部）
随着机器人自由度的增加，机器人运动的实现变得更加复杂和困难。在这项研究中，我们专注于学习6DOF抓取运动，并考虑将抓取运动分为多个任务。我们建议结合模仿和强化学习，以促进更有效地学习所需的运动。为了收集演示数据作为模仿学习的教师数据，我们创建了一个虚拟现实（VR）界面，允许人类直观地操作机器人。此外，通过将动作划分为更简单的任务，我们简化了强化学习的奖励函数的设计，并在我们的实验中显示，学习抓握动作所需的步骤减少了。
2021-03-23 cs.LG cs.RO
Watch, Try, Learn: Meta-Learning from Demonstrations and Reward
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；Google AI Resident（谷歌AI驻场研究员）
模仿学习允许代理从演示中学习复杂的行为。然而，学习复杂的基于视觉的任务可能需要不切实际的演示次数。Meta-模仿学习是一种很有前途的方法，通过利用学习类似任务的经验，使代理从一个或几个演示中学习新任务。在存在任务模糊性或未观察到的动态时，单独的演示可能无法提供足够的信息;代理还必须尝试任务以成功地推断出策略。在这项工作中，我们提出了一种方法，可以学习学习从两个示范和试错经验与稀疏奖励反馈。与元模仿相比，这种方法使智能体能够有效地、高效地自主改进自身，超越演示数据。与元强化学习相比，我们可以扩展到更广泛的任务分布，因为演示减少了探索的负担。我们的实验表明，我们的方法显着优于以前的方法在一组具有挑战性的，基于视觉的控制任务。
2020-01-30 cs.AI cs.LG stat.ML
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG；University of Warwick（华威大学）
通过强化学习（RL）掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明，使用稀疏奖励，即只有在任务成功完成时才奖励代理，可以产生更好的策略。然而，在这种情况下，状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习，利用了高质量的人类演示来完成任务，但这些演示可能是昂贵的，耗时的，甚至不可能获得。在本文中，我们提出了一种新颖而有效的方法，不需要人类的示范。我们观察到，从被操纵对象的角度来看，每个机器人操纵任务都可以被视为涉及运动任务，即对象可以学习如何自行达到目标状态。为了利用这一想法，我们引入了一个框架，通过该框架，最初使用现实的物理模拟器获得对象运动策略。然后，该策略用于生成辅助奖励，称为模拟运动演示奖励（SLDR），使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加，并可以实现更高的成功率和更快的学习率相比，替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
Learning from Demonstrations using Signal Temporal Logic
University of Southern California（南加州大学）
从演示中学习是一种新兴的范例，通过强化学习获得有效的机器人控制策略，而不需要显式地设计奖励函数。然而，它是容易受到不完善的示范，也提出了关注的安全性和可解释性的学习控制政策。为了解决这些问题，我们使用信号时序逻辑来评估和排名演示的质量。基于时序逻辑的规范允许我们创建非马尔可夫奖励，并定义有趣的因果关系之间的依赖关系，如顺序任务规范。我们通过在离散世界和OpenAI Gym环境中的实验验证了我们的方法，并表明我们的方法优于最先进的最大因果熵逆强化学习。
2021-02-15 cs.AI cs.LG cs.RO
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research（谷歌研究院）
基于模型的强化学习（RL）之所以有吸引力，是因为（i）它能够进行规划，从而进行更具战略性的探索，（ii）通过将动态与奖励解耦，它能够快速转移到新的奖励函数。然而，在高维状态（例如，原始像素）是极具挑战性的，因为它需要函数近似，这导致复合误差。相反，为了避免复合错误，我们建议在抽象状态上学习抽象MDP：状态的低维粗略表示（例如，捕获代理位置，忽略其他对象）。我们假设可以访问一个抽象函数，该函数将具体状态映射到抽象状态。在我们的方法中，我们构建了一个抽象的MDP，它通过规划进行战略探索而发展。与分层RL方法类似，抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏（蒙特祖玛的复仇，陷阱！，和私家侦探），包括在陷阱超人的表现！没有示威。在对一个任务进行训练后，我们可以将学习到的抽象MDP重新用于新的奖励函数，从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种用于离线奖励学习的统一线性规划框架，无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数，具有可证明的样本效率和最优性保证，性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Policy Gradient from Demonstration and Curiosity
Tencent（腾讯）；Pengcheng Laboratory（鹏城实验室）
通过强化学习，智能体可以从任务的高级抽象中学习复杂的行为。然而，探索和奖励塑造对于现有方法仍然具有挑战性，特别是在外部反馈稀疏的情况下。专家演示已被调查，以解决这些困难，但大量的高质量的演示通常需要。在这项工作中，提出了一个集成的策略梯度算法，以促进探索和促进内在奖励学习，只有有限的演示。我们实现了这一点，重新制定了原来的奖励函数与两个额外的条款，其中第一项测量当前政策和专家之间的詹森-香农分歧，第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估，其中每个任务只提供一个演示轨迹，在所有任务中均表现出优越的探索效率和高的平均回报。此外，研究发现，代理人可以模仿专家的行为，同时维持高回报。
2020-06-09 cs.AI cs.LG
Enhanced Meta Reinforcement Learning using Demonstrations in Sparse Reward Environments
Texas A&M University（得克萨斯农工大学）
Meta强化学习（Meta-RL）是一种方法，其中从解决各种任务中获得的经验被提炼成元策略。元策略，当适应只有一个小的（或只有一个）步骤，是能够执行一个新的，相关的任务接近最佳。然而，采用这种方法来解决现实问题的一个主要挑战是，它们通常与稀疏奖励函数相关联，这些函数仅指示任务是部分完成还是完全完成。我们考虑的情况下，一些数据，可能产生的次优代理，可用于每个任务。然后，我们开发了一类名为增强元RL使用演示（EMRLD）的算法，利用这些信息，即使次优，以获得在训练过程中的指导。我们展示了EMRLD如何在离线数据上联合利用RL和监督学习来生成表现出单调性能改进的元策略。我们还开发了一种称为EMRLD-WS的热启动变体，对于次优演示数据特别有效。最后，我们表明，我们的EMRLD算法显着优于现有的方法在各种稀疏奖励环境，包括移动机器人。
2022-09-26 cs.LG cs.RO
Inverse Reinforcement Learning via Matching of Optimality Profiles
ETH Zürich（苏黎世联邦理工学院）
逆强化学习（IRL）的目标是推断出解释执行任务的代理的行为的奖励函数。大多数方法的假设是，所演示的行为接近最优。然而，在许多现实世界的场景中，真正最优行为的示例是稀缺的，并且期望有效地利用次优或异构性能的演示集，这些演示集更容易获得。我们提出了一种算法，学习奖励函数，从这样的演示与弱监督信号的形式分布在演示过程中收集的奖励（或更一般地说，分布在累积折扣的未来奖励）。我们认为这样的分布，我们也被称为最优配置文件，作为总结的最优程度的示范，可能，例如，反映了人类专家的意见。给定一个最优配置文件和少量的额外监督，我们的算法适合奖励函数，建模为神经网络，基本上最小化相应的诱导分布和最优配置文件之间的Wasserstein距离。我们证明了我们的方法能够学习奖励函数，使得经过训练以优化它们的策略优于用于拟合奖励函数的演示。
2020-11-19 cs.AI cs.LG
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning
The University of Texas at Austin（德克萨斯大学）；Army Research Laboratory（陆军研究实验室）
本文提出 D-Shape 方法，利用奖励塑形与目标条件化强化学习解决模仿学习与强化学习在次优演示下的目标冲突，在稀疏奖励网格世界实验中提升了样本效率并稳定收敛到最优策略。
2023-03-12 cs.AI cs.HC cs.LG
Fill in the Blanks: Accelerating Q-Learning with a Handful of Demonstrations in Sparse Reward Settings
Faculty of Engineering University of Freiburg（工程学院弗赖堡大学）
针对稀疏奖励环境下强化学习反馈不足的难题，提出利用少量成功演示初始化价值函数、再通过在线交互优化的混合方法，可降低探索负担、提升样本效率并加速收敛，效果优于标准基线。
2025-10-28 cs.LG
Overcoming Exploration in Reinforcement Learning with Demonstrations
OpenAI；University of California, Berkeley（加州大学伯克利分校）
在奖励稀疏的环境中进行探索一直是强化学习（RL）中的一个持续问题。许多任务很自然地指定稀疏的奖励，手动塑造奖励函数可能会导致次优性能。然而，随着任务范围或行动维度的增加，找到非零奖励的难度呈指数级增加。这使得许多现实世界的任务超出了RL方法的实际范围。在这项工作中，我们使用演示来克服探索问题，并成功地学习执行长视野，多步机器人任务与连续控制，如堆叠块与机器人arm.Our方法，它建立在顶部的深度确定性策略梯度和后见之明经验重放，提供了一个数量级的加速比RL的模拟机器人任务。它实现起来很简单，并且只做了一个额外的假设，即我们可以收集一小部分演示。此外，我们的方法是能够解决的任务，无论是RL或行为克隆单独解决，并最终往往优于演示政策。
2018-02-25 cs.AI cs.LG cs.NE
Inversely Learning Transferable Rewards via Abstracted States
THINC Lab, School of Computing University of Georgia（THINC实验室，计算学院，佐治亚大学）；School of Computing and Institute for AI University of Georgia（计算学院和人工智能研究所，佐治亚大学）
提出一种通过行为轨迹逆向学习抽象奖励函数的方法，并在未见过的领域实例中验证其可迁移性。
2026-05-26 cs.LG cs.RO
Reinforcement Learning with Sparse Rewards using Guidance from Offline Demonstration
Texas A&M University（得克萨斯农工大学）
现实世界中的强化学习（RL）的主要挑战是奖励反馈的稀疏性。通常，可用的是直观但稀疏的奖励函数，仅指示任务是部分完成还是全部完成。然而，缺乏精心设计的细粒度反馈意味着大多数现有的RL算法无法在合理的时间范围内学习可接受的策略。这是因为策略在获得任何有用的反馈之前必须执行大量的探索操作。在这项工作中，我们通过开发一种算法来解决这个具有挑战性的问题，该算法利用次优行为策略生成的离线演示数据，在这种稀疏奖励设置中实现更快，更有效的在线RL。所提出的算法，我们称之为学习在线离线指导（ESTA）算法，合并了一个政策改进的步骤，通过使用离线演示数据的一个额外的政策指导步骤。其关键思想是，通过从离线数据中获得指导（而不是模仿），以次优策略的方式调整其策略，同时能够学习超越并接近最优。我们提供了我们的算法的理论分析，并提供了一个下界的性能改善，在每个学习情节。我们还将我们的算法扩展到更具挑战性的不完整观测设置，其中演示数据仅包含真实状态观测的删失版本。我们证明了我们的算法优于国家的最先进的方法在一些基准环境与稀疏的奖励和审查状态。此外，我们证明了我们的方法的价值，通过实现轨迹跟踪和避障的移动机器人，在那里它表现出优异的性能。
2022-02-13 cs.AI cs.LG
Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning
研究少样本逆强化学习（FM - IRL）问题，提出多任务判别器近邻引导的IRL（MPG）方法，通过学习两个互补奖励组件，在多种有显著变化的任务上验证有效性，平均成功率达81.2%，优于基线。
2026-07-21 cs.AI cs.LG cs.RO
ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL
School of Computing University of Georgia（乔治亚大学计算学院）；School of Computing Sciences & Computer Engineering The University of Southern Mississippi（密西西比大学计算科学与计算机工程学院）
提出ConTraIRL框架，通过双编码器对比学习解耦环境动态与任务目标的潜在表示，实现组合奖励迁移，在连续控制基准上显著提升少样本迁移的样本效率和奖励恢复。
2026-09-29 cs.AI cs.LG cs.RO
Multi-Stage Manipulation with Demonstration-Augmented Reward, Policy, and World Model Learning
University of California San Diego（加州大学圣迭戈分校）；ETH Zürich, Switzerland（苏黎世联邦理工学院）
针对机器人长时域操作任务强化学习探索难、缺密集奖励的问题，提出DEMO3演示增强框架，整合多阶段奖励学习、双阶段训练与世界模型，在16项稀疏奖励任务上平均提升40%数据效率，高难任务提升70%。
2025-06-23 cs.CV cs.LG cs.RO
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示，通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Learning to Solve Tasks with Exploring Prior Behaviours
King’s College London（伦敦国王学院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Aberdeen（阿伯丁大学）；Tsinghua University（清华大学）
本文提出IRDEC方法，通过内在奖励驱动智能体探索并获取先验行为，再结合演示中的任务行为，在不增加先验行为演示的情况下解决稀疏奖励任务，并在多个导航和操作任务上优于基线。
2023-07-06 cs.AI cs.LG cs.RO
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时，社区内越来越有兴趣使用基于程序内容生成（PCG）的游戏作为基准环境，因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反，反向强化学习（IRL）可以从专家演示中推断出奖励函数，即使在高维问题上也有很好的结果，但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术，可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境，加上一些修改来稳定训练，我们证明了我们的方法DE-AIRL是演示有效的，并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境，MiniGrid和DeepCrawl，各种任务的有效性。
2020-12-04 cs.AI cs.LG
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind；Google Brain（谷歌大脑）
行为克隆（BC）对于机器人学习通常是实用的，因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而，BC并没有有效地利用我们将称为未标记体验的东西：没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成，例如人类远程操作，脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习，我们引入了离线强化模仿学习（ORIL）。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数，然后用学习到的奖励来注释所有数据，最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务，我们表明，ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Context-Hierarchy Inverse Reinforcement Learning
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）代理通过观察专家演示和学习专家的潜在奖励函数来学习智能地行动。虽然从演示中学习奖励函数在各种任务中取得了巨大的成功，但其他一些挑战大多被忽视。首先，现有的IRL方法试图从头开始学习奖励函数，而不依赖于任何先验知识。其次，传统的IRL方法假设奖励函数在所有演示中是齐次的。一些现有的IRL方法设法扩展到异构的演示。然而，他们仍然假设一个影响行为的隐藏变量，并从演示中学习潜在的隐藏变量以及奖励。为了解决这些问题，我们提出了上下文层次IRL（CHIRL），一个新的IRL算法，利用上下文扩展IRL和学习复杂行为的奖励函数。CHIRL将上下文分层建模为有向无环图;它将奖励函数表示为相应的模块化深度神经网络，该网络将每个网络模块与上下文分层结构的节点相关联。上下文层次结构和模块化的奖励表示使数据共享跨多个上下文和状态抽象，显着提高学习性能。当上下文层次表示子任务分解时，CHIRL与层次任务规划有着天然的联系。它能够将子任务的因果依赖关系的先验知识结合起来，并通过将其解耦为几个子任务并征服每个子任务来解决原始任务，使其能够解决大型复杂任务。基准任务的实验，包括在CARLA模拟器中的大规模自动驾驶任务，显示出有希望的结果，在扩大IRL的任务与复杂的奖励功能。
2022-02-25 cs.AI cs.LG
Beyond Imitation: Recovering Dense Rewards from Demonstrations
Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学）
本研究证明监督微调（SFT）与逆强化学习等价，可从SFT模型中恢复token级密集奖励，提出的Dense-Path REINFORCE方法能利用该奖励优化策略，在指令跟随基准上表现优于原始SFT模型，重新定义了SFT的价值。
2025-10-02 cs.CL cs.LG
Exploring Beyond-Demonstrator via Meta Learning-Based Reward Extrapolation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
通过模仿学习（IL）算法外推超越演示器（BD）性能的目的是从演示器中学习并随后超越演示器。为此，一种代表性的方法是利用逆强化学习（IRL）来在对学习的奖励函数执行RL之前从演示中推断奖励函数。然而，现有的大多数奖励外推方法需要大量的演示，这使得它很难应用于有限的训练数据的任务。为了解决这个问题，一个简单的解决方案是执行数据增强以人为地生成更多的训练数据，这可能导致严重的归纳偏差和策略性能损失。在本文中，我们提出了一种新的元学习为基础的奖励外推（MLRE）算法，它可以有效地近似地面实况奖励使用有限的演示。更具体地，MLRE首先从具有丰富训练数据的任务集合中学习初始奖励函数。然后，学习的奖励函数将使用目标任务的数据进行微调。大量的仿真结果表明，所提出的MLRE可以实现令人印象深刻的性能改善相比，其他类似的BDIL算法。
2022-02-23 cs.AI cs.LG
Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；JD Explore Academy（京东探索学院）
Dream2Reward从正演示学习成功潜在转换场，通过转换级比较生成密集因果奖励，可提升机器人操纵的成功-失败区分度与下游策略性能。
2026-08-20 cs.RO
Exploiting Multiple Abstractions in Episodic RL via Reward Shaping
University of Oxford（牛津大学）；Banca d’Italia（意大利银行）
针对强化学习样本需求大的问题，提出基于MDP抽象层级的奖励塑造方法，利用抽象解指导复杂领域学习，设计要求低且容忍误差，保证最优收敛并经实验验证有效。
2023-08-04 cs.AI cs.LG
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
模仿学习的目标是通过演示模仿专家的行为，而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习（IRL）推断（未知）奖励函数，然后通过强化学习（RL）最大化该奖励函数。然而，通过这些方法学习的策略在实践中非常脆弱，即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时（植入），一个新的元算法模仿学习，利用决策时规划，以纠正任何基础模仿政策的复合错误。与现有方法相比，我们在决策时保留了模仿策略和奖励模型，从而受益于这两个组件的学习信号。从经验上讲，我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时，受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Dense Dynamics-Aware Reward Synthesis: Integrating Prior Experience with Demonstrations
University of Texas at Austin, USA（德克萨斯大学奥斯汀分校）；University of Washington, USA（华盛顿大学）
本文提出一种系统化的奖励塑造框架，结合先验数据集和少量专家演示，生成密集动态感知奖励，加速连续控制任务的学习。
2025-04-24 cs.LG
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种通过深度强化学习训练人机交互控制策略的方法，例如握手或拍手。该策略控制一个人形的影子灵巧手，连接到一个机器人arm.We提出了一个参数化的多目标奖励函数，允许学习的各种互动，而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计，以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用：握手，拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策，并进行了大规模的用户研究，表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University（圣劳伦斯大学）
演示是一种很有吸引力的方式，人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中，人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人，受益于这种人类启发的方式演示。在这个框架中，智能体通过观察建立因果模型，并从这些知识中推理，以分解任务，实现有效的强化学习。实验结果表明，从演示推理（RfD）的基本实现是有效的，在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
A Single Goal is All You Need: Skills and Exploration Emerge from Contrastive RL without Rewards, Demonstrations, or Subgoals
Princeton University（普林斯顿大学）
该研究提出一种仅需单一目标观测的对比强化学习方法，无需奖励、演示或子目标，就能在成功完成任务前涌现出技能与定向探索，实现简单且无需额外超参数，但其有效机制尚缺乏清晰理论解释。
2024-08-11 cs.AI cs.LG
Bayesian Q-learning With Imperfect Expert Demonstrations
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；DeepMind（深度思维）；Samsung（三星电子）
通过专家演示进行引导探索可以提高强化学习的数据效率，但目前的算法往往过度使用专家信息。我们提出了一种新的算法，以加快Q学习的帮助下，数量有限的不完美的专家演示。该算法通过放松最优专家假设和逐步减少无信息专家数据的使用，避免了对专家数据的过度依赖。在实验中，我们评估我们的方法在稀疏奖励链环境和六个更复杂的Atari游戏延迟奖励。利用所提出的方法，我们可以实现比从演示中进行深度Q-示教学习更好的结果（Hester等人，2017年，在大多数环境中。
2022-10-01 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；DeepMind（深度思维）
我们研究了强化学习（RL）与无奖励演示，在这种设置中，RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而，它无法获得这些代理人的奖励或目标，他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见，例如自动驾驶。为了有效地使用这些数据，我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习（IRL）算法，称为\emph{inverse temporal difference learning}（ITD），学习共享的状态特征，以及每个代理的后继特征和偏好向量，纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成，并通过演示实现了一种新的强化学习算法，称为$ΨΦ$ -学习（发音为“Sci-Fi”）。我们提供的$ΨΦ$学习的有效性的实证证据，作为一种方法，提高RL，IRL，模仿，和Few-Shot转移，并推导出最坏情况下的界限，其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献，但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致，并且在没有先验知识或补充信息的情况下，实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL（BO-IRL），确定多个解决方案是一致的专家演示，有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点，该内核（a）将策略不变奖励函数的参数投影到潜在空间中的单个点，以及（b）确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境（无模型和基于模型）上的实证结果表明，BO-IRL发现了多个奖励函数，同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
Kernel Density Bayesian Inverse Reinforcement Learning
Stanford University（斯坦福大学）；University of North Carolina（北卡罗来纳大学）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Flatiron Institute（Flatiron研究所）；Gladstone Institutes（Gladstone研究所）
本文提出核密度贝叶斯逆强化学习（KD-BIRL），利用训练任务的已知奖励函数改进似然估计，以在专家演示有限时更快地推断新任务奖励函数，并首次给出贝叶斯IRL后验收敛的理论保证。
2025-07-03 cs.AI cs.LG
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
