Reward Learning from Suboptimal Demonstrations with Applications in Surgical Electrocautery
本文提出一种从有限且包含部分视角点云的排序次优演示中学习鲁棒奖励函数的样本高效方法,并通过强化学习优化该函数以学习策略,在外科电灼术任务中表现优于纯模仿学习。
2024-04-16 cs.AI cs.LG cs.RO
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley(加州大学伯克利分校);University of Utah(犹他大学)
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的,这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而,先前的RL演示算法引入了显着的复杂性和许多超参数,使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论(MCAC),一个参数的自由修改标准演员评论家算法,它将重放缓冲区的演示和计算修改后的$Q$值,通过采取最大的标准时间距离(TD)的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明,MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料,请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
APC-RL: Exceeding Data-Driven Behavior Priors with Adaptive Policy Composition
Department of Computer Science Örebro University(计算机科学系 Örebro大学)
APC-RL通过自适应策略组合方法,有效整合稀疏、次优或不一致的演示数据,提升强化学习的效率与鲁棒性。
2026-01-27 cs.AI cs.LG
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对模仿学习中次优异构演示数据利用难的问题,提出无需演示者专业度先验的IRLEED框架,结合次优性模型与最大熵IRL改进算法,经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
University of Texas at Austin(德克萨斯大学奥斯汀分校);Preferred Networks(首选网络)
现有的逆强化学习(IRL)方法的一个关键缺陷是它们无法显著优于演示器。这是因为IRL通常会寻求一个奖励函数,使演示者看起来接近最优,而不是推断演示者的潜在意图,这些意图在实践中可能执行得很差。在本文中,我们介绍了一种新的奖励学习从观察算法,轨迹排名奖励EXTRAPOLATION(T-REX),外推超出一组(近似)排名的演示,以推断高质量的奖励功能,从一组潜在的穷人的演示。当与深度强化学习相结合时,T-REX在多个Atari和MuJoCo基准测试任务上的表现优于最先进的模仿学习和IRL方法,并实现了通常是最佳演示性能两倍以上的性能。我们还证明了T-REX对排名噪声具有鲁棒性,并且可以通过简单地观察学习者随着时间的推移在任务中的嘈杂改进来准确地推断意图。
2019-07-09 cs.LG stat.ML
Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University(圣劳伦斯大学)
演示是一种很有吸引力的方式,人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中,人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人,受益于这种人类启发的方式演示。在这个框架中,智能体通过观察建立因果模型,并从这些知识中推理,以分解任务,实现有效的强化学习。实验结果表明,从演示推理(RfD)的基本实现是有效的,在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway(高威大学)
针对多目标强化学习中偏好多样且策略从零训练困难的问题,提出 DG-MORL,利用示范、角点权重对齐和自进化机制提升性能,并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Reinforcement Learning from Imperfect Demonstrations
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
强大的现实世界学习应该受益于演示和与环境的互动。当前从演示和奖励中学习的方法对专家演示数据执行监督学习,并使用强化学习来基于从环境接收的奖励进一步提高性能。这些任务具有难以共同优化的发散损失,并且这种方法可能对噪声演示非常敏感。我们提出了一个统一的强化学习算法,归一化的演员-评论家(NAC),有效地规范化的Q函数,减少Q值的动作中看不见的演示数据。NAC从演示中学习初始策略网络,并在环境中改进策略,超越演示者的性能。至关重要的是,从演示示教学习和交互式改进使用相同的目标,不像以前的方法,结合不同的监督和强化损失。这使得NAC对次优演示数据具有鲁棒性,因为该方法不需要模仿数据集中的所有示例。我们证明了我们的统一强化学习算法可以鲁棒地学习,并在几个现实的驾驶游戏中进行评估时优于现有的基线。
2019-05-30 cs.AI cs.LG stat.ML
Sample-Efficient Multi-Agent Reinforcement Learning with Demonstrations for Flocking Control
Tsinghua University(清华大学)
群集控制是多智能体系统中的一个重要问题,它可以提高智能体之间的协作性和安全性,如多智能体无人机和多智能体水下航行器等。与传统方法相比,多智能体强化学习(MARL)更灵活地解决了群集控制问题。然而,基于MARL的方法存在样本效率低下的问题,因为它们需要从代理与环境之间的交互中收集大量的经验。我们提出了一种新的方法预训练与示范MARL(PwD-MARL),它可以利用非专家的示范收集预先与传统的方法来预训练代理。在预训练过程中,智能体同时从MARL和行为克隆的示范中学习策略,并防止过度拟合示范。PwD-MARL通过非专家演示进行预训练,提高了在线MARL过程中的样本效率,具有良好的启动效果。实验表明,即使在演示不好或很少的情况下,PwD-MARL也能提高集群控制问题的样本效率和策略性能。
2022-09-17 cs.AI cs.LG cs.MA
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University(清华大学)
由于需要较少的在线仿真数据,因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程,另一些人通过模仿专家演示来预训练策略。然而,这些方法是不稳定的,不适合演员-评论家强化学习算法。此外,一些现有的方法依赖于全局最优假设,这在大多数情况下是不正确的。在本文中,我们采用专家示范的行动者-批评强化学习框架,同时确保性能不受影响的事实,专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法,预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER,实验结果表明,该方法不仅比没有预训练过程的RL算法性能更好,而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning
The University of Texas at Austin(德克萨斯大学);Army Research Laboratory(陆军研究实验室)
本文提出 D-Shape 方法,利用奖励塑形与目标条件化强化学习解决模仿学习与强化学习在次优演示下的目标冲突,在稀疏奖励网格世界实验中提升了样本效率并稳定收敛到最优策略。
2023-03-12 cs.AI cs.HC cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
CEIP: Combining Explicit and Implicit Priors for Reinforcement Learning with Demonstrations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然强化学习在密集奖励环境中得到了广泛的应用,但用稀疏奖励训练自主智能体仍然具有挑战性。为了解决这个困难,以前的工作已经显示出有希望的结果时,不仅使用特定于任务的演示,但任务不可知的,虽然有些相关的演示。在大多数情况下,可用的演示被提炼成一个隐含的先验,通常通过一个单一的深网表示。可以查询的数据库形式的显式先验也显示出令人鼓舞的结果。为了更好地从现有的演示中受益,我们开发了一种方法来结合显式和隐式先验(CEIP)。CEIP利用多个隐式先验以并行的标准化流的形式形成单个复杂先验。此外,CEIP使用了一个有效的显式检索和前推机制,以条件的隐式先验知识。在三个具有挑战性的环境中,我们发现所提出的CEIP方法,以改善先进的技术。
2022-10-21 cs.AI cs.LG
ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations
University of California, Berkeley(加州大学伯克利分校)
示教学习是加速和减少强化学习探索需求的流行工具。当向人类学生提供专家演示时,我们知道演示必须在称为“近端发展区(ZPD)”的特定难度范围内。如果它们太容易,学生什么也学不到,但如果它们太难,学生无法跟上。这就提出了一个问题:给定一组潜在的示范者,其中哪一个最适合教授任何特定的学习者?先前的工作,例如流行的Deep Q-从演示示教学习(DQfD)算法,通常集中在单个演示器上。在这项工作中,我们考虑的问题中选择不同技能水平的多个示威者。我们的研究结果与人类学习者的直觉一致:从表现最好的演示者那里(就奖励而言)进行演示并不总是最好的策略。我们表明,仔细选择教学策略可以导致样本效率增益在学习者的环境中,在九个雅达利游戏
2019-10-26 cs.AI cs.LG
Pruning the Path to Optimal Care: Identifying Systematically Suboptimal Medical Decision-Making with Inverse Reinforcement Learning
Harvard University(哈佛大学)
本研究提出一种基于逆强化学习的框架,通过两阶段IRL和轨迹修剪,从ICU观察数据中识别次优临床决策,并发现移除次优行动的效果因疾病和人口群体而异。
2024-11-07 cs.LG q-bio.QM stat.AP
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Skill-Enhanced Reinforcement Learning Acceleration from Heterogeneous Demonstrations
School of Computer Science, Carleton University, Ottawa, Canada(计算机科学学院,卡尔顿大学,加拿大);Canada CIFAR AI Chair, Amii, Canada(加拿大 CIFAR 人工智能主席,Amii,加拿大)
针对专家演示数据不足限制强化学习加速效果的问题,提出两阶段SeRLA方法,通过技能级对抗PU学习从异质演示提取先验,结合技能型软演员-评论家算法与数据增强,在基准测试中实现更优的RL加速效果,尤其在训练早期优势明显。
2025-08-30 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Self-Imitation Learning from Demonstrations
JetBrains Research(JetBrains研究院)
尽管强化学习(RL)取得了许多突破,但解决具有稀疏奖励的环境仍然是一项具有挑战性的任务,需要进行复杂的探索。示教学习(LfD)通过引导智能体对专家所经历的状态的探索来解决这个问题。当然,这种方法的好处取决于演示的质量,而演示在现实场景中很少是最佳的。现代LfD算法需要对控制演示影响的超参数进行细致的调整,正如我们在论文中所展示的那样,努力从次优演示中学习。为了解决这些问题,我们扩展自模仿学习(SIL),最近的RL算法,利用代理的过去的良好经验,LfD设置通过初始化其重放缓冲区的演示。我们将我们的算法表示为来自演示的SIL(SILfD)。我们的经验表明,SILfD可以从嘈杂或远离最佳的演示中学习,并且可以在整个训练过程中自动调整演示的影响,而无需额外的超参数或手工制作的时间表。我们还发现SILfD优于现有的国家的最先进的LfD算法在稀疏环境中,特别是当示威是高度次优。
2022-03-21 cs.LG
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations
Artificial Intelligence Research Institute FRC CSC RAS(俄罗斯科学院计算机科学与控制研究中心人工智能研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Higher School of Economics(高等经济学院);Moscow Aviation Institute(莫斯科航空学院)
目前,深度强化学习(RL)在复杂的游戏和机器人环境中显示出令人印象深刻的结果。通常,这些结果是以巨大的计算成本为代价实现的,并且需要代理与环境之间的交互事件的数量令人难以置信。提高强化学习方法的样本效率主要有两种途径--使用分层方法和专家演示。在本文中,我们提出了这些方法的组合,允许代理使用低质量的演示在复杂的基于视觉的环境中有多个相关的目标。我们的健忘经验重放(Forger)算法有效地处理专家数据中的错误,并减少质量损失时,适应动作空间和状态表示代理的能力。我们提出的面向目标的重放缓冲区结构允许代理自动突出子目标,以解决复杂的分层任务的演示。我们的方法是通用的,可以集成到各种非政策的方法。它超越了所有已知的现有最先进的强化学习方法,在各种模型环境中使用专家演示。基于我们算法的解决方案击败了著名的MineRL竞赛的所有解决方案,并允许代理在Minecraft环境中开采钻石。
2020-06-17 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
Jilin University(吉林大学)
该研究针对离线强化学习中生成模型计算成本高、无法有效利用次优轨迹的问题,提出MeanFlow2Better模型,通过单步流映射优化决策,在D4RL基准上取得优异性能。
2026-10-14 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习(RL)的方法为手术自动化提供了可扩展的解决方案,但是如果没有给出先验知识,则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战,可以通过向RL代理提供专家演示来缓解。然而,如何有效地利用示范数据,提高勘探效率仍然是一个开放的挑战。在这项工作中,我们引入演示引导探索(DEX),一个有效的强化学习算法,旨在克服探索问题的专家演示手术自动化。为了有效地利用演示,我们的方法估计具有更高值的专家行为,以促进富有成效的交互,并采用非参数回归,以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL,一个全面的手术模拟平台,证明显着提高探索效率和任务成功率的方法。此外,我们还将学习到的策略部署到达芬奇研究工具包(dVRK)平台上,以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
On Pathologies in KL-Regularized Reinforcement Learning from Expert Demonstrations
University of Oxford(牛津大学)
来自专家演示的KL正则化强化学习已被证明成功地提高了深度强化学习算法的样本效率,使其能够应用于具有挑战性的物理现实任务。然而,我们发现,KL正则化强化学习与来自专家演示的行为参考策略可能会受到病态的训练动态,这可能导致缓慢,不稳定和次优的在线学习。我们的经验表明,病理发生通常选择的行为政策类,并证明其对样本效率和在线政策性能的影响。最后,我们证明了病理可以通过非参数行为参考策略来补救,这使得KL正则化强化学习在各种具有挑战性的运动和灵巧手操作任务上显着优于最先进的方法。
2022-12-28 cs.AI cs.LG stat.ME
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Tsinghua University(清华大学)
本文提出基于价值的强化学习算法ARSQ,通过由粗到细的自回归方式建模Q值,有效利用次优演示与在线数据进行连续控制,在D4RL和RLBench上显著超越基线。
2025-05-29 cs.LG cs.RO
GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback
Honda Research Institute Japan Co., Ltd(本田日本研究所);College of Information Science and Engineering, Ocean University of China(中国海洋大学信息科学与工程学院)
深度强化学习(Deep Reinforcement Learning,DRL)在许多模拟任务中取得了巨大的成功。样本效率低的问题使得传统的DRL方法应用于现实世界的机器人是一个巨大的挑战。生成对抗模仿学习(GAIL)--一种通用的无模型模仿学习方法,允许机器人在大环境中直接从专家轨迹中学习策略。然而,GAIL共享其他模仿学习方法的局限性,他们很少能超过演示的性能。本文针对GAIL的局限性,结合GAIL和交互式强化学习的优点,提出了基于GAN的交互式强化学习(GAIRL)。我们在六个基于物理的控制任务中测试了我们提出的方法,从简单的低维控制任务--推车杆和山地车,到困难的高维任务--倒立双摆、月球着陆器、料斗和半猎豹。我们的研究结果表明,无论是最优还是次优的演示,GAIRL智能体总是可以学习一个更稳定的政策与最佳或接近最优的性能,而GAIL智能体的性能是上界的演示的性能,甚至比它更差。此外,我们的研究结果表明,GAIRL优于GAIL的原因是演示和人类的评价反馈的互补效应。
2021-04-14 cs.AI cs.LG cs.RO
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(剑桥大学应用数学与理论物理系)
针对现有LLM对齐方法面临的标签噪声和高成本问题,提出基于逆向强化学习的从示范中对齐(AfD)方法,通过散度最小化目标与高效算法,在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations
Meta AI;University of California San Diego(加利福尼亚大学圣迭戈分校)
低样本效率仍然是部署深度强化学习(RL)算法用于现实世界应用的主要挑战,特别是用于视觉运动控制。基于模型的强化学习有可能通过同时学习世界模型并使用综合部署进行规划和政策改进来实现高样本效率。然而,在实践中,基于模型的RL的样本有效学习受到探索挑战的挑战。在这项工作中,我们发现,利用少量的演示可以显着提高基于模型的RL的样本效率。然而,仅仅将演示附加到交互数据集是不够的。我们确定了在模型学习中利用演示的关键因素-策略预训练,有针对性的探索和演示数据的过采样-这构成了我们基于模型的RL框架的三个阶段。我们经验性地研究了三个复杂的视觉运动控制领域,发现我们的方法在完成稀疏奖励任务方面比以前的方法在低数据范围内(100 K交互步骤,5个演示)更成功150%-250%。代码和视频可在https://nicklashansen.github.io/modemrl上获得
2022-12-12 cs.AI cs.LG cs.RO
Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance
Tsinghua University(清华大学)
在本文中,我们研究的强化学习从演示(RLfD),提高了探索效率的强化学习(RL),通过提供专家演示。大多数现有的RLfD方法要求演示是完美和充分的,这在实践中是不现实的。为了进行不完美的演示,我们首先以正式的方式定义了RLfD的不完美专家设置,然后指出以前的方法分别在最优性和收敛性方面存在两个问题。在我们已经得出的理论研究结果,我们解决这两个问题,把专家的指导作为一个软约束,规范的代理人的政策探索,这最终导致一个约束优化问题。我们进一步证明,这样的问题是能够有效地解决通过执行其对偶形式的局部线性搜索。相当多的经验评估的一个全面收集的基准表明,我们的方法实现了一致的改善,比其他RLfD同行。
2019-11-23 cs.AI cs.LG cs.RO
Retaining Suboptimal Actions to Follow Shifting Optima in Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(乌山国立科学与技术研究院(UNIST))
本文提出S2Q算法,通过学习多个子价值函数来保留替代的高价值动作,以解决多智能体强化学习中适应值函数变化时的最优解移动问题,实验表明其在多智能体强化学习基准上表现优异。
2026-05-20 cs.AI
Reinforcement Learning with Supervision from Noisy Demonstrations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
强化学习在各种应用中取得了巨大的成功。为了学习一个有效的策略的代理,它通常需要大量的数据,通过与环境的交互,这可能是计算成本高,耗时。为了克服这一挑战,提出了一种基于专家演示的强化学习(RLED)框架。虽然RLED方法可以减少学习迭代的次数,但它们通常假设演示是完美的,因此在实际应用中可能会受到噪声演示的严重误导。在本文中,我们提出了一个新的框架,自适应学习的政策,共同与环境的互动,并利用专家的示范。具体来说,对于演示轨迹的每一步,我们形成一个实例,并定义一个联合损失函数,同时最大化预期奖励和最小化代理行为和演示之间的差异。最重要的是,通过计算价值函数的期望增益,我们为每个实例分配一个权重来估计其潜在的效用,从而可以强调更有帮助的演示,同时过滤掉噪音。在不同环境下使用多种流行的强化学习算法的实验结果表明,该方法可以在有噪声的情况下鲁棒地学习,并在更少的迭代次数下获得更高的性能。
2020-06-14 cs.LG stat.ML
Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University(清华大学);University of Science & Technology Beijing(北京科技大学)
由于现有的强化学习算法需要大量的计算能力用于在线仿真,因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力,特别是对于基于值的方法,仍然是一个重大挑战。在本文中,我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发,因为软Q学习是一种基于值的算法,相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估,这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明,我们的方法可以有效地从不完美的演示中学习,并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Improving Interactive Reinforcement Agent Planning with Human Demonstration
Ocean University of China(中国海洋大学);Honda Research Institute Japan Co. Ltd.(本田日本研究院有限公司)
TAMER已被证明是一种强大的交互式强化学习方法,允许普通人通过提供评估反馈来教授和个性化自主智能体的行为。然而,一个TAMER代理规划与UCT-一个蒙特卡罗树搜索策略,只能更新沿其路径的状态,并可能导致高的学习成本,特别是对于一个物理机器人。在本文中,我们提出了驱动代理的探索沿着最佳路径,并通过初始化代理的奖励函数,通过反向强化学习示教学习,以减少学习成本。我们测试我们提出的方法在强化学习基准域-网格世界-与不同的折扣人类奖励。研究结果表明,示教学习可以使TAMER智能体在最深搜索时学习到一个大致最优的策略,并鼓励智能体沿着最优路径探索;此外,我们还发现,示教学习可以通过减少总反馈、减少不正确动作的数量和增加获得最优策略的正确动作的比例来提高学习效率,从而让TAMER代理更快地收敛。
2019-04-18 cs.AI cs.HC cs.LG
In-Context Reinforcement Learning From Suboptimal Historical Data
Department of Electrical and Computer Engineering, Duke University, Durham, US(电气与计算机工程系,杜克大学,达勒姆,美国);Department of Biostatistics and Bioinformatics, Duke University, Durham, US(生物统计学与生物信息学系,杜克大学,达勒姆,美国);Department of Statistics and Data Science, Yale University, New Haven, US(统计学与数据科学系,耶鲁大学,新 Haven,美国)
DIT框架通过结合价值函数估计和加权最大似然估计,有效提升在次优历史数据下的强化学习性能。
2026-01-27 cs.LG
LEED: A Highly Efficient and Scalable LLM-Empowered Expert Demonstrations Framework for Multi-Agent Reinforcement Learning
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所);College of International Education, Hebei University of Economics and Business(河北经贸大学国际教育学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Institute for Imaging, Data and Communications, University of Edinburgh(爱丁堡大学成像、数据与通讯研究所);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
LEED框架通过大语言模型生成专家演示,并结合去中心化策略优化,有效缓解多智能体强化学习中的协调与可扩展性瓶颈,显著提升样本效率、时间效率和可扩展性。
2025-09-18 cs.LG cs.MA
Pre-training Neural Networks with Human Demonstrations for Deep Reinforcement Learning
Washington State University(华盛顿州立大学)
深度强化学习(deep RL)通过使用深度神经网络作为其函数逼近器并直接从原始图像学习,在复杂的顺序任务中实现了卓越的性能。使用原始图像的一个缺点是,除了学习策略之外,深度RL还必须从原始图像中学习状态特征表示。因此,深度RL可能需要大量的训练时间和数据才能达到合理的性能,这使得在现实世界的应用中很难使用深度RL,特别是当数据昂贵时。在这项工作中,我们通过解决深度RL试图解决的一半问题来加快训练速度-学习特征。我们的方法是通过使用一小部分人类演示,通过监督学习预训练深度RL网络的隐藏层来学习一些重要特征。我们使用深度Q网络(DQN)和异步优势演员-评论家(A3 C)算法对Atari 2600游戏Pong,Freeway和Beamrider进行经验评估。我们的研究结果表明:1)以监督学习方式使用人类演示进行预训练,相对于DQN中的原始预训练而言,在发现特征方面更好,以及2)使用预训练模型初始化深度RL网络,即使在从少量人类演示进行预训练时,也能显著改善训练时间。
2019-04-06 cs.AI cs.LG
Opportunistic Episodic Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出并研究机会主义强化学习-一个新的变种强化学习问题的遗憾选择一个次优的行动变化下的外部环境条件称为变化因素。当变异因子较低时,选择次优行为的后悔也较低,反之亦然。我们的直觉是,当变异系数高时,我们应该更多地开发,当变异系数低时,我们应该更多地开发。我们证明了这种新的框架有限的地平线情节MDP的设计和评估OppUCRL 2和OppPSRL算法的好处。我们的算法通过引入变异因子依赖的乐观来指导探索,动态地平衡了强化学习的探索-利用权衡。我们建立了OppUCRL 2算法的$\tilde{O}(HS \sqrt{AT})$遗憾界,并通过仿真证明了OppUCRL 2和OppPSRL算法的性能都优于它们原来的相应算法.
2022-10-24 cs.AI cs.LG
Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations
Department of Statistics(统计系);Warwick Manufacturing Group University of Warwick(沃里克大学沃里克制造集团)
提出SPReD框架,通过集成方法量化不确定性,在少示范强化学习中实现连续且与不确定性成正比的模仿正则化,显著降低梯度方差并在复杂机器人任务中取得最高14倍的性能提升。
2025-10-31 cs.AI cs.LG cs.RO
Generalizing Beyond Suboptimality: Offline Reinforcement Learning Learns Effective Scheduling through Random Solutions
Eindhoven University of Technology(埃因霍温理工大学)
提出离线RL算法CDQAC,从次优静态数据集学习调度策略,在JSP/FJSP上超越在线RL和强启发式方法,仅需1-5%数据,发现状态-动作覆盖比轨迹质量更重要。
2026-09-21 cs.AI cs.LG
Sample Efficient Reinforcement Learning through Learning from Demonstrations in Minecraft
University of Applied Sciences Northwestern Switzerland(瑞士西北应用科学大学)
深度强化学习方法的样本效率低下是其在现实世界应用中使用的主要障碍。在这项工作中,我们展示了人类演示如何提高Minecraft小游戏ObtainDiamond上代理的最终性能,只有8M帧的环境交互。我们提出了一个训练过程,其中政策网络首先在人类数据上进行训练,然后通过强化学习进行微调。使用策略利用机制,经验重放和对灾难性遗忘的额外损失,我们最好的代理能够实现平均得分48。我们提出的解决方案在NeurIPS MineRL样本高效强化学习竞赛中排名第三。
2020-03-12 cs.LG stat.ML
Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations
ETH Zurich(苏黎世联邦理工学院)
我们考虑大规模的马尔可夫决策过程与未知的成本函数和解决的问题,从一组有限的专家演示学习的政策。我们假设学习者不允许与专家进行交互,并且无法获得任何形式的强化信号。现有的逆强化学习方法具有很强的理论保证,但计算成本很高,而最先进的策略优化算法取得了显著的经验成功,但受到有限的理论理解的阻碍。为了弥合理论和实践之间的差距,我们引入了一个新的双线性鞍点框架,利用拉格朗日对偶。提出的原始-对偶观点使我们能够通过随机凸优化的镜头开发一个无模型的可证明有效的算法。该方法具有实现简单、内存需求低、计算和采样复杂度与状态数无关等优点。我们进一步提出了一个等效的无悔在线学习的解释。
2021-12-28 cs.AI cs.LG math.OC
Pre-training with Non-expert Human Demonstration for Deep Reinforcement Learning
Washington State University(华盛顿州立大学)
深度强化学习(deep RL)通过使用深度神经网络作为函数逼近器直接从原始输入图像学习,在复杂的顺序任务中取得了卓越的性能。然而,直接从原始图像中学习是数据效率低下的。除了学习策略之外,代理还必须学习复杂状态的特征表示。因此,深度强化学习通常学习速度较慢,并且通常需要大量的训练时间和数据才能达到合理的性能,这使得它不适用于数据昂贵的现实环境。在这项工作中,我们通过解决两个学习目标之一,即特征学习,来提高深度RL的数据效率。我们利用监督学习对一小组非专家的人类演示进行预训练,并在Atari域中使用异步优势演员-评论家算法(A3 C)对我们的方法进行经验评估。我们的研究结果表明,学习速度显着提高,即使当提供的演示是嘈杂和低质量的。
2018-12-21 cs.AI cs.LG stat.ML
Receding Horizon Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)试图推断一个成本函数,解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习(RHIRL),一个新的IRL算法的高维,噪声,连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战:可伸缩性和健壮性。为了处理高维连续系统,RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本,从而避免了“维数灾难”。这与早期的算法形成鲜明对比,早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性,RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明,RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
A Demonstration of Issues with Value-Based Multiobjective Reinforcement Learning Under Stochastic State Transitions
Federation University Australia(澳大利亚联邦大学);Deakin University(迪肯大学)
我们报告了一个以前未识别的问题,无模型,基于值的方法,多目标强化学习的环境中的随机状态转换。一个例子多目标马尔可夫决策过程(MOMDP)是用来证明,在这种条件下,这些方法可能无法发现的政策,最大化的标量预期收益,实际上可能会收敛到帕累托主导的解决方案。我们讨论了几种替代方法,这可能是更适合于最大化SER MOMDPs随机过渡。
2020-04-14 cs.LG cs.MA stat.ML
Lifelong Inverse Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
用于从示范示教学习(LfD)中学习的方法已经显示出通过模仿用户来获取行为策略的成功。然而,即使对于单个任务,LfD也可能需要多次演示。对于必须通过演示学习许多任务的多功能代理,如果每个任务都是孤立学习的,则该过程将大大增加用户的负担。为了应对这一挑战,我们引入了终身示教学习的新问题,它允许代理不断建立在从以前演示的任务中学到的知识,以加速学习新的任务,减少所需的演示量。作为这个问题的一个解决方案,我们提出了第一个终身学习的方法来逆强化学习,通过演示学习连续的任务,不断地在任务之间转移知识,以提高性能。
2022-07-01 cs.LG
Demonstration-Guided Continual Reinforcement Learning in Dynamic Environments
School of Computer Science, University of Galway(Galway大学计算机科学学院)
本研究提出演示引导持续强化学习(DGCRL),通过外部演示库指导智能体探索与适应,提升动态环境中的学习效率和知识迁移能力。
2025-12-21 cs.LG
Accelerating Reinforcement Learning with Suboptimal Guidance
SINTEF Digital(挪威科技工业研究院数字分院);Norwegian University of Science and Technology(挪威科技大学)
在具有稀疏奖励的域中的强化学习是一个困难的问题,并且训练过程的很大一部分通常花费在以或多或少随机的方式搜索状态空间以寻找任何学习信号。对于控制问题,我们经常有一些现成的控制器,它们可能是次优的,但在某种程度上解决了问题。该控制器可以用于引导学习控制器的初始探索阶段朝向奖励产生状态,从而减少可行策略的细化可以被发起之前的时间。在我们的工作中,该代理被引导通过辅助行为克隆损失,这是有条件的Q-过滤器,即它只适用于批评家认为指导控制器比代理更好的情况。Q过滤器提供了一种自然的方式来调整整个训练过程中的指导,允许代理以适应手头任务和指导控制器熟练程度的方式超过指导控制器。本文的贡献在于确定在以前提出的实现的Q滤波器的概念的缺点,并提出了一些方法,可以减轻这些问题。这些修改在OpenAI Gym Fetch环境中进行了测试,在所有测试的机器人环境中显示出自适应性的明显改善和性能的提高。
2019-11-21 cs.AI cs.LG cs.RO
Learning from Ambiguous Demonstrations with Self-Explanation Guided Reinforcement Learning
Arizona State University(亚利桑那州立大学)
针对模糊示范阻碍强化学习的问题,提出SERLfD框架,利用智能体自我解释识别高层关系特征以指导学习,提升训练稳定性与性能。
2024-02-07 cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
我们研究了教学的样本复杂性,在文献中被称为“教学维度”(TDim),为教学的强化范式,教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同,在这种范式中,教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置,演示是不方便的,但还没有被系统地研究。在本文中,我们专注于一个特定的家庭的强化学习算法,Q-学习,并在不同的教师与不同的控制权的环境下的TDim的特点,并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量,我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中,有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出RFCL方法,通过逐示范反向课程生成初始策略以克服稀疏奖励探索困难,再用前向课程扩展到完整初始状态分布,显著提升示范与样本效率,并解决此前无法完成的高精度控制任务。
2024-05-06 cs.AI cs.LG cs.RO
Minimizing Human Assistance: Augmenting a Single Demonstration for Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
在强化学习中使用人类演示已被证明可以显着提高代理性能。然而,任何人工“教导”模型的要求都与强化学习的目标有些对立。本文试图通过使用一个简单易用的虚拟现实模拟收集的单个人的例子来帮助RL训练,以尽量减少人类参与学习过程,同时保留性能优势。我们的方法增加了一个单一的演示,以生成许多类似人类的演示,当与深度确定性策略梯度和事后经验重演(DDPG + HER)相结合时,显着提高了简单任务的训练时间,并允许代理解决DDPG + HER单独无法解决的复杂任务(块堆叠)。该模型使用单个人类示例实现了这一显著的训练优势,需要不到一分钟的人工输入。此外,尽管从人类的例子中学习,智能体并不局限于人类水平的表现,往往学习的政策是显着不同的人类示范。
2023-03-19 cs.LG cs.RO