Improving Experience Replay with Successor Representation
University of California San Diego(加州大学圣迭戈分校)
优先经验重放是一种强化学习技术,智能体通过重放有用的过去经验来加速学习。这种有用性被量化为重放经验的预期增益,这个量通常近似为预测误差(TD误差)。然而,神经科学的最新研究表明,在生物有机体中,重放的优先级不仅取决于收益,而且取决于“需要”--一个衡量每一次经历与当前情况的预期相关性的数量。重要的是,这个术语目前在诸如优先经验重放之类的算法中没有被考虑。在本文中,我们提出了一种新的方法,优先考虑重播的经验,同时考虑增益和需要。我们提出的算法在基准测试中表现出显着的性能提高,包括Dyna-Q迷宫和Atari游戏的选择。
2022-02-16 cs.AI cs.LG cs.RO
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich(慕尼黑技术大学);University St. Gallen(圣加尔LEN大学)
本文提出ReaPER,通过引入时间差误差可靠性度量,改进优先经验回放,实现更高效的强化学习
2025-12-15 cs.LG stat.ML
A Deeper Look at Experience Replay
University of Alberta(阿尔伯塔大学)
近年来,经验重放被广泛应用于各种深度强化学习(RL)算法中,本文对经验重放的效用进行了重新思考。它引入了一个新的超参数,内存缓冲区大小,需要仔细调优。然而,不幸的是,这个新的超参数的重要性在很长一段时间内被低估了。本文对不同功能表征下的经验再现进行了系统的实证研究。我们展示了一个大的重放缓冲区可以显着损害性能。此外,我们提出了一个简单的O(1)的方法来弥补一个大的重放缓冲区的负面影响。我们展示了它的实用程序在简单的网格世界和具有挑战性的领域,如雅达利游戏。
2018-04-30 cs.AI cs.LG
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg(奥格斯堡大学)
许多深度强化学习算法的一个重要组成部分是经验重放,它作为存储机制或记忆的经验。这些经验用于训练,并帮助智能体稳定地找到通过问题空间的完美轨迹。然而,经典的经验重放只使用它实际产生的经验,但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法,在不确定的离散环境中创建合成的经验,以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估,我们表明它可以支持智能体更快地学习,甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构,用于大规模的深度强化学习,使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合:行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互,并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放,只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平,在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University(北京大学)
经验重放使非策略强化学习(RL)代理能够利用过去的经验来最大化累积奖励。优先经验重放,加权经验的大小,他们的时间差误差($|\text{TD}|$)显着提高学习效率。但是,$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题,通过将$|\text{TD}|$与经验价值联系起来,经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外,我们成功地将我们的理论框架扩展到最大熵RL,通过推导软Q学习的这些值度量的上下界,这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量:$|\text{TD}|$和经验值。我们的经验表明,在实践中的界限,并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Prioritized Sequence Experience Replay
Iowa State University(爱荷华州立大学)
经验重放广泛用于深度强化学习算法,并允许代理记住和学习过去的经验。为了更有效地学习,研究人员提出了优先经验重放(PER),它更频繁地采样重要的转换。在本文中,我们提出了优先顺序经验重放(PSER)的优先顺序的经验序列,试图更有效地学习,并获得更好的性能的框架。我们比较了PER和PSER采样技术在表格式Q学习环境中和在Atari 2600基准测试中的DQN中的性能。我们从理论上证明,PSER是保证收敛速度比PER和经验表明PSER大大提高PER。
2020-02-19 cs.AI cs.LG stat.ML
Large Batch Experience Replay
ISAE-SUPAERO(法国高等航空航天学院);Université de Toulouse(图卢兹大学);Google Research(谷歌研究院)
已经提出了几种算法来对深度强化学习(RL)代理的重放缓冲区进行非均匀采样以加速学习,但是很少提供这些采样方案的理论基础。其中,优先经验重放作为一个超参数敏感的启发式,即使它可以提供良好的性能。在这项工作中,我们投重放缓冲区采样问题作为一个重要性采样的梯度估计。这允许导出理论上最佳的采样分布,从而产生最佳的理论收敛速度。阐述了理想抽样方案的知识,我们展示了优先经验重放的新的理论基础。最佳采样分布是棘手的,我们做了几个近似提供良好的效果在实践中,并介绍,除其他外,LaBER(大批量经验重放),一个易于编码和有效的方法,用于采样重放缓冲区。LaBER可以与Deep Q-Networks,分布式RL代理或Actor-Critic方法相结合,与其实现的基础代理和其他优先级方案相比,在各种Atari游戏和PyBullet环境中产生更好的性能。
2022-06-14 cs.LG
Revisiting Fundamentals of Experience Replay
MILA, Université de Montréal(MILA,蒙特利尔大学);Google Brain(谷歌大脑);DeepMind
经验重放是深度强化学习(RL)中的非策略算法的核心,但我们的理解仍然存在重大差距。因此,我们提出了一个系统的和广泛的分析经验重放在Q学习方法,专注于两个基本属性:重放能力和学习更新的经验收集的比率(重放率)。我们的添加剂和消融研究颠覆了关于经验重放的传统智慧-发现更大的容量可以大幅提高某些算法的性能,而其他算法则不受影响。反直觉地,我们表明,理论上不接地,未校正的n步回报是唯一有益的,而其他技术赋予有限的好处筛选通过更大的内存。另外,通过直接控制重放比率,我们将文献中以前的观察结果置于上下文中,并在各种深度RL算法中凭经验衡量其重要性。最后,我们得出结论,通过测试一组假设的性质,这些性能的好处。
2020-07-13 cs.LG stat.ML
Sample Efficient Actor-Critic with Experience Replay
DeepMind;CIFAR(加拿大高级研究院);Oxford University(牛津大学)
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理,该代理稳定,样本效率高,并且在具有挑战性的环境中表现出色,包括离散57游戏Atari域和几个连续控制问题。为了实现这一点,本文介绍了几个创新,包括截断重要性采样与偏差校正,随机决斗网络架构,和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Remember and Forget for Experience Replay
ETH Zurich(苏黎世联邦理工学院)
经验重放(ER)是离线深度强化学习(RL)的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计,从而提高数据效率。然而,当策略偏离过去的行为时,这种更新的准确性可能会恶化,并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放(ReF-ER),一种新的方法,可以增强RL算法与参数化的政策。ReF-ER(1)跳过根据与当前策略太不可能的经验计算的梯度,并且(2)调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现,ReF-ER一贯提高性能的连续行动,关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA(加州大学洛杉矶分校统计与数据科学系)
本文针对经验回放理论特性不明的问题,构建基于重采样U/V统计量的理论框架给出方差缩减保证,验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind(深度思维)
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合,并提出了两个挑战的解决方案:(a)有效的演员-评论家学习与经验重放(b)离策略学习的稳定性,其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描,其中所有参与的代理同时运行,并通过一个共同的重放模块分享他们的经验。为此,我们分析的偏差方差权衡V-跟踪,一种形式的重要性采样的演员批评的方法。基于我们的分析,然后,我们认为混合经验与政策上的经验重放采样,并提出了一个新的信任域方案,有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处,通过展示Atari上最先进的数据效率,在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
本文提出了一种受量子计算启发的新的训练范式,用于具有经验重放的深度强化学习(DRL)。与传统的DRL经验重放机制不同,本文提出的量子启发经验重放深度强化学习(DRL-QER)根据经验的复杂度和重放次数(也称为转换)自适应地从重放缓冲区中选择经验,以实现探索和利用之间的平衡。在DRL-QER中,转换首先以量子表示形式表示,然后对转换执行准备操作和折旧操作。在这个过程中,准备操作反映了时间差异误差(TD误差)和经验的重要性之间的关系,同时考虑到折旧操作,以确保过渡的多样性。在Atari 2600游戏上的实验结果表明,DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法,并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
Replay For Safety
经验重放\citep{lin1993reinforcement, mnih2015human}是一种广泛使用的技术,可以有效地使用数据并提高RL算法的性能。在经验重放中,过去的转换存储在存储器缓冲区中,并在学习期间重新使用。在以前的作品中已经提出了各种建议,从重放缓冲区的采样方案,试图最佳地选择那些经验,这将最有助于收敛到最佳的政策。在这里,我们给出了重放采样方案,将确保收敛的一些条件,专注于著名的Q-学习算法在表格设置。在建立了收敛的充分条件之后,我们转而建议经验重放的稍微不同的用法-以有偏见的方式重放记忆作为改变所产生的策略的属性的手段。我们开始严格的研究经验重放作为一种工具来控制和修改所产生的政策的属性。特别是,我们表明,使用适当的偏置抽样方案可以让我们实现一个\emph{safe}政策。我们认为,使用经验重放作为一种偏置机制,允许控制所产生的政策在理想的方式是一个想法,许多应用程序的潜力。
2021-12-08 cs.AI cs.LG
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
许多现实世界的问题,如网络数据包路由和城市交通控制,自然建模为多智能体强化学习(RL)问题。然而,现有的多智能体RL方法通常在问题大小方面的规模很差。因此,一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习,最流行的多智能体RL方法,引入了非平稳性,使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法,解决这个问题:1)使用多代理变量的重要性采样自然衰减过时的数据和2)条件每个代理的价值函数上的指纹,消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实,这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
Maximum Entropy Hindsight Experience Replay
Sandia National Laboratories(桑迪亚国家实验室)
本研究针对基于目标的强化学习场景,提出通过有原则地选择性应用HER的方式,改进此前适配同策略PPO算法的PPO-HER方法,进一步提升后见之明经验回放的效果。
2024-10-31 cs.LG
Experience Replay with Likelihood-free Importance Weights
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Nvidia(英伟达)
使用过去的经验来加速价值函数的时间差(TD)学习或经验重放,是深度强化学习的关键组成部分。重要经验的优先级或重新加权已被证明可以提高TD学习算法的性能。在这项工作中,我们提出了在当前策略的平稳分布下基于经验的可能性来重新加权经验。使用相应的重新加权TD目标,我们隐含地鼓励经常遇到的状态下的价值函数上的小近似误差。我们使用一个似然自由密度比估计的重放缓冲区分配优先权。我们将所提出的方法经验性地应用于两种竞争性方法,软演员评论(SAC)和双延迟深度确定性策略梯度(TD 3)-在一套OpenAI健身房任务上,并实现了与其他基线方法相比更高的样本复杂度。
2020-06-23 cs.AI cs.LG
Neighborhood Mixup Experience Replay: Local Convex Interpolation for Improved Sample Efficiency in Continuous Control Tasks
MIT(麻省理工学院);University of Toronto(多伦多大学);Toyota Research Institute(丰田研究院)
经验回放在提高深度强化学习代理的样本效率方面起着至关重要的作用。经验重放的最新进展提出使用Mixup(Zhang等人,2018)以通过合成样品生成进一步提高样本效率。我们建立在这种技术与邻里混淆经验重放(NMER),几何接地重放缓冲器,插入过渡与他们最近的邻居在状态动作空间。NMER通过仅在具有邻近状态动作特征的转换之间应用Mixup来保持转换流形的局部线性近似。根据NMER,一个给定的过渡的一组国家行动的邻居是动态的和情节不可知的,反过来鼓励更大的政策概括性通过插曲间插值。我们将我们的方法与最近的离线深度强化学习算法相结合,并在连续控制环境中进行评估。我们观察到,NMER将样本效率平均提高了94%(TD3)和29%(SAC),使代理能够有效地重新组合以前的经验,并从有限的数据中学习。
2022-05-18 cs.LG cs.RO cs.SY
Convergence Results For Q-Learning With Experience Replay
RL中常用的启发式方法是经验重放(例如~ \citet{lin1993reinforcement, mnih2015human}),其中学习者存储并重新使用过去的轨迹,就好像它们是在线采样的一样。在这项工作中,我们开始了严格的研究,这种启发式的设置表Q学习。我们提供了一个收敛速度保证,并讨论了它如何与Q学习的收敛性进行比较,这取决于重要的参数,如重放迭代的频率和次数。我们还提供了理论证据表明,当我们可能期望这种启发式严格提高性能,通过引入和分析一个简单的类的MDPs。最后,我们提供了一些实验来支持我们的理论研究结果。
2021-12-08 cs.AI cs.LG
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对时序差分(TD)学习的有限时间行为研究缺口及经验回放理论影响不明问题,本文通过马尔可夫噪声项分解,给出带经验回放TD学习的有限时间误差界,证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST(韩国科学技术院)
在本文中,我们考虑合作多智能体强化学习(MARL)稀疏奖励。为了解决这个问题,我们提出了一种新的方法命名为MASER:MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下,MASER通过考虑个体Q值和总Q值,从经验重放缓冲区自动为多个代理生成适当的子目标。然后,MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励,以便代理在最大化联合动作值的同时达到子目标。数值结果表明,MASER显着优于星际争霸II微管理基准相比,其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.(Preferred Networks公司)
本文提出将随机重洗方法扩展到强化学习的经验回放,通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data
Eindhoven University of Technology(埃因霍温理工大学);University of Pennsylvania(宾夕法尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在20世纪90年代早期,经验重放(ER)被证明是一种成功的机制,允许在线学习算法重用过去的经验。传统上,ER可以应用于所有机器学习范例(即,无监督、有监督和强化学习)。最近,ER有助于提高深度强化学习的性能。然而,它在许多实际环境中的应用仍然受到ER的内存要求的限制,需要明确存储以前的观察结果。为了解决这个问题,我们探索了一种新的方法,在线对比发散与生成重放(OCD_GR),它使用限制玻尔兹曼机(RBM)的生成能力,而不是记录过去的经验。RBM是在线训练的,并且不需要系统存储任何观察到的数据点。我们在9个真实世界的数据集上比较了OCD_GR和ER,考虑了最坏的情况(以排序顺序到达的数据点)以及更现实的情况(顺序随机顺序的数据点)。我们的结果表明,在64.28%的情况下,OCD_GR优于ER,在剩余的35.72%情况下,它具有几乎相同的性能,同时具有显著降低的空间复杂度(即,存储器使用)以相当的时间复杂度。
2016-10-18 cs.LG cs.NE
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University(东北大学);Harvard University(哈佛大学)
深度强化学习(RL)方法依赖于经验重放来近似小批量监督学习设置;然而,与监督学习不同,访问大量训练数据对泛化至关重要,基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明,当重放内存变得太大时,深度Q网络(DQN)的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能,而这不应该是像DQN这样的非策略方法的情况。因此,我们重新检查的动机,均匀采样的重放内存,并发现它可能是有缺陷的,当使用函数近似。我们表明,尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本,因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布,以消除这种影响,我们提出了一个分层抽样方案,有效地实现它。
2021-02-22 cs.AI cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories(桑迪亚国家实验室)
针对HER因违反同策略假设难用于同策略算法的问题,研究验证了后见经验回放(HER)可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化(PPO)。
2024-10-29 cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University(比尔肯特大学)
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题,提出CUER算法,通过公平随机采样并使状态分布更在策略,提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Dynamic Experience Replay
Autodesk Research(欧特克研究)
我们提出了一种新的技术,称为动态经验重放(DER),允许强化学习(RL)算法使用经验重放样本不仅从人类的演示,但也成功的过渡产生的RL代理在训练过程中,从而提高训练效率。它可以与任意的非策略RL算法(如DDPG或DQN)及其分布式版本相结合。我们建立在Ape-X DDPG和展示我们的方法对机器人紧配合关节装配任务,基于力/扭矩和笛卡尔姿态观测。特别是,我们在两个不同的任务上运行实验:钉孔和搭接。在每种情况下,我们比较不同的重放缓冲区结构,以及DER如何影响它们。我们的消融研究表明,动态体验回放是一个至关重要的因素,它可以大大缩短在这些具有挑战性的环境中的训练时间,或者解决普通Ape-X DDPG无法解决的任务。我们还表明,我们的政策纯粹是在模拟中学习,可以成功地部署在真正的机器人。演示我们实验的视频可在https://sites.google.com/site/dynamicexperiencereplay上获得
2020-03-04 cs.AI cs.LG
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University(北卡罗来纳州立大学)
经验重放是解决深度强化学习(RL)中样本效率低下的重要技术,但由于重放缓冲区中成功经验不成比例地少,因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放(HER)通过操纵不成功的转换来解决这个困难,但是在这样做时,HER在重放缓冲区经验中引入了显著的偏差,因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源,并提出了一种简单有效的方法来消除偏差,以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法,它通过一个折衷来扩展HER模型,使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger,它们模拟了机械臂的操作任务-结合了各种奖励函数,任务复杂性和目标采样策略。我们的实验一致表明,使用更积极的后见之明奖励来对抗偏见可以提高样本效率,从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML
Efficient RL Training for LLMs with Experience Replay
FAIR at Meta(Meta FAIR);NYU Courant Institute and CDS(纽约大学库朗数学科学研究所与数据科学中心)
本文研究了大语言模型训练中体验回放的优化设计,通过平衡陈旧性方差、样本多样性与生成成本,证明了严格策略采样在生成成本高时效果不佳,实验表明合理设计的回放缓冲器能显著降低推理计算成本而不影响模型性能。
2026-04-09 cs.LG
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放,通过多组仿真对比 uniform、no replay 和 prioritized 策略,揭示探索与记忆管理的权衡,并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University(武汉大学计算机学院);State Key Laboratory of Internet of Things for Smart City, University of Macau(澳门大学智能城市物联网国家重点实验室);School of Artificial Intelligence Shenzhen Polytechnic University(深圳职业技术学院人工智能学院)
针对现有经验回放方法在现实高维场景中效率低的问题,提出基于多样性的高效经验回放(EDER),利用行列式点过程、Cholesky分解和拒绝采样,在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory(陆军研究实验室);Washington State University(华盛顿州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼AI);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
经验重放(ER)通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习(RL)算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER,但到目前为止,它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中,我们介绍了清醒梦的经验重放(LiDER),一个概念上的新框架,允许重放经验,利用代理的当前政策刷新。LiDER由三个步骤组成:首先,LiDER将代理移回过去的状态。其次,从这个状态,LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去,并且可以尝试不同的行为来遇到梦中的新体验。第三,LiDER存储和重用新的体验,如果它比代理先前体验的更好,即,来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略,多工作者RL算法;我们在这项工作中提出了一个案例研究,将LiDER应用于基于演员-评论家的算法。结果显示,LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Revisiting Experience Replayable Conditions
National Institute of Informatics (NII)(情报信息研究所(NII));The Graduate University for Advanced Studies (SOKENDAI)(高级研究生院(SOKENDAI))
该研究重审强化学习的经验可回放条件,指出策略提升不稳定性是关键因素,从度量学习视角提出两类稳定化技巧,让经验回放可用于同策略的优势演员-评论家算法,性能比肩顶尖离策略算法软演员-评论家。
2024-07-09 cs.LG
OER: Offline Experience Replay for Continual Offline Reinforcement Learning
Westlake University(西湖大学);Fudan University(复旦大学)
针对持续离线强化学习中的灾难性遗忘和分布偏移问题,提出基于模型的离线经验回放算法OER,通过MBES方案筛选数据并引入DBC架构,在Mujoco环境中显著优于现有基线。
2024-04-20 cs.LG
A Tighter Convergence Proof of Reverse Experience Replay
Purdue University(普渡大学)
本文针对反向经验回放(RER)现有理论仅适用于小学习率和短序列的局限,提出更紧的收敛性分析,证明其在更大学习率和更长序列下仍能收敛。
2024-08-30 cs.LG stat.ML
Selective experience replay compression using coresets for lifelong deep reinforcement learning in medical imaging
Rice University(莱斯大学);McGovern Medical School, UTHealth Houston(德克萨斯大学健康科学中心休斯顿麦戈文医学院);The Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);University of Maryland School of Medicine(马里兰大学医学院)
提出一种保持奖励分布的coreset压缩技术,用于压缩终身深度强化学习中的选择性经验回放缓冲区,在医学影像定位任务中验证了其在大幅减少存储的同时能保持模型性能。
2024-01-09 cs.CV cs.LG
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta;Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出了一种理论框架,分析经验回放中偏差、方差和有限时间收敛性,揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University(西北工业大学)
针对优先经验回放(PER)非均匀采样导致Q值估计误差的问题,提出融合改进自注意力网络与双重采样机制的ALAP经验回放算法,在OPENAI gym多类强化学习场景验证了其效率与优势。
2023-10-09 cs.AI cs.LG
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习,其中许多因素动态地影响输出轨迹,期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而,平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制,我们提出了一个通用的基于方差减少的经验回放(VRER)框架,该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明,所提出的VRER可以加快学习的最优策略,提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University(比尔肯特大学)
体验重放机制允许代理多次使用体验。在以前的工作中,采样概率的过渡调整,根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此,经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而,随着策略和代理的价值函数的更新,转换的重要性级别动态地改变。此外,经验重放存储转换是由代理的先前策略生成的,其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新,这对代理是有害的。在本文中,我们开发了一种新的算法,批量优先经验重放通过KL分歧(KLPER),它优先考虑批量的过渡,而不是直接优先考虑每个过渡。此外,为了减少更新的关闭策略,我们的算法在一定数量的批次中选择一个批次,并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度,并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
在目标条件离线强化学习中,智能体从先前收集的数据中学习,以达到任意目标。由于离线数据仅包含有限数量的轨迹,因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据,但在这样做的同时会产生大量无效的轨迹。为了解决这个问题,我们提出了优先目标交换经验重放(PGSER)。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中,PGSER在广泛的基准任务中显着改善了基线,包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
Quantum deep Q learning with distributed prioritized experience replay
Wells Fargo(富国银行)
针对量子强化学习采样复杂度高的问题,提出融合优先经验回放与异步训练的 QDQN-DPER 框架,并通过仿真证明其优于同架构基线。
2023-04-19 cs.AI cs.DC cs.LG
Eventual Discounting Temporal Logic Counterfactual Experience Replay
Caltech(加州理工学院);Penn State(宾夕法尼亚州立大学);Latitude AI(Latitude人工智能公司)
线性时序逻辑(LTL)提供了一种简化的方式来指定策略优化的任务,否则可能难以用标量奖励函数来描述。然而,标准RL框架可能过于短视,无法找到最大限度的LTL满足政策。本文有两个贡献。首先,我们开发了一个新的价值函数为基础的代理,使用一种技术,我们称之为最终折扣,根据该技术可以找到满足LTL规范的政策,以最高的可实现概率。其次,我们开发了一种新的经验重放方法,通过反事实推理的不同方式来满足LTL规范,从政策上的推出生成政策外的数据。我们的实验,在离散和连续的状态-动作空间进行,证实了我们的反事实经验重放方法的有效性。
2023-03-03 cs.AI cs.LG cs.LO
USHER: Unbiased Sampling for Hindsight Experience Replay
Rutgers University(罗格斯大学)
处理稀疏奖励是强化学习(RL)中的一个长期挑战。后见之明经验重演(HER)通过将一个目标的失败轨迹重复用于另一个目标的成功轨迹来解决这个问题。这既允许最小的奖励密度,也允许跨多个目标的泛化。然而,已知这种策略会导致有偏差的价值函数,因为更新规则低估了随机环境中不良结果的可能性。我们提出了一个渐近无偏的重要性抽样为基础的算法来解决这个问题,而不牺牲性能的确定性环境。我们展示了它在一系列机器人系统上的有效性,包括具有挑战性的高维随机环境。
2022-07-03 cs.AI cs.LG cs.RO
Reverb: A Framework For Experience Replay
DeepMind(深度思维);Google Research(谷歌研究院)
强化学习(RL)中训练的一个核心组成部分是经验:用于训练的数据。用于生成和消费这些数据的机制对RL算法的性能有重要影响。在本文中,我们介绍了Reverb:一个高效,可扩展,易于使用的系统,专为RL中的经验重放而设计。Reverb被设计为在分布式配置中高效地工作,多达数千个并发客户端。灵活的API为用户提供了轻松准确地配置重放缓冲区的工具。它包括从缓冲区中选择和删除元素的策略,以及控制采样元素和插入元素之间的比例的选项。本文介绍了Reverb的核心设计,给出了如何应用它的例子,并提供了Reverb的性能特性的实证结果。
2021-02-09 cs.AI cs.DC cs.LG
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
Mila, McGill University(蒙特利尔学习算法研究所(Mila)、麦吉尔大学(McGill University))
优先经验重放(PER)是一种深度强化学习技术,其中智能体从与其时间差误差成比例的非均匀概率采样的转换中学习。我们证明,任何损失函数评估与非均匀采样数据可以转换成另一个均匀采样损失函数具有相同的期望梯度。令人惊讶的是,我们发现在某些环境中,PER可以完全取代这个新的损失函数,而不影响经验性能。此外,这种关系提出了一个新的分支改进PER通过纠正其均匀采样损失函数等效。我们证明了我们提出的修改PER和等价的损失函数在几个MuJoCo和Atari环境的有效性。
2020-10-22 cs.LG stat.ML
Improving Experience Replay through Modeling of Similar Transitions' Sets
Pontifícia Universidade Católica de Minas Gerais(米纳斯吉拉斯天主教大学)
在这项工作中,我们提出并评估了一种新的强化学习方法,紧凑的经验重放(COMPER),它使用时间差学习与预测的目标值的基础上,在类似的过渡集的复发,和一个新的经验重放方法的基础上,两个过渡的记忆。我们的目标是从长远来看,减少代理培训所需的经验数量。它与强化学习的相关性与它需要实现类似于文献中相关方法获得的结果的少量观察有关,文献中的相关方法通常需要数百万个视频帧来训练Atari 2600游戏上的代理。我们报告了COMPER的五次训练试验的详细结果,仅100,000帧,大约25,000次迭代,在八个具有挑战性的Arcade Learning Environment(ALE)游戏上具有小的经验记忆。我们还提出了DQN代理的结果与相同的实验协议在相同的游戏设置为基线。为了验证性能的COMPER近似一个好的政策,从一个较小的观察,我们还比较了它的结果,从数百万帧的ALE基准。
2021-11-12 cs.LG
VLM-Guided Experience Replay
Nvidia Research(英伟达研究)
本文提出利用VLMs指导经验回放,提升强化学习中样本效率和成功率。
2026-09-29 cs.AI cs.LG
Uncertainty Prioritized Experience Replay
本文提出利用认知不确定性为回放缓冲区中的转移排序,以抑制噪声导致的错误优先级,并在玩具任务和 Atari 上验证其优于 QR-DQN 基准。
2025-06-10 cs.LG
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin(都柏林大学)
本文提出想象后见经验回放方法,通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务,在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出VRER框架,通过选择性重用信息样本减少策略梯度估计的方差,从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
Hindsight Experience Replay
OpenAI
处理稀疏奖励是强化学习(RL)中最大的挑战之一。我们提出了一种新的技术,称为后见之明经验重放,它允许样本有效的学习,从奖励是稀疏的和二进制的,因此避免了复杂的奖励工程的需要。它可以与任意的非策略RL算法相结合,可以被视为一种隐式课程。我们展示了我们的方法上的任务操纵物体与机械臂。特别是,我们运行实验上三个不同的任务:推,滑动,并拾取和放置,在每种情况下,只使用二进制奖励指示任务是否完成。我们的消融研究表明,后见之明的经验重演是一个至关重要的因素,使培训可能在这些具有挑战性的环境。我们表明,我们的政策训练的物理模拟可以部署在一个物理机器人,并成功地完成任务。
2018-02-23 cs.AI cs.LG cs.NE