Efficient RL Training for LLMs with Experience Replay
FAIR at Meta（Meta FAIR）；NYU Courant Institute and CDS（纽约大学库朗数学科学研究所与数据科学中心）
本文研究了大语言模型训练中体验回放的优化设计，通过平衡陈旧性方差、样本多样性与生成成本，证明了严格策略采样在生成成本高时效果不佳，实验表明合理设计的回放缓冲器能显著降低推理计算成本而不影响模型性能。
2026-04-09 cs.LG
Sequential Learning Of Neural Networks for Prequential MDL
DeepMind（深度思维）
最小描述长度（MDL）为原则模型评估提供了一个框架和目标。它形式化了奥卡姆剃刀，并可应用于非平稳源的数据。在MDL的序贯公式中，目标是当顺序遍历数据并使用先前的观测值进行参数估计时，使累积的下一步对数损失最小化。因此，它非常类似于一个持续或在线学习问题。在这项研究中，我们评估的方法，计算与神经网络的图像分类数据集的前置描述长度。考虑到计算成本，我们发现，与以前广泛使用的分块估计相比，在线学习与排练具有良好的性能。我们提出了前向校准，以更好地将模型预测与经验观察相结合，并引入了重放流，这是一种小批量增量训练技术，可以有效地实现近似随机重放，同时避免大型内存重放缓冲区。因此，我们提出了一套图像分类数据集的描述长度，大大提高了以前报告的结果。
2022-10-14 cs.LG stat.ML
Replaying pre-training data improves fine-tuning
Stanford University（斯坦福大学）
通过重放预训练数据提升微调效果，提高目标任务性能
2026-03-05 cs.CL cs.LG
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Leakage and Second-Order Dynamics Improve Hippocampal RNN Replay
Department of Electrical；Computer Engineering, Rice University, USA；Mila - Quebec AI Institute \& Universit\' e de Montr\' e al, Canada
本研究通过引入隐藏状态泄露和动量机制，改进噪声路径积分RNN的回放性能，提升探索性并减少回放速度。
2026-02-20 cs.AI cs.LG q-bio.NC
Language Generation with Replay: A Learning-Theoretic View of Model Collapse
University of Copenhagen（哥本哈根大学）；Isara Labs（Isara实验室）
研究随着前沿大语言模型训练对数据需求增加，生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架，引入重放对手，刻画重放何时限制生成。
2026-07-07 cs.LG stat.ML
Reverse Experience Replay
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文描述了深度Q学习的一种改进，称为反向经验重放（Reverse Experience Replay，也称为RER），它解决了稀疏奖励的问题，并通过以相反的顺序连续采样转换来帮助处理奖励最大化任务。在具有足够的训练经验和足够的经验回放记忆容量的任务中，具有反向经验回放的深度Q学习网络与具有标准经验回放的Double DQN和vanilla DQN相比显示出具有竞争力的结果。此外，RER在缺乏经验和重放记忆能力的任务中取得了显着增加的结果。
2019-10-22 cs.AI cs.LG stat.ML
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Self-supervised pre-training with acoustic configurations for replay spoofing detection
University of Seoul（首尔市立大学）；Naver Corporation（Naver公司）
构建用于重放欺骗检测的数据集需要播放话语并重新记录它的物理过程，这对大规模数据集的收集提出了挑战。在这项研究中，我们提出了一个自我监督的框架，用于使用为其他任务（如说话人验证）发布的数据集进行预训练声学配置。这里，声学配置是指在语音录制过程中产生的环境因素，而不是语音本身，包括麦克风类型、地点和环境噪声水平。具体来说，我们从话语中选择成对的片段，并训练深度神经网络来确定两个片段的声学配置是否相同。我们基于ASVspoof 2019物理访问数据集，利用两个性能良好的系统验证了所提出方法的有效性。实验结果表明，该方法优于基线方法的30%。
2020-08-19 cs.LG eess.AS stat.ML
Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila（米拉）；Vector Institute（矢量研究所）
针对在线持续学习中经验重放导致优化轨迹不稳定、影响准确率的问题，提出分层近端重放（LPR），通过修改优化几何、限制过去数据隐藏激活的渐进变化，在多种设置下稳定提升重放方法性能。
2024-07-19 cs.LG
Self-recovery of memory via generative replay
University of Pennsylvania（宾夕法尼亚大学）
大脑的一个非凡能力是它在离线期间自主重组记忆的能力。记忆重放是一种被假设为生物离线学习的基础的机制，它激发了在持续学习环境中减少人工神经网络遗忘的离线方法。一个记忆效率和神经合理的方法是生成重放，它在持续学习基准上实现了最先进的性能。然而，与大脑不同的是，标准的生成回放在离线训练自己的回放样本时不会自我重组记忆。我们提出了一种新的架构，增强了自适应的，类似大脑的能力，自主恢复记忆的生成重放。我们在几个持续学习任务和环境中展示了该架构的这种能力。
2023-01-15 cs.AI cs.LG cs.NE
Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Thomson Reuters Foundational Research（汤森路透基础研究）；Imperial College London（伦敦帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
本文提出按需重放（RoD）方法，根据模型学习动态动态分配重放样本，以平衡持续预训练中的适应与遗忘，无需预设重放比例，达到或优于固定重放基线和模型合并。
2026-10-01 cs.LG
Continual Learning of New Sound Classes using Generative Replay
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila--Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Adobe Research（奥多比研究院）
持续学习包括在一系列数据集上递增地训练模型，并在所有数据集的联合上进行测试。在本文中，我们研究了声音分类问题的持续学习，我们希望改进已经训练好的模型来学习新的声音类别。在实践中，人们并不想保留所有过去的训练数据并从头开始重新训练，但是天真地用新数据（集）更新模型会导致已经学习的任务的退化，这被称为“灾难性遗忘”。“我们开发了一个生成重放程序来生成训练音频频谱图数据，而不是保留旧的训练数据集。我们表明，通过逐步完善的分类器与生成重放一个发电机，是所有以前的训练数据的大小的4%匹配的性能，完善的分类器保持20%的所有以前的训练数据。因此，我们可以扩展经过训练的声音分类器来学习新的类，而不必保留以前使用的数据集。
2019-06-03 cs.LG cs.SD eess.AS
Progressive Latent Replay for efficient Generative Rehearsal
Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Tooploox
我们引入了一种新的内部重放方法，该方法根据网络的深度来调制排练的频率。虽然重放策略减轻了神经网络中灾难性遗忘的影响，但最近关于生成重放的研究表明，仅在网络的更深层进行排练可以提高持续学习的性能。然而，生成式方法引入了额外的计算开销，限制了其应用。由于观察到神经网络的较早层不会突然忘记，我们建议在重放期间使用中间级别的特征以不同的频率更新网络层。这通过省略生成器的较深层和主模型的较早层的计算来减少计算负担。我们将我们的方法命名为Progressive Latent Replay，并表明它在使用更少资源的同时优于内部重播。
2022-07-05 cs.CV cs.LG
Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））；OMELET
针对深度强化学习在组合优化中样本效率低的问题，提出对称重放训练（SRT）方法，利用高奖励样本免费探索对称区域，提升多种DRL方法在真实任务中的样本效率。
2024-07-17 cs.LG
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出一种名为不确定性驱动的回放记忆（UDRM）的经验回放缓冲区，通过基于不确定性估计更新存储的记忆，使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California（南加州大学）
针对严格类增量持续学习的遗忘难题，提出基于时间感知正则化的生成式经验重放方法，动态微调三类训练目标，在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales（泰雷兹）
人类一生都在学习。他们从一系列的学习经验中积累知识，记住基本概念，而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案，如分类或回归。特别是，如果他们接受新的培训，他们会忘记过去的学习经验。因此，人工神经网络往往不适合处理现实生活中的设置，如一个笨拙的机器人，必须在线学习，以适应新的情况，克服新的问题，而不会忘记它过去的学习经验。持续学习（CL）是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识，而不会忘记。在这篇论文中，我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本，以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷，从而使学习不会忘记任务设置的顺序。我们表明，他们是非常有前途的方法，持续学习。值得注意的是，它们能够用新知识重新评估过去的数据，并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究院）；Chandar Research Lab（Chandar研究实验室）；IBM Research（IBM研究院）；Fujitsu Research（富士通研究院）；Polytechnique Montréal（蒙特利尔理工学院）
本研究在Llama模型大规模多语言持续预训练中验证经验回放与梯度对齐可防遗忘，提出高效MER实现，并发现低回放率比增大模型更优，但增大模型比高回放率更划算。
2025-08-03 cs.AI cs.CL cs.LG
Self-generated Replay Memories for Continual Neural Machine Translation
University of Pisa（比萨大学）
针对神经机器翻译的灾难性遗忘问题，利用编码器-解码器Transformer的生成能力，提出一种通过模型自身生成平行句填充重放记忆的持续学习方法，有效对抗遗忘且无需显式记忆训练数据。
2024-03-19 cs.AI cs.CL cs.LG
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA（加州大学洛杉矶分校统计与数据科学系）
本文针对经验回放理论特性不明的问题，构建基于重采样U/V统计量的理论框架给出方差缩减保证，验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Training Domain-invariant Object Detector Faster with Feature Replay and Slow Learner
Kyungpook National University（庆北国立大学）；SI Analytics Co Ltd（SI Analytics有限公司）
在遥感领域基于深度学习的目标检测中，影响观测变量而不影响预测变量的干扰因素通常很重要，因为它们会导致域的变化。以前，滋扰解纠缠特征变换（NDFT）被提出来构建域不变的特征提取器与滋扰因素的知识。然而，NDFT在训练阶段需要大量的时间，因此它是不切实际的。在本文中，我们介绍了我们提出的方法，A-NDFT，这是一个改进的NDFT。A-NDFT使用两种加速技术，特征重放和慢速学习器。因此，在一个大规模的UAVDT基准测试中，我们的框架可以将NDFT的训练时间从31小时减少到3小时，同时仍然保持性能。该守则将在网上公布。
2021-05-31 cs.CV cs.LG
Headroom-Drift Replay: A Primitive for Principled Replay Control in GRPO
Sogang University（西江大学）
本文针对RL推理模型后训练中重放贡献难分离的问题，提出GRPO的组级重放控制原语Headroom-Drift Replay，在多推理基准上提升性能并降低Agentic Search场景的时间成本。
2026-09-04 cs.AI cs.CL cs.LG
Generative Feature Replay with Orthogonal Weight Modification for Continual Learning
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
智能代理连续学习和记住多个任务的能力对于实现人工通用智能至关重要。为了克服神经网络顺序学习过程中由于数据非独立性而导致的灾难性遗忘，人们提出了许多持续学习方法。在本文中，我们专注于类增量学习，一个具有挑战性的CL场景。对于这种情况，生成重放是一种很有前途的策略，它为以前的任务生成并重放伪数据，以减轻灾难性遗忘。然而，对于相对复杂的数据，很难连续地训练生成模型。基于最近提出的正交权重修改（OWM）算法，该算法在学习新任务时可以近似保持先前学习的特征不变，我们提出1）使用生成模型重放倒数第二层特征; 2）利用自监督辅助任务进一步增强特征的稳定性。几个数据集上的实验结果表明，我们的方法总是取得了显着的改善，而强大的OWM传统的生成重放总是导致负面影响。同时，我们的方法击败了几个强大的基线，包括一个基于真实数据存储的基线。此外，我们进行实验，研究为什么我们的方法是有效的。
2020-09-12 cs.LG stat.ML
Saliency-Guided Replay for Continual Learning in Deep Spiking Neural Networks
Sapienza University of Rome（罗马大学）；Goethe University Frankfurt（法兰克福大学）
该研究针对深度脉冲神经网络的灾难性遗忘问题，提出结合VGG9 SNN与脉冲激活图（SAM）的显著性引导经验打包与重放策略，在Split CIFAR数据集上实现了更优的准确率-内存权衡。
2026-10-14 cs.AI cs.CV cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay
New York University（纽约大学）
本文研究了语言模型中的遗忘问题，发现自生成样本可作为有效的回放数据几乎消除遗忘，并揭示了容量限制和低学习率对遗忘的影响。
2026-05-25 cs.LG
Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting
Global Technical Service (GTS) Huawei Technologies Co., Ltd（华为技术有限公司全球技术服务部）
提出Logits Replay + MoClip两阶段框架，通过压缩logits监督和稳定优化，在提升领域性能的同时缓解遗忘，降低训练成本超40%。
2025-10-10 cs.LG
BinPlay: A Binary Latent Autoencoder for Generative Replay Continual Learning
Warsaw University of Technology（华沙理工大学）；Tooploox
我们引入了一个二进制潜在空间自动编码器架构排练训练样本的持续学习的神经网络。用新数据扩展模型知识而不忘记先前学习的样本的能力是持续学习的基本要求。现有的解决方案通过从存储器重放过去的数据来解决它，这对于不断增长的训练数据是不可持续的，或者通过用生成模型来重建过去的样本来解决它，生成模型被训练为泛化超过训练数据，因此错过了各个样本的重要细节。在本文中，我们采取了两全其美，并介绍了一种新的生成排练方法，称为BinPlay。它的主要目标是找到一个质量保持编码过去的样本到预先计算的二进制代码生活在自动编码器的二进制潜在空间。由于我们仅根据训练样本的时间索引来参数化用于预计算代码的公式，因此自动编码器能够实时计算排练样本的二进制嵌入，而无需将它们保存在内存中。对三个基准数据集的评估显示，BinPlay与竞争性生成重放方法相比，准确性提高了两倍。
2020-11-25 cs.LG
The Role of Diverse Replay for Generalisation in Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文研究强化学习中探索策略和回放缓冲区对多任务泛化的影响，证明增加回放数据多样性可提升零样本泛化能力，并可能通过改进潜在表征惠及类似但不可达的任务。
2023-08-31 cs.LG
REMIND Your Neural Network to Prevent Catastrophic Forgetting
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe研究院）；Paige；Cornell Tech（康奈尔科技校区）
人们一生都在学习。然而，增量更新传统的神经网络会导致灾难性遗忘。一种常见的补救方法是重放，这是受到大脑如何巩固记忆的启发。重播涉及在新旧实例的混合上微调网络。虽然有神经科学证据表明大脑会重放压缩的记忆，但卷积网络的现有方法会重放原始图像。在这里，我们提出了REMIND，这是一种受大脑启发的方法，可以使用压缩表示进行高效重放。REMIND是以在线方式训练的，这意味着它一次学习一个例子，这更接近人类的学习方式。在相同的约束条件下，REMIND在ImageNet ILSVRC-2012数据集上的增量类学习性能优于其他方法。我们探测REMIND的鲁棒性的数据排序方案已知会导致灾难性遗忘。我们展示了REMIND的通用性，开创性的在线学习的视觉问答（VQA）。
2020-07-13 cs.CV cs.LG cs.NE
Rooted Absorbed Prefix Trajectory Balance with Submodular Replay for GFlowNet Training
Courant Institute School of Mathematics, Computing, and Data Science, New York University（纽约大学Courant研究所数学、计算与数据科学学院）；Courant Institute School of Mathematics, Computing（纽约大学Courant研究所数学、计算与数据科学学院）；Data Science, New York University（纽约大学数据科学学院）
针对GFlowNet的模式坍塌问题，提出RapTB目标函数（通过根锚定子轨迹监督和吸收后缀备份提供密集前缀学习信号）和SubM子模重放策略（促进高奖励和多样性），在分子生成等任务中提升优化性能和多样性。
2026-07-21 cs.AI cs.LG
Virtual Replay Cache
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
返回缓存是一种最近的策略，它可以使用多步估计器（例如λ-return）进行有效的小批量训练，用于深度强化学习。通过按顺序分批预先计算返回估计值，然后将结果存储在辅助数据结构中以供以后采样，可以大大减少每次估计花费的平均计算量。但是，返回缓存的效率还可以提高，特别是在其大量内存使用和重复数据副本方面。我们提出了一种新的数据结构，虚拟重放缓存（VRC），以解决这些缺点。当学习玩Atari 2600游戏时，VRC几乎消除了DQN（λ）的缓存内存占用，并略微减少了我们硬件上的总训练时间。
2021-12-06 cs.LG
Dynamic Experience Replay
Autodesk Research（欧特克研究）
我们提出了一种新的技术，称为动态经验重放（DER），允许强化学习（RL）算法使用经验重放样本不仅从人类的演示，但也成功的过渡产生的RL代理在训练过程中，从而提高训练效率。它可以与任意的非策略RL算法（如DDPG或DQN）及其分布式版本相结合。我们建立在Ape-X DDPG和展示我们的方法对机器人紧配合关节装配任务，基于力/扭矩和笛卡尔姿态观测。特别是，我们在两个不同的任务上运行实验：钉孔和搭接。在每种情况下，我们比较不同的重放缓冲区结构，以及DER如何影响它们。我们的消融研究表明，动态体验回放是一个至关重要的因素，它可以大大缩短在这些具有挑战性的环境中的训练时间，或者解决普通Ape-X DDPG无法解决的任务。我们还表明，我们的政策纯粹是在模拟中学习，可以成功地部署在真正的机器人。演示我们实验的视频可在https://sites.google.com/site/dynamicexperiencereplay上获得
2020-03-04 cs.AI cs.LG
Quantum deep Q learning with distributed prioritized experience replay
Wells Fargo（富国银行）
针对量子强化学习采样复杂度高的问题，提出融合优先经验回放与异步训练的 QDQN-DPER 框架，并通过仿真证明其优于同架构基线。
2023-04-19 cs.AI cs.DC cs.LG
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica（数学研究中心）；McGill University（麦吉尔大学）；Mila（米拉）；University of Bristol（布里斯托大学）
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化，强化学习在机器学习和人工智能（AI）中也获得了突出地位，作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件，称为重放。重放对于生物神经网络中的记忆巩固非常重要，并且是稳定深度神经网络中学习的关键。在这里，我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明，重放如何支持学习过程，包括概括和持续学习，提供机会在两个领域转移知识，以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
Breaking the Synthetic-Real Domain Shortcut for Training-Free Generative Replay-based Class Incremental Learning
研究类增量学习中合成旧数据与真实新数据混合导致性能下降的问题，提出DREAM模型，利用无训练生成器合成旧数据，通过子空间校正、正交投影及真实锚定原型正则化消除域捷径并加强语义对齐，取得最优性能。
2026-07-28 cs.CV cs.LG
Prioritized Replay for RL Post-training
IEEE
提出一种基于经验成功统计的优先级回放方法，用于大型语言模型训练后强化学习，无需预定义难度层级或外部标签，通过动态调整优先级提升学习效率。
2026-01-06 cs.AI cs.CL cs.LG
ReLibra: Routing-Replay-Guided Load Balancing for MoE Training in Reinforcement Learning
School of Computer Science, Peking University（北京大学计算机学院）
ReLibra通过利用强化学习的回放训练流程中的路由回放机制，在微批次粒度上实现细粒度负载均衡，提升MoE训练效率。
2026-05-09 cs.LG
SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
Georgia Institute of Technology（佐治亚理工学院）；The Cyprus Institute（塞浦路斯研究所）
SHARP提出一种神经启发式持续学习方法，利用稀疏动态连接和激活回放，仅回放最近见过的少数类别即可持续更新所有层，在类别增量学习中优于现有回放方法。
2023-05-29 cs.CV cs.LG
Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay
针对边缘计算中在线持续学习的高内存开销和类别偏差问题，提出SESLR方法，结合脉冲神经网络与睡眠增强潜在重放，显著降低内存并提升准确率。
2025-10-16 cs.CV cs.LG cs.NE
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University（华东师范大学）
针对深度强化学习训练中数据利用率低、可解释性不足的问题，提出基于因果推断的经验回放方法CIER，通过时间序列分割与因果因子识别提升训练效果，结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
Investigating the Interplay of Prioritized Replay and Generalization
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；CIFAR（加拿大高级研究所）
本文系统研究优先经验回放与神经网络泛化的相互作用，发现PER在表格设置中有价值传播优势，但与神经网络结合时通常不优于均匀回放，并提出若干改进方案。
2024-10-19 cs.AI cs.LG
Transformer with Memory Replay
University of Michigan（密歇根大学）
Transformers通过在大规模文本语料库上进行预训练，实现了自然语言处理任务的最新性能。它们是非常计算密集型的，并且具有非常高的样本复杂性。内存重放是一种通过保存到内存缓冲区和从内存缓冲区重放来记住和重用过去的示例的机制。由于更好的样本效率，它已成功用于强化学习和GANs。在本文中，我们提出了\emph{Transformer with Memory Replay}（TMR），它集成了存储器重放与Transformer，使Transformer更采样效率。在GLUE和SQuAD基准数据集上的实验表明，与使用相同数量的示例进行预训练的基线Transformer模型相比，具有内存重放的Transformer至少实现了$1\%$点的增加。此外，通过采用一个精心的设计，减少内存重放的挂钟时间开销，我们也经验性地实现了更好的运行时效率。
2022-05-19 cs.LG
Memory Replay with Data Compression for Continual Learning
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Renmin University of China（中国人民大学）
持续学习需要克服对过去的灾难性遗忘。具有代表性的旧训练样本的记忆重放已被证明是一种有效的解决方案，并达到了最先进的（SOTA）性能。然而，现有的工作主要是建立在一个小的内存缓冲区包含一些原始数据，这不能完全表征旧数据的分布。在这项工作中，我们提出了内存重放与数据压缩（MRDC），以减少旧的训练样本的存储成本，从而增加它们的量，可以存储在内存缓冲区。观察到压缩数据的质量和数量之间的权衡是非常重要的内存重放的功效，我们提出了一种新的方法，基于决定点过程（DPP），以有效地确定一个适当的压缩质量为当前到达的训练样本。以这种方式，使用具有适当选择的质量的朴素数据压缩算法可以通过在有限的存储空间中保存更多的压缩数据来大大提高最近的强基线。我们在类增量学习的几个基准测试和自动驾驶的目标检测的实际场景中广泛验证了这一点。
2022-03-09 cs.LG
Unsupervised Replay Strategies for Continual Learning with Limited Data
Del Norte High School（德尔诺特高中）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究无监督“睡眠”回放对有限且不平衡数据下持续学习的影响，发现其能缓解灾难性遗忘并提升先前任务性能，尤其在数据有限时效果显著。
2024-10-21 cs.LG
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Glasgow（格拉斯哥大学）
针对LLM反学习中在线策略优化对困难样本利用不足的问题，提出ReRULE方法，通过离策略重放缓冲区存储并复用低奖励困难样本，在保持通用性的同时提升反学习效率。
2026-06-16 cs.CL cs.LG
XCS Classifier System with Experience Replay
University of Augsburg（奥格斯堡大学）；BSH Home Appliances（博西家用电器公司）
XCS构成了当今研究最深入的分类器系统。它具有强大的潜力，并具有掌握各种不同学习任务的内在能力。除了在各种分类和回归任务中取得了出色的成功外，XCS在强化学习领域的某些多步环境中也被证明非常有效。特别是在后一个领域，最近的进展主要是由基于深度神经网络对其策略进行建模的算法驱动的-其中Deep-Q-Network（DQN）是一个突出的代表。经验重放（ER）是DQN成功的关键因素之一，因为它有助于基于神经网络的Q函数逼近器的稳定训练。令人惊讶的是，XCS几乎没有利用到目前为止遇到的利用存储的原始体验的类似机制。为了弥补这一差距，本文研究了扩展XCS与ER的好处。一方面，我们证明了对于单步任务，ER在样本效率方面具有巨大的改进潜力。在阴暗的一面，但是，我们发现，使用ER可能会进一步加剧研究尚未解决XCS的问题时，应用于顺序决策问题要求长的行动链。
2020-02-13 cs.AI cs.LG stat.ML
Remember and Forget Experience Replay for Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
我们提出的经验重放（ReF-ER）算法的记忆和忘记多智能体强化学习（MARL）的扩展。ReF-ER被证明在从OpenAI Gym到复杂流体流动的连续控制问题中优于最先进的算法。在MARL中，代理之间的依赖关系包括在状态值估计器和环境动态建模通过使用的重要性权重的参考ER。在协作环境中，当使用个人奖励估计价值时，我们发现最佳性能，并且我们忽略了其他动作对转换图的影响。我们在斯坦福智能系统实验室（SISL）环境中对ReF-ER MARL的性能进行了基准测试。我们发现，采用一个单一的前馈神经网络的政策和价值函数在Ref-ER MARL，优于最先进的算法，依赖于复杂的神经网络架构。
2022-09-02 cs.AI cs.LG math.OC
Synthetic Experience Replay
University of Oxford（牛津大学）
本文提出基于扩散模型的合成经验回放方法SynthER，通过对有限经验进行上采样，在离线和在线强化学习设置中提升样本效率与训练效果，无需修改算法即可支持更大网络训练。
2023-10-27 cs.AI cs.LG stat.ML
Heads collapse, features stay: Why Replay needs big buffers
研究揭示持续学习中特征空间与分类器层面遗忘的不对称性，提出通过扩展神经坍塌框架来解释Replay缓冲区大小对性能的影响，指出小缓冲区导致统计退化，需通过修正统计退化实现鲁棒性。
2026-03-19 cs.AI cs.LG
KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
针对拆分联邦学习忽视数据异构性和灾难性遗忘导致精度低的问题，提出KoReA-SFL，采用多模型聚合和知识回放策略，在非IID和IID场景下测试精度最高提升23.25%。
2024-04-19 cs.LG
Practical Recommendations for Replay-based Continual Learning Methods
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
持续学习要求模型从动态、非平稳的数据流中学习，而不会忘记以前的知识。在文献中已经开发了几种方法来应对持续学习的挑战。其中，经验证明，重放方法是最有效的。重播通过在内存中保存一些样本来操作，然后在后续任务的训练期间使用这些样本来排练知识。然而，在文献中仍然缺少对不同重放实现微妙之处的广泛比较和更深入的理解。这项工作的目的是比较和分析现有的重放为基础的战略，并提供切实可行的建议，发展高效，有效和普遍适用的重放为基础的战略。特别是，我们调查的内存大小值的作用，不同的加权政策和讨论的影响，数据增强，这使得达到更好的性能与较低的内存大小。
2022-03-19 cs.LG
