Generative Negative Replay for Continual Learning
University of Bologna（博洛尼亚大学）；University of Pisa（比萨大学）
持续学习是智力的一个重要方面，也是解决许多现实问题的必要能力。控制灾难性遗忘（持续学习的阿喀琉斯之踵）的最有效策略之一是存储部分旧数据，并与新经验交叉重放（也称为重放方法）。生成式重放（Generative replay）使用生成模型按需提供重放模式，特别有趣，然而，它主要在简化的假设下被证明是有效的，例如简单的场景和低维数据。在本文中，我们表明，虽然生成的数据通常不能提高旧类的分类精度，但它们可以有效地作为负例（或拮抗剂），以更好地学习新类，特别是当学习经验很小时，包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景（CORe 50和ImageNet-1000）上进行了验证，这些场景由高维数据和大量训练经验组成：现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
Online Continual Learning with Maximally Interfered Retrieval
KU Leuven（鲁汶大学）；Mila（米拉研究所）
持续学习，即学习代理面临永无止境的数据流的设置，仍然是现代机器学习系统的巨大挑战。特别是在线或“单次通过数据”设置最近作为难以处理的自然设置而受到关注。基于重放的方法，无论是生成的还是从存储的存储器，已经被证明是用于持续学习的有效方法，在许多标准基准中匹配或超过现有技术。这些方法通常依赖于从重放存储器或从生成模型中随机选择样本，这是次优的。在这项工作中，我们考虑一个控制采样的记忆重放。我们检索受干扰最大的样本，即其预测将受到可预见参数更新的最大负面影响。我们展示了一个公式，这个采样标准的生成重放和经验重放设置，产生一致的增益性能和大大减少遗忘。我们在https://github.com/optimass/Maximally_Interfered_Retrieval上发布了我们的方法的实现。
2019-10-29 cs.LG stat.ML
Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
本文提出MERS方法，通过结合监督和自监督嵌入的图方法改进重放缓冲区选择，提升持续学习性能，尤其在低内存环境下表现优异。
2026-09-17 cs.LG
Batch-level Experience Replay with Review for Continual Learning
University of Toronto（多伦多大学）；LG Sciencepark（LG科学园）
持续学习是深度学习的一个分支，它寻求在学习稳定性和可塑性之间取得平衡。CVPR 2020 CLVision计算机视觉持续学习挑战赛致力于使用CORe 50数据集评估和推进当前最先进的持续学习方法，并提供三种不同的持续学习场景。本文提出了我们的方法，称为批量级经验回放与审查，这一挑战。我们的团队在79个参赛团队中获得了所有三个场景的第一名。我们实现的代码库可以在https://github.com/RaptorMai/CVPR20_CLVision_challenge上公开获得
2020-07-11 cs.AI cs.CV cs.LG
Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila（米拉）；Vector Institute（矢量研究所）
针对在线持续学习中经验重放导致优化轨迹不稳定、影响准确率的问题，提出分层近端重放（LPR），通过修改优化几何、限制过去数据隐藏激活的渐进变化，在多种设置下稳定提升重放方法性能。
2024-07-19 cs.LG
Rethinking Experience Replay: a Bag of Tricks for Continual Learning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
在持续学习中，神经网络是在数据流上训练的，数据流的分布偏移会随着时间的推移而变化。在这些假设下，在改进流中稍后出现的类的同时保持对先前类的准确性尤其具有挑战性。这是由于臭名昭著的灾难性遗忘问题，当分类器专注于学习新类别时，它会导致快速性能下降。最近的文献提出了解决这一问题的各种方法，往往诉诸非常复杂的技术。在这项工作中，我们表明，天真的排练可以修补，以实现类似的性能。我们指出了一些限制经验重放（ER）的缺点，并提出了五个技巧来减轻他们。实验表明，ER，从而增强，显示CIFAR-10和CIFAR-100数据集（内存缓冲区大小为1000）分别为51.2和26.9个百分点的准确性增益。因此，它超越了目前最先进的基于排练的方法。
2020-10-12 cs.LG stat.ML
Continual Reinforcement Learning with Multi-Timescale Replay
Imperial College London（帝国理工学院）；DeepMind
在本文中，我们提出了一个多时间尺度重放（MTR）缓冲区，以提高RL代理的持续学习面临的环境是不断变化的时间尺度是未知的代理。基本的MTR缓冲区包括一系列子缓冲区，这些子缓冲区在不同的时间尺度上积累经验，使代理能够改善适应新数据和保留旧知识之间的权衡。我们还将MTR框架与不变风险最小化相结合，并鼓励代理学习随着时间的推移在遇到的各种环境中具有鲁棒性的政策。MTR方法在三种不同的持续学习设置中对两个连续控制任务进行评估，在许多情况下，显示出超过基线的改进。
2020-04-16 cs.AI cs.LG stat.ML
Practical Recommendations for Replay-based Continual Learning Methods
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
持续学习要求模型从动态、非平稳的数据流中学习，而不会忘记以前的知识。在文献中已经开发了几种方法来应对持续学习的挑战。其中，经验证明，重放方法是最有效的。重播通过在内存中保存一些样本来操作，然后在后续任务的训练期间使用这些样本来排练知识。然而，在文献中仍然缺少对不同重放实现微妙之处的广泛比较和更深入的理解。这项工作的目的是比较和分析现有的重放为基础的战略，并提供切实可行的建议，发展高效，有效和普遍适用的重放为基础的战略。特别是，我们调查的内存大小值的作用，不同的加权政策和讨论的影响，数据增强，这使得达到更好的性能与较低的内存大小。
2022-03-19 cs.LG
Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks
University of Cambridge（剑桥大学）
记忆重放可能是生物大脑学习的关键，它能够不断地学习新任务，而不会灾难性地干扰以前的知识。另一方面，人工神经网络遭受灾难性的遗忘，往往只表现良好的任务，他们最近trainedon.In这项工作中，我们探讨了应用潜在空间为基础的记忆重放分类使用人工神经网络。我们能够保持良好的性能，在以前的任务中存储只有一小部分的原始数据在压缩的潜在空间版本。
2022-01-05 cs.LG
A Benchmark and Empirical Analysis for Replay Strategies in Continual Learning
City University of Hong Kong（香港城市大学）；Imperial College London（帝国理工学院）
由于具有持续学习的能力，人类可以在一生中不断地获得知识。然而，计算系统通常不能顺序地学习任务。深度神经网络（DNN）面临的这一长期挑战被称为灾难性遗忘。已经提出了多种解决方案来克服这种限制。本文对内存回放方法进行了深入的评估，探讨了在选择回放数据时各种采样策略的效率、性能和可扩展性。所有的实验都是在不同领域的多个数据集上进行的。最后，提供了一个实用的解决方案，为各种数据分布选择重放方法。
2022-08-04 cs.LG
Pseudo Replay-based Class Continual Learning for Online New Category Anomaly Detection in Advanced Manufacturing
East China University of Science and Technology（华东理工大学）；Oklahoma State University（俄克拉荷马州立大学）
本文提出一种基于伪重发的类持续学习框架，通过整合类增量学习和过采样数据生成，解决先进制造中新类别异常导致的模型性能下降问题，在不存储所有数据的情况下实现高质量数据生成与增量训练，有效检测新异常并保持旧任务性能。
2024-11-17 cs.LG stat.ML
Learn the Time to Learn: Replay Scheduling in Continual Learning
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（皇家理工学院）；Microsoft Research（微软研究院）
针对处理时间受限下持续学习中的重放调度问题，提出通过蒙特卡洛树搜索和强化学习学习重放调度策略，在不增加计算成本下提升了泛化能力并优于固定策略。
2023-11-20 cs.CV cs.LG
Continual Learning on Noisy Data Streams via Self-Purified Replay
NALBI Inc.（NALBI公司）；Seoul National University（首尔大学）
在现实世界中持续学习必须克服许多挑战，其中噪声标签是一个常见且不可避免的问题。在这项工作中，我们提出了一个基于替换的持续学习框架，同时解决了灾难性遗忘和噪声标签的第一次。我们的解决方案是基于两个观察;（i）即使有噪声标签，通过自监督学习也可以减轻遗忘，以及（ii）重放缓冲区的纯度至关重要。在此基础上，我们提出了我们方法的两个关键组成部分：（i）一种名为Self-Replay的自监督重放技术，可以避免由噪声标记数据产生的错误训练信号，以及（ii）Self-Centered filter，通过基于中心的随机图集成来维护纯化的重放缓冲区。MNIST，CIFAR-10，CIFAR-100和WebVision与现实世界的噪音的实证结果表明，我们的框架可以保持一个高度纯净的重放缓冲区中嘈杂的流数据，同时大大优于国家的最先进的持续学习和嘈杂的标签学习方法的组合。源代码可在http://vision.snu.ac.kr/projects/SPR上获得
2021-10-14 cs.LG
ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
由于隐私问题的日益严重，基于会话的推荐近年来受到越来越多的关注。尽管最近基于神经会话的分类器取得了成功，但它们通常使用静态数据集以离线方式开发。然而，建议需要不断调整，以考虑到新的和过时的项目和用户，并需要“持续学习“在现实生活中的应用。在这种情况下，推荐器被持续地和周期性地更新，其中新数据在每个更新周期中到达，并且更新后的模型需要在下一次模型更新之前为用户活动提供推荐。使用神经模型进行持续学习的一个主要挑战是灾难性遗忘，其中一个持续训练的模型忘记了它以前学习过的用户偏好模式。为了应对这一挑战，我们提出了一种称为自适应蒸馏样本重放（ADER）的方法，通过定期重放以前的训练样本（即，示例）到具有自适应蒸馏损失的当前模型。实验进行了最先进的SASRec模型的基础上，使用两个广泛使用的数据集基准ADER与几个著名的持续学习技术。我们的经验表明，ADER始终优于其他基线，它甚至优于在每个更新周期使用所有历史数据的方法。这一结果表明，ADER是一个有前途的解决方案，以减轻灾难性遗忘的问题，建立更现实和可扩展的基于会话的记忆。
2020-07-23 cs.IR cs.LG stat.ML
Continual Learning in Modern Hopfield Networks with an Application to Diffusion Models
Graduate School of Arts and Science, The University of Tokyo（东京大学艺术与科学研究生院）；Artificial Intelligence Research Center, AIST（AIST人工智能研究中心）
通过现代Hopfield能量分析扩散模型中的持续学习，证明高能量异常样本更容易被遗忘，并基于能量选择重放样本以缓解遗忘。
2026-05-28 cs.LG stat.ML
Latent Replay for Real-Time Continual Learning
University of Bologna（博洛尼亚大学）
在轻型计算设备、嵌入式系统和机器人平台的边缘训练深度神经网络如今非常具有挑战性。持续学习技术，其中复杂的模型在小批量的新数据上进行增量训练，可以使学习问题易于处理，即使对于只有CPU的嵌入式设备，也可以实现显着的自适应性和自主性。然而，还有一些实际问题需要解决：首先是灾难性遗忘。在本文中，我们介绍了一种名为“潜在重放”的原始技术，而不是在输入空间中存储过去的数据的一部分，我们存储在一些中间层的激活量。这可以显著减少本地排练所需的计算和存储。为了保持表示稳定和存储的激活有效，我们建议在潜在重放层以下的所有层放慢学习速度，让上面的层自由地全速学习。在我们的实验中，我们表明，潜在重放，结合现有的持续学习技术，实现了最先进的性能在复杂的视频基准，如CORe 50 NICv2（近400个小的和高度非i.i.d.批次）和OpenLORIS。最后，我们通过在智能手机设备上部署所提出的技术，证明了在边缘上进行近实时的【形】持续学习的可行性。
2020-03-04 cs.CV cs.LG stat.ML
Rethinking Transfer in Continual Learning: A Replay-Based Realisation
University of Chicago（芝加哥大学）
该研究重新思考持续学习中的迁移，提出三个条件框架，将其观点实例化为TSR，通过选择有益重放数据提升正向迁移，在低预算持续学习协议下优于现有基线，强调应把迁移作为持续学习首要目标先理解再设计。
2026-07-20 cs.LG
Using Hindsight to Anchor Past Knowledge in Continual Learning
University of Oxford（牛津大学）；Facebook AI（脸书人工智能研究院）
在持续学习中，学习者面对的是分布随时间而变化的数据流。众所周知，现代神经网络在这种情况下会受到影响，因为它们很快就会忘记以前获得的知识。为了解决这种灾难性遗忘，许多持续学习方法实现不同类型的经验重放，重新学习存储在称为情景记忆的小缓冲区中的过去数据。在这项工作中，我们用一个新的目标来补充经验重放，我们称之为锚定，学习者使用双层优化来更新其对当前任务的知识，同时保持对过去任务的一些锚点的预测不变。这些锚点是使用基于梯度的优化来学习的，以最大化遗忘，这是通过在过去任务的情景记忆上微调当前训练的模型来近似的。几个监督学习基准持续学习的实验表明，我们的方法提高了标准的经验重放的准确性和遗忘的指标和各种大小的情景记忆。
2021-03-02 cs.LG stat.ML
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University（莫纳什大学）；Cerenaut（塞雷诺特公司）
提出WMAR算法，通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型，在持续强化学习中减少遗忘并提升技能迁移，实验验证其有效性。
2024-07-16 cs.AI cs.LG
Replay-free Online Continual Learning with Self-Supervised MultiPatches
University of Pisa（比萨大学）；Computer Vision Center (CVC)（计算机视觉中心（CVC））
针对在线持续学习（OCL）中回放策略因隐私限制无法使用的问题，提出持续多补丁（CMP）插件，通过生成单样本多补丁并投影到共享特征空间避免回放，性能优于回放及其他SSL策略。
2025-02-13 cs.CV cs.LG
Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
该研究提出分层信息论框架，分解重放式持续学习的泛化差距，通过Wasserstein松弛和SGLD实例化实现可操作的边界，经实验验证了相关预测。
2026-08-13 cs.LG stat.ML
AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning
Mississippi State University（密西西比州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Central South University（中南大学）
针对持续终身学习中的灾难性遗忘问题，本文提出AdaER算法，通过C-CMR选择性回放冲突记忆并以E-BRS最大化缓冲信息熵，在类别增量基准上优于现有基线。
2023-08-19 cs.LG
Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings
Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系）；Department of Computer Science & Engineering, BRAC University（BRAC大学计算机科学与工程系）；Department of Civil, Construction & Environmental Engineering, Iowa State University（爱荷华州立大学土木、建设与环境工程系）
针对联邦持续学习中差分隐私下回放列表无序的问题，提出规范化稳定列表回放（CSLR）方法，利用公共锚句的签名对齐客户端分布，在多个基准上提升性能。
2026-05-29 cs.LG
An Investigation of Replay-based Approaches for Continual Learning
Fulda University of Applied Sciences（富尔达应用科学大学）
持续学习（CL）是机器学习（ML）的一个主要挑战，它描述了在没有灾难性遗忘（CF）的情况下顺序学习多个任务的能力。最近的工作表明，CL是一个复杂的话题，甚至更是当涉及到多个约束的现实世界的场景。已经提出了几种解决方案，其中所谓的基于重放的方法似乎非常有前途，由于其简单性和鲁棒性。这种方法将过去样本的子集存储在专用存储器中以供以后处理：虽然这不能解决所有问题，但已经获得了良好的结果。在这篇文章中，我们实证研究基于重放的持续学习方法，并评估其应用潜力。选择最近的方法，以及自己的建议进行比较的一套共同的基准，特别侧重于评估不同的样本选择策略的性能。我们发现，当存储的样本数量较少时，样本选择的影响会增加。然而，不同的重放方法之间的性能变化很大。令人惊讶的是，我们发现，我们在这里提出的最天真的基于排练的方法可以优于最近的最先进的方法。
2021-08-15 cs.LG
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology（罗切斯特理工学院）；Paige；Cornell Tech（康奈尔科技学院）
在持续学习中，系统从非平稳数据流或批次中学习，而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究，但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里，我们研究类比推理的持续学习。类比推理测试，如乌鸦的渐进矩阵（RPM）通常用于衡量人类的非语言抽象推理，最近离线神经网络的RPM问题已经提出。在本文中，我们建立了实验基线，协议，和向前和向后传输指标，以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现，选择性地选择要重放的样本提供的益处（如果有的话）比随机选择少得多。相比之下，我们发现，选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
Integrating Curricula with Replays: Its Effects on Continual Learning
Hwa Chong Institution（华侨中学）；Agency for Science, Technology, and Research（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
本研究受人类课程式学习行为启发，探索课程与重放方法整合对持续学习的影响，从交错频率、重放顺序、样例选择策略三方面设计课程，有效缓解灾难性遗忘并增强正向知识迁移。
2023-07-25 cs.AI cs.CV cs.LG
Coordinated Replay Sample Selection for Continual Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊Alexa AI）
本文针对持续联邦学习中的灾难性遗忘问题，提出一种基于梯度多样性的协调回放样本选择算法，在不共享私有数据的前提下跨客户端优化样本选择，实验证明该方法能显著提升模型性能并减少遗忘。
2023-10-23 cs.LG
Adiabatic replay for continual learning
University of Applied Sciences Fulda（富尔达应用科学大学）
传统的基于重放的持续学习（CL）方法对于具有新数据的每个学习阶段需要重放代表所有先前学习的知识的样本，以便避免灾难性遗忘。由于在CL问题中学习的知识量随着时间的推移而增长，因此生成重放花费越来越多的时间重新学习已经知道的内容。在这个概念验证研究中，我们提出了一种基于重放的CL策略，我们称之为绝热重放（AR），它的效率来自于每个新学习阶段是绝热的（合理）假设，即，这只是对现有知识的一个小小的补充。每一个新的学习阶段都会触发一个采样过程，从现有的知识中选择性地重放与新数据相似的样本，而不是重放所有的样本。不需要完全重放，因为AR代表了GARCH的数据分布，GARCH只有在数据统计发生变化时才能选择性地更新其内部表示。只要加法是绝热的，则要重放的样本的量根本不需要取决于先前获取的知识的量。我们通过实验验证了AR优于使用VAE的最先进的深度生成重放。
2023-03-23 cs.AI cs.LG
Stable Continual Reinforcement Learning via Diffusion-based Trajectory Replay
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies（Polixir科技公司）
本文提出DISTR算法，利用扩散模型记忆并回放高回报轨迹分布，结合优先级机制，在Continual World基准上实现稳定性和可塑性的平衡，有效缓解持续强化学习中的灾难性遗忘。
2024-11-16 cs.LG
SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
Georgia Institute of Technology（佐治亚理工学院）；The Cyprus Institute（塞浦路斯研究所）
SHARP提出一种神经启发式持续学习方法，利用稀疏动态连接和激活回放，仅回放最近见过的少数类别即可持续更新所有层，在类别增量学习中优于现有回放方法。
2023-05-29 cs.CV cs.LG
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College（达特茅斯学院）
本文提出一种受神经科学启发的持续学习框架，通过比较预测编码与反向传播策略，展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Continual Learning of New Sound Classes using Generative Replay
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila--Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Adobe Research（奥多比研究院）
持续学习包括在一系列数据集上递增地训练模型，并在所有数据集的联合上进行测试。在本文中，我们研究了声音分类问题的持续学习，我们希望改进已经训练好的模型来学习新的声音类别。在实践中，人们并不想保留所有过去的训练数据并从头开始重新训练，但是天真地用新数据（集）更新模型会导致已经学习的任务的退化，这被称为“灾难性遗忘”。“我们开发了一个生成重放程序来生成训练音频频谱图数据，而不是保留旧的训练数据集。我们表明，通过逐步完善的分类器与生成重放一个发电机，是所有以前的训练数据的大小的4%匹配的性能，完善的分类器保持20%的所有以前的训练数据。因此，我们可以扩展经过训练的声音分类器来学习新的类，而不必保留以前使用的数据集。
2019-06-03 cs.LG cs.SD eess.AS
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
开发能够真正终身学习的人工智能应用的一个主要障碍是，人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法，但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较，我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议，我们发现基于正则化的方法（例如，弹性权重合并）在需要推断任务标识时失败。相比之下，生成重放结合蒸馏（即，使用类别概率作为“软目标”）在所有三种情况下都实现了优异的性能。为了解决效率问题，我们通过将生成模型集成到主模型中，并为其配备生成反馈或反向连接，从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间，而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
Scalable Strategies for Continual Learning with Replay
Southwest Research Institute（西南研究 institute）
针对持续学习中回放方法可扩展性差的问题，该研究将低秩适配引入持续学习，提出分阶段回放的巩固方法与适配持续学习的顺序合并方法，三者协同形成的高可扩展工具集性能优于单一方法。
2025-05-18 cs.AI cs.CV cs.LG
Trust Region Continual Learning as an Implicit Meta-Learner
Georgia Institute of Technology（佐治亚理工学院）
本文提出信任区域持续学习，通过结合生成重放和Fisher度量信任区域约束，实现隐式元学习效果，在任务增量扩散图像生成和持续扩散策略控制中取得最佳性能。
2026-10-27 cs.LG
BinPlay: A Binary Latent Autoencoder for Generative Replay Continual Learning
Warsaw University of Technology（华沙理工大学）；Tooploox
我们引入了一个二进制潜在空间自动编码器架构排练训练样本的持续学习的神经网络。用新数据扩展模型知识而不忘记先前学习的样本的能力是持续学习的基本要求。现有的解决方案通过从存储器重放过去的数据来解决它，这对于不断增长的训练数据是不可持续的，或者通过用生成模型来重建过去的样本来解决它，生成模型被训练为泛化超过训练数据，因此错过了各个样本的重要细节。在本文中，我们采取了两全其美，并介绍了一种新的生成排练方法，称为BinPlay。它的主要目标是找到一个质量保持编码过去的样本到预先计算的二进制代码生活在自动编码器的二进制潜在空间。由于我们仅根据训练样本的时间索引来参数化用于预计算代码的公式，因此自动编码器能够实时计算排练样本的二进制嵌入，而无需将它们保存在内存中。对三个基准数据集的评估显示，BinPlay与竞争性生成重放方法相比，准确性提高了两倍。
2020-11-25 cs.LG
Online Curvature-Aware Replay: Leveraging $\mathbf{2^{nd}}$ Order Information for Online Continual Learning
University of Pisa（比萨大学）
本文提出在线曲率感知回放（OCAR）方法，将基于回放的在线持续学习形式化为带KL约束的二阶在线联合优化，利用K-FAC近似的Fisher信息矩阵预处理梯度以稳定优化并防止遗忘，在多个基准上取得最优性能。
2025-02-03 cs.AI cs.LG
Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning
University of Arizona（亚利桑那大学）；University of Central Florida（中佛罗里达大学）
本研究通过比较多种样本选择策略并提供寻找最佳存储样本数量的详细分析，改进了持续学习中的重放样本选择与存储，以减少灾难性遗忘。
2023-08-03 cs.AI cs.LG
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California（南加州大学）
针对严格类增量持续学习的遗忘难题，提出基于时间感知正则化的生成式经验重放方法，动态微调三类训练目标，在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Dual-LoRA and Quality-Enhanced Pseudo Replay for Multimodal Continual Food Learning
College of Computer Science and Artificial Intelligence, Fudan University, China（复旦大学计算机科学与人工智能学院）；Singapore Management University, Singapore（新加坡国立管理学院）
针对多模态食品分析大模型学习新任务时的灾难性遗忘问题，提出融合Dual-LoRA架构与质量增强伪回放的持续学习框架，在Uni-Food数据集上验证了其优异的遗忘缓解效果。
2025-11-17 cs.AI cs.LG
Revisiting Softmax Masking: Stop Gradient for Enhancing Stability in Replay-based Continual Learning
KAIST（韩国科学技术院）
本文针对持续学习中 softmax 交叉熵诱发遗忘的问题，提出可调节新旧类别梯度尺度的通用掩码 softmax，以提升回放方法的稳定性，并在极小缓冲区下验证其性能增益。
2024-01-24 cs.AI cs.LG
Graph Continual Learning with Debiased Lossless Memory Replay
University of Technology Sydney（悉尼科技大学）；Singapore Management University（新加坡管理大学）
本文提出图持续学习框架DeLoMe，通过学习无损合成节点表示作为记忆以保护隐私并捕获整体图信息，同时设计去偏损失函数缓解数据不平衡导致的任务偏差，在四个数据集上验证了其有效性。
2024-10-15 cs.LG
t-DGR: A Trajectory-Based Deep Generative Replay Method for Continual Learning in Decision Making
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
针对决策持续学习中自回归生成重放的轨迹误差累积问题，提出以轨迹时间步为条件的非自回归 t-DGR，并在 Continual World 平均成功率上达到最先进水平。
2024-06-17 cs.AI cs.LG cs.NE
Teaching AI to Remember: Insights from Brain-Inspired Replay in Continual Learning
School of Computing, KAIST（计算机学院，韩国科学技术院）
针对人工神经网络持续学习中的灾难性遗忘问题，研究探究脑启发内部重放机制，发现其结合SI可显著缓解遗忘但会降低初始任务准确率，揭示了表征重叠的局限与未来研究方向。
2025-08-24 cs.AI cs.LG
Prototype-Guided Memory Replay for Continual Learning
Deakin University（迪肯大学）；Monash University（莫纳什大学）
持续学习（CL）是指一种机器学习范式，它在不忘记先前获得的知识的情况下持续学习。因此，CL的主要困难是由数据分布的变化引起的对先前任务的灾难性遗忘。现有的CL模型通常会保存大量的旧示例，并随机重新访问以前看到的数据以保留旧知识。然而，随着所见数据的积累，占用的存储器大小不断增大。因此，我们提出了一个内存有效的CL方法，通过存储一些样本，以实现良好的性能。我们设计了一个动态原型引导的记忆回放模块，并将其纳入在线元学习模型。我们对文本分类进行了广泛的实验，并研究了训练集顺序对CL模型性能的影响。实验结果证明了我们的方法在遗忘缓解和效率方面的优越性。
2023-03-04 cs.LG
GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning
Indian Institute of Technology (ISM) - Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Google Research, India（谷歌研究院（印度））
持续学习（CL）旨在开发技术，使单个模型适应顺序遇到的越来越多的任务，从而有可能以资源高效的方式利用跨任务的学习。CL系统面临的一个主要挑战是灾难性遗忘，即在学习新任务时忘记先前的任务。为了解决这个问题，基于重放的CL方法维护并重复重新训练在遇到的任务中选择的数据的小缓冲区。我们提出了梯度Coreset重放（GCR），重放缓冲区的选择和更新，使用精心设计的优化标准的一种新的策略。具体来说，我们选择并保持一个“coreset”，接近目前为止看到的所有数据的梯度相对于当前的模型参数，并讨论其有效应用到持续学习设置所需的关键策略。我们在经过充分研究的离线持续学习设置中显示出比最先进的显着增益（绝对值2%-4%）。我们的研究结果还有效地转移到在线/流媒体CL设置，显示出比现有方法高出5%的收益。最后，我们证明了监督对比损失的价值为持续学习，这产生了高达5%的准确性，当与我们的子集选择策略相结合的累积增益。
2022-04-15 cs.AI cs.LG
Experience Replay Addresses Loss of Plasticity in Continual Learning
University of Virginia（弗吉尼亚大学）
本文提出经验回放结合Transformer可解决持续学习中深度网络的可塑性丧失问题，并在回归、分类和策略评估任务中验证了该假设。
2025-03-25 cs.AI cs.LG cs.NE
Unsupervised Continual Learning with Growing Self-Organizing Maps and Synthetic Replay
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出基于生长自组织映射与合成重放的无监督持续学习框架，无需原始数据与监督信息，在多基准测试中性能优于无内存方法，在单类增量场景表现突出，为相关研究提供参考。
2026-08-31 cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales（泰雷兹）
人类一生都在学习。他们从一系列的学习经验中积累知识，记住基本概念，而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案，如分类或回归。特别是，如果他们接受新的培训，他们会忘记过去的学习经验。因此，人工神经网络往往不适合处理现实生活中的设置，如一个笨拙的机器人，必须在线学习，以适应新的情况，克服新的问题，而不会忘记它过去的学习经验。持续学习（CL）是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识，而不会忘记。在这篇论文中，我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本，以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷，从而使学习不会忘记任务设置的顺序。我们表明，他们是非常有前途的方法，持续学习。值得注意的是，它们能够用新知识重新评估过去的数据，并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science（印度科学研究院）
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上，大多数现有的人工神经网络（ANN）模型都失败了，而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题，但它需要大量的内存，并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型，以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长，以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘，并在视觉持续学习基准测试中获得了最先进的结果，如MNIST，Permuted MNIST（QMNIST），CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果，如SVHN，Fashion-MNIST，EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
Replay-enhanced Continual Reinforcement Learning
Tsinghua University（清华大学）；The University of British Columbia（不列颠哥伦比亚大学）；Tencent（腾讯）
本文提出 RECALL 方法，通过自适应归一化和策略蒸馏解决持续强化学习中回放导致的奖励尺度偏置与分布偏移问题，显著提升新任务可塑性并避免灾难性遗忘。
2023-11-20 cs.AI cs.LG
Distilled Replay: Overcoming Forgetting through Synthetic Samples
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
重放策略是一种持续学习技术，它通过保留来自先前经验的模式缓冲区来减轻灾难性遗忘，这些模式在训练期间与新数据交织。存储在缓冲区中的模式的数量是一个关键参数，它在很大程度上影响最终的性能和该方法的内存占用。这项工作介绍了蒸馏重放，一种新的重放策略持续学习，它能够通过保持一个非常小的缓冲区（1模式每类）的高度信息化的样本，以减轻遗忘。Distilled Replay通过蒸馏过程构建缓冲区，该过程将大型数据集压缩为一组信息丰富的示例。我们展示了我们的蒸馏重放对流行的重放为基础的策略的有效性四个持续学习基准。
2021-06-22 cs.AI cs.LG
On the Limitation and Experience Replay for GNNs in Continual Learning
The University of Hong Kong（香港大学）
该研究首次探索节点级图持续学习中GNN的可学习性，发现结构偏移会严重影响其效果，进而提出结构演化感知经验回放方法SEA-ER，通过拓扑感知选样与结构对齐回放缓解遗忘与结构偏移影响，实验验证了理论与方法的有效性。
2024-07-09 cs.LG
Saliency-Guided Hidden Associative Replay for Continual Learning
Emory University（埃默里大学）
针对持续学习中回放方法内存开销大、现有局部数据检索机制不符合人类记忆规律的问题，提出结合联想记忆与回放策略的SHARC框架，通过稀疏编码存储显著片段、基于内容检索实现高效回忆，在多任务上验证了有效性。
2023-10-06 cs.LG
