Remember What You Want to Forget: Algorithms for Machine Unlearning
Cornell University（康奈尔大学）；University of Waterloo（滑铁卢大学）；Google Research（谷歌研究院）
我们研究了从学习模型中去除数据点的问题。学习器首先接收i.i.d.绘制的数据集$S$。从未知的分布，并输出一个模型$\widehat{w}$，该模型对来自相同分布的未见过的样本表现良好。然而，在未来的某个时刻，任何训练数据点$z \in S$都可以请求取消学习，从而促使学习者修改其输出模型，同时仍然确保相同的准确性保证。我们在机器遗忘中开始了一项严格的泛化研究，其目标是在以前看不见的数据点上表现良好。我们的重点是计算和存储的复杂性。对于凸损失的设置，我们提供了一个unlearning算法，可以unlearn到$O(n/d^{1/4})$样本，其中$d$是问题的维度。相比之下，一般而言，差分私有学习（这意味着不学习）仅保证删除$O(n/d^{1/2})$样本。这证明了差分隐私和机器遗忘之间的新分离。
2021-07-22 cs.AI cs.LG
The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
Quantegra Research（Quantegra研究公司）
研究 DreamerV3 家族智能体在任务序列训练时的遗忘问题，通过组件级探测发现是通道问题，提出分级梦境排练方法，能产生无任务标签、参数恒定的持续学习者，在多任务链保留上表现优异。
2026-07-23 cs.AI cs.LG
Learning by Active Forgetting for Neural Networks
Central South University（中南大学）；Mississippi State University（密西西比州立大学）；Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院合肥智能机械研究所）；Southwest Jiaotong University（西南交通大学）；Peking University（北京大学）；Zhejiang University（浙江大学）
在人类的学习记忆系统中，记忆和遗忘机制是同一枚硬币的两面。受人脑记忆机制的启发，现代机器学习系统一直致力于通过更好的记忆赋予机器终身学习能力，同时推动遗忘作为对抗者来克服。然而，这个想法可能只看到了一半。直到最近，越来越多的研究人员认为，大脑是天生的遗忘，即，遗忘是一个自然的、主动的过程，它表现为抽象的、丰富的、灵活的表征。本文提出了一种基于人工神经网络的主动遗忘学习模型。将主动遗忘机制（AFM）引入神经网络中，通过即插即用的遗忘层（P\&PF），由多组抑制性神经元组成，内部调节策略（IRS）通过侧抑制机制调节自身的消退速率，外部调节策略（ERS）通过抑制机制调节兴奋性神经元的消退速率.实验研究表明，P\&PF提供了令人惊讶的好处：自适应结构，强泛化，长期学习和记忆，以及对数据和参数扰动的鲁棒性。这项工作揭示了遗忘在学习过程中的重要性，并为理解神经网络的潜在机制提供了新的视角。
2021-11-21 cs.AI cs.LG cs.NE
An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks
灾难性遗忘是许多机器学习模型和算法面临的问题。当在一个任务上训练，然后在第二个任务上训练时，许多机器学习模型“忘记”如何执行第一个任务。这被广泛认为是神经网络的一个严重问题。在这里，我们调查的灾难性遗忘问题发生的现代神经网络的程度，比较建立和最近的基于梯度的训练算法和激活函数。我们还研究了第一个任务和第二个任务之间的关系对灾难性遗忘的影响。我们发现使用dropout算法进行训练总是最好的--dropout算法在适应新任务、记住旧任务方面始终是最好的，并且在这两个极端之间具有最好的折衷曲线。我们发现，不同的任务和任务之间的关系导致非常不同的排名激活功能的性能。这表明激活函数的选择应始终进行交叉验证。
2015-03-04 cs.LG cs.NE stat.ML
Learning to Remember More with Less Memorization
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
由一个神经控制器和一个外部存储器组成的记忆增强神经网络在长期的顺序学习中显示出了潜力。当前的RAM类存储器模型维持每个时间步的存储器访问，因此它们不能有效地利用控制器中保持的短期存储器。我们假设这种写入方案在内存利用率方面是次优的，并且引入了冗余计算。为了验证我们的假设，我们推导出一个理论界的RAM类系统中存储的信息量，并制定一个优化问题，最大限度地提高了边界。所提出的解决方案被称为统一的写作被证明是最佳的假设下，相等的时间步长的贡献。为了放松这一假设，我们引入修改原来的解决方案，导致在一个解决方案称为缓存均匀写入。这种方法旨在通过记忆机制在最大化记忆和遗忘之间取得平衡。通过一组广泛的实验，我们经验证明了我们的解决方案的优势，其他经常性的架构，声称国家的最先进的各种顺序建模任务。
2019-03-20 cs.LG cs.NE stat.ML
Remember to Forget: Gated Adaptive Positional Encoding
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；Department of Computer, Control and Management Engineering, Sapienza University（计算机、控制与管理工程系，萨皮恩扎大学）；Department of Information Engineering, University of Padova（信息工程系，帕多瓦大学）
GAPE通过引入内容感知偏差优化注意力逻辑，在保持旋转几何的前提下，分离距离抑制与token重要性，提升长上下文鲁棒性。
2026-10-09 cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales（泰雷兹）
人类一生都在学习。他们从一系列的学习经验中积累知识，记住基本概念，而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案，如分类或回归。特别是，如果他们接受新的培训，他们会忘记过去的学习经验。因此，人工神经网络往往不适合处理现实生活中的设置，如一个笨拙的机器人，必须在线学习，以适应新的情况，克服新的问题，而不会忘记它过去的学习经验。持续学习（CL）是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识，而不会忘记。在这篇论文中，我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本，以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷，从而使学习不会忘记任务设置的顺序。我们表明，他们是非常有前途的方法，持续学习。值得注意的是，它们能够用新知识重新评估过去的数据，并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Overcoming catastrophic forgetting in neural networks
DeepMind（深度思维）；Imperial College London（帝国理工学院）
以顺序方式学习任务的能力对人工智能的发展至关重要。一般来说，神经网络不具备这种能力，人们普遍认为，灾难性遗忘是连接主义模型的一个不可避免的特征。我们表明，它是有可能克服这种限制和训练网络，可以保持专业知识的任务，他们没有经历了很长一段时间。我们的方法通过选择性地减慢对这些任务重要的权重的学习来记住旧任务。我们证明了我们的方法是可扩展的和有效的，通过解决一组分类任务的基础上MNIST手写数字数据集和学习几个雅达利2600游戏顺序。
2017-01-25 cs.AI cs.LG stat.ML
Teaching AI to Remember: Insights from Brain-Inspired Replay in Continual Learning
School of Computing, KAIST（计算机学院，韩国科学技术院）
针对人工神经网络持续学习中的灾难性遗忘问题，研究探究脑启发内部重放机制，发现其结合SI可显著缓解遗忘但会降低初始任务准确率，揭示了表征重叠的局限与未来研究方向。
2025-08-24 cs.AI cs.LG
Memoria: Resolving Fateful Forgetting Problem through Human-Inspired Memory Architecture
Sungkyunkwan University（成均馆大学）
针对神经网络长期记忆中的宿命遗忘问题，受人类记忆机制启发提出Memoria记忆系统，在排序、语言建模和分类任务中超越传统方法，并展现出人类记忆特征。
2024-06-08 cs.AI cs.LG cs.NE
Neural Garbage Collection: Learning to Forget while Learning to Reason
Stanford University（斯坦福大学）
本文提出神经垃圾回收（NGC），通过端到端学习使语言模型在推理时自动管理内存，无需人工设计规则，实现内存压缩与效率提升。
2026-04-20 cs.LG
Continual Learning in Deep Neural Network by Using a Kalman Optimiser
University of Surrey（萨里大学）；Adobe（奥多比）
在持续学习模型中，学习和适应新的分布或顺序地学习新的任务而不忘记先前学习的知识是一个具有挑战性的现象。大多数传统的深度学习模型不能在一个模型中顺序地学习新任务而不忘记先前学习的任务。我们通过使用卡尔曼优化器来解决这个问题。卡尔曼优化器将神经网络分为两部分：长期记忆单元和短期记忆单元。长期记忆单元用于记忆已学任务，短期记忆单元用于适应新任务。我们在MNIST，CIFAR10，CIFAR100数据集上评估了我们的方法，并将我们的结果与最先进的基线模型进行了比较。结果表明，我们的方法使模型能够不断学习和适应新的变化，而不会忘记以前学习的任务。
2019-05-24 cs.LG stat.ML
Comprehensive Literature Survey on Deep Learning used in Image Memorability Prediction and Modification
Indira Gandhi Delhi Technical University for Women（英迪拉·甘地德里女子技术大学）
作为人类，我们可以非常详细地记住某些视觉效果，有时甚至在看过一次之后。更有趣的是，人类倾向于记住和忘记相同的东西，这表明图像可能有一些一般的内部特征来编码和丢弃类似类型的信息。研究表明，有些图片往往比其他图片更容易记住。图像被不同的观看者记住的能力是其内在属性之一。在可视化和摄影中，创造令人难忘的图像是一项艰巨的任务。因此，为了解决这个问题，各种技术预测视觉记忆和操纵图像的记忆。我们提出了一个全面的文献调查，以评估用于预测和修改记忆力的深度学习技术。特别是，我们分析了使用卷积神经网络，递归神经网络和生成对抗网络的图像记忆预测和修改。
2023-01-18 cs.CV cs.LG
Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias
MIT（麻省理工学院）；Northwestern University（西北大学）
通过引入初始化记忆度量，研究随机初始化对训练后预测器的影响，发现低学习率SGD保留初始化记忆而Adam族方法遗忘，且遗忘动力学与泛化正则化相关。
2026-05-27 cs.LG math.OC stat.ML
cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
DEIB, Politecnico di Milano（DEIB，米兰理工学院）
cPNN通过连续渐进神经网络有效处理流时间序列中的概念漂移和时间依赖性，避免灾难性遗忘，提升模型适应性与鲁棒性。
2026-03-03 cs.AI cs.LG
Not All Memories are Created Equal: Learning to Forget by Expiring
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林计算机科学及其应用实验室）
注意力机制在需要长期记忆的序列建模任务中显示出有希望的结果。最近的工作研究了减少保存和存储记忆的计算成本的机制。然而，并不是所有过去的内容都同样重要。我们提出了Expire-Span，一种学习保留最重要信息并使不相关信息过期的方法。这种记忆的遗忘使Transformers能够扩展以有效地参与数万个先前时间步，因为并非来自先前时间步的所有状态都被保留。我们证明了Expire-Span可以帮助模型识别和保留关键信息，并表明它可以在专门设计用于挑战此功能的强化学习任务上实现强大的性能。接下来，我们展示了Expire-Span可以扩展到数万个大小的记忆，为字符级语言建模和逐帧移动对象任务等非常长的上下文任务设置了新的艺术状态。最后，我们分析了Expire-Span与现有方法相比的效率，并证明了它的训练速度更快，占用的内存更少。
2021-06-13 cs.AI cs.LG
Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention
Frederick University（弗雷德里克大学）
该研究针对无注意力序列模型的长程单次回忆缺陷，提出带特定机制的“笔记本”记忆单元，在合成与真实文本任务上实现长度不变的精确回忆，且可复现。
2026-09-01 cs.CL cs.LG
Overcoming Catastrophic Forgetting by Soft Parameter Pruning
Beijing Normal University（北京师范大学）；Southwest Jiaotong University（西南交通大学）；Central South University（中南大学）；South China University of Technology（华南理工大学）
灾难性遗忘是持续学习中的一个挑战性问题，当深度神经网络在对后续任务进行学习后忘记从前一个任务获得的知识时。然而，现有的方法试图找到所有任务共享的参数的联合分布。这个想法可能是有问题的，因为当任务数量增加时，这种联合分布可能不存在。另一方面，当网络容量有限时，它也会导致“长期”内存问题，因为添加任务会“吃掉”网络容量。本文提出了一种软参数剪枝（SPP）策略，通过释放那些对记忆先前任务领域知识贡献较小的参数来学习未来任务，同时通过这些参数有效地编码关于任务的知识来保存关于先前任务的记忆，从而在学习模型的短期和长期收益之间达到权衡。SPP还以无标签的方式通过信息熵来度量参数的重要性。通过对多个任务的实验表明，SPP模型取得了最好的性能与其他国家的最先进的方法相比。实验结果表明，该方法对超参数不敏感，具有较好的泛化能力。我们的研究表明，一个软的策略，即近似优化或次优的解决方案，将有利于缓解记忆的困境。源代码可在https://github.com/lehaifeng/Learning_by_memory上获得。
2018-12-04 cs.LG
Bayesian continual learning and forgetting in neural networks
Université Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France（巴黎-萨克雷大学，法国国家科学研究中心，纳米科学与纳米技术中心，Palaiseau）；Université Grenoble-Alpes, CEA, LETI, Grenoble, France（格勒诺布尔阿尔卑斯大学，法国原子能委员会，微电子与技术实验室，Grenoble）；Université Grenoble-Alpes, CEA, LIST, Grenoble, France（格勒诺布尔阿尔卑斯大学，法国原子能委员会，低带宽信息传输实验室，Grenoble）
针对人工神经网络的灾难性遗忘与记忆问题，本文提出贝叶斯框架MESU，基于参数不确定性实现学习与遗忘的原则性结合，无需任务边界即可适应流数据，在图像分类基准中减轻遗忘并保持可塑性，性能优于现有方法。
2025-04-18 cs.LG
Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Alberta（阿尔伯塔大学）
本研究通过测量权重和激活的eRank，探讨了连续学习中遗忘与结构崩溃之间的关系，并评估了不同策略对模型容量和性能的影响。
2026-03-04 cs.AI cs.LG
The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting
该研究以模运算的 grokking 为场景，发现相同饱和性能下，高熵模型比 AdamW 训练的 Transformer 更能抵御灾难性遗忘，其注意力与 MLP 层有效秩更高，揭示完美泛化不代表同等鲁棒性。
2026-08-03 cs.LG
Continual Learning Using Multi-view Task Conditional Neural Networks
University of Surrey（萨里大学）；UK Dementia Research Institute（英国痴呆症研究所）；Imperial College London（帝国理工学院）；Adobe（奥多比公司）
传统的深度学习模型在顺序学习多个任务方面的能力有限。在持续学习中，忘记先前学习的任务的问题被称为灾难性遗忘或干扰。当输入数据或学习目标发生变化时，连续模型将学习并适应新的状态。然而，模型不会记住或识别对先前状态的任何重新访问。这会导致性能降低和重新训练曲线，以处理数据或目标中的周期性或不规则重复发生的变化。在持续学习模型中，目标或数据的变化被称为新任务。大多数持续学习方法具有任务已知设置，其中任务身份对于学习模型是预先已知的。提出了一种不需要预先知道重复任务的多视图任务条件神经网络（Mv-TCNN）。我们使用MNIST，CIFAR 10，CIFAR 100标准数据集以及我们在远程医疗监测研究中收集的真实数据集（即TIHM数据集）评估我们的模型。该模型在持续学习和适应未预先定义的新任务方面优于最先进的解决方案。
2020-07-13 cs.LG stat.ML
CQural: A Novel CNN based Hybrid Architecture for Quantum Continual Machine Learning
Indian Institute of Technology, Jodhpur（印度理工学院焦特布尔分校）
本文提出了一种基于CNN的新型经典-量子混合神经网络架构CQural，通过利用可解释的特定特征来规避持续学习中的灾难性遗忘，并在MNIST和CIFAR-10数据集上证明了其优于经典架构的记忆能力。
2023-05-16 cs.AI cs.LG
Variance-Reduced $(\varepsilon,δ)-$Unlearning using Forget Set Gradients
INRIA Paris（巴黎国家信息与自动化研究所）；INRIA Sophia Antipolis（里沃利国家信息与自动化研究所）
本文提出VRU算法，首次将遗忘集梯度直接纳入更新规则，证明其满足$(\varepsilon,δ)-$遗忘学习并优于现有方法。
2026-02-16 cs.LG math.OC
Uncertainty-guided Continual Learning with Bayesian Neural Networks
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；KAUST（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）
持续学习的目的是学习新的任务而不忘记以前学过的。当无法访问先前任务的数据以及模型具有固定容量时，这尤其具有挑战性。目前基于正则化的持续学习算法需要一个外部表示和额外的计算来测量参数的\textit{importance}。相比之下，我们提出了不确定性指导的连续贝叶斯神经网络（UCB），其中学习率根据网络中权重的概率分布中定义的不确定性进行调整。不确定性是一种自然的方式来识别\textit{what to remember}和\textit{what to change}，因为我们不断学习，从而减轻灾难性遗忘。我们还展示了我们模型的一个变体，它使用不确定性进行权重修剪，并通过保存每个任务的二进制掩码来修剪后保留任务性能。我们在不同的对象分类数据集上广泛评估了我们的UCB方法，这些数据集具有短序列和长序列的任务，并报告了与现有方法相比的优越或同等的性能。此外，我们表明，我们的模型并不一定需要在测试时的任务信息，即它不假定知识的任务样本属于。
2020-02-20 cs.AI cs.CV cs.LG
Merge before Forget: A Single LoRA Continual Learning via Continual Merging
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出了一种通过持续合并实现单个LoRA持续学习的方法，利用正交初始化和时间感知缩放机制减少任务干扰并提升性能。
2025-12-28 cs.LG
What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents
University of California, Irvine（加州大学尔湾分校）
研究大语言模型和智能体内存压缩问题，提出基于率失真视角统一分类各层方法，构建七轴分类法并转移机制，还针对相关问题未被测量及缺乏统一基准的情况，转化为提案、实验、原则并梳理开放问题。
2026-07-10 cs.LG
Incremental Learning for Semantic Segmentation of Large-Scale Remote Sensing Data
Université Côte d’Azur（蔚蓝海岸大学）；INRIA（法国国家信息与自动化研究所）
尽管卷积神经网络在语义分割方面取得了显着的成功，但它们遭受了灾难性遗忘：当在数据上添加新类时，已经学习的类的性能显着下降，旧类没有注释。我们提出了一种增量学习方法，使学习分割新的类，而不妨碍密集的标记能力，为以前的类，虽然整个以前的数据是不可访问的。所提出的方法的关键点是适应网络学习新的以及旧的类在新的训练数据，并允许它记住以前学到的信息，为旧的类。为了适应，我们保留了之前训练的网络的冻结副本，在没有以前类的注释的情况下，它被用作更新网络的记忆。更新后的网络使损失函数最小化，该损失函数平衡来自存储器和更新后的网络的先前类别的输出之间的差异，以及来自更新后的网络的新类别的输出和新的地面实况之间的误分类率。为了记忆，我们要么定期从存储的数据中提取样本，要么使用记忆网络，这取决于新数据是从完全不同的地理区域还是从同一个城市收集的。我们的实验结果证明，它是可以添加新的类到网络，同时保持其性能为以前的类，尽管整个以前的训练数据是不可用的。
2018-10-29 cs.CV cs.LG stat.ML
Center Loss Regularization for Continual Learning
Stony Brook University（石溪大学）；IIIT Hyderabad（海得拉巴国际信息技术研究所）
顺序学习不同任务的能力对人工智能的发展至关重要。一般来说，神经网络缺乏这种能力，主要障碍是灾难性遗忘。它发生在不断获取来自非平稳数据分布的增量可用信息时，破坏了模型已经学习的内容。我们的方法通过将新任务的表示投影到旧任务的表示附近来记住旧任务，同时保持决策边界不变。我们采用中心丢失作为正则化惩罚，强制新任务的特征具有与旧任务相同的类中心，并使特征具有高度的区分性。这反过来又导致对已经学习的信息的遗忘最少。这种方法易于实现，需要最小的计算和内存开销，并允许神经网络在许多顺序遇到的任务中保持高性能。我们还证明，使用中心损失与记忆重放优于其他重放为基础的战略。随着标准的MNIST变体持续学习，我们将我们的方法与Digits和PACS数据集的连续领域自适应方案。我们证明，我们的方法是可扩展的，有效的，并提供竞争力的性能相比，国家的最先进的持续学习方法。
2021-10-21 cs.CV cs.LG
Learning Fast and Slow for Online Time Series Forecasting
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（赛富时亚洲研究院）
深度神经网络在非平稳环境中的快速适应能力对于在线时间序列预测至关重要。成功的解决方案需要处理对新的和重复出现的模式的更改。然而，动态训练深度神经预测器是非常具有挑战性的，因为它们适应非平稳环境的能力有限，并且会对旧知识产生灾难性遗忘。在这项工作中，受互补学习系统（CLS）理论的启发，我们提出了快速和慢速学习网络（FSNet），一个整体的框架，在线时间序列预测，同时处理突变和重复模式。特别是，FSNet通过动态平衡对最近变化的快速适应和检索类似的旧知识来改善缓慢学习的骨干。FSNet通过适配器的两个互补组件之间的交互来实现这种机制，以监视每个层对丢失的贡献，以及支持记住，更新和调用重复事件的关联存储器。在真实和合成数据集上进行的大量实验验证了FSNet对新模式和重复模式的有效性和鲁棒性。我们的代码可在\url{https://github.com/salesforce/fsnet}上获得。
2022-10-17 cs.LG stat.ML
Machine Unlearning Method Based On Projection Residual
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Shanghai International Studies University（上海外国语大学）
机器学习模型（主要是神经网络）在现实生活中的应用越来越多。用户将他们的数据提供给模型进行训练。但这些过程往往是单向的。一旦经过训练，模型就会记住数据。即使从数据集中删除数据，这些数据的影响仍然存在于模型中。随着世界各地越来越多的法律法规保护数据隐私，通过机器遗忘让模型完全忘记这些数据变得更加重要。本文采用基于牛顿迭代法的投影残差法。主要目的是在线性回归模型和神经网络模型的背景下实现机器遗忘任务。该方法主要采用迭代加权的方法，完全忘记数据及其相应的影响，其计算代价在数据的特征维度上是线性的。该方法可以改进现有的机器学习方法。同时，它与训练集的大小无关。通过特征注入测试（FIT）对结果进行了评估。实验表明，该方法删除数据更彻底，接近模型再训练。
2022-09-30 cs.AI cs.LG
Tell Me What To Learn: Generalizing Neural Memory to be Controllable in Natural Language
Columbia University（哥伦比亚大学）
本文提出了一种基于自然语言指令的通用神经记忆系统，实现对学习内容的灵活控制，适用于医疗和客户服务等需要动态更新的场景。
2026-11-06 cs.LG
Architecture Matters in Continual Learning
Washington State University（华盛顿州立大学）；DeepMind（深度思维）
持续学习的大量研究致力于通过设计对分布偏移具有鲁棒性的新算法来克服神经网络的灾难性遗忘。然而，大多数这些作品都严格集中在“算法”的一部分，持续学习的“固定神经网络架构”，和使用不同的架构的影响大多被忽视。即使是少数现有的修改模型的持续学习方法也假定固定的架构，并且旨在开发在整个学习体验中有效地使用模型的算法。然而，在这项工作中，我们表明，架构的选择可以显着影响持续学习的性能，不同的架构导致不同的权衡之间的能力，记住以前的任务和学习新的。此外，我们研究了各种架构决策的影响，我们的研究结果需要最佳实践和建议，可以提高持续学习的性能。
2022-02-01 cs.AI cs.LG
