Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
本文分析GEM中记忆强度超参数的作用机制，发现其通过改善泛化能力实现新旧任务权衡，并提出两种更灵活的细粒度梯度限制方法，在帕累托前沿上一致优于记忆强度，同时给出计算高效的近似求解方案。
2024-10-01 cs.LG
Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
Department of Computational Intelligence, SRM Institute of Science and Technology（计算智能系，SRM科学与技术学院）
本文提出R2R无监督持续学习框架，通过簇级不确定性反馈和生成回放机制在多个数据集上显著提升知识保留能力并取得领先性能。
2025-05-09 cs.AI cs.CV cs.LG
ReReLRP -- Remembering and Recognizing Tasks with LRP
NeverBlink（NeverBlink公司）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对持续学习中的灾难性遗忘，本文提出 ReReLRP，利用 LRP 在无回放条件下跨任务保留信息，增强隐私、可解释性、部署灵活性和存储效率，并在多数据集上达到可比性能。
2025-02-15 cs.LG
Remember What You Want to Forget: Algorithms for Machine Unlearning
Cornell University（康奈尔大学）；University of Waterloo（滑铁卢大学）；Google Research（谷歌研究院）
我们研究了从学习模型中去除数据点的问题。学习器首先接收i.i.d.绘制的数据集$S$。从未知的分布，并输出一个模型$\widehat{w}$，该模型对来自相同分布的未见过的样本表现良好。然而，在未来的某个时刻，任何训练数据点$z \in S$都可以请求取消学习，从而促使学习者修改其输出模型，同时仍然确保相同的准确性保证。我们在机器遗忘中开始了一项严格的泛化研究，其目标是在以前看不见的数据点上表现良好。我们的重点是计算和存储的复杂性。对于凸损失的设置，我们提供了一个unlearning算法，可以unlearn到$O(n/d^{1/4})$样本，其中$d$是问题的维度。相比之下，一般而言，差分私有学习（这意味着不学习）仅保证删除$O(n/d^{1/2})$样本。这证明了差分隐私和机器遗忘之间的新分离。
2021-07-22 cs.AI cs.LG
Remember and Forget Experience Replay for Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
我们提出的经验重放（ReF-ER）算法的记忆和忘记多智能体强化学习（MARL）的扩展。ReF-ER被证明在从OpenAI Gym到复杂流体流动的连续控制问题中优于最先进的算法。在MARL中，代理之间的依赖关系包括在状态值估计器和环境动态建模通过使用的重要性权重的参考ER。在协作环境中，当使用个人奖励估计价值时，我们发现最佳性能，并且我们忽略了其他动作对转换图的影响。我们在斯坦福智能系统实验室（SISL）环境中对ReF-ER MARL的性能进行了基准测试。我们发现，采用一个单一的前馈神经网络的政策和价值函数在Ref-ER MARL，优于最先进的算法，依赖于复杂的神经网络架构。
2022-09-02 cs.AI cs.LG math.OC
Continual Learning in Deep Neural Network by Using a Kalman Optimiser
University of Surrey（萨里大学）；Adobe（奥多比）
在持续学习模型中，学习和适应新的分布或顺序地学习新的任务而不忘记先前学习的知识是一个具有挑战性的现象。大多数传统的深度学习模型不能在一个模型中顺序地学习新任务而不忘记先前学习的任务。我们通过使用卡尔曼优化器来解决这个问题。卡尔曼优化器将神经网络分为两部分：长期记忆单元和短期记忆单元。长期记忆单元用于记忆已学任务，短期记忆单元用于适应新任务。我们在MNIST，CIFAR10，CIFAR100数据集上评估了我们的方法，并将我们的结果与最先进的基线模型进行了比较。结果表明，我们的方法使模型能够不断学习和适应新的变化，而不会忘记以前学习的任务。
2019-05-24 cs.LG stat.ML
Overcoming Catastrophic Forgetting by Soft Parameter Pruning
Beijing Normal University（北京师范大学）；Southwest Jiaotong University（西南交通大学）；Central South University（中南大学）；South China University of Technology（华南理工大学）
灾难性遗忘是持续学习中的一个挑战性问题，当深度神经网络在对后续任务进行学习后忘记从前一个任务获得的知识时。然而，现有的方法试图找到所有任务共享的参数的联合分布。这个想法可能是有问题的，因为当任务数量增加时，这种联合分布可能不存在。另一方面，当网络容量有限时，它也会导致“长期”内存问题，因为添加任务会“吃掉”网络容量。本文提出了一种软参数剪枝（SPP）策略，通过释放那些对记忆先前任务领域知识贡献较小的参数来学习未来任务，同时通过这些参数有效地编码关于任务的知识来保存关于先前任务的记忆，从而在学习模型的短期和长期收益之间达到权衡。SPP还以无标签的方式通过信息熵来度量参数的重要性。通过对多个任务的实验表明，SPP模型取得了最好的性能与其他国家的最先进的方法相比。实验结果表明，该方法对超参数不敏感，具有较好的泛化能力。我们的研究表明，一个软的策略，即近似优化或次优的解决方案，将有利于缓解记忆的困境。源代码可在https://github.com/lehaifeng/Learning_by_memory上获得。
2018-12-04 cs.LG
The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
Quantegra Research（Quantegra研究公司）
研究 DreamerV3 家族智能体在任务序列训练时的遗忘问题，通过组件级探测发现是通道问题，提出分级梦境排练方法，能产生无任务标签、参数恒定的持续学习者，在多任务链保留上表现优异。
2026-07-23 cs.AI cs.LG
Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics
本文通过均场自注意力玩具模型研究LoRA的灾难性遗忘问题，分析扰动范数和Transformer深度对遗忘行为的影响，并通过实验验证理论结果。
2026-05-13 cs.LG math.DS stat.ML
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Learning to Remember, Forget and Ignore using Attention Control in Memory
IBM Research AI（IBM研究院人工智能部门）；Almaden Research Center（阿尔马登研究中心）
典型的具有外部记忆的神经网络不能有效地分离人类推理所需的情景记忆和工作记忆的容量。运用心理学研究中获得的知识，我们设计了一个新的模型，称为可区分工作记忆（DWM），以专门模仿人类的工作记忆。由于它显示出与工作记忆相同的功能特征，它可以强大地学习心理学启发的任务，并且比同类最先进的模型收敛得更快。此外，DWM模型成功地推广到比训练中使用的序列长两个数量级的序列。我们的深入分析表明，DWM的行为是可解释的，它学会了对记忆进行精细的控制，允许它根据相关性保留，忽略或忘记信息。
2018-09-28 cs.LG cs.NE stat.ML
Learning to Learn without Forgetting using Attention
Center for Applied Intelligent Systems Research (CAISR)（应用智能系统研究中心（CAISR））；Halmstad University（哈尔姆斯塔德大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对机器学习持续学习中易遗忘旧知识的问题，提出用元学习训练基于Transformer、带注意力机制的优化器，在基准数据集上验证了其在前后向迁移上的有效性。
2024-08-14 cs.CV cs.LG
Attention-Based Structural-Plasticity
HRL Laboratories, LLC.（HRL实验室有限责任公司）；University of California Irvine（加州大学欧文分校）
灾难性遗忘/干扰是终身学习机器的一个关键问题，它阻碍了智能体在学习新任务时保持其先前学习的知识。神经网络尤其容易受到灾难性遗忘现象的影响。最近，已经有几个努力克服神经网络中的灾难性遗忘。在这里，我们提出了一个生物启发的方法来克服灾难性遗忘。具体来说，我们基于大脑中的胆碱能神经调节系统定义了基于注意力的突触选择性可塑性。我们定义突触重要性参数，除了突触权重，然后使用Hebbian学习并行反向传播算法学习突触重要性在线和无缝的方式。我们测试我们提出的方法的基准任务，包括置换MNIST和分裂MNIST的问题，并表现出竞争力的性能相比，国家的最先进的方法。
2019-03-02 cs.LG cs.NE stat.ML
What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Computer and Information Technology, University of Beijing Jiaotong（北京交通大学计算机与信息技术学院）；Department of Automation, Tsinghua University（清华大学自动化系）；University of Science and Technology of China（中国科学技术大学）
针对音频深度伪造检测模型难应对新型攻击的问题，提出基于类内余弦距离分类的RWM持续学习方法，在知识获取和抗遗忘上优于主流方法，且可推广至其他机器学习领域。
2023-12-15 cs.CR cs.LG cs.SD
Understanding Generalization and Forgetting in In-Context Continual Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；University of Buffalo（布法罗大学）
提出首个上下文持续学习理论框架，分析预训练Transformer在单提示中处理多序列任务时的泛化与遗忘行为，揭示注意力机制导致的干扰和偏差。
2026-05-27 cs.LG
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Remember to Forget: Gated Adaptive Positional Encoding
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；Department of Computer, Control and Management Engineering, Sapienza University（计算机、控制与管理工程系，萨皮恩扎大学）；Department of Information Engineering, University of Padova（信息工程系，帕多瓦大学）
GAPE通过引入内容感知偏差优化注意力逻辑，在保持旋转几何的前提下，分离距离抑制与token重要性，提升长上下文鲁棒性。
2026-10-09 cs.LG
How Linear Attention Remembers
本研究通过分析分解和因果干预，揭示了线性注意力中固定大小循环记忆如何通过集中式读写实现选择性事实召回，并指出其存在跨事实耦合、负载增加时性能下降及混合架构下依赖KV状态等特性。
2026-09-29 cs.AI cs.LG
Not All Memories are Created Equal: Learning to Forget by Expiring
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林计算机科学及其应用实验室）
注意力机制在需要长期记忆的序列建模任务中显示出有希望的结果。最近的工作研究了减少保存和存储记忆的计算成本的机制。然而，并不是所有过去的内容都同样重要。我们提出了Expire-Span，一种学习保留最重要信息并使不相关信息过期的方法。这种记忆的遗忘使Transformers能够扩展以有效地参与数万个先前时间步，因为并非来自先前时间步的所有状态都被保留。我们证明了Expire-Span可以帮助模型识别和保留关键信息，并表明它可以在专门设计用于挑战此功能的强化学习任务上实现强大的性能。接下来，我们展示了Expire-Span可以扩展到数万个大小的记忆，为字符级语言建模和逐帧移动对象任务等非常长的上下文任务设置了新的艺术状态。最后，我们分析了Expire-Span与现有方法相比的效率，并证明了它的训练速度更快，占用的内存更少。
2021-06-13 cs.AI cs.LG
Forgetting Transformer: Softmax Attention with a Forget Gate
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；MakerMaker AI（MakerMaker人工智能公司）；Google DeepMind（谷歌DeepMind）
本文提出 Forgetting Transformer (FoX)，通过以数据相关方式降低未归一化注意力分数将遗忘门融入 Transformer，在长上下文建模等任务上优于 Transformer 且兼容 FlashAttention，同时保留卓越长上下文能力。
2025-03-31 cs.AI cs.CL cs.LG
Learning to Remember More with Less Memorization
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
由一个神经控制器和一个外部存储器组成的记忆增强神经网络在长期的顺序学习中显示出了潜力。当前的RAM类存储器模型维持每个时间步的存储器访问，因此它们不能有效地利用控制器中保持的短期存储器。我们假设这种写入方案在内存利用率方面是次优的，并且引入了冗余计算。为了验证我们的假设，我们推导出一个理论界的RAM类系统中存储的信息量，并制定一个优化问题，最大限度地提高了边界。所提出的解决方案被称为统一的写作被证明是最佳的假设下，相等的时间步长的贡献。为了放松这一假设，我们引入修改原来的解决方案，导致在一个解决方案称为缓存均匀写入。这种方法旨在通过记忆机制在最大化记忆和遗忘之间取得平衡。通过一组广泛的实验，我们经验证明了我们的解决方案的优势，其他经常性的架构，声称国家的最先进的各种顺序建模任务。
2019-03-20 cs.LG cs.NE stat.ML
Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion
Institute of Artificial Intelligence, University of Central Florida（中央佛罗里达大学人工智能研究所）
本文提出了一种名为ARL2的混合注意力模块，通过将二次跨帧注意力替换为固定大小的递归状态，解决了自回归视频扩散模型在长视频生成中的可扩展性瓶颈问题，实现了线性时间复杂度和常数内存消耗，同时提升了时间一致性。
2026-05-20 cs.CV cs.LG
Adaptive Computation Pruning for the Forgetting Transformer
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
针对Forgetting Transformer注意力头快速遗忘的特性，提出自适应计算剪枝（ACP）方法，动态剪枝被遗忘门强烈衰减的依赖计算，在无性能损失下将注意力运行时间减少50%至70%，显著提升训练吞吐量。
2025-08-11 cs.AI cs.CL cs.LG
Long Short-Term Attention
Ocean University of China（中国海洋大学）
注意是人类重要的认知过程，它帮助人类在感知和学习过程中集中注意力于关键信息。然而，许多机器学习模型虽然能够记住数据的信息，但它们没有注意力机制。例如，长短期记忆（LSTM）网络能够记住序列信息，但它不能特别注意部分序列。在本文中，我们提出了一种称为长短期注意力（LSTA）的新模型，它将注意力机制无缝集成到LSTM的内部细胞中。LSTA不仅能处理长短期依赖关系，还能利用注意力机制集中于序列的重要信息。大量的实验表明，LSTA在序列学习任务上优于LSTM和相关模型。
2019-09-05 cs.CL cs.LG cs.NE
Forget Attention: Importance-Aware Attention Is All You Need
Department of Computer Engineering（计算机工程系）
提出SISA方法，通过将状态空间模型的重要性信号直接融入注意力分数计算，实现分数级融合，在语言建模中兼顾全局检索与重要性排序。
2026-10-30 cs.AI cs.CL cs.LG
Forgetting to Forget: Attention Sink as A Gateway for Backdooring LLM Unlearning
Michigan State University（密歇根州立大学）；National University of Singapore（新加坡国立大学）；IBM Research（IBM研究院）
该研究针对LLM遗忘过程，提出利用注意力汇作为网关的后门攻击方法，可使模型在无触发器时正常遗忘，有触发器时恢复被遗忘知识，经实验验证有效。
2026-08-25 cs.CL cs.LG
Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention
Frederick University（弗雷德里克大学）
该研究针对无注意力序列模型的长程单次回忆缺陷，提出带特定机制的“笔记本”记忆单元，在合成与真实文本任务上实现长度不变的精确回忆，且可复现。
2026-09-01 cs.CL cs.LG
Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
Idiap Research Institute（Idiap研究机构）；Ecole Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
针对线性注意力模型因有限内存导致的遗忘问题，本文提出结合稀疏注意力与可学习令牌驱逐的混合方法，在保持线性复杂度下提升检索性能。
2025-10-24 cs.CL cs.LG
Attention Smoothing Is All You Need For Unlearning
Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）；Institute for AI and Data Science, Wayne State University（韦恩州立大学人工智能与数据科学研究所）
ASU通过注意力平滑技术有效删除学习，减少记忆内容的同时保持响应连贯性，优于现有方法。
2026-03-01 cs.AI cs.CL cs.LG
Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias
MIT（麻省理工学院）；Northwestern University（西北大学）
通过引入初始化记忆度量，研究随机初始化对训练后预测器的影响，发现低学习率SGD保留初始化记忆而Adam族方法遗忘，且遗忘动力学与泛化正则化相关。
2026-05-27 cs.LG math.OC stat.ML
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
该研究针对线性注意力长上下文下的存储项干扰问题，提出查询衍生擦除方向（QED），可提升检索性能并在S-NIAH-1上使可用上下文长度约翻倍。
2026-08-17 cs.LG
Learning to Forget Attention: Memory Consolidation for Adaptive Compute Reduction
Iowa State University（爱荷华州立大学）
本文提出了一种基于记忆巩固的注意力路由机制，通过减少冗余注意力计算，显著提升模型效率，同时在未见过的任务中保持高准确性。
2026-02-12 cs.LG
ReCAT: Remember, Count, and Time: Structured Recurrent Memory for Robot Manipulation
University of Edinburgh（爱丁堡大学）；Intuitive Robots Lab, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院直觉机器人实验室）；NVIDIA（英伟达）；Robotics Institute Germany (RIG)（德国机器人研究所）
ReCAT 提出一种带结构化循环记忆的语言条件化策略，通过 Mamba-2 和因果注意力整合观测流，在 LIBERO 和 RMBench 上取得领先成功率，并在真实机器人任务中显著超越短历史基线，验证了记忆更新的不同规则对各类任务的影响。
2026-09-29 cs.AI cs.CV cs.LG
Forget Without Compromise: Nexus Sampling for Streaming KV-Cache Eviction Under Fixed Budgets
Department of Computer Science, Grinnell College（格林内尔学院计算机科学系）；Department of Computer Science, Rice University（莱斯大学计算机科学系）；Lambda, Inc（Lambda公司）；Workato（Workato公司）
提出Nexus采样方法，通过迭代注意力计算和加权水库采样替代确定性top-K选择，在固定预算下保留微妙重要令牌，理论证明其长期优势，实验在80%驱逐率下性能接近密集注意力。
2026-06-24 cs.LG
Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models
KAIST（韩国科学技术院）
本文通过线性注意力模型理论分析，揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件，提出仅更新值矩阵可保持上下文学习能力。
2026-05-31 cs.CL cs.LG stat.ML
What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents
University of California, Irvine（加州大学尔湾分校）
研究大语言模型和智能体内存压缩问题，提出基于率失真视角统一分类各层方法，构建七轴分类法并转移机制，还针对相关问题未被测量及缺乏统一基准的情况，转化为提案、实验、原则并梳理开放问题。
2026-07-10 cs.LG
Learning to Remember Patterns: Pattern Matching Memory Networks for Traffic Forecasting
Ulsan National Institute of Science and Technology（蔚山科学技术院）
交通预测是一个具有挑战性的问题，由于复杂的道路网络和突然的速度变化引起的各种事件的道路。已经提出了一些模型来解决这个具有挑战性的问题，重点是学习道路的时空依赖性。在这项工作中，我们提出了一个新的视角转换的预测问题转化为一个模式匹配任务，假设大数据可以表示为一组模式。为了评估新视角的有效性，我们设计了一种新的流量预测模型，称为模式匹配记忆网络（PM-MemNet），它学习匹配输入数据的代表性模式与键值记忆结构。我们首先提取和聚类代表性的交通模式，作为内存中的键。然后通过匹配提取的关键字和输入，PM-MemNet从内存中获取现有流量模式的必要信息，并将其用于预测。为了模拟时空相关的流量，我们提出了新的内存架构GCMem，它集成了注意力和图形卷积的内存增强。实验结果表明，PM-MemNet比最先进的模型更准确，例如具有更高响应性的Graph WaveNet。我们还提出了一个定性的分析结果，描述了PM-MemNet的工作原理，并实现其更高的精度时，道路速度迅速变化。
2022-03-08 cs.LG cs.NE
