Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University(纽约大学);NYU Shanghai(上海纽约大学)
Soft Actor-Critic(SAC)是一种基于最大熵强化学习的离线Actor-Critic深度强化学习(DRL)算法。通过将非策略更新与参与者-批评者制定相结合,SAC在一系列连续动作基准任务上实现了最先进的性能,优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验(ERE),一个简单但功能强大的政策外采样技术,强调最近观察到的数据,同时不忘记过去。ERE算法从最近的经验中更积极地采样,并且还对更新进行排序,以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE,并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放(PER)结合起来,PER是一种最初为深度Q学习提出的方案,它基于时间差(TD)误差对数据进行优先级排序。我们发现,SAC+PER可以稍微提高SAC的样本效率性能,但远远低于SAC+ERE。最后,我们提出了一种算法,它集成了ERE和PER,并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Negotiated Representations to Prevent Forgetting in Machine Learning Applications
Istanbul Technical University(伊斯坦布尔理工大学)
本文提出一种基于协商表示的神经网络持续学习方法,通过在保留旧任务知识与适应新任务之间保持平衡来防止灾难性遗忘,并在多个分割基准数据集上验证了其有效性。
2023-11-30 cs.AI cs.LG
Continual learning for rotating machinery fault diagnosis with cross-domain environmental and operational variations
GECAD, ISEP, Polytechnic of Porto(波尔图理工学院ISEP GECAD研究中心)
针对旋转机械故障诊断中现实工况与环境变异性导致模型难以可靠检测的问题,本研究提出持续深度学习方法,解决灾难性遗忘等二阶挑战,实验获88.96%平均域精度及低遗忘度量,提升跨域适应能力。
2025-04-14 cs.LG
Don't forget, there is more than forgetting: new metrics for Continual Learning
ENSTA ParisTech(巴黎高等先进技术学院);INRIA Flowers(法国国家信息与自动化研究所Flowers实验室);University of Bologna(博洛尼亚大学)
持续学习包括从数据/任务流中持续学习的算法和自适应的思考时间,从而实现更复杂知识和技能的增量开发。在评估持续学习算法方面缺乏共识,并且几乎只关注遗忘,这促使我们提出一套更全面的独立于实现的指标,考虑到我们认为在部署持续学习的真实AI系统时值得考虑的几个因素:随着时间的推移的准确性或性能,向后和向前的知识转移,内存开销以及计算效率。从标准的多属性值理论(MAVT)的启发,我们进一步提出将这些指标融合到一个单一的分数排名的目的,我们评估我们的建议与iCIFAR-100持续学习基准的五个持续学习策略。
2018-10-31 cs.AI cs.CV cs.LG
Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning
Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心);Department of Mathematics Informatics, The University of Tokyo(东京大学数学信息学系)
本文理论分析持续推理中在线策略自蒸馏与监督微调,证明OPSD通过稀疏更新避免遗忘,而SFT密集更新导致灾难性遗忘,并强调预训练多样性的关键作用。
2026-11-17 cs.LG
NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting
James Madison High School(詹姆斯麦迪逊高中)
本研究提出受生物启发的持续强化学习架构NeuroSynth,通过双路径巩固机制缓解灾难性遗忘,实验显示其在多个顺序导航任务中相比PPO、EWC保留更多早期任务知识,改善了持续学习的稳定性-可塑性平衡。
2026-08-03 cs.LG cs.NE
Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
Department of Computer Science(计算机科学系);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出了一种基于价值的数据复习方法,用于多循环持续强化学习,通过引入Qreg+NWLU方法改进学习效率、遗忘缓解和知识转移。
2026-05-21 cs.AI cs.LG
CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning
Purdue University(普渡大学)
CODE-CL利用conceptor矩阵表示将梯度投影到伪正交子空间,在缓解灾难性遗忘的同时促进前向知识迁移,并在持续学习基准上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CV cs.LG
SPARS: A Stability-Plasticity-Aware Region Selection Framework for Continual Learning
Taif University(塔伊夫大学)
本文提出无重放的持续学习框架SPARS,结合参数隔离与局部正则化,通过参数重要性划分区域并采用差异化策略,在CIFAR-10和TinyImageNet上较现有方法提升了增量学习性能。
2026-10-14 cs.LG
An Empirical Analysis of Forgetting in Pre-trained Models with Incremental Low-Rank Updates
Computer Vision Center, Spain(西班牙计算机视觉中心);Department of Computer Science, Universitat Autònoma de Barcelona, Spain(西班牙巴塞罗那自治大学计算机科学系);Department of Information Engineering, University of Florence, Italy(意大利佛罗伦萨大学信息工程系)
该研究聚焦预训练模型经LoRA合并权重的增量更新场景,实证分析LoRA秩对预训练及下游任务遗忘的影响,发现视觉Transformer存在残差网络未表现出的情境式遗忘新现象。
2025-05-19 cs.LG
Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory
University of Southern California(南加州大学);FedML(FedML公司)
针对联邦学习场景下的灾难性遗忘问题,提出无情景记忆的联邦类别增量学习框架,通过服务器端无数据训练的生成模型合成历史样本辅助客户端本地学习,兼具隐私性与有效性,在CIFAR-100上优于现有基线。
2023-07-17 cs.AI cs.LG
Don't Look Back in Anger: MAGIC Net for Streaming Continual Learning with Temporal Dependence
MAGIC Net通过结合持续学习策略与循环神经网络,解决流式持续学习中的概念漂移、时间依赖性和灾难性遗忘问题,提升模型对新概念的适应能力并减少遗忘。
2026-03-09 cs.AI cs.LG
Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Montreal(蒙特利尔大学);Saarland University(萨尔大学)
本研究分解记忆训练动态,发现序列级梯度对齐为关键,低层模型层参与最多,通过参数干预可消除记忆,为预测和干预记忆提供新方法。
2026-09-29 cs.CL cs.LG
On Learning the Geodesic Path for Incremental Learning
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);Data61-CSIRO(Data61-澳大利亚联邦科学与工业研究组织)
众所周知,神经网络遭受灾难性遗忘的问题,即在获取新知识时忘记过去知识的现象。克服灾难性遗忘对于模拟“增量学习”过程具有重要意义,其中模型能够以有效和鲁棒的方式从顺序经验中学习。增量学习的最新技术利用知识蒸馏来防止灾难性遗忘。其中,更新网络,同时确保网络对先前看到的概念的响应在整个更新期间保持稳定。实际上,这是通过以某种方式最小化网络的当前响应和先前响应之间的差异来实现的。我们的工作为蒸馏技术提供了一种新方法。与以前的现有技术相比,我们建议首先为以前和当前的响应构建低维流形,并沿着连接流形的测地线将响应之间的差异最小化。这导致了一个更强大的知识蒸馏与光滑的属性,更有效地保留了过去的知识,我们的综合实证研究观察。
2021-04-17 cs.CV cs.LG
Recontextualization Mitigates Specification Gaming without Modifying the Specification
MATS;Anthropic Fellows;Brown University(布朗大学)
通过语境重新定位技术,模型在不修改规范的情况下抑制了不良行为,减少了规范游戏现象。
2026-02-13 cs.AI cs.LG
On Generalizing Beyond Domains in Cross-Domain Continual Learning
The Australian National University(澳大利亚国立大学);NEC Labs America(美国NEC实验室);Monash University(莫纳什大学);Data61(Data61研究院);Phiar Technologies(Phiar科技公司);University of California, San Diego(加州大学圣地亚哥分校)
人类有能力在不同的条件下积累新任务的知识,但深度神经网络在学习新任务后,往往会对先前学习的知识产生灾难性遗忘。许多最近的方法集中在防止灾难性遗忘的假设下,训练和测试数据遵循类似的分布。在这项工作中,我们考虑了一个更现实的情况下,持续学习域的变化,模型必须概括其推理到一个看不见的域。为此,我们鼓励学习语义上有意义的功能,通过配备类相似性度量的分类器作为学习参数,通过马氏相似性计算获得。主干表示和这些额外参数的学习以端到端的方式无缝完成。此外,我们提出了一种基于指数移动平均的参数更好的知识蒸馏的方法。我们证明,在很大程度上,现有的持续学习算法无法处理多个分布下的遗忘问题,而我们提出的方法在域转移下学习新任务,在具有挑战性的数据集上,如DomainNet和DomainHome,准确率提高了10%。
2022-03-08 cs.CV cs.LG
Continual Learning of a Mixed Sequence of Similar and Dissimilar Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院)
现有的研究集中在处理灾难性遗忘的任务序列的持续学习,其中的任务被假定为是不相似的,几乎没有共享的知识。当任务相似并且具有共享知识时,也已经做了一些工作来将先前学习的知识转移到新任务。据我们所知,还没有技术被提出来学习一系列混合的相似和不相似的任务,可以处理遗忘,也可以向前和向后转移知识。本文提出了这样一种技术,在同一个网络中学习这两种类型的任务。对于不相似的任务,该算法侧重于处理遗忘问题;对于相似的任务,该算法侧重于有选择地转移从一些相似的先前任务中学习到的知识,以改善新任务的学习。此外,该算法自动检测新任务是否与任何先前的任务相似。使用混合任务序列的实证评估证明了所提出的模型的有效性。
2021-12-18 cs.AI cs.CV cs.LG
Adapt, But Don't Forget: Fine-Tuning and Contrastive Routing for Lane Detection under Distribution Shift
Florida Institute of Technology(佛罗里达理工学院);NASA Langley Research Center(美国国家航空航天局兰利研究中心)
针对跨数据集分布偏移导致微调遗忘的问题,本文提出固定源分支、选择性微调目标分支并用监督对比学习动态路由的车道检测框架,以更少参数获得接近最优F1分数。
2025-07-22 cs.CV cs.LG
Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对领域增量学习中预训练知识被覆盖的问题,提出双重巩固方法Duct,通过合并骨干网络和分类器权重,在表示和分类器层面统一历史知识,在四个基准数据集上实现了最先进的性能。
2025-03-04 cs.CV cs.LG
ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning
Nanjing University(南京大学);Huawei Technologies(华为技术有限公司)
ReCAP提出检索引导框架,利用外部知识构建知识库并复用能力模块,通过自适应子空间回收实现多模态持续指令微调中的稳定跨阶段能力复用,达到SOTA性能。
2026-09-30 cs.CV cs.LG
Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs
NAVER AI Lab(NAVER人工智能实验室)
研究针对大语言模型两用知识的安全干预问题,提出“令牌接种”方法,通过绑定和分支操作,在保留有害知识的同时实现选择性拒绝,在有害领域降低准确率,保持良性领域性能,取得较好安全效用权衡,且拒绝选择性可控。
2026-11-06 cs.CL cs.LG
Continual learning under domain transfer with sparse synaptic bursting
University of Vermont(佛蒙特大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出一种通过自上而下调节卷积神经网络权重活动、利用跨任务循环使用的稀疏突触爆发实现域迁移下持续学习的方法,在ImageNet和CIFAR-100上顺序学习时几乎不遗忘,并揭示其与混沌边缘系统中秩序与无序平衡的对应关系。
2024-01-16 cs.AI cs.CV cs.LG
PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);LIST((CEA)信息与系统技术实验室);Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);Datakalab;Amanda
PlaStIL通过冻结初始特征提取器保证稳定性,并引入可插拔塑性层对近期类别进行部分微调,在无记忆类增量学习中实现塑性与稳定性的更好平衡,并在三个大规模数据集上验证了性能提升。
2023-07-04 cs.CV cs.LG
Mnemosyne: Learning to Train Transformers with Transformers
Google DeepMind(谷歌DeepMind);Columbia University(哥伦比亚大学);Google Research(谷歌研究院)
提出基于时空低秩隐式注意力Transformer的可学习优化器Mnemosyne,无需任务特定调参即可训练包括Transformer在内的网络,在准确率上匹配手工优化器,并扩展到大规模参数训练。
2023-06-16 cs.AI cs.LG
In-context Continual Learning Assisted by an External Continual Learner
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Intel Labs(英特尔实验室);Salesforce AI Research(Salesforce人工智能研究院)
提出InCA方法,通过结合外部持续学习器(ECL)与上下文学习(ICL),为测试实例预选类别子集以限制提示长度,从而在不更新参数和避免灾难性遗忘的情况下实现可扩展的持续学习。
2024-12-20 cs.AI cs.CL cs.LG
$FastDoc$: Domain-Specific Fast Continual Pre-training Technique using Document-Level Metadata and Taxonomy
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Carnegie Mellon University(卡内基梅隆大学)
该研究提出计算高效的$FastDoc$框架,通过文档元数据与领域分类体系监督、句子级嵌入输入的预训练搭配词元级嵌入微调的模式,在多领域大幅降低预训练算力的同时保持或超越基线性能,还能缓解灾难性遗忘。
2024-11-01 cs.CL cs.LG
Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding
South Park Commons(南公园社区)
该研究针对智能体编码中提示文件无限制膨胀的问题,提出通过提示注释消除多余指令,可使现实中智能体指令遵循能力提升多达23.1%。
2026-08-12 cs.AI cs.LG cs.SE
Spectral Unforgetting: Post-Hoc Recovery of Damaged Capabilities Without Retraining
Zeta Labs(泽塔实验室);Lahore University of Management Sciences(拉合尔管理科学大学)
研究探讨了语言模型在目标任务微调过程中因训练数据未显式威胁而退化的能力现象,提出了一种仅使用预训练检查点和微调后检查点的后验修复方法,通过谱修复技术恢复受损能力并保留目标任务收益。
2026-05-19 cs.AI cs.LG