Forward-Only Continual Learning
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学智能工程学院)
针对预训练模型持续学习中的灾难性遗忘及现有梯度方法计算量大的问题,提出仅前向、无梯度的FoRo方法,通过轻量提示调优和知识编码机制实现增量学习,降低遗忘率、提升准确率,减少内存与耗时,适用于资源受限的多媒体场景。
2025-09-01 cs.CV cs.LG
Don't forget, there is more than forgetting: new metrics for Continual Learning
ENSTA ParisTech(巴黎高等先进技术学院);INRIA Flowers(法国国家信息与自动化研究所Flowers实验室);University of Bologna(博洛尼亚大学)
持续学习包括从数据/任务流中持续学习的算法和自适应的思考时间,从而实现更复杂知识和技能的增量开发。在评估持续学习算法方面缺乏共识,并且几乎只关注遗忘,这促使我们提出一套更全面的独立于实现的指标,考虑到我们认为在部署持续学习的真实AI系统时值得考虑的几个因素:随着时间的推移的准确性或性能,向后和向前的知识转移,内存开销以及计算效率。从标准的多属性值理论(MAVT)的启发,我们进一步提出将这些指标融合到一个单一的分数排名的目的,我们评估我们的建议与iCIFAR-100持续学习基准的五个持续学习策略。
2018-10-31 cs.AI cs.CV cs.LG
Class-Incremental Learning via Knowledge Amalgamation
Nanyang Technological University(南洋理工大学);University of South Australia(南澳大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
灾难性遗忘一直是阻碍深度学习算法在持续学习环境中部署的重要问题。已经提出了许多方法来解决灾难性遗忘问题,其中代理在学习新任务时失去了旧任务的泛化能力。我们提出了一种替代策略来处理灾难性遗忘与知识融合(CFA),学习学生网络从多个异构教师模型专门在以前的任务,并可以应用到当前的离线方法。知识融合过程是在一个单一的头的方式进行,只有选定数量的记忆样本,没有注释。教师和学生不需要共享相同的网络结构,允许异构任务适应紧凑或稀疏的数据表示。我们将我们的方法与不同策略的竞争基线进行比较,展示了我们方法的优势。
2022-09-05 cs.AI cs.LG
Routing without Forgetting
无遗忘的路由通过在transformer中引入基于能量的关联检索层,实现了在在线持续学习中动态选择表示子空间,从而在多个基准测试中超越了现有基于提示的方法。
2026-03-10 cs.AI cs.LG
Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Superintelligence(微软超级智能)
研究发现预训练的视觉-语言-动作模型在持续学习中表现出较强的遗忘抵抗性,简单经验回放在这些模型上效果显著,即使数据量小也能实现零遗忘。
2026-03-17 cs.AI cs.LG cs.RO
Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss
OATML;University of Oxford(牛津大学);UBC(英属哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本文提出统一视角,通过token与层级的交互分解,揭示持续学习中数据归因、遗忘与可塑性损失同源于演化动力学,并据此实现数据选择、干扰控制及可学习性诊断。
2026-09-29 cs.AI cs.LG
TAAM:Inductive Graph-Class Incremental Learning with Task-Aware Adaptive Modulation
University of Science and Technology of China(中国科学技术大学)
TAAM通过任务感知自适应调制模块实现高效的图类增量学习,避免灾难性遗忘并提升模型性能。
2026-02-08 cs.LG
Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation
本文从知识分解角度发现低秩适应存在奇异值谱不平衡,导致遗忘,并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法,有效缓解前后向遗忘。
2026-07-03 cs.LG
Inductive Linear Probing for Few-shot Node Classification
Arizona State University(亚利桑那州立大学)
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题,本文通过实证揭示现有框架局限,提出适配归纳式少样本节点分类的简单强基线,为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning
针对多领域持续学习中的灾难性遗忘和前向遗忘问题,提出两级路由分组混合专家方法,通过动态扩展CLIP模型、组内路由与组间协作策略,并结合多模态大语言模型识别任务,在减少可训练参数下显著提升性能。
2025-08-11 cs.LG
AFEC: Active Forgetting of Negative Transfer in Continual Learning
Tsinghua University(清华大学);Tsinghua-Peking Center for Life Sciences(清华-北大生命科学联合中心);University College London(伦敦大学学院)
持续学习旨在从动态数据分布中学习一系列任务。在不访问旧训练样本的情况下,很难确定从旧任务到每个新任务的知识转移,这可能是积极的或消极的。如果旧知识干扰了新任务的学习,即,前向知识迁移是负向的,那么精确记忆旧任务会进一步加重干扰,从而降低持续学习的绩效。相比之下,生物神经网络可以通过调节学习触发的突触扩张和突触收敛,主动忘记与学习新经验相冲突的旧知识。受生物学主动遗忘理论的启发,我们提出主动遗忘限制新任务学习的旧知识,以利于持续学习。在贝叶斯持续学习的框架下,我们开发了一种新的方法,称为主动遗忘与突触扩张收敛(AFEC)。我们的方法动态地扩展参数来学习每个新任务,然后选择性地组合它们,这在形式上与生物主动遗忘的潜在机制一致。我们在各种持续学习基准上对AFEC进行了广泛的评估,包括CIFAR-10回归任务,视觉分类任务和Atari强化任务,其中AFEC有效地提高了新任务的学习,并以即插即用的方式实现了最先进的性能。
2021-11-04 cs.LG
Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness
LINE Investment Technologies(LINE投资技术公司);Seoul National University(首尔大学);LG AI Research(LG人工智能研究院);Research Institute for Convergence Science, Seoul National University(首尔大学融合科学研究院)
针对类别增量学习的前向兼容性问题,提出基于有效秩的特征丰富度增强方法,通过提升基础阶段表示有效秩兼顾后向与前向兼容,在11种主流CIL方法上均提升了平均增量准确率。
2025-01-13 cs.CV cs.LG
Interference and Retention in Continual Learning
VARTA Microbattery GmbH(瓦尔塔微电池有限公司)
研究持续学习中遗忘问题,提出将遗忘建模为任务间干扰,据此推导IGFA方法,该方法无重放、无Fisher,任务对齐时共享方向,冲突时保护方向,在不同任务情况表现良好,能实现无损保留或转移成本。
2026-07-13 cs.AI cs.LG cs.NE
Learning to Learn without Forgetting using Attention
Center for Applied Intelligent Systems Research (CAISR)(应用智能系统研究中心(CAISR));Halmstad University(哈尔姆斯塔德大学);Eindhoven University of Technology(埃因霍温理工大学)
针对机器学习持续学习中易遗忘旧知识的问题,提出用元学习训练基于Transformer、带注意力机制的优化器,在基准数据集上验证了其在前后向迁移上的有效性。
2024-08-14 cs.CV cs.LG
An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Inc(谷歌公司);Google Cloud AI Research(谷歌云人工智能研究院)
针对多阶段微调中灾难性遗忘问题,提出mix-cd采样方案,在固定计算预算下优先复现“附带损害”样本,无需额外模型推理即可高效估计样本密度,计算高效且优于现有持续学习方法。
2025-02-11 cs.LG
Structural Abstraction as an Inductive Bias for Non-Stationary Language Model Training
University of Southern California(南加州大学)
提出抽象增强训练(AAT)方法,通过联合优化具体实例及其结构抽象,减少灾难性干扰并提升关系泛化能力,在非平稳语言模型训练中验证了结构抽象作为稳定学习信号的有效性。
2026-05-22 cs.CL cs.LG
Simple Lifelong Learning Machines
Johns Hopkins University(约翰霍普金斯大学);Baylor College of Medicine(贝勒医学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
针对终身学习中现有方法多仅追求避免遗忘、目标偏低的问题,提出表示集成的简单方法,在多类基准场景中同时实现前向和后向迁移,且可灵活适配有无计算预算的情况。
2025-07-31 cs.AI cs.LG stat.ML
Practical Continual Forgetting for Pre-trained Vision Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(人工智能与机器人中心,香港科学创新研究院,中国科学院);SenseTime Research(商汤科技研究院)
该研究提出GS-LoRA方法,通过组稀疏正则化和原型信息监督,实现预训练视觉模型的持续遗忘,有效删除特定类别信息同时最小化对其他类别的影响。
2026-01-10 cs.AI cs.CV cs.LG
Continual Learning of a Mixed Sequence of Similar and Dissimilar Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院)
现有的研究集中在处理灾难性遗忘的任务序列的持续学习,其中的任务被假定为是不相似的,几乎没有共享的知识。当任务相似并且具有共享知识时,也已经做了一些工作来将先前学习的知识转移到新任务。据我们所知,还没有技术被提出来学习一系列混合的相似和不相似的任务,可以处理遗忘,也可以向前和向后转移知识。本文提出了这样一种技术,在同一个网络中学习这两种类型的任务。对于不相似的任务,该算法侧重于处理遗忘问题;对于相似的任务,该算法侧重于有选择地转移从一些相似的先前任务中学习到的知识,以改善新任务的学习。此外,该算法自动检测新任务是否与任何先前的任务相似。使用混合任务序列的实证评估证明了所提出的模型的有效性。
2021-12-18 cs.AI cs.CV cs.LG
Lookbehind-SAM: k steps back, 1 step forward
Polytechnique Montreal(蒙特利尔理工学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Samsung SAIT AI Lab Montreal(三星SAIT人工智能实验室蒙特利尔分部)
针对SAM方法的效率优化问题,受Lookahead优化器启发提出Lookbehind-SAM,通过多步后向上升增强最大化步骤、线性插值优化最小化步骤,提升了泛化性、鲁棒性及终身学习效果。
2024-05-16 cs.AI cs.LG
Task Embedding Temporal Convolution Networks for Transfer Learning Problems in Renewable Power Time-Series Forecast
University of Kassel(卡塞尔大学)
在可再生能源预测中,用于多任务学习和归纳迁移学习的多层感知器中的任务嵌入最近被引入。在许多情况下,这种方法改善了预测误差并减少了所需的训练数据。然而,它没有考虑一天内电力预测的季节影响,即,昼夜循环因此,我们将这个想法扩展到时间卷积网络,以考虑这些季节性。我们建议通过卷积变换包含任务之间潜在相似性的嵌入空间,并将这些结果提供给网络的残差块。与多层感知器方法相比,所提出的架构在EuropeWindFarm和GermanSolarFarm数据集上的多任务学习功率预测方面显着提高了25%。基于相同的数据,我们在归纳迁移学习中实现了风数据集10%的改进,在大多数情况下实现了太阳数据集20%以上的改进,而没有灾难性遗忘。最后,我们是第一个提出零样本学习的可再生能源预测提供预测,即使没有训练数据。
2022-04-29 cs.LG
IMEX-Reg: Implicit-Explicit Regularization in the Function Space for Continual Learning
Eindhoven University of Technology (TU/e)(埃因霍温理工大学(TU/e));Wayve
针对持续学习低缓冲区机制下的过拟合与先验信息丢失问题,提出IMEX-Reg方法,通过结合对比表示学习与一致性正则化进行隐式-显式正则化,显著提升了模型的泛化性能与鲁棒性。
2024-04-28 cs.AI cs.CV cs.LG
Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias
MIT(麻省理工学院);Northwestern University(西北大学)
通过引入初始化记忆度量,研究随机初始化对训练后预测器的影响,发现低学习率SGD保留初始化记忆而Adam族方法遗忘,且遗忘动力学与泛化正则化相关。
2026-05-27 cs.LG math.OC stat.ML
Task Switching Without Forgetting via Proximal Decoupling
Department of Computer Science, University of York, UK(英国约克大学计算机科学系);SEIEE, Shanghai Jiao Tong University, China(上海交通大学SEIEE学院);LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada(加拿大蒙特利尔工程学院LIVIA部门);School of Communication and Electronic Eng., East China Normal University, China(华东师范大学通信与电子工程学院)
本文提出通过操作符分裂分离任务学习与稳定性维持,提升持续学习的稳定性和适应性,无需使用回放缓冲区、贝叶斯采样或元学习组件。
2026-04-20 cs.CV cs.LG
Affect and Effect: Limitations of regularisation-based continual learning in EEG-based emotion classification
Imperial College London(帝国理工学院伦敦分校)
本研究发现基于正则化的连续学习方法在EEG情感分类中存在局限性,主要由于稳定性与可塑性之间的权衡问题。
2026-01-09 cs.AI cs.LG
Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
针对多模态持续指令微调中的负向前向迁移问题,提出Fwd-Prompt方法,通过将提示梯度投影至残差空间和预训练子空间,实现任务干扰最小化与预训练知识重用,在无需旧样本且更新更少参数下达到SOTA性能。
2024-06-27 cs.LG
A Theory for Knowledge Transfer in Continual Learning
The University of Auckland(奥克兰大学)
任务流的持续学习是深度神经网络中的一个活跃领域。研究的主要挑战是灾难性遗忘现象或新获得的知识与以前任务中的知识的干扰。最近的工作研究了向前知识转移到新的任务。后向迁移,以提高知识获得在以前的任务得到的关注要少得多。一般来说,知识转移如何帮助不断学习的任务的理解有限。我们提出了一个理论知识转移的连续监督学习,它考虑了向前和向后转移。我们的目标是了解他们的影响,越来越多的知识学习者。我们推导出这些传输机制的误差界。这些边界对于特定的实现(例如,深度神经网络)是不可知的。我们证明,对于一个不断学习者,观察相关的任务,向前和向后转移可以有助于提高性能,观察到更多的任务。
2022-08-14 cs.LG
Privacy-Aware Lifelong Learning
Chair of Cyber-Physical-Systems(网络物理系统主任);Institute of Machine Learning and Neural Computation(机器学习与神经计算研究所)
针对终身学习与选择性遗忘敏感信息的目标矛盾问题,提出PALL方法,通过单架构内任务特定稀疏子网络优化和情景记忆重演,实现防遗忘、知识迁移与精确任务遗忘,在图像分类中具可扩展性,为负责任AI提供整合方案。
2025-05-16 cs.LG
Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Great Bay University(大湾大学)
提出Perturb-and-Merge框架,通过训练后模型合并与基于Hessian的正则化及随机扰动,结合LoRA,在持续学习中缓解灾难性遗忘,达到最先进性能。
2025-10-23 cs.AI cs.LG
Learning to Continually Learn
University of Vermont(佛蒙特大学);Uber AI Labs(优步人工智能实验室);OpenAI(开放人工智能研究中心)
持续的终身学习要求智能体或模型学习许多顺序排列的任务,建立在以前的知识基础上,而不会灾难性地忘记它。许多工作都是为了防止机器学习模型的默认趋势灾难性地忘记,但几乎所有这些工作都涉及手动设计的问题解决方案。相反,我们提倡元学习,这是一种解决灾难性遗忘的方法,允许人工智能学习不断学习。受大脑中神经调节过程的启发,我们提出了一种神经调节元学习算法(ANML)。它通过顺序学习过程进行区分,以元学习激活门控功能,该功能能够在深度神经网络内实现上下文相关的选择性激活。具体来说,神经调节(NM)神经网络门控另一个(否则正常)称为预测学习网络(PLN)的神经网络的前向传递。因此,NM网络还间接地控制PLN的选择性可塑性(即,PLN的后向传递)。ANML能够实现持续学习,而不会大规模发生灾难性遗忘:它产生最先进的持续学习性能,连续学习多达600个类(超过9,000个SGD更新)。
2020-03-04 cs.CV cs.LG cs.NE
Continual Learning of Achieving Forgetting-free and Positive Knowledge Transfer
School of Computer Science and Technology, Xidian University(电子科技大学计算机科学与技术学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
本文提出ETCL方法,通过优化策略和正交梯度投影实现无遗忘和正向知识迁移,提升连续学习性能。
2026-01-09 cs.CV cs.LG
Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们提出了一种新的无监督生成式持续学习方法,通过调整变分自动编码器的潜在空间。深度生成模型与其他神经结构一样,也会遭受灾难性遗忘。最近的生成式持续学习工作解决了这个问题,并试图从新的数据中学习,而不会忘记以前的知识。然而,这些方法通常专注于人工场景,其中示例在后续数据部分之间几乎没有相似性-这一假设在持续学习的实际应用中是不现实的。在这项工作中,我们确定了这一限制,并将生成性持续学习的目标作为知识积累的任务。我们通过不断调整新数据的潜在表示来解决这个问题,我们称之为额外潜在空间中的条带,其中示例独立于其源任务进行编码。此外,我们还介绍了一种控制遗忘过去数据的方法,该方法简化了这一过程。在标准的持续学习基准之上,我们提出了一种新的具有挑战性的知识整合方案,并表明所提出的方法在所有实验和额外的现实生活中的评估中的表现都超过了最先进的两倍。据我们所知,多波段VAE是第一种显示生成式持续学习中向前和向后知识转移的方法。
2022-06-03 cs.CV cs.LG
CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning
Purdue University(普渡大学)
CODE-CL利用conceptor矩阵表示将梯度投影到伪正交子空间,在缓解灾难性遗忘的同时促进前向知识迁移,并在持续学习基准上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CV cs.LG
Lifelong Learning using Eigentasks: Task Separation, Skill Acquisition, and Selective Transfer
SRI International(SRI国际)
我们介绍了终身学习的特征任务框架。特征任务是解决一组相关任务的技能配对,与可以从技能的输入空间中采样的生成模型配对。该框架扩展了生成重放方法,主要用于避免灾难性遗忘,也可以解决其他终身学习目标,如向前知识转移。在我们的框架中,我们提出了一个交替任务学习和知识巩固学习的唤醒-睡眠周期,并将其实例化为终身监督学习和终身RL。我们在监督持续学习中实现了最先进的性能改进,并在游戏星际争霸2中的终身RL应用中显示了向前知识转移的证据。
2020-07-14 cs.AI cs.CV cs.LG
Restricted Orthogonal Gradient Projection for Continual Learning
Tsinghua University(清华大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院);International Innovation Center of Tsinghua University(清华大学国际创新中心);Quan Cheng Laboratory(泉城实验室)
持续学习的目的是避免灾难性遗忘,并有效地利用学到的经验来掌握新知识。现有的梯度投影方法对新任务的优化空间施加了硬约束,以最大限度地减少干扰,同时阻碍了向前的知识转移。为了解决这个问题,最近的方法重复使用冻结参数与不断增长的网络,导致高计算成本。因此,它仍然是一个挑战,我们是否可以提高前向知识转移梯度投影方法使用固定的网络架构。在这项工作中,我们提出了限制正交梯度投影(ROGO)框架。其基本思想是采用一个受约束的正交约束,允许参数优化的方向倾斜于整个冻结空间,以促进向前的知识转移,同时巩固以前的知识。我们的框架既不需要数据缓冲区,也不需要额外的参数。大量的实验已经证明了我们的框架在几个强大的基线的优越性。为我们的放松策略提供了理论保证。
2023-01-28 cs.LG
A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks
University of Deusto(德乌斯托大学);TECNALIA(泰克纳利亚科技公司);University of the Basque Country (UPV/EHU)(巴斯克大学)
本文提出对称前向-前向算法SFFA,通过正负神经元划分与对称局部损失改善FFA梯度不平衡,并验证其在图像分类和持续学习中的性能。
2025-01-09 cs.LG
Continual learning for rotating machinery fault diagnosis with cross-domain environmental and operational variations
GECAD, ISEP, Polytechnic of Porto(波尔图理工学院ISEP GECAD研究中心)
针对旋转机械故障诊断中现实工况与环境变异性导致模型难以可靠检测的问题,本研究提出持续深度学习方法,解决灾难性遗忘等二阶挑战,实验获88.96%平均域精度及低遗忘度量,提升跨域适应能力。
2025-04-14 cs.LG
Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London(伦敦大学城市学院)
基本的二进制关系,如相等和不等是关系数据结构的基础。神经网络应该学习这种关系,并推广到新的看不见的数据。然而,我们在这项研究中表明,这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据,标准的网络不可靠地检测equality.We引入差分整流器(DR)的单位,我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差,因此它们确实学会了泛化,即使是从少量的例子中,我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质,我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此,适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning
School of Computer Science, University of Nottingham, Nottingham, United Kingdom(诺丁汉大学计算机科学学院);School of Informatics and Computing, Northern Arizona University, Flagstaff, United States of America(北亚利桑那大学信息学院);School of Computer Science, University of Nottingham, Ningbo, China(诺丁汉大学宁波校区)
本文提出Hybrid-CASR方法,通过置信度感知和类平衡的选性重放,提升LLM在时间漂移下的漏洞检测准确率和效率。
2026-02-27 cs.AI cs.CR cs.LG
External-Memory Networks for Low-Shot Learning of Targets in Forward-Looking-Sonar Imagery
Naval Surface Warfare Center(海军水面作战中心);Naval Sea Systems Command(海军海上系统司令部);Naval Undersea Warfare Center(海军水下作战中心);University of Florida(佛罗里达大学)
我们提出了一个基于内存的框架,用于前视声纳(FLS)图像中的实时,数据高效的目标分析。我们的框架依赖于首先使用小规模DenseNet启发的网络从图像中删除非歧视性细节。这样做简化了随后的分析,并允许从几个标记的例子进行概括。然后,我们将过滤后的图像级联到一个新的基于NeuralRAM的卷积匹配网络NRMN中,用于低拍摄目标识别。我们采用了小规模的FlowNet,LFN对齐和注册FLS图像在当地的时间尺度。LFN支持跨图像的目标标签一致性投票,并通常提高目标检测和识别率。我们使用真实世界的FLS图像与多个广泛的目标类,具有高的类内变异性和丰富的子类结构来评估我们的框架。我们证明了少样本学习,具有10到30个特定类别的样本,其表现与在每个类别数百个样本上训练的监督深度网络相似。有效的零样本学习也是可能的。高性能是实现从NRMN的感应传输特性时,分心元素被删除。
2021-07-22 cs.CV cs.LG
Progressive Prompts: Continual Learning for Language Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Meta AI
我们介绍了渐进式学习-一种简单而有效的方法,用于在语言模型中持续学习。我们的方法允许向前传输和抵抗灾难性遗忘,而不依赖于数据重放或大量的任务特定的参数。渐进提示器为每个任务学习一个新的软提示,并将其与先前学习的提示顺序连接,同时保持基本模型冻结。在标准持续学习基准测试上的实验表明,该方法的测试精度优于现有的方法,在T5模型上的平均测试精度比现有的最佳预成形方法提高了20%以上。我们还探索了一个更具挑战性的持续学习设置更长的任务序列,并表明渐进式学习方法显着优于以前的方法。
2023-01-29 cs.AI cs.CL cs.LG
TRGP: Trust Region Gradient Projection for Continual Learning
School of ECEE, Arizona State University(亚利桑那州立大学ECEE学院)
灾难性遗忘是持续学习面临的主要挑战之一。为了解决这个问题,现有的一些方法对新任务的优化空间施加限制性约束,以最小化对旧任务的干扰。然而,这可能导致新任务的性能不令人满意,特别是当新任务与旧任务强相关时。为了解决这一问题,我们提出了信任域梯度投影(TRGP)的持续学习,以促进基于任务相关性的有效表征的前向知识转移。特别是,我们引入了“信赖域”的概念来选择最相关的旧任务的新任务在一个逐层和单镜头的方式,使用的范数梯度投影到子空间跨越任务输入。然后,提出了一种缩放的权重投影,巧妙地重用冻结的权重的信任区域中选定的旧任务通过逐层缩放矩阵。TRGP通过对尺度矩阵和模型进行联合优化,使模型沿着与旧任务子空间正交的方向进行更新,可以有效地促进知识转移而不会遗忘。大量的实验表明,我们的方法取得了显着的改善相关国家的最先进的方法。
2022-02-07 cs.LG
Continual Learning with Query-Only Attention
Department of Mechanical Engineering University of North Carolina at Charlotte(机械工程系北卡罗来纳大学夏洛特分校)
提出仅查询注意力机制,通过丢弃键和值保留transformer归纳偏置,显著缓解持续学习中的可塑性丧失与灾难性遗忘,并证明全注意力非捕获元学习优势所必需。
2025-11-01 cs.LG
Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory
研究探讨零阶适应在持续学习中的遗忘机制,通过随机梯度塑形分析揭示其保留曲率特性,并提出通过块状分析分离均值损伤与随机暴露,提升稳定性与可塑性平衡。
2026-05-11 cs.LG
Dynamic Mixture of Progressive Parameter-Efficient Expert Library for Lifelong Robot Learning
The University of Hong Kong(香港大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);Huawei Cloud Computing Technologies(华为云计算技术);Ola Dimensions;HKU Shanghai Intelligent Computing Research Center(香港大学上海智能计算研究中心)
针对终身学习中任务标识不可用和知识隔离问题,提出动态渐进式参数高效专家库混合(DMPEL),通过构建低秩专家库和轻量路由器实现灵活的前向迁移,并引入专家系数回放缓解遗忘,在LIBERO基准上以最少可训练参数和存储超越现有方法。
2026-05-28 cs.LG cs.RO
DyTox: Transformers for Continual Learning with DYnamic TOken eXpansion
Sorbonne Université(索邦大学);Heuritech;Meta AI
深度网络架构努力不断学习新任务,而不会忘记以前的任务。最近的趋势表明,基于参数扩展的动态结构可以有效地减少持续学习中的灾难性遗忘。然而,现有的方法通常需要在测试时的任务标识符,需要复杂的调整,以平衡不断增长的参数数量,几乎没有跨任务共享任何信息。因此,他们很难在没有显著开销的情况下扩展到大量任务。在本文中,我们提出了一个Transformer架构的基础上,一个专用的编码器/解码器框架。关键是,编码器和解码器在所有任务之间共享。通过特殊令牌的动态扩展,我们将解码器网络的每个转发专门用于任务分布。我们的策略可扩展到大量的任务,同时由于严格控制参数扩展,内存和时间开销可以忽略不计。此外,这种有效的策略不需要任何超参数调整来控制网络的扩展。我们的模型在CIFAR 100上达到了优异的结果,在大规模ImageNet 100和ImageNet 1000上达到了最先进的性能,同时具有比并发动态框架更少的参数。
2022-08-07 cs.CV cs.LG
Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这篇文章中,我们提出了一种新的无监督学习形式,连续竞争记忆(CCM),以及一个计算框架,以统一相关的神经模型下的竞争原则。所得到的神经系统提供了一个有效的方法,打击灾难性遗忘在线连续分类问题。我们证明了所提出的CCM系统不仅优于其他竞争性学习神经模型,而且在Split MNIST和Split NotMNIST等基准上与几种现代最先进的终身学习方法相比具有竞争力。CCM为获取对数据流干扰具有鲁棒性的表示提供了一条有希望的前进道路,特别是当任务对模型未知并且必须在没有外部指导的情况下推断时。
2021-06-24 cs.LG
Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts
Shashank
吸引子补丁网络通过路由低秩补丁专家减少灾难性遗忘,提升持续学习的适应能力。
2026-01-28 cs.CL cs.LG
Online Distillation with Continual Learning for Cyclic Domain Shifts
KAUST(阿卜杜拉国王科技大学)
本文针对在线蒸馏在域偏移下的灾难性遗忘问题,将多种最先进持续学习方法融入师生在线蒸馏框架,并在循环域偏移场景验证其可提升鲁棒性与准确率。
2023-04-03 cs.CV cs.LG
Improving and Understanding Variational Continual Learning
University of Cambridge(剑桥大学);University of Sydney(悉尼大学)
在持续学习环境中,任务是按顺序遇到的。我们的目标是学习,同时i)避免灾难性遗忘,ii)有效地使用模型容量,iii)采用向前和向后迁移学习。在本文中,我们将探讨如何变分持续学习(VCL)框架实现这些desiderata在持续学习的两个基准:分裂MNIST和置换MNIST。我们首先报告了在已经具有竞争力的方法上显著改进的结果。这些改进是通过建立一种新的均值场变分贝叶斯神经网络的最佳实践方法来实现的。然后,我们详细研究解决方案。这使我们能够理解为什么VCL表现如此出色,我们将解决方案与“理想”的持续学习解决方案进行比较。
2019-05-06 cs.LG stat.ML
TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale
Independent Researcher(独立研究者)
TFGN通过输入条件化、参数高效更新,在无需回放或任务标签的情况下,实现了在异构文本领域连续预训练,避免灾难性遗忘,展示了跨领域正向迁移和高梯度分离。
2026-05-15 cs.AI cs.LG
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们目前的实验表明,一些其他形式的容量控制,不同的网络规模,在学习多层前馈网络中起着核心作用。我们认为,部分通过类比矩阵分解,这是一个归纳的偏见,可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise
Mila - Quebec AI Institute and Université de Montréal(蒙特利尔大学)
本研究提出频谱各向异性高斯扩散(SAGD),通过调整前向噪声的频谱特性,提升扩散模型对目标分布的适应能力,并在多个视觉数据集上验证了其有效性。
2025-12-10 cs.AI cs.CV cs.LG
Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors
University of Washington(华盛顿大学)
提出参数中性的显式模糊逻辑前馈层(NC-FFN),通过交集和集差操作实现逻辑推理,在125M参数语言模型上达到与GELU基线相当的困惑度,并通过自遗忘量词使前馈层可解释为语法许可检测器。
2026-07-01 cs.CL cs.LG