Early Learning Shapes Later Directions Of Representation Change In Continual Learning
New York University(纽约大学);Xi’an Jiaotong University(西安交通大学)
本研究揭示持续学习中早期表征变化形成的低维子空间(脚手架)会被后续学习优先重用,且这种重用具有历史依赖性,表明早期经验对网络适应未来任务产生持久的几何影响。
2026-10-02 cs.LG
Efficient Architecture Search for Continual Learning
University of Electronic Science and Technology of China(电子科技大学)
使用神经网络的持续学习是AI中的一个重要学习框架,旨在很好地学习一系列任务。然而,它经常面临三个挑战:(1)克服灾难性遗忘问题,(2)使当前网络适应新的任务,同时(3)控制其模型复杂性。为了达到这些目标,我们提出了一种新的方法命名为持续学习与有效的架构搜索,或简称CLEAS。CLEAS与神经架构搜索(NAS)密切合作,NAS利用强化学习技术搜索适合新任务的最佳神经架构。特别是,我们设计了一个神经元级的NAS控制器,它决定了以前任务中的哪些旧神经元应该被重用(知识转移),以及哪些新神经元应该被添加(学习新知识)。这样一个细粒度的控制器允许人们找到一个非常简洁的架构,可以很好地适应每个新任务。同时,由于我们没有改变重用神经元的权重,我们完美地记住了从以前的任务中学到的知识。我们在许多顺序分类任务上评估了CLEAS,结果表明CLEAS优于其他最先进的替代方法,在使用更简单的神经架构的同时实现了更高的分类精度。
2020-06-09 cs.AI cs.LG stat.ML
The Metric Slingshot: Navigational Reuse as Width-Optimal Structural Decoupling in Continual Learning
本文提出局部Urysohn宽度,用于度量度量空间上的分类问题复杂性,通过拓扑-几何复杂性分析分类问题本身,证明了拓扑复杂性与分类器复杂性的严格层次定理、拓扑-几何缩放定律、VC维的双向分离以及样本复杂性下界。
2026-09-15 cs.LG
Continual Learning with Recursive Gradient Optimization
Tsinghua University(清华大学);Department of Computer Science(计算机科学系)
连续学习多个任务而不忘记先前的知识,称为持续学习(CL),仍然是神经网络的一个长期挑战。大多数现有的方法依赖于额外的网络容量或数据重放。相比之下,我们介绍了一种新的方法,我们称之为递归梯度优化(RGO)。RGO由迭代更新的优化器和虚拟特征编码层(FEL)组成,该优化器修改梯度以最大限度地减少遗忘而无需数据重放,该虚拟特征编码层(FEL)仅用任务描述符表示不同的长期结构。实验表明,与基线相比,RGO在流行的连续分类基准上具有更好的性能,并在20-split-CIFAR 100(82.22%)和20-split-miniImageNet(72.63%)上实现了新的最先进性能。该方法比单任务学习(STL)具有更高的平均精度,为依赖于梯度下降的学习模型提供了灵活可靠的持续学习能力。
2022-01-29 cs.AI cs.LG
Skill Neologisms: Towards Skill-based Continual Learning
University of Cambridge(剑桥大学)
本文提出了一种基于技能的新词(skill neologisms)方法,通过在模型词汇中集成软token,以提高模型在特定技能上的能力,同时支持零样本组合其他技能,从而实现可扩展的基于技能的持续学习。
2026-08-07 cs.AI cs.LG
Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning
针对固定拓扑网络的统计冲突与灾难性遗忘问题,提出可定向增构的 DIRAD 及无需任务标签的 PREVAL 框架,实现高性能、简化网络和持续任务适应。
2024-12-05 cs.AI cs.LG
Continual Learning Mechanisms Compose for Long-Horizon Memorization
Johns Hopkins University(约翰斯·霍普金斯大学)
针对语言模型长时程记忆中的灾难性遗忘,提出组合数据、函数和权重锚点及合并LoRA的持续学习方法,在100任务上平均保留率提升28倍。
2026-09-09 cs.LG
Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出SEMA方法,通过模块化适配器自动检测分布偏移并决定重用或添加适配器,实现次线性扩展,提升持续学习性能。
2025-03-27 cs.CV cs.LG
Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors
Duke University(杜克大学);Facebook AI
经过简单训练的神经网络往往会在顺序任务设置中经历灾难性遗忘,其中先前任务的数据不可用。一些方法,使用各种模型扩展策略,最近已经提出了可能的解决方案。然而,确定扩展模型的程度是留给实践者的,并且通常为了简单而选择恒定的时间表,而不管传入的任务有多复杂。相反,我们提出了一种基于印度自助过程(IBP)先验的原则性贝叶斯非参数方法,让数据决定模型复杂性的扩展程度。我们将其与神经网络权重矩阵的因子分解配对。这种方法允许每个权重矩阵的因子数量随任务的复杂性而缩放,而IBP先验鼓励稀疏权重因子选择和因子重用,促进任务之间的积极知识转移。我们在一些持续学习基准测试中证明了我们的方法的有效性,并分析了在整个训练过程中如何分配和重用权重因子。
2021-04-27 cs.LG stat.ML
Continual Optimization with Symmetry Teleportation for Multi-Task Learning
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
针对多任务学习中优化冲突和任务不平衡问题,提出基于对称传送的持续优化方法(COST),利用低秩适配器寻找损失等价点以减少冲突,并引入历史轨迹重用策略,作为即插即用方案提升现有方法性能。
2025-03-06 cs.AI cs.LG
HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning
The University of Chicago(芝加哥大学)
本文提出HAT-CL,一个用户友好的PyTorch库,重新设计HAT机制,自动化梯度操作,简化模块转换,集成TIMM,并引入新型掩码技术,以缓解持续学习中的灾难性遗忘。
2024-02-04 cs.AI cs.LG
Merge then Realign: Simple and Effective Modality-Incremental Continual Learning for Multimodal LLMs
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室)
针对多模态大语言模型模态增量持续学习中存在的遗忘与组件错位问题,提出无需修改架构的“先融合再校准”范式,实现了几乎无损的扩展性能。
2025-10-22 cs.AI cs.LG
Reliable Knowledge Acquisition for Continual Learning Agents
University of California, Davis(加州大学戴维斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有持续学习系统无法确立提取主张可靠性的问题,提出RIKA方法,结合分层知识提取与基于证据的知识准入,在六个任务流和四个模型主干上均取得最高综合得分。
2026-10-16 cs.AI cs.CL cs.LG
Continual Learning of Context-dependent Processing in Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
深度神经网络(DNN)是学习输入和输出之间复杂但固定的映射规则的强大工具,从而限制了它们在更复杂和动态的情况下的应用,其中映射规则不保持相同,而是根据不同的上下文而变化。为了解除这些限制,我们开发了一种新的方法,涉及一个学习算法,称为正交权重修改(OWM),增加了一个上下文相关的处理(CDP)模块。我们证明了OWM可以克服灾难性遗忘的问题,CDP模块可以学习如何在不同的上下文中重用特征表示和分类器,单个网络可以以在线和连续的方式获得许多上下文相关的映射规则,每个学习只需$\sim$ 10个样本。这应该使高度紧凑的系统能够逐渐学习现实世界的无数细节,并最终在其中表现得适当。
2021-06-27 cs.AI cs.CV cs.LG
Continual Diffusion with STAMINA: STack-And-Mask INcremental Adapters
Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出STAMINA方法,通过低秩注意力掩码适配器和定制MLP令牌增强LoRA的顺序概念学习能力,在50概念持续扩散定制和图像分类持续学习基准上均取得SOTA性能,且无额外推理参数开销。
2024-05-02 cs.AI cs.CV cs.LG
NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks
Georgia Institute of Technology(佐治亚理工学院);KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心)
持续学习(CL)的目标是随着时间的推移学习不同的任务。与CL相关的主要需求是保持旧任务的性能,利用后者来提高对未来任务的学习,并在训练过程中引入最小的开销(例如,不需要增长模型或重新训练)。我们提出了神经启发的稳定性可塑性适应(NISPA)架构,通过一个稀疏的神经网络与固定密度来解决这些迫切需要。NISPA形成了稳定的路径,以保存从旧任务中学到的知识。此外,NISPA使用连接重新布线来创建新的塑料路径,在新任务中重用现有知识。我们对EMNIST、FashionMNIST、CIFAR 10和CIFAR 100数据集的广泛评估表明,NISPA的性能明显优于代表性的最先进的持续学习基线,并且与基线相比,它使用的可学习参数少了10倍。我们还证明了稀疏性是持续学习的基本要素。NISPA代码可在https://github.com/BurakGurbuz97/NISPA上获得。
2022-06-18 cs.LG
Continual Learning of Numerous Tasks from Long-tail Distributions
National University of Singapore(新加坡国立大学)
针对任务规模长尾且任务数量众多的持续学习场景,本文构建合成与真实数据集,并提出复用 Adam 二阶矩加权平均的方法,以低成本减少遗忘并增强现有算法。
2024-04-03 cs.LG
Continual Graph Learning: A Survey
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);University College London(伦敦大学学院);Aston University(阿斯顿大学)
本文综述了持续图学习的核心方法与挑战,提出基于对抗的生成性重放框架,提升分布匹配与稳定性。
2026-03-29 cs.AI cs.LG
Foundations of a Developmental Design Paradigm for Integrated Continual Learning, Deliberative Behavior, and Comprehensibility
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Sabancı University(巴卡大学)
本文提出受进化发育生物学启发的三组件系统设计,通过无梯度 Modeller、规划器和层次化行为封装,实现持续学习、审慎行动与可理解性的集成。
2025-10-18 cs.AI cs.CV cs.LG
Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory
本文提出Selective Subnetwork Distillation (SSD),通过结构引导的持续学习框架,利用知识蒸馏实现跨任务知识重用,提升稀疏持续学习的准确率和保留率。
2025-12-17 cs.LG
Gradient-Matching Coresets for Rehearsal-Based Continual Learning
Amazon Web Services(亚马逊云科技)
持续学习(CL)的目标是用新数据有效地更新机器学习模型,而不会忘记以前学习的知识。大多数广泛使用的CL方法依赖于数据点的排练记忆,以便在训练新数据时重复使用。策划这样一个排练记忆,以维护一个小的,信息丰富的子集,所有的数据,到目前为止,是至关重要的成功,这些方法。我们设计了一种基于排练的持续学习核心集选择方法。我们的方法是基于梯度匹配的思想:由核心集引起的梯度应该尽可能接近地匹配原始训练数据集引起的梯度。受神经切线核理论的启发,我们在模型的初始化分布上执行这种梯度匹配,使我们能够提取一个核心集,而无需首先训练模型。我们评估的方法在广泛的持续学习的情况下,并证明它提高了性能的排练为基础的CL方法相比,竞争存储管理策略,如水库采样。
2022-03-28 cs.LG
Continual Backdoor Training in IoT/CPS
本文提出一种针对物联网/信息物理系统中持续学习的后门攻击方法,通过形式化威胁模型、分析持续学习放大后门持久性的原因,并评估不同条件下的攻击效果,揭示了保障终身学习安全的关键挑战。
2026-06-16 cs.CR cs.LG
Method-Based Reasoning for Large Language Models: Extraction, Reuse, and Continuous Improvement
School of Computer Science, Chengdu University of Information Technology(计算机科学学院,成都信息科技学院)
针对大语言模型推理依赖训练数据统计模式的局限,提出基于方法的模型,从多源提取可复用方法并外部存储排序,新查询时检索应用相关方法,实现持续学习与逻辑一致,提升复杂提示的事实验证和泛化能力。
2025-08-07 cs.AI cs.CL cs.LG
CLaaS: Continual learning as a service for sample efficient online learning
Resolute Labs(Resolute实验室);Incept Labs(Incept实验室)
提出CLaaS系统,通过经验回放缓冲区实现异步训练中的梯度复用,在对抗性任务中展示参数更新优于上下文学习的前向迁移和遗忘减少。
2026-06-04 cs.LG
Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition
Rensselaer Polytechnic Institute(伦斯勒理工学院);National University of Sciences and Technology (NUST)(国立科技大学);Virginia Tech(弗吉尼亚理工大学);University of New Mexico(新墨西哥大学)
本文提出MDM-OC框架,通过正交约束消除冲突,实现可扩展的持续和可逆模型组合,提升任务性能并满足合规需求。
2026-04-11 cs.AI cs.LG
The Future of Continual Learning in the Era of Foundation Models: Three Key Directions
Department of Computer Science, Università di Pisa(帕尔马大学计算机科学系);Institute of Information Science and Technologies, National Research Council(信息科学与技术研究所,国家研究理事会)
本文论证在基础模型时代持续学习仍不可替代,并提出持续预训练、持续微调和持续组合性三个关键方向,其中持续组合性将推动持续学习的重生。
2025-06-03 cs.AI cs.LG
Gated Target Propagation for Compositional Generalization in Continual Learning
Université de Montréal(蒙特利尔大学);Mila Quebec AI Institute(魁北克人工智能研究所米拉);University of Oregon(俄勒冈大学);McGill University(麦吉尔大学)
GaTaP通过门控变量与双时间尺度学习,在持续学习中保持旧任务性能并实现少样本组合泛化。
2026-10-06 cs.LG
Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks
Duke University(杜克大学);Samsung Semiconductor Inc.(三星半导体公司)
现有的大部分持续学习(CL)的工作集中在克服灾难性遗忘(CF)的问题,与动态模型和重放方法表现得非常好。然而,由于目前的作品往往假设排他性或学习任务之间的相异,这些方法需要不断积累的任务特定的知识在记忆中的每个任务。如果我们考虑从一长串任务中学习,这将导致知识库的最终禁止性扩展。在这项工作中,我们引入了一个范例,不断学习者得到一系列混合相似和不同的任务。我们提出了一个新的持续学习框架,使用任务相似性检测功能,不需要额外的学习,我们分析是否有一个特定的任务,在过去是类似于当前的任务。然后,我们可以重用以前的任务知识来减缓参数扩展,确保CL系统将知识库扩展到学习任务的数量。我们的实验表明,该框架在广泛使用的计算机视觉基准测试,如CIFAR10,CIFAR100和EMNIST上具有竞争力。
2022-10-11 cs.CV cs.LG
Continual Fine-Tuning of Large Language Models via Program Memory
Deakin Applied AI Initiative(德金应用人工智能计划)
本文提出ProCL框架,通过程序记忆结构实现持续学习中的高效微调,提升模型在连续任务中的知识保留与适应能力。
2026-05-13 cs.LG
Restricted Orthogonal Gradient Projection for Continual Learning
Tsinghua University(清华大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院);International Innovation Center of Tsinghua University(清华大学国际创新中心);Quan Cheng Laboratory(泉城实验室)
持续学习的目的是避免灾难性遗忘,并有效地利用学到的经验来掌握新知识。现有的梯度投影方法对新任务的优化空间施加了硬约束,以最大限度地减少干扰,同时阻碍了向前的知识转移。为了解决这个问题,最近的方法重复使用冻结参数与不断增长的网络,导致高计算成本。因此,它仍然是一个挑战,我们是否可以提高前向知识转移梯度投影方法使用固定的网络架构。在这项工作中,我们提出了限制正交梯度投影(ROGO)框架。其基本思想是采用一个受约束的正交约束,允许参数优化的方向倾斜于整个冻结空间,以促进向前的知识转移,同时巩固以前的知识。我们的框架既不需要数据缓冲区,也不需要额外的参数。大量的实验已经证明了我们的框架在几个强大的基线的优越性。为我们的放松策略提供了理论保证。
2023-01-28 cs.LG
TRGP: Trust Region Gradient Projection for Continual Learning
School of ECEE, Arizona State University(亚利桑那州立大学ECEE学院)
灾难性遗忘是持续学习面临的主要挑战之一。为了解决这个问题,现有的一些方法对新任务的优化空间施加限制性约束,以最小化对旧任务的干扰。然而,这可能导致新任务的性能不令人满意,特别是当新任务与旧任务强相关时。为了解决这一问题,我们提出了信任域梯度投影(TRGP)的持续学习,以促进基于任务相关性的有效表征的前向知识转移。特别是,我们引入了“信赖域”的概念来选择最相关的旧任务的新任务在一个逐层和单镜头的方式,使用的范数梯度投影到子空间跨越任务输入。然后,提出了一种缩放的权重投影,巧妙地重用冻结的权重的信任区域中选定的旧任务通过逐层缩放矩阵。TRGP通过对尺度矩阵和模型进行联合优化,使模型沿着与旧任务子空间正交的方向进行更新,可以有效地促进知识转移而不会遗忘。大量的实验表明,我们的方法取得了显着的改善相关国家的最先进的方法。
2022-02-07 cs.LG
Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization
University of St Andrews(圣安德鲁斯大学)
考虑到专注于计算机视觉领域的深度神经网络的持续学习技术的增长趋势,需要确定这些技术中的哪一个可以很好地推广到其他任务,如人类活动识别(HAR)。由于最近的方法主要由丢失正则化项和记忆重放组成,因此我们对HAR数据集上使用这些技术的一些突出的任务增量学习技术进行了成分分析。我们发现,大多数正则化方法缺乏实质性的效果,并提供了一个直觉,当他们失败。因此,我们的情况下,持续学习算法的发展应该是由相当不同的任务域的动机。
2020-07-06 cs.CV cs.LG
Continual Learning: Forget-free Winning Subnetworks for Video Representations
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);School of Computing, KAIST(韩国科学技术院计算机学院)
受彩票假说启发,本文提出将中奖子网络(WSN)及傅里叶子神经算子(FSO)应用于多种持续学习场景,通过稀疏重用预存权重和紧凑编码视频,有效防止过拟合并显著提升各卷积层的任务性能。
2024-12-19 cs.AI cs.CV cs.LG
Rethinking Transfer in Continual Learning: A Replay-Based Realisation
University of Chicago(芝加哥大学)
该研究重新思考持续学习中的迁移,提出三个条件框架,将其观点实例化为TSR,通过选择有益重放数据提升正向迁移,在低预算持续学习协议下优于现有基线,强调应把迁移作为持续学习首要目标先理解再设计。
2026-07-20 cs.LG
When One Adapter Speaks for Many: Discovering Low-Rank Redundancy in Continual Fine-Tuning
ETH Zurich(苏黎世联邦理工学院)
本文发现持续学习中的LoRA适配器存在显著低秩冗余,提出LiteLoRA门控机制,通过复用现有适配器减少20-70%活跃适配器,同时保持或超越现有性能。
2026-06-29 cs.LG
TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国美国大学)
本文提出TSN-Affinity方法,通过基于TinySubNetworks和Decision Transformer的策略,实现任务特定参数化和受控知识共享,提升连续离线强化学习中的多任务性能。
2026-04-28 cs.AI cs.LG
Expandable and Differentiable Dual Memories with Orthogonal Regularization for Exemplar-free Continual Learning
针对现有持续学习无法利用任务关联、易出现特征学习冲突的问题,提出带正交正则化的可微分双记忆无样本持续学习方法,在三个基准数据集上性能优于14种主流方法,达到新的性能水平。
2025-11-13 cs.AI cs.LG
Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出FedProTIP框架,通过随机奇异值分解提取客户端共享任务子空间,并利用梯度投影减少任务间干扰,实现无重放、任务无关的联邦持续学习。
2026-06-23 cs.LG
Rehearsal-Free Modular and Compositional Continual Learning for Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Hochschule der Medien(斯图加特媒体大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
本文提出无排练的模块化与组合式持续学习框架MoCL,通过持续添加并组合模块,在避免遗忘的同时促进任务间知识迁移,并在多个基准上超越现有方法。
2024-03-31 cs.CL cs.LG
Task-Differentiated Atomic Skill Expansion and Routing for Continual Learning Across Highly Heterogeneous Tasks
East China Normal University(华东师范大学);Fudan University(复旦大学);Ocean University of China(中国海洋大学)
提出TASER框架,通过原子技能增量学习、正交增强技能检测和动态路由机制,解决高度异构任务持续学习中的灾难性遗忘和容量分配问题。
2026-06-23 cs.AI cs.LG
Multi-Scale Structural Features for Continual, Comprehensible Visual Recognition in a Developmental Learning Framework
研究针对持续、可理解视觉识别问题,提出跨多尺度编码形状结构的新视觉特征表示并集成到网络细化学习中,改进学习动态和读出,在类增量MNIST上大幅提准确率,保留早期学习类且表示可解释。
2026-10-07 cs.AI cs.CV cs.LG
StackNet: Stacking Parameters for Continual learning
Seoul National University(首尔国立大学)
训练用于分类任务的神经网络通常假设要训练的数据是从一开始就给定的。然而,在现实世界中,额外的数据逐渐积累,并且模型需要额外的训练而不访问旧的训练数据。这通常会导致灾难性遗忘问题,这是传统的神经网络训练方法所不可避免的。在本文中,我们提出了一个持续学习的方法,能够学习额外的任务,同时保留以前学习的任务的性能堆叠参数。由两个互补的组件组成,索引模块和StackNet,我们的方法使用索引模块估计输入样本的相应任务的索引,并使用该索引的StackNet的特定部分。StackNet保证了先前学习的任务的性能不会下降,并且索引模块在找到输入样本的来源方面表现出很高的信心。与PackNet以前的工作相比,我们的方法具有竞争力和高度直观性。
2020-04-21 cs.AI cs.LG stat.ML
Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models
KU Leuven(鲁汶大学)
针对预训练语言模型持续学习中PEFT模块训练干扰与路由组合不佳的问题,提出L2R方法,通过隔离新模块训练、基于小型记忆库训练路由器网络组合模块,在多种基准上实现更优的泛化与性能。
2024-10-30 cs.AI cs.CL cs.LG
Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Great Bay University(大湾大学)
提出Perturb-and-Merge框架,通过训练后模型合并与基于Hessian的正则化及随机扰动,结合LoRA,在持续学习中缓解灾难性遗忘,达到最先进性能。
2025-10-23 cs.AI cs.LG
Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA
Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
针对文本到图像扩散模型在顺序添加新概念时出现灾难性遗忘的问题,本文提出C-LoRA方法,通过在Stable Diffusion交叉注意力层中引入持续自正则化低秩适应,以极少参数开销实现无数据回放的持续定制,并在图像分类无回放持续学习中取得新最优性能。
2024-05-02 cs.AI cs.CV cs.LG
Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
Heidelberg University(海德堡大学);Central Institute of Mental Health (CIMH)(中央精神健康研究所);University of Tübingen(蒂宾根大学)
本文针对循环神经网络持续学习动力系统时的灾难性遗忘问题,提出持续可回收单元门控(CRUG),通过紧凑分配和前向迁移节约容量,实现零遗忘并达到最优重构-容量权衡。
2026-10-01 cs.LG
When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry
IT University of Copenhagen(丹麦技术大学)
本文研究了网络架构、任务相似性和表征维度如何共同影响持续学习中的学习过程,发现高维情况下架构影响较小,而低维情况下模块化结构对任务子空间的对齐和分离具有关键作用。
2026-04-30 cs.AI cs.LG cs.NE
Alchemist: Towards the Design of Efficient Online Continual Learning System
The University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
针对在线持续学习中训练与服务分离导致的重复计算问题,提出Alchemist系统,通过复用服务激活、选择性存储及智能卸载,最高提升1.72倍训练吞吐并降低47%内存。
2025-03-14 cs.CL cs.DC cs.LG
Backdoor Attacks on Contrastive Continual Learning for IoT Systems
本文研究了物联网系统中对比持续学习的后门攻击问题,分析了攻击机制并提出针对性的防御策略。
2026-02-13 cs.CR cs.LG cs.NI
A Procedural World Generation Framework for Systematic Evaluation of Continual Learning
Goethe University, Frankfurt am Main(法兰克福歌德大学)
已经提出了几种持续学习技术来减轻非平稳数据上的深度神经网络训练中的灾难性干扰。然而,由于无法获得适当的数据集,对局限性的全面比较和分析在很大程度上仍然是开放的。经验检验不仅在各个作品之间存在很大差异,而且目前还依赖于通过细分和串联各种流行的静态视觉数据集来人为组成基准。在这项工作中,我们的目标是通过引入一个计算机图形模拟框架,重复渲染只有即将到来的城市场景片段在一个无休止的实时程序世界生成过程中,以弥合这一差距。其核心是一个模块化的参数生成模型,具有自适应的生成因子。后者可以用来灵活地组成数据流,这大大方便了详细的分析,并允许轻松地调查各种持续学习计划。
2021-12-13 cs.CV cs.LG
Continual Learning via Local Module Composition
ServiceNow;Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院)
模块化是持续学习(CL)的一个令人信服的解决方案,CL是对相关任务序列建模的问题。学习然后组合模块来解决不同的任务提供了一个抽象来解决CL的主要挑战,包括灾难性遗忘、任务之间的向后和向前转移以及次线性模型增长。我们介绍本地模块组合(LMC),模块化CL的方法,其中每个模块提供了一个本地结构组件,估计模块的相关性的输入。动态模块组合基于局部相关性分数逐层执行。我们证明,不可知性的任务身份(ID)来自(本地)结构学习,是模块特定的,而不是在以前的作品的任务和/或模型特定的,使LMC适用于更多的CL设置相比,以前的作品。此外,LMC还跟踪有关输入分布的统计数据,并在检测到离群样本时添加新模块。在第一组实验中,LMC在最近的连续迁移学习基准上与现有方法相比表现良好,而不需要任务身份。在另一项研究中,我们证明了结构学习的局部性允许LMC插入相关但不可见的任务(OOD),以及将在不同任务序列上独立训练的模块化网络组成第三个模块化网络,而无需任何微调。最后,在寻找LMC的局限性,我们研究了更具挑战性的30和100个任务的序列,表明本地模块的选择变得更具挑战性的存在大量的候选模块。在这种情况下,与基于oracle的基线相比,性能最佳的LMC产生的模块要少得多,但是,它达到了较低的整体准确性。代码库可在https://github.com/oleksost/LMC下获得。
2021-11-15 cs.AI cs.LG
Mixtures of SubExperts for Large Language Continual Learning
研究大语言持续学习中稳定性-可塑性困境及可扩展性问题,提出子专家混合模型MoSEs,通过模块化稀疏性和组合路由,平衡困境,实现知识隔离、重组扩展及亚线性增长,实验验证其性能优于基线,为持续学习基础模型提供关键归纳偏置。
2026-07-17 cs.AI cs.CL cs.LG
Continual Learning via Neural Pruning
New York University(纽约大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);Facebook AI Research(Facebook人工智能研究);CIFAR Azrieli Global Scholar(CIFAR Azrieli全球学者(注:CIFAR为机构,但此处为学者头衔,按要求不提取,仅保留前序明确机构))
我们介绍了持续学习通过神经修剪(CLNP),一种新的方法,旨在终身学习的固定容量模型的基础上,神经元模型稀疏。在这种方法中,后续任务使用稀疏网络的非活动神经元和滤波器进行训练,并且对先前任务的性能造成零恶化。为了处理模型稀疏性和性能之间可能存在的折衷,我们形式化并引入了优雅遗忘的概念:如果有助于恢复网络容量并防止在未来任务的训练过程中出现不受控制的性能损失,那么最好以受控的方式进行少量遗忘。CLNP还提供了简单的持续学习诊断工具,用于训练未来任务的自由神经元的数量以及被重用的神经元的数量。特别是,我们在实验中看到,CLNP验证并自动利用了早期层的特征更具可转移性的事实。我们的经验表明,CLNP导致显着改善的结果比目前的重量弹性为基础的方法。
2019-03-11 cs.LG cs.NE q-bio.NC
Efficient Multi-Adapter LLM Serving via Cross-Model KV-Cache Reuse with Activated LoRA
mit(麻省理工学院);ibm(国际商业机器公司)
本文提出一种高效LLM服务引擎,通过激活LoRA实现跨模型KV缓存重用,显著降低推理延迟和时间到第一个token,提升多适配器任务的效率。
2025-11-26 cs.AI cs.DC cs.LG