HCPN-GCN: Scaling Hierarchical Prototype Networks with Cone Geometry for Continual Graph Learning
Universidade Federal de Ouro Preto(欧鲁普雷图联邦大学)
提出HCPN-GCN,用图卷积网络替换线性提取器并引入锥原型与多样性正则化,在六个基准上提升持续图学习准确率且遗忘近零,原型数减少约30倍。
2026-10-08 cs.CV cs.LG cs.NE
On Sequential Maximum a Posteriori Inference for Continual Learning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文将持续学习转化为对先前损失函数的近似问题,提出自动微分二次巩固和神经巩固两种无核心集方法,并在经典与图像任务序列中验证了各自的有效性。
2025-03-10 cs.LG
Detachedly Learn a Classifier for Class-Incremental Learning
Peking University(北京大学)
在持续学习中,模型需要在一系列任务上持续学习特征提取器和分类器。本文主要研究在持续学习环境下,如何基于预训练的特征提取器学习分类器。我们提出了一个概率分析,香草经验重放(ER)的失败来自不必要的重新学习以前的任务和无能区分当前任务从以前的,这是知识退化和预测偏差的原因。为了克服这些缺点,我们提出了一种新的重放策略任务感知的经验重放。该算法重新平衡了重放损失,并将旧任务的分类器权重从更新过程中分离出来,既保持了原有知识的完整性,又减轻了对情景记忆的过拟合。实验结果表明,我们的方法优于当前国家的最先进的方法。
2023-02-23 cs.LG
Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
Hikvision Research Institute(海康威视研究院)
在持续学习的SSLAD-Track 3B挑战赛中,我们提出了用Transformer进行持续学习的方法(COLT)。我们发现,Transformers遭受灾难性遗忘相比,卷积神经网络。我们的方法的主要原理是配备Transformer为基础的特征提取器与旧的知识蒸馏和头部扩展策略,以竞争灾难性遗忘。在这份报告中,我们首先介绍了目标检测的持续学习的总体框架。然后,分析了解决方案中关键要素对抵御灾难性遗忘的影响。我们的方法在SSLAD-Track 3B挑战测试集上实现了70.78 mAP。
2022-01-13 cs.CV
FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center, Barcelona University of Chinese Academy of Sciences(巴塞罗那大学计算机视觉中心,中国科学院);State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造研究所)
本文提出FeCAM方法,通过利用冻结特征提取器下的原型网络和各向异性马氏距离建模特征协方差关系,解决无样本类增量学习中特征分布异质性问题,在多样本、少样本及域增量场景下取得最先进结果。
2024-01-12 cs.CV cs.LG
Continual Learning in the Frequency Domain
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
受人类视觉系统启发,提出CLFD框架,通过小波变换映射输入至频域并选择性利用输出特征,在提升边缘设备持续学习精度的同时显著缩短训练时间。
2024-11-13 cs.CV
A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Moratuwa(莫拉图瓦大学);Toyota Motor Europe(丰田汽车欧洲公司)
随着预训练技术在表示学习中的成功应用,人们提出了许多基于预训练模型的持续学习方法。这些方法中的一些在预先训练的表示上设计了持续学习机制,并且在持续学习的训练期间仅允许对骨干模型的最小更新甚至不允许更新。在本文中,我们通过将这些模型与我们设计的简单基线进行比较,来质疑这些模型的复杂性是否需要获得良好的性能。我们认为,预训练的特征提取器本身可以足够强大,在Split-CIFAR 100和CoRe 50基准测试中实现有竞争力甚至更好的持续学习性能。为了验证这一点,我们进行了一个非常简单的基线,即1)使用冻结的预训练模型来提取在持续学习阶段遇到的每个类别的图像特征,并计算它们在训练数据上对应的平均特征,以及2)基于测试样本之间的最近邻距离和类别的平均特征来预测输入的类别;即,最近均值分类器(NMC)。这个基线是单头的,无范例的,并且可以是无任务的(通过不断更新手段)。这个基线在10-Split-CIFAR-100上达到了88.53%,超过了大多数最先进的持续学习方法,这些方法都是使用相同的预训练Transformer模型初始化的。我们希望我们的基线可以鼓励未来在设计学习系统方面取得进展,这些学习系统可以不断地为学习表示增加质量,即使它们是从一些预先训练的权重开始的。
2023-03-29 cs.CV cs.LG
Online Continual Learning Without the Storage Constraint
University of Oxford(牛津大学);Intel Labs(英特尔实验室);Apple(苹果公司)
针对计算预算有限而非存储受限的在线持续学习场景,提出固定预训练特征提取器并持续更新kNN分类器的简单算法,在CLOC和CGLM上以更低开销取得超过20%的准确率提升。
2023-11-02 cs.CV cs.LG
AnaCP: Toward Upper-Bound Continual Learning via Analytic Contrastive Projection
Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
针对类别增量学习(CIL)中预训练模型固定特征提取器无法持续适配任务的局限,提出AnaCP方法,通过解析对比投影实现无需梯度训练的增量特征适配,消除灾难性遗忘,性能优于基线且达到联合训练(CIL上界)精度。
2025-11-17 cs.CV cs.LG
Feature-based Graph Attention Networks Improve Online Continual Learning
NVIDIA(英伟达);Singapore Institute of Technology(新加坡理工学院)
针对图像分类在线持续学习中传统CNN和Transformer的局限,提出基于图注意力网络(GATs)的框架,结合分层特征图转图、增强全局池化及排练记忆复制技术,在多基准数据集上性能优于现有方法。
2025-02-13 cs.CV cs.LG
OvA-INN: Continual Learning with Invertible Neural Networks
CEA, LIST(法国原子能与替代能源委员会信息与技术研究实验室);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
在持续学习领域中,目标是在不访问来自先前任务的数据的情况下一个接一个地学习若干任务。已经提出了几种解决方案来解决这个问题,但它们通常假设用户知道在测试时对特定样本执行哪些任务,或者依赖于来自先前数据的小样本,并且当一次只更新一个类的批次时,它们中的大多数遭受准确性的大幅下降。在这篇文章中,我们提出了一种新的方法OvA-INN,它能够一次学习一个类,并且不存储任何以前的数据。为了实现这一点,对于每个类,我们训练一个特定的可逆神经网络来提取相关特征,以计算该类的可能性。在测试时,我们可以通过识别预测最高可能性的网络来预测样本的类别。通过这种方法,我们证明了我们可以通过在特征提取器上堆叠一个可逆网络来利用预训练模型。通过这种方式,我们能够超越依赖于MNIST和CIFAR-100数据集持续学习的特征学习的最先进方法。在我们的实验中,我们在CIFAR-100上一次训练一个类后达到了72%的准确率。
2020-06-24 cs.CV cs.LG
Unsupervised Continual Learning Via Pseudo Labels
Purdue University(普渡大学)
持续学习的目标是使用更少的计算和内存资源来增量地学习新任务,而不是在新任务到来时从头开始重新训练模型。然而,现有的方法是以监督的方式设计的,假设来自新任务的所有数据都已被手动注释,这对于许多现实生活中的应用程序来说是不实用的。在这项工作中,我们建议使用伪标签代替地面真相,使持续学习在无监督模式下可行。新数据的伪标签是通过应用全局聚类算法获得的,我们建议使用从最后一个增量步骤更新的模型作为特征提取器。由于现有的工作的稀缺性,我们引入了一个新的基准实验协议的无监督持续学习的图像分类任务类增量设置下,没有类标签提供的每一个增量学习步骤。我们的方法在CIFAR-100和ImageNet(ILSVRC)数据集上进行了评估,将伪标签与各种现有的监督方法相结合,并在无监督场景中显示出有希望的结果。
2021-07-30 cs.CV
Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出基于高斯混合变分分布的序列函数空间变分推断方法,以更好地近似神经网络多模态后验,实验表明其在持续学习最终平均准确率上优于其他序列变分推断方法。
2025-05-27 cs.LG stat.ML
Data-Free Reservoir Features for Efficient Long-Horizon Cold-Start Continual Learning
University of Oxford(牛津大学);Department of Computer Science(计算机科学系);Department of Engineering Sciences(工程科学系)
提出CIRCLE方法,使用固定的双向二维储备特征和流式线性判别分析头,无需重放、预训练或骨干网络反向传播,在长任务序列中显著优于现有冷启动无样本类增量学习方法。
2026-06-26 cs.AI cs.LG
On-Device Continual Learning for Unsupervised Visual Anomaly Detection in Dynamic Manufacturing
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司)
本文提出了一种设备端持续学习方法,用于动态制造中的无监督视觉异常检测,通过轻量级特征提取器和增量coreset更新机制实现快速适应和高效资源利用。
2025-12-15 cs.CV cs.LG
Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows
University of Florence(佛罗伦萨大学);Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University of Siena(锡耶纳大学)
针对连续视觉流非独立同分布带来的持续学习挑战,提出基于自主学习多阶运动流的运动共轭特征表示方法,通过空间感知自监督对比损失避免平凡解,在合成与真实视频任务上性能优于现有无监督及预训练模型。
2024-09-16 cs.CV cs.LG
AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning
Google DeepMind(谷歌DeepMind)
研究连续多模态表示学习中跨模态对齐被破坏的问题,提出AlphaWiSE方法,通过事后权重空间插值,由两个冻结源检查点拟合系数实现插值检查点,在多模态检索实验中相比基线有持续改进。
2026-07-17 cs.CV cs.LG
Efficient Online Continual Learning in Sensor-Based Human Activity Recognition
Department of Information and Communications Engineering, Aalto University(信息与通信工程系,阿尔托大学)
本文提出PTRN-HAR,首次将基于预训练模型的在线持续学习应用于传感器人类活动识别,通过对比学习预训练特征提取器并冻结、用关系模块网络替代分类层,在三个公开数据集上以更少标注数据和资源消耗超越现有最先进方法。
2025-11-04 cs.AI cs.CV
The Surprising Positive Knowledge Transfer in Continual 3D Object Shape Reconstruction
Georgia Institute of Technology(佐治亚理工学院)
持续学习已经被广泛研究用于分类任务,其方法被开发用于主要避免灾难性遗忘,这是一种以牺牲最近的样本为代价而忘记早期学习的概念的现象。在这项工作中,我们提出了一组连续的3D对象形状重建任务,包括从不同的输入模式完整的3D形状重建,以及可见表面(2.5D)重建,令人惊讶地证明了积极的知识(向后和向前)传输时,训练仅使用标准SGD,没有额外的几何学。我们提供的证据表明,随着时间的推移,不断更新的单视图三维形状重建的表示学习提高了学习和新类别的性能。我们提供了一个新的分析知识转移能力,通过查看在顺序学习任务的输出分布偏移。最后,我们表明,这些任务的鲁棒性,导致有一个代理表示学习任务连续分类的潜力。与本文一起发布的代码库、数据集和预训练模型可以在https://github.com/rehg-lab/CLRec上找到
2022-09-09 cs.CV cs.LG
Exemplar-free Continual Representation Learning via Learnable Drift Compensation
Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学);MICC, University of Florence(佛罗伦萨大学MICC实验室);IDEAS NCBR
针对无样本类别增量持续表征学习中的原型语义漂移问题,提出可学习漂移补偿方法LDC,可适配有监督/无监督骨干网络,还能结合自监督方法实现首个无样本半监督持续学习,在多数据集上达SOTA。
2024-07-11 cs.CV
AIR: Analytic Imbalance Rectifier for Continual Learning
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
针对持续学习中的类别不平衡问题,提出解析不平衡修正器(AIR),通过解析重加权模块均衡类别权重,在长尾和Si-Blurry设置下显著提升准确率和宏F1分数。
2026-09-25 cs.CV cs.LG
Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning
Nokia Bell Labs(诺基亚贝尔实验室);University of Cambridge(剑桥大学)
Kaizen提出一种实用的自监督持续学习框架,通过精心设计的损失函数缓解特征提取器和分类器的灾难性遗忘,在分割CIFAR-100上准确率提升16.5%,实现端到端持续学习。
2024-02-07 cs.LG
Diagnosing Shortcut-Induced Rigidity in Continual Learning: The Einstellung Rigidity Index (ERI)
Department of Computer Science and Engineering(计算机科学与工程系);University of North Texas(北卡罗来纳大学达顿分校)
针对持续学习中捷径特征引发的僵化问题,提出可解释的Einstellung僵化指数(ERI),通过三个维度区分真实迁移与线索放大性能,实验验证了该设置下捷径色块是干扰项而非有用捷径。
2025-10-01 cs.CV cs.LG
Adversarial Continual Learning for Multi-Domain Hippocampal Segmentation
Technical University of Darmstadt(达姆施塔特工业大学)
用于医学成像的深度学习在数据可用性方面受到时间和隐私相关的限制。为了仍然获得可行的模型,持续学习的目标是在数据可用时按顺序进行训练。持续学习方法面临的主要挑战是防止灾难性遗忘,即,性能下降的数据上遇到的早期。这个问题使得用于医疗应用的分割模型的连续训练变得极其困难。然而,通常,来自至少两个不同领域的数据是可用的,我们可以利用这些数据来训练模型,而忽略特定领域的信息。我们提出了一个架构,利用两个或多个数据集的同时可用性,以对抗的方式学习内容和域之间的解纠缠。然后,域不变的内容表示为连续的语义分割奠定了基础。我们的方法从域适应中获得灵感,并将其与脑MRI中海马分割的持续学习相结合。我们展示了我们的方法减少了灾难性的遗忘,并优于最先进的持续学习方法。
2021-07-25 cs.CV cs.LG eess.IV
OceanSAR-2: A Universal Feature Extractor for SAR Ocean Observation
Galeio, Paris, France(法国加利欧);LOPS, Ifremer, Plouzané, France(法国若特默尔实验室);OceanScope, Brest, France(法国海洋观测中心);Nanjing University of Information Science and Technology, Nanjing, China(中国信息科学技术大学)
OceanSAR-2是一种基于SAR技术的通用特征提取器,通过改进的自监督学习和动态数据整理策略,在海洋观测任务中实现了高效且准确的性能表现。
2026-01-12 cs.AI cs.CV cs.LG
Linked Adapters: Linking Past and Future to Present for Effective Continual Learning
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Swinburne University of Technology(斯威本科技大学)
提出链接适配器方法,利用MLP建模的加权注意力机制在任务适配器间传递知识,克服灾难性遗忘,并在图像分类数据集上验证了性能提升。
2024-12-14 cs.CV cs.LG
Harness Continual Learning: Continual Adaptation Beyond Model Parameters
University of Wollongong(卧龙岗大学);Nanjing University(南京大学)
该研究提出工具链持续学习(HCL)范式,围绕冻结基础模型演化工具链,通过受保护演化机制缓解工具链级遗忘,在多任务实验中相对基准增益超10%,可调整稳定性-可塑性权衡。
2026-10-01 cs.AI cs.LG
Online Learned Continual Compression with Adaptive Quantization Modules
McGill(麦吉尔大学);Mila(米拉研究所);Facebook AI Research(Facebook人工智能研究院);University of Montreal(蒙特利尔大学);ElementAI(ElementAI公司)
我们介绍和研究的问题,在线连续压缩,其中一个试图同时学习压缩和存储一个代表性的数据集从一个非i.i.d数据流,而每个样本只观察一次。在这种情况下,自动编码器的天真应用遇到了一个主要挑战:从早期编码器状态导出的表示必须可用于后期解码器状态。我们展示了如何使用离散自动编码器来有效地解决这一挑战,并引入自适应量化模块(AQM)来控制模块在任何给定学习阶段的压缩能力变化。这使得能够为传入样本选择适当的压缩,同时考虑整体存储器约束和学习压缩的当前进度。与以前的方法不同,我们的方法不需要任何预训练,即使是在具有挑战性的数据集上。我们发现,使用主动质量管理,以取代标准的情景记忆在持续学习设置导致显着收益的持续学习基准。此外,我们用更大的图像,LiDAR和强化学习环境演示了这种方法。
2020-08-20 cs.CV cs.LG stat.ML
CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning
Beijing Electronic Science and Technology Institute(北京电子科技学院);Jimei University(集美大学);Xidian University(西安电子科技大学);University of Science and Technology of China(中国科学技术大学)
针对深度学习复制-移动伪造检测方法依赖合成数据、面对新任务性能下降的问题,提出基于Transformer的CMFDFormer检测网络及PCSD持续学习框架,在公开数据集上验证了良好性能与框架有效性。
2026-10-20 cs.CV
GROWN: GRow Only When Necessary for Continual Learning
School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
灾难性遗忘是深度学习中一个臭名昭著的问题,指的是深度神经网络(DNN)在学习新任务时可能会忘记有关早期任务的知识。为了解决这个问题,已经开发了持续学习来顺序地学习新任务,并且执行从旧任务到新任务的知识转移而不会忘记。虽然最近的基于结构的学习方法显示出减轻遗忘问题的能力,但这些方法从冗余的全尺寸网络开始,并且需要复杂的学习过程来逐渐生长和修剪或搜索每个任务的网络结构,这是低效的。为了解决这个问题,并使有效的网络扩展新的任务,我们首先开发了一个可学习的稀疏增长方法,消除了额外的修剪/搜索步骤,在以前的基于结构的方法。基于这种可学习的稀疏增长方法,我们提出了GROWN,一种新的端到端持续学习框架,仅在必要时动态增长模型。与之前所有基于结构的方法不同,GROWN从一个小的种子网络开始,而不是一个完整的网络。我们在多个数据集上对最先进的方法进行了GROWN验证,这些方法在准确性和模型大小方面都表现出卓越的性能。例如,与CIFAR-100 Superclass 20任务设置上的当前SOTA结果相比,我们平均实现了1.0%的准确度增益。
2021-10-03 cs.CV cs.LG
Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
Heidelberg University(海德堡大学);Central Institute of Mental Health (CIMH)(中央精神健康研究所);University of Tübingen(蒂宾根大学)
本文针对循环神经网络持续学习动力系统时的灾难性遗忘问题,提出持续可回收单元门控(CRUG),通过紧凑分配和前向迁移节约容量,实现零遗忘并达到最优重构-容量权衡。
2026-10-01 cs.LG
Generative Replay-based Continual Zero-Shot Learning
Indian Institute of Science(印度科学学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
零样本学习是一种新的范例,用于对训练时不可用的类中的对象进行分类。零样本学习(Zero-shot learning,简称ZRL)方法由于其能够对未知类样本进行分类,近年来引起了广泛关注。大多数现有的方法在可用于训练模型的所有可见类的样本时都有效,这并不适合现实生活。在本文中,我们解决了这个障碍,开发了一个生成的重放为基础的连续的可编程逻辑(GRCCARL)。该方法使传统的并行学习算法能够从流数据中学习并获得新的知识,而不会忘记以前任务的经验。我们处理灾难性遗忘在GRCXL通过重放的合成样本看到的类,这已经出现在早期的任务。这些合成样本是使用经过训练的条件变分自编码器(VAE)在刚刚过去的任务上合成的。此外,我们只需要在任何时候进行培训和测试的当前和前一个VAE。所提出的GRPGL方法是为单头设置的持续学习,模拟现实世界的问题设置。在这种设置中,任务标识在训练期间给出,但在测试期间不可用。在五个基准数据集上评估了GRCNOL的性能,这些基准数据集用于具有持续学习的固定和动态(增量类)设置的GRCNOL的广义设置。现有的类设置最近在文献中提出的是不适合类增量设置。因此,本文提出了一种新的设置来解决这个问题。实验结果表明,该方法明显优于基线和国家的最先进的方法,使它更适合于现实世界的应用。
2021-06-07 cs.CV cs.LG
FeNeC: Enhancing Continual Learning via Feature Clustering with Neighbor- or Logit-Based Classification
Faculty of Mathematics and Computer Science Jagiellonian University(雅盖隆大学数学与计算机科学学院);Secondary School No 2 in Nowy Targ(新塔尔格第二中学);Upper-Secondary Schools of Communications in Cracow(克拉科夫高等通信学校)
针对深度学习模型的持续学习需求,提出FeNeC及其变体FeNeC-Log,通过数据聚类捕捉类内变异性,利用马氏距离实现邻居或对数似然分类,在任务身份未知场景中性能优异且在多基准上达SOTA。
2025-04-14 cs.LG
Memory-efficient Continual Learning with Prototypical Exemplar Condensation
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Center for Environmental Intelligence, VinUniversity(VinUniversity环境智能中心);Center for AI Research, VinUniversity(VinUniversity人工智能研究中心);Faculty of Information Systems, Phenikaa University(Phenikaa大学信息系统学院)
本文提出通过合成和存储原型示例压缩内存,结合扰动增强机制提升持续学习性能,在大规模数据集和多任务场景中表现更优。
2026-04-10 cs.AI cs.LG
ReSCENE: Server-Side Replay for Structural Mitigation of Catastrophic Forgetting in Federated Continual Learning
Texas A&M University(德克萨斯A&M大学);Inha University(仁荷大学)
ReSCENE通过客户端上传数据替代物并由服务器重放,结构性缓解联邦持续学习中的灾难性遗忘,在多个数据集上显著提升准确率并大幅降低通信与计算开销。
2026-10-01 cs.LG
ImageHD: Energy-Efficient On-Device Continual Learning of Visual Representations via Hyperdimensional Computing
AMD Zynq ZCU104 FPGA
ImageHD基于超维度计算实现设备端视觉持续学习,通过硬件感知的持续学习方法和量化CNN前端,在严格时延和芯片内存限制下提升效率与能效。
2026-04-23 cs.CV
FedKNOW: Federated Continual Learning with Signature Task Knowledge Integration at Edge
Beijing Institute of Technology(北京理工大学);TU Delft(代尔夫特理工大学)
深度神经网络(DNN)在物联网中已被广泛采用,并正在成为我们日常生活中不可或缺的一部分。在处理现实世界中不断发展的学习任务时,例如对不同类型的对象进行分类,DNN面临着根据不同边缘设备上的任务不断重新训练自己的挑战。联邦持续学习是一种很有前途的技术,它提供了部分解决方案,但尚未克服以下困难:由于有限的设备上处理而导致的显著准确性损失,由有限的非IID数据通信引起的负知识转移,以及任务和边缘设备上有限的可扩展性。在本文中,我们提出了FedKNOW,一个准确的和可扩展的联邦持续学习框架,通过一个新的概念的签名任务知识。FedKNOW是一个客户端解决方案,可持续提取和集成受当前任务高度影响的签名任务的知识。FedKNOW的每个客户端都由一个知识提取器,一个梯度恢复器和最重要的梯度积分器组成。在针对新任务进行训练时,梯度积分器通过经由全局模型有效地组合从过去的本地任务识别的签名任务和其他客户端的当前任务来确保防止灾难性遗忘和减轻负知识转移。我们在PyTorch中实现了FedKNOW,并使用流行的联邦持续学习基准对最先进的技术进行了广泛的评估。在异构边缘设备上的广泛评测结果表明,FedKNOW在不增加模型训练时间的情况下,将模型精度提高了63.24%,降低了34.28%的通信成本,并在大量任务或客户端、训练不同复杂网络等困难场景下实现了更多的改进。
2022-12-04 cs.DC cs.LG
Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所)
针对无样本持续学习中的特征漂移问题,提出用对抗扰动样本估计原型移动并补偿,在多个基准上超越现有方法。
2024-05-29 cs.AI cs.CV
Attribution-Guided Continual Learning for Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));The Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于属性引导的持续学习框架,通过估计每个Transformer层中参数的重要性,调节梯度以保留旧任务知识,实验表明在持续学习基准上优于基线方法。
2026-07-14 cs.LG
CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning
Iowa State University(爱荷华州立大学);Maro Systems(Maro系统);University of California, Berkeley(加州大学伯克利分校);AMD
CRAFT通过在隐藏表示上学习低秩干预,避免更新模型权重,通过输出分布分歧路由任务、KL散度正则化和合并干预,减少遗忘并提升性能。
2026-10-16 cs.AI cs.LG
ContiStain: Cross-Domain Relation-Preserving Distillation for Continual Multi-Domain Virtual IHC Staining
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对临床中随时间顺序获取新生物标志物数据致性能下降问题,提出ContiStain框架,用混合专家特征提取器构建特征空间,提出关系保留蒸馏策略,提升多域虚拟染色稳定性。
2026-07-07 cs.CV eess.IV
Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning
University of California, Berkeley(加州大学伯克利分校)
提出SABER框架,通过基于提示梯度几何和损失分布相似性的任务相关性准则,在提示型参数高效持续学习中实现受控的正向反向知识迁移,无需重放。
2026-06-07 cs.LG
Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks
Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CEA, List(法国原子能和替代能源委员会(List));CEA, Leti(法国原子能和替代能源委员会(Leti))
本文研究全二值神经网络中的类增量学习,通过重新设计训练流程、损失平衡、半监督预训练特征提取器以及比较潜在回放与原生回放,在CIFAR100和CORE50上取得与更大实值模型相当或更优的性能。
2025-03-10 cs.CV cs.LG
A Unifying Bayesian View of Continual Learning
University of Oxford(牛津大学)
一些机器学习应用需要持续学习--数据来自一系列数据集,每个数据集都用于训练,然后永久丢弃。从贝叶斯的角度来看,持续学习似乎很简单:给定模型后验,我们可以简单地将其用作下一个任务的先验。然而,精确的后验评估是棘手的许多模型,特别是贝叶斯神经网络(BNN)。相反,经常寻求后验近似。不幸的是,当使用后验近似时,以先验为中心的方法在旨在捕获现实持续学习用例属性的评估中并不成功。作为一种替代以前的重点方法,我们引入了一个新的近似贝叶斯推导的持续学习损失。我们的损失不依赖于早期任务的后验,而是通过改变似然项来调整模型本身。我们称这些方法为以可能性为中心。然后,我们将先验和可能性集中的方法结合到一个目标中,将两种观点结合在一起,在一个统一的近似贝叶斯持续学习框架下。
2019-02-18 cs.LG stat.ML
AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning
Beihang University(北京航空航天大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);East China Normal University(华东师范大学);Zhongguancun Laboratory(中关村实验室)
提出基于CLIP的非增量持续学习器AttriCLIP,利用属性词库中的可学习参数构建文本提示进行分类,无需扩展参数或构建重放记忆即可有效缓解灾难性遗忘,在领域偏移和长序列场景下表现优越。
2024-03-20 cs.CV
Exploring Cross-Stage Adversarial Transferability in Class-Incremental Continual Learning
School of Integrated Technology / BK21 Graduate Program in Intelligent Semiconductor Technology(整合技术学院 / 智能半导体技术BK21研究生项目)
本文探讨了类增量持续学习中对抗转移攻击的脆弱性,揭示了持续学习方法对这类攻击的高度敏感性,并指出现有防御方法的不足。
2025-08-12 cs.LG
Memory Bounds for Continual Learning
Columbia University(哥伦比亚大学)
持续学习或终身学习是当前机器学习面临的一个巨大挑战。它要求学习者一个接一个地解决一系列$k$不同的学习任务,同时保留其对早期任务的能力;连续学习者应该比为每个$k$任务开发和维护单独学习者的明显解决方案更好地扩展。本文在PAC框架下对持续学习进行了复杂性理论研究。我们使用新的通信复杂性,以建立任何持续的学习者,即使是一个不适当的,需要与$k$线性增长的内存,强烈表明这个问题是棘手的。当在学习任务中允许多次传递时,我们提供了一种基于乘法权重更新的算法,其内存需求扩展良好;我们还建立了不适当的学习对于这种性能是必要的。我们推测,这些结果可能会导致新的有前途的方法,持续学习。
2022-04-22 cs.AI cs.DS cs.LG
A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一种无需反向传播的反馈-赫本网络,通过局部可塑性实现持续学习动态,展示反馈路径在再生和维持关联中的作用。
2026-02-02 cs.LG cs.NE
Shapley Neuron Values for Continual Learning: Which Neurons Matter Most?
Department of Electrical and Computer Engineering, Aarhus University, Denmark(电气与计算机工程系,奥胡斯大学,丹麦)
本文提出Shapley神经元估值框架,通过量化持续学习中神经元重要性,实现无缓冲的持续学习,实验显示其在类别增量学习和任务增量学习中分别提升准确率2.88%和6.46%。
2026-05-15 cs.AI cs.LG
Continual Few-shot Adaptation for Synthetic Fingerprint Detection
本文提出连续少样本适应方法用于合成指纹检测,通过结合二元交叉熵和监督对比损失,结合样本重放以缓解灾难性遗忘,实现快速适应新合成风格同时避免遗忘已知风格。
2026-03-15 cs.CV cs.IT math.IT
What to Preserve, Where to Adapt: A Depth-Wise Analysis of Forgetting in Continual Gynecological Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对妇科图像持续分割中灾难性遗忘问题,通过分块消融与受控适配实验,揭示网络深度上的更新位置对遗忘的影响,为解决该场景下的持续学习问题提供依据。
2026-11-09 cs.CV cs.LG
Learning Mamba as a Continual Learner: Meta-Learning Selective State Space Models for Continual Learning
University of New South Wales (UNSW Sydney)(新南威尔士大学(UNSW悉尼))
该研究提出MambaCL,将Mamba作为固定大小状态序列模型,通过选择性正则化元训练,在元持续学习任务中实现了良好性能与强泛化性,展现了固定状态学习器用于高效持续学习的潜力。
2026-08-25 cs.LG
Continual Learning with Low Rank Adaptation
Amazon Web Services(亚马逊云科技)
本文提出CoLoR,将低秩适应(LoRA)应用于持续学习,在领域增量学习基准上以与提示微调方法相当的参数效率取得了最先进性能。
2023-11-29 cs.AI cs.LG
Can a Language Model Learn Facts Continually in Its Weights?
Baseten(巴斯滕)
研究语言模型能否在权重中持续学习事实,通过追踪写入Qwen3模型的虚构事实及实验发现,训练数据广度决定知识类型,事实可行为遗忘但不擦除,广泛数据能创建可用知识,可靠通道是上下文而非权重。
2026-10-06 cs.CL cs.LG