Continual Variational Autoencoder Learning via Online Cooperative Memorization
University of York(约克大学)
变分自编码器(VAE)由于其推理、数据表示和重构特性,已成功地应用于持续学习分类任务中。然而,他们的能力,以产生相应的类和数据库在持续学习(CL)学习规范的图像还没有得到很好的理解和灾难性遗忘仍然是一个重大的挑战。在本文中,我们首先分析了遗忘行为的VAE制定一个新的理论框架,制定CL作为一个动态的最优运输问题。该框架在不需要任务信息的情况下证明了数据可能性的近似界限,并解释了先验知识在训练过程中如何丢失。然后,我们提出了一种新的内存缓冲的方法,即在线协同建模(OCM)框架,它包括一个短期记忆(STM),不断存储最近的样本,为模型提供未来的信息,和一个长期记忆(LTM),旨在保持广泛的多样性的样本。OCM根据信息多样性选择准则,在不需要任何监督信号的情况下,将特定样本从STM转移到LTM。然后,OCM框架与动态VAE扩展混合网络相结合,以进一步提高其性能。
2022-07-20 cs.AI cs.CV cs.LG
FoCL: Feature-Oriented Continual Learning for Generative Models
Imagia Inc.(Imagia公司);Concordia University(康考迪亚大学);McGill University(麦吉尔大学)
在本文中,我们提出了一个通用的框架,在持续学习的生成模型:面向任务的持续学习(FoCL)。与以前的作品,旨在解决灾难性遗忘问题,通过引入正则化的参数空间或图像空间,FoCL强加正则化的特征空间。我们在实验中表明,FoCL对顺序到达任务的分布变化具有更快的适应能力,并在任务增量学习中实现了生成模型的最新性能。我们讨论了针对不同用例场景的组合正则化空间的选择,以提高性能,例如,在背景中具有高度可变性的任务。最后,我们引入了一个遗忘度量,它公平地评估了模型遭受遗忘的程度。有趣的是,对我们提出的健忘评分的分析也表明,FoCL倾向于对未来任务的遗忘有所减轻。
2020-03-09 cs.CV
Discriminative Distillation to Reduce Class Confusion in Continual Learning
Sun Yat-sen University(中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, MOE(机器智能与先进计算教育部重点实验室)
成功的持续学习新知识将使智能系统能够识别越来越多的对象类别。然而,当前的智能系统在更新以学习新类时通常不能正确地识别先前学习的对象类。人们普遍认为,这种降级的表现完全是由于对以前学过的知识的灾难性遗忘。在这项研究中,我们认为,类混淆现象也可能发挥作用,在降级的分类性能在持续学习,即,新类和任何先前学习的类之间的高度相似性也会导致分类器在识别这些旧类时出错,即使这些旧类的知识没有被遗忘。为了缓解类别混淆问题,我们提出了一种区分蒸馏策略,以帮助分类器在持续学习过程中更好地学习混淆类别之间的区分特征。在多个自然图像分类任务上的实验支持所提出的蒸馏策略,当与现有方法相结合时,在进一步改进持续学习方面是有效的。
2021-08-11 cs.CV
Latent Replay for Real-Time Continual Learning
University of Bologna(博洛尼亚大学)
在轻型计算设备、嵌入式系统和机器人平台的边缘训练深度神经网络如今非常具有挑战性。持续学习技术,其中复杂的模型在小批量的新数据上进行增量训练,可以使学习问题易于处理,即使对于只有CPU的嵌入式设备,也可以实现显着的自适应性和自主性。然而,还有一些实际问题需要解决:首先是灾难性遗忘。在本文中,我们介绍了一种名为“潜在重放”的原始技术,而不是在输入空间中存储过去的数据的一部分,我们存储在一些中间层的激活量。这可以显著减少本地排练所需的计算和存储。为了保持表示稳定和存储的激活有效,我们建议在潜在重放层以下的所有层放慢学习速度,让上面的层自由地全速学习。在我们的实验中,我们表明,潜在重放,结合现有的持续学习技术,实现了最先进的性能在复杂的视频基准,如CORe 50 NICv2(近400个小的和高度非i.i.d.批次)和OpenLORIS。最后,我们通过在智能手机设备上部署所提出的技术,证明了在边缘上进行近实时的【形】持续学习的可行性。
2020-03-04 cs.CV cs.LG stat.ML
STAR: Stability-Inducing Weight Perturbation for Continual Learning
Northeastern University(东北大学);Google Cloud AI Research(谷歌云人工智能研究)
本文提出一种新型损失函数STAR,利用最坏情况参数扰动降低模型预测与局部邻域的KL散度以增强稳定性并缓解灾难性遗忘,可作为即插即用组件提升现有持续学习方法性能达15%。
2025-03-03 cs.AI cs.CV cs.LG
Subspace Distillation for Continual Learning
Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学);Queensland University of Technology(昆士兰科技大学)
提出一种基于线性子空间建模数据流形的知识蒸馏技术,通过利用潜在空间的流形结构有效缓解了持续学习中的灾难性遗忘,并在多个数据集上显著提升了分类与分割任务的性能。
2023-08-01 cs.AI cs.CV cs.LG
Federated Continual Learning to Detect Accounting Anomalies in Financial Auditing
University of St.Gallen(圣加仑大学);Rutgers, The State University of New Jersey(罗格斯大学,新泽西州立大学)
《国际审计准则》要求审计员对财务报表不存在重大错报收集合理保证。与此同时,持续保证的一个核心目标是对数字会计分录进行实时评估。最近,在人工智能进步的推动下,深度学习技术已经出现在财务审计中,以检查大量的会计数据。然而,在分散和动态环境中学习高度适应性的审计模型仍然具有挑战性。它需要研究多个客户端和多个时间段上的数据分布偏移。在这项工作中,我们提出了一个联邦持续学习框架,使审计师学习审计模型从分散的客户不断。我们评估框架的能力,以检测会计异常的组织活动的常见情况。我们的实证结果,使用真实世界的数据集和联合联邦持续学习策略,证明了学习模型的能力,以检测异常的数据分布偏移的审计设置。
2022-10-26 cs.LG
Adaptive Model Ensemble for Continual Learning
Beijing Key Laboratory of Intelligent Information Technology(智能信息处理北京市重点实验室);Guangdong Laboratory of Machine Perception and Intelligent Computing(广东省机器感知与智能计算实验室);Zhejiang University(浙江大学)
本文提出元权重集成器,通过元学习生成逐层混合系数,自适应融合任务知识,解决持续学习中的知识冲突,缓解灾难性遗忘并达到最先进性能。
2025-09-24 cs.CV
A multifidelity approach to continual learning for physical systems
Advanced Computing, Mathematics and Data Division(高级计算、数学与数据分部);Pacific Northwest National Laboratory(西北太平洋国家实验室)
本文提出一种基于多保真深度神经网络的连续学习方法,通过学习新旧模型输出相关性来抑制灾难性遗忘,并可结合重放和记忆感知突触方法,特别适用于物理系统与物理信息神经网络。
2024-02-09 cs.LG cs.NA math.NA
Maintaining Plasticity in Deep Continual Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);CIFAR(加拿大高级研究所)
本文研究深度持续学习中的可塑性丧失问题,通过 MNIST 与 ImageNet 任务序列展示其普遍存在,并提出 continual backpropagation 以持续重初始化低使用率单元来长期保持可塑性。
2024-04-09 cs.LG
Unsupervised Few-Shot Continual Learning for Remote Sensing Image Scene Classification
University of South Australia(南澳大学);I2R, A*Star(新加坡科技研究局资讯通信研究院);System Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
针对遥感图像分析中标注样本获取困难的问题,提出无监督少样本持续学习方法UNISA,通过原型散射与平宽学习结合球生成器缓解灾难性遗忘,在多个数据集上验证了有效性。
2024-06-04 cs.AI cs.CV cs.LG
Routing Networks with Co-training for Continual Learning
Google AI, Zurich(谷歌人工智能(苏黎世))
持续学习的核心挑战是灾难性遗忘,即当神经网络在一系列任务上训练时,它们会迅速忘记先前学习的任务。据观察,当任务彼此不相似时,灾难性遗忘最为严重。我们建议使用稀疏路由网络进行持续学习。对于每个输入,这些网络架构都会通过专家网络激活不同的路径。路由网络已经被证明可以学习将相似的任务路由到重叠的专家组,将不同的任务路由到不相交的专家组。在持续学习的背景下,这种行为是可取的,因为它最大限度地减少不同任务之间的干扰,同时允许相关任务之间的正迁移。在实践中,我们发现有必要开发一种新的路由网络的训练方法,我们称之为协同训练,它可以避免在提出新任务时初始化不佳的专家。当与一个小的情景记忆重放缓冲区相结合时,具有协同训练的稀疏路由网络在MNIST-置换和MNIST-旋转基准上的表现优于密集连接的网络。
2020-09-09 cs.LG stat.ML
Continual Fine-Tuning of Large Language Models via Program Memory
Deakin Applied AI Initiative(德金应用人工智能计划)
本文提出ProCL框架,通过程序记忆结构实现持续学习中的高效微调,提升模型在连续任务中的知识保留与适应能力。
2026-05-13 cs.LG
KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education(东南大学计算机网络和信息集成教育部重点实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突,提出KeepLoRA++,通过层级缩放残差梯度适应方法,限制LoRA参数更新到残差子空间并采用浅到深层缩放,平衡三者,在图像分类、视觉问答和视频理解任务上优于基线。
2026-06-16 cs.CV cs.LG
Latent Spectral Regularization for Continual Learning
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Ammagamma(阿马伽玛公司);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学))
针对持续学习中的灾难性遗忘,提出基于潜在空间拉普拉斯谱的几何正则化器CaSpeR-IL,促进类别分区,可结合任意排练方法提升SOTA性能。
2024-07-16 cs.LG
Adaptive Shortcut Debiasing for Online Continual Learning
KAIST(韩国科学技术院)
针对在线持续学习中的捷径偏差问题,提出DropTop框架,通过特征图融合与自适应强度偏移技术自动确定去偏程度,在五个基准数据集上显著提升准确率并降低遗忘率。
2023-12-14 cs.AI cs.LG
Detection and Continual Learning of Novel Face Presentation Attacks
USC Information Sciences Institute(南加州大学信息科学研究所);Alexandria University(亚历山大大学)
深度学习的进步,加上大数据集的可用性,使人脸呈现攻击检测研究取得了令人印象深刻的进步。然而,最先进的人脸反欺骗系统仍然容易受到训练期间从未见过的新型攻击。此外,即使正确地检测到这种攻击,这些系统也缺乏适应新遇到的攻击的能力。在初始检测阶段之后,持续检测新类型攻击和自适应识别这些攻击类型的训练后能力非常有吸引力。在本文中,我们使一个深度神经网络检测异常的观察输入数据点作为潜在的新类型的攻击,通过抑制训练样本的分布以外的网络的置信水平。然后,我们使用经验重放来更新模型,以纳入有关新类型攻击的知识,而不会忘记过去学习的攻击类型。实验结果表明,该方法的有效性,两个基准数据集,以及一个新引入的数据集,表现出各种各样的攻击类型。
2021-08-27 cs.CV
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
开发能够真正终身学习的人工智能应用的一个主要障碍是,人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法,但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较,我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议,我们发现基于正则化的方法(例如,弹性权重合并)在需要推断任务标识时失败。相比之下,生成重放结合蒸馏(即,使用类别概率作为“软目标”)在所有三种情况下都实现了优异的性能。为了解决效率问题,我们通过将生成模型集成到主模型中,并为其配备生成反馈或反向连接,从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间,而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning
Indian Institute of Technology (ISM) - Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);Google Research, India(谷歌研究院(印度))
持续学习(CL)旨在开发技术,使单个模型适应顺序遇到的越来越多的任务,从而有可能以资源高效的方式利用跨任务的学习。CL系统面临的一个主要挑战是灾难性遗忘,即在学习新任务时忘记先前的任务。为了解决这个问题,基于重放的CL方法维护并重复重新训练在遇到的任务中选择的数据的小缓冲区。我们提出了梯度Coreset重放(GCR),重放缓冲区的选择和更新,使用精心设计的优化标准的一种新的策略。具体来说,我们选择并保持一个“coreset”,接近目前为止看到的所有数据的梯度相对于当前的模型参数,并讨论其有效应用到持续学习设置所需的关键策略。我们在经过充分研究的离线持续学习设置中显示出比最先进的显着增益(绝对值2%-4%)。我们的研究结果还有效地转移到在线/流媒体CL设置,显示出比现有方法高出5%的收益。最后,我们证明了监督对比损失的价值为持续学习,这产生了高达5%的准确性,当与我们的子集选择策略相结合的累积增益。
2022-04-15 cs.AI cs.LG
Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(科学、技术与研究局);Hefei University of Technology(合肥工业大学);Sichuan University(四川大学)
该研究揭示持续学习中泛化与遗忘的正向相互作用,提出形状-纹理一致性正则化(STCR)技术,可无缝集成于现有持续学习方法,显著提升性能。
2025-03-23 cs.CV
ScrollNet: Dynamic Weight Importance for Continual Learning
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
ScrollNet提出一种动态网络,在数据暴露前为每个任务分配权重重要性排名,以优化持续学习中的稳定性-可塑性权衡,并可与其他CL方法结合,在CIFAR100和TinyImagenet上验证有效。
2023-08-31 cs.CV
CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning
Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
提出CL-LoRA双适配器架构,结合任务共享与任务特定适配器,利用随机正交矩阵和知识蒸馏保留共享知识,缓解任务间干扰,在多个基准上实现高效可扩展的无排练类增量学习。
2025-05-30 cs.CV
Continual Learning in 3D Point Clouds: Employing Spectral Techniques for Exemplar Selection
K. N. Toosi University of Technology(霍加·纳赛尔·图西理工大学)
提出基于谱聚类的持续学习框架CL3D,利用3D几何特征在多特征空间选择原型,在ModelNet40等数据集上以更低内存实现更高准确率。
2025-03-06 cs.CV
Choice of PEFT Technique in Continual Learning: Prompt Tuning is Not All You Need
AWS(亚马逊云科技);Aleph Alpha(阿莱夫阿尔法)
本文质疑持续学习中默认使用prompt tuning的合理性,发现在Learning to Prompt和S-Prompts中改用LoRA能提升准确率且保持推理速度,强调需通过严格消融实验推动该领域进展。
2024-06-05 cs.AI cs.LG
E-CGL: An Efficient Continual Graph Learner
Zhejiang University(浙江大学)
针对持续图学习中数据相互依赖和大图效率低的问题,提出E-CGL方法,采用组合采样策略和与GCN共享权重的MLP模型,在性能超越基线的同时大幅降低遗忘并提升训练与推理速度。
2024-08-18 cs.AI cs.LG
Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
Huawei Technologies Canada(华为技术加拿大公司)
本文提出通过最优任务序列缓解持续学习中的灾难性遗忘,结合零样本评分算法并增强性能与鲁棒性。
2025-12-18 cs.AI cs.LG
Repurposing Adversarial Perturbations for Continual Learning: From Defense to Active Alignment
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Deakin University(德肯大学);Harbin Engineering University(哈尔滨工程大学)
提出AdvCL框架,通过将对抗扰动重新用作几何控制信号,结合三个即插即用模块(Intra-Smooth、Proto-Clip、Inter-Align),在持续学习中同时提升标准性能、鲁棒性、降低遗忘并增强迁移。
2026-06-01 cs.AI cs.LG
Convolutional Prompting meets Language Models for Continual Learning
IIT Kharagpur(印度理工学院克勒格布尔分校);IML Amazon India(亚马逊印度IML部门)
本文提出ConvPrompt,通过卷积提示机制实现层级特定学习与跨任务知识迁移,并利用大语言模型动态决定提示数量,在持续学习中显著降低参数开销的同时将SOTA性能提升约3%。
2024-03-29 cs.CV
SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Intel Labs(英特尔实验室)
SPARC通过PCA低维子空间提示微调并结合LoRA,以极低参数开销实现LLM持续学习中的高效任务适配与知识保持。
2025-02-05 cs.AI cs.CL cs.LG
Feature Aggregation for Efficient Continual Learning of Complex Facial Expressions
ESIEA(ESIEA工程师学院);EHESP(法国公共卫生高等研究学院)
本文提出了一种混合框架,通过整合深度卷积特征和面部动作单位,实现复杂面部表情的高效持续学习,提升准确率和知识保留能力。
2025-12-13 cs.CV
GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging
University of Pisa(比萨大学);Indian Institute of Technology Bombay(孟买印度理工学院);University of Warwick(沃里克大学);LUISS University(LUISS大学)
GLAM是基于LoRA适配器合并的类增量持续学习框架,通过分组、剪枝等技术,在50任务序列的视觉基准上实现最高准确率,仅用16-19%可训练参数,训练时间减少63-74%。
2026-08-12 cs.LG
ImageHD: Energy-Efficient On-Device Continual Learning of Visual Representations via Hyperdimensional Computing
AMD Zynq ZCU104 FPGA
ImageHD基于超维度计算实现设备端视觉持续学习,通过硬件感知的持续学习方法和量化CNN前端,在严格时延和芯片内存限制下提升效率与能效。
2026-04-23 cs.CV
CLIMB: Centroid-Based Hierarchical Memory for Online Continual Self-Supervised Learning
Universite Claude Bernard Lyon 1, CNRS, INSA Lyon, LIRIS, UMR 5205(里昂第一大学, 法国国家科学研究中心, 法国国立应用科学学院, 里昂信息与系统研究实验室, UMR 5205);INSA Lyon, CNRS, Universite Claude Bernard Lyon 1, LIRIS, UMR 5205(法国国立应用科学学院, 法国国家科学研究中心, 里昂第一大学, 里昂信息与系统研究实验室, UMR 5205);Universite Claude Bernard Lyon 1 / Univ. Rennes, Inria, CNRS LIRIS UMR 5205 / IRISA UMR 6074(里昂第一大学 / 雷恩大学, 法国国家信息与自动化研究所, 法国国家科学研究中心 里昂信息与系统研究实验室 UMR 5205 / 雷恩计算机科学研究所 UMR 6074)
提出CLIMB方法,结合层次质心记忆和知识蒸馏,在内存受限的在线无标签数据流中学习表示,优于现有OCSSL方法。
2026-07-01 cs.AI cs.CV
Smaller Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning
Ca’ Foscari University(威尼斯大学)
随着可用于学习系统的数据的大小和异质性的增加,能够在动态变化的环境中学习的机器和算法的设计已经成为越来越热门的问题。因此,持续学习的关键问题已经成为解决连接主义系统的稳定性-可塑性困境的问题,因为它们需要在不忘记先前获得的知识的情况下调整其模型。在这种情况下,基于排练的方法,即,的解决方案,学习者利用内存重温过去的数据,已被证明是非常有效的,导致性能在国家的最先进的。在我们的研究中,我们提出了一个分析的内存数量/质量的权衡采用各种数据减少的方法,以增加存储在内存中的实例的数量。特别是,我们研究了复杂的实例压缩技术,如深度编码器,但也有一些琐碎的方法,如图像压缩和线性降维。我们的研究结果表明,最佳的权衡是严重偏向实例数量,排练方法与几个严重压缩的实例很容易优于国家的最先进的方法与相同数量的内存在他们的处置。此外,在高存储器配置中,提取空间结构的深度方法与极限训练($8\times8$图像的数量级)相结合产生最佳结果,而在存储器受限的配置中,由于训练中的存储器要求而无法使用深度方法,极限学习机(ELM)提供了明显的优势。
2022-04-29 cs.CV
Reliability-Gated Source Anchoring for Continual Test-Time Adaptation
Case Western Reserve University(凯斯西储大学);Université Laval(拉瓦尔大学);Mila - Québec AI Institute(魁北克人工智能研究所)
该研究提出了一种可靠性门控的源锚定方法(RMemSafe),用于持续测试时间适应(CTTA),通过利用冻结源的归一化预测熵来抑制所有显式源耦合使用,从而在源可靠性下降时自动关闭源锚定和一致性过滤器,提升模型在持续腐蚀任务中的性能。
2026-05-19 cs.LG
Stochastic Engrams for Efficient Continual Learning
School of Biomedical Engineering, The University of Sydney(悉尼大学生物医学工程学院)
受神经科学印迹启发,提出随机激活印迹作为门控机制用于元可塑性二值化神经网络,在类增量场景中唯一达到超20%平均准确率,域增量与全精度相当,并显著降低GPU和RAM使用。
2026-09-29 cs.LG
A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning
Institute of Image Processing and Pattern Recognition(图像处理与模式识别研究所);Shanghai Jiao Tong University(上海交通大学)
本研究提出基于梯度的统一持续学习-遗忘框架UG-CLU,通过统一优化框架揭示CL与MU内在关联,引入保留流形约束等解决稳定性-可塑性困境,率先探索任务无关场景,实验验证其能协调增量学习、精准遗忘与知识稳定。
2025-05-21 cs.LG
Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
全息知识流形通过分形量化等技术实现大语言模型持续学习中零灾难性遗忘,提升知识压缩效率并降低训练成本。
2025-11-21 cs.LG
PANDA -- Patch And Distribution-Aware Augmentation for Long-Tailed Exemplar-Free Continual Learning
PANDA通过补丁与分布感知增强方法,解决无示例持续学习中的任务间不平衡问题,提升学习效果和泛化能力。
2025-12-13 cs.CV eess.IV
Domain-Incremental Continual Learning for Robust and Efficient Keyword Spotting in Resource Constrained Systems
University of Kentucky(肯塔基大学)
本文提出一种领域增量学习框架,通过高效去噪与原型连续学习结合,提升资源受限环境下关键词检测的鲁棒性和效率。
2026-01-22 cs.LG cs.SD
Memory Efficient Continual Learning for Edge-Based Visual Anomaly Detection
University of Padova(帕多瓦大学)
针对边缘设备资源受限及数据动态变化挑战,研究视觉异常检测的持续学习问题,发现PaSTe方法结合Compressed Replay技术在提升检测性能的同时大幅降低内存开销。
2025-03-04 cs.AI cs.CV
SHELS: Exclusive Feature Sets for Novelty Detection and Continual Learning Without Class Boundaries
University of Pennsylvania(宾夕法尼亚大学)
虽然深度神经网络(DNN)在封闭世界学习场景中取得了令人印象深刻的分类性能,但它们通常无法推广到动态开放世界环境中的不可见类别,其中概念的数量是无限的。相比之下,人类和动物学习者有能力通过识别和适应新的观察来逐步更新他们的知识。特别是,人类通过排他的(唯一的)基本特征集来表征概念,这些基本特征集用于识别已知类别和识别新颖性。受自然学习者的启发,我们引入了一种稀疏高级独占,低级共享特征表示(SHELS),同时鼓励学习高级特征和基本共享低级特征的独占集。高级特征的排他性使DNN能够自动检测分发外(OOD)数据,而通过稀疏的低级特征有效利用容量允许容纳新知识。所得到的方法使用OOD检测来执行类增量持续学习,而无需已知的类边界。我们表明,使用SHELS的新奇检测结果在统计上显着改善国家的最先进的OOD检测方法在各种基准数据集。此外,我们证明了SHELS模型在类增量学习环境中减轻了灾难性遗忘,从而实现了支持开放世界环境中学习的新颖性检测和适应框架
2022-06-28 cs.AI cs.LG
BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning
Indian Institute of Technology Mandi(印度理工学院曼迪)
本文提出BID-LoRA框架,通过双向低秩适应和逃逸去学习技术,解决持续学习与去学习中的知识泄露问题,实验表明其在多个适应周期中优于基线方法。
2026-04-14 cs.AI cs.LG
Uncertainty-Aware Continual Learning for Open-World Intent Discovery Under an evolving Label Space
Politecnico di Milano(米兰理工大学)
针对开放世界下演化标签空间的持续意图发现,提出不确定性感知概率框架,结合多信号决策与密度聚类实现受控标签扩展,实验显示高精确率与低遗忘。
2026-09-17 cs.CL cs.LG
Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints
Sichuan University(四川大学);National University of Singapore(新加坡国立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Huazhong University of Science and Technology(华中科技大学)
本文提出 Ferret 框架,通过细粒度流水线并行、迭代梯度补偿及自动化模型划分,在变化内存预算下提升 OCL 的实时准确率与效率。
2025-03-15 cs.AI cs.LG
Adaptive Unknown Fault Detection and Few-Shot Continual Learning for Condition Monitoring in Ultrasonic Metal Welding
Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校机械科学与工程系);Coordinated Science Laboratory, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室);Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系)
本文提出了一种自适应条件监控方法,通过分析多层感知机的隐藏层表示和统计阈值策略实现未知故障检测,并结合少样本持续学习提升焊接过程监控的适应性与准确性。
2026-04-15 cs.LG eess.SP
FedCL-Ensemble Learning: A Framework of Federated Continual Learning with Ensemble Transfer Learning Enhanced for Alzheimer's MRI Classifications while Preserving Privacy
Vellore Institute of Technology(韦洛尔理工学院)
本文提出FedCL-集成学习框架,结合ResNet、ImageNet、VNet迁移学习与联邦学习及加密机制,在保护隐私的前提下提升阿尔茨海默病MRI分类性能。
2024-11-15 cs.AI cs.CV cs.IR
Pushing the Limits of Distillation-Based Continual Learning via Classifier-Proximal Lightweight Plugins
National Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);Department of Computer Science and Technology, Nanjing University, China(南京大学计算机科学与技术系);School of Electronic Science and Engineering, Nanjing University, China(南京大学电子科学与工程学院)
本文提出DLC插件方法,通过轻量残差插件提升分类准确率,同时减少对特征提取过程的干扰,实现8%的精度提升和4%的参数增加。
2026-04-03 cs.LG stat.ML
Distributed Weight Consolidation: A Brain Segmentation Case Study
National Institute of Mental Health(美国国家精神卫生研究所);Massachusetts Institute of Technology(麻省理工学院)
收集训练深度神经网络所需的大型数据集可能非常困难,特别是对于许多应用程序来说,共享和汇集数据因实际,道德或法律问题而变得复杂。然而,可能的情况是,各个站点内开发的衍生数据集或预测模型可以共享并在更少的限制下组合。在分布式数据上进行训练并组合所得到的网络通常被视为持续学习,但这些方法需要按顺序训练网络。在本文中,我们介绍了分布式权重合并(DWC),这是一种持续学习方法,用于合并单独的神经网络的权重,每个神经网络都在独立的数据集上训练。我们通过脑分割案例研究评估了DWC,在该案例研究中,我们整合了在来自不同站点的独立结构磁共振成像(sMRI)数据集上训练的扩张卷积神经网络。我们发现,DWC提高了来自不同站点的测试集的性能,同时保持了非常大且完全独立的多站点数据集的泛化性能。
2019-01-16 cs.CV cs.LG stat.ML
Overcoming Catastrophic Forgetting: Continual Learning for Radar Waveform Classification
Wolfson School of Mechanical, Electrical and Manufacturing Engineering. Loughborough University, U.K.(拉夫堡大学)
本研究构建首个雷达波形识别的大规模持续学习基准,评估18种持续学习方法,发现保留旧任务数据的方法表现最优,结合有效机制可显著提升性能,为相关系统设计提供依据。
2026-10-14 cs.LG eess.SP
RemixIT: Continual self-training of speech enhancement models via bootstrapped remixing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta Reality Labs Research(Meta现实实验室);Meta AI Research(Meta人工智能研究院)
我们提出了RemixIT,一种简单而有效的自监督方法,用于训练语音增强,而不需要单个孤立的域内语音,也不需要噪声波形。我们的方法克服了以前的方法,使他们依赖于干净的域内目标信号的局限性,因此,敏感的训练和测试样本之间的任何域失配。RemixIT是基于一个连续的自训练方案,其中一个预先训练的教师模型的域外数据推断估计的伪目标信号的域混合。然后,通过置换估计的清洁和噪声信号,并将它们重新混合在一起,我们产生一组新的自举混合物和相应的伪目标,用于训练学生网络。反之亦然,教师使用最新学生模型的更新参数定期改进其估计。在多个语音增强数据集和任务上的实验结果不仅表明了该方法优于现有方法,而且还表明RemixIT可以与任何分离模型相结合,并适用于任何半监督和无监督的领域自适应任务。我们的分析,结合经验证据,揭示了我们的自我训练计划的内部运作,其中学生模型在观察严重退化的伪目标的同时,不断获得更好的性能。
2022-08-03 cs.LG cs.SD eess.AS
Lifelong 3D Object Recognition and Grasp Synthesis Using Dual Memory Recurrent Self-Organization Networks
University of Groningen(格罗宁根大学)
人类在终身的环境中学习识别和操纵新物体,而不会忘记在非平稳和连续条件下先前获得的知识。在自治系统中,智能体还需要减轻类似的行为,以不断学习新的对象类别并适应新的环境。在大多数传统的深度神经网络中,由于灾难性遗忘的问题,这是不可能的,新获得的知识会覆盖现有的表示。此外,大多数最先进的模型在识别物体或抓握预测方面都很出色,而这两项任务都使用视觉输入。处理这两项任务的组合架构非常有限。在本文中,我们提出了一种混合模型架构,包括一个动态增长的双记忆递归神经网络(GDM)和一个自动编码器,以解决对象识别和抓取同时进行。自动编码器网络负责为给定的对象提取一个紧凑的表示,作为GDM学习的输入,并负责预测逐像素对跖抓取配置。GDM部分被设计为在实例和类别级别上识别对象。我们使用内在记忆重放来解决灾难性遗忘的问题,其中情景记忆在没有外部感觉信息的情况下周期性地重放神经激活轨迹。为了在终身环境中广泛评估所提出的模型,由于缺乏连续的3D对象数据集,我们生成了一个合成数据集。实验结果表明,该模型可以在持续学习的场景中同时学习物体表征和抓取。
2022-01-23 cs.CV cs.LG cs.RO
Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks
Princeton University(普林斯顿大学)
我们提出了一种算法,压缩到紧凑的可寻址存储器的大型数据集的关键信息。然后可以调用这些记忆来快速重新训练神经网络并恢复性能(而不是存储和重新训练完整的原始数据集)。在数据集蒸馏框架的基础上,我们进行了一个关键的观察,即共享的公共表示允许更高效和有效的蒸馏。具体地说,我们学习一组基础(又名"记忆“),这些基础在类之间共享,并通过学习灵活的寻址函数进行组合,以生成一组不同的训练样本。这带来了几个好处:1)压缩数据的大小不一定随着类的数量线性增长; 2)实现了总体更高的压缩率和更有效的提取;以及3)除了调用原始类之外,还允许更一般化的查询。我们在六个基准测试中展示了数据集蒸馏任务的最新结果,其中包括在蒸馏CIFAR 10和CIFAR 100时分别提高了16.5%和9.7%的保留精度。然后,我们利用我们的框架来执行持续学习,在四个基准测试中取得了最先进的结果,在MANY上的准确率提高了23.2%。代码发布在我们的项目网页https://github.com/princetonvisualai/RememberThePast-DatasetDistillation上。
2022-11-19 cs.AI cs.CV cs.LG