Meta-Consolidation for Continual Learning
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
不断学习和适应新任务的能力,而不会失去对已经获得的知识的掌握,是生物学习系统的标志,而当前的深度学习系统却达不到这一点。在这项工作中,我们提出了一种新的方法,持续学习称为MERLIN:元巩固持续学习。我们假设神经网络$\boldsymbol ψ$的权重,用于解决任务$\boldsymbol t$,来自元分布$p(\boldsymbol{ψ|t})$。这个元分发是逐步学习和整合的。我们在具有挑战性的在线持续学习环境中运行,其中模型只看到一次数据点。我们对MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet数据集的持续学习基准进行的实验显示,在五个基线上都有一致的改进,包括最近的最新技术,证实了MERLIN的承诺。
2020-10-01 cs.AI cs.CV
SYNERgy between SYNaptic consolidation and Experience Replay for general continual learning
Advanced Research Lab, NavInfo Europe(四维图新欧洲高级研究实验室)
大脑中的持续学习(CL)是由一组复杂的机制促进的。这包括多个记忆系统的相互作用,以巩固信息,如互补学习系统(CLS)理论和突触巩固,以保护所获得的知识免受擦除。因此,我们提出了一种通用的CL方法,该方法在SYNaptic巩固和双重记忆体验重放(SYNERgy)之间产生协同作用。我们的方法保持一个语义记忆,积累和巩固跨任务的信息,并与情景记忆进行有效的重放。它还通过在训练轨迹期间跟踪参数的重要性并将它们锚定到语义记忆中的合并参数来采用突触合并。据我们所知,我们的研究是第一个采用双重记忆体验重放与突触巩固相结合的研究,适用于一般CL,其中网络在训练或推理过程中不利用任务边界或任务标签。我们对各种具有挑战性的CL场景和特征分析的评估证明了将突触巩固和CLS理论结合在DNN中实现有效CL的功效。
2022-06-08 cs.AI cs.CV cs.LG
EWC-Guided Diffusion Replay for Exemplar-Free Continual Learning in Medical Imaging
University of Cambridge(剑桥大学);University of Kent(肯特大学)
针对医学影像基础模型持续适应中的隐私与成本问题,提出结合类别条件扩散回放和EWC的无样本持续学习框架,在MedMNIST v2与CheXpert上显著降低遗忘并接近联合训练性能。
2025-09-28 cs.AI cs.CV
Generative appearance replay for continual unsupervised domain adaptation
IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
深度学习模型在对大量标记数据进行训练时可以实现高精度。然而,现实世界的场景通常涉及几个挑战:训练数据可能会分期提供,可能来自多个不同的域,并且可能不包含用于训练的标签。某些设置,例如医疗应用,通常涉及由于隐私法规而禁止保留先前看到的数据的进一步限制。在这项工作中,为了解决这些挑战,我们研究了无监督分割在持续学习的情况下,涉及域转移。为此,我们引入了GarDA(连续领域自适应的生成外观重放),这是一种基于生成重放的方法,可以将分割模型顺序地适应于具有未标记数据的新领域。与单步无监督领域自适应(UDA)相比,对一系列领域的持续适应使得能够利用和整合来自多个领域的信息。与以前的增量UDA方法不同,我们的方法不需要访问以前看到的数据,使其适用于许多实际场景。我们在两个具有不同器官和模式的数据集上评估了GarDA,它大大优于现有技术。
2023-02-13 cs.AI cs.CV
ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning
研究针对持续语言模型微调中类似LoRA方法新任务覆盖旧任务的问题,提出ReCoLoRA框架,通过特定初始化、选秩及递归合并等操作,在多任务持续GLUE序列实验中,用更少参数取得更好成绩。
2026-07-10 cs.AI cs.CV cs.LG
Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning
Centre for Artificial Intelligence and Robotics(人工智能与机器人中心);Hong Kong Institute of Science and Innovation(香港科学与创新研究院);Chinese Academy of Sciences(中国科学院);Department of Computer Science(计算机科学系);City University of Hong Kong(香港城市大学);The Department of Neurosurgery(神经外科部门);Peking University First Hospital(北京大学第一医院);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);Institute of Automation(自动化研究所);Hong Kong SAR, China(香港特别行政区,中国)
受人类记忆系统启发,提出整合半参数记忆与醒睡巩固机制的仿生持续学习框架,在ImageNet类增量学习等挑战场景中,使深度神经网络在保持旧知识的同时高效学习新任务。
2025-04-20 cs.AI cs.CV cs.LG
Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学)
提出注意力谱正则化(ASR),一种无回放的连续学习框架,通过存储技能级交叉注意力原型分布并施加谱正则化约束,有效缓解多模态大语言模型在连续微调中的灾难性遗忘。
2026-06-23 cs.AI cs.CV
Elastic Weight Consolidation (EWC): Nuts and Bolts
University of California, Riverside(加州大学河滨分校)
在这份报告中,我们提出了一个理论支持的持续学习方法\textbf{Elastic Weight Consolidation},介绍了题为“克服神经网络中的灾难性遗忘”的论文。作为持续学习的正则化方法中引用最多的论文之一,该报告解开了所提出的目标函数的基本概念。我们假设读者了解持续学习的基本术语。
2021-05-10 cs.CV cs.LG stat.ML
Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach
NavInfo Europe(四维图新欧洲)
非平稳数据流上的持续学习(CL)仍然是深度神经网络(DNN)中长期存在的挑战之一,因为它们容易发生灾难性遗忘。CL模型可以从自我监督的预训练中受益,因为它可以学习更多可推广的任务不可知特征。然而,自我监督预训练的效果随着任务序列长度的增加而减弱。此外,预训练数据分布和任务分布之间的域移位降低了学习表示的泛化能力。为了解决这些局限性,我们提出了任务不可知表征整合(TARC),这是一种两阶段的CL训练范式,它将任务不可知和任务特定的学习交织在一起,其中自我监督训练之后是每个任务的监督学习。为了进一步限制在自监督阶段从学习的表示的偏差,我们在监督阶段采用任务不可知的辅助损失。我们表明,我们的训练范式可以很容易地添加到内存或正则化为基础的方法,并提供一致的性能增益在更具挑战性的CL设置。我们进一步表明,它会导致更强大和良好的校准模型。
2022-07-13 cs.AI cs.CV cs.LG
Variational Prototype Replays for Continual Learning
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
持续学习指的是获得和转移知识的能力,而不会灾难性地忘记以前学过的东西。在这项工作中,我们认为\emph{few-shot}在分类任务的持续学习,我们提出了一种新的方法,变分原型重放,有效地巩固和回顾以前的知识,以避免灾难性遗忘。在每个分类任务中,我们的方法学习一组具有均值和方差的变分原型,其中来自同一类的样本的嵌入可以表示为原型分布,并且类代表原型被分开。为了减轻灾难性遗忘,我们的方法从以前的任务中重放每个类的一个样本,并相应地将新预测的嵌入与从以前的任务中存储的最接近的类代表原型相匹配。与最近的持续学习方法相比,我们的方法可以很容易地适应更多类的新任务,而不需要添加新的单元。此外,我们的方法是更有效的内存,因为只有类代表性的原型与他们的手段和方差,以及只有一个样本,每个类从以前的任务需要存储。在不影响初始任务性能的情况下,我们的方法在新任务中学习新概念,给出每个类的一些训练样本。
2020-02-15 cs.AI cs.CV
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology(罗切斯特理工学院);Paige;Cornell Tech(康奈尔科技学院)
在持续学习中,系统从非平稳数据流或批次中学习,而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究,但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里,我们研究类比推理的持续学习。类比推理测试,如乌鸦的渐进矩阵(RPM)通常用于衡量人类的非语言抽象推理,最近离线神经网络的RPM问题已经提出。在本文中,我们建立了实验基线,协议,和向前和向后传输指标,以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现,选择性地选择要重放的样本提供的益处(如果有的话)比随机选择少得多。相比之下,我们发现,选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
Integrating Curricula with Replays: Its Effects on Continual Learning
Hwa Chong Institution(华侨中学);Agency for Science, Technology, and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本研究受人类课程式学习行为启发,探索课程与重放方法整合对持续学习的影响,从交错频率、重放顺序、样例选择策略三方面设计课程,有效缓解灾难性遗忘并增强正向知识迁移。
2023-07-25 cs.AI cs.CV cs.LG
Continual Learning by Three-Phase Consolidation
University of Bologna(博洛尼亚大学)
本文提出TPC(三阶段巩固)方法,通过三个不同学习阶段消除类偏差并限制梯度修正,有效控制持续学习中的遗忘问题,在复杂数据集上展现出优于现有方法的准确性与效率。
2024-03-12 cs.CV cs.LG
Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校);Computer Vision Center(计算机视觉中心)
边缘上的分布式学习通常包括以自我为中心的设备(SCD),它们独立地学习本地任务,并且不愿意为其他SDC的性能做出贡献。我们如何以零成本实现单个SCD的前向传输?我们将此问题形式化为分布式持续学习场景,其中SCD适应本地任务,CL模型从所产生的模型流中整合知识,而无需查看SCD的私有数据。不幸的是,目前的CL方法不直接适用于这种情况。我们提出了数据不可知的合并(DAC),一种新的双重知识蒸馏方法,合并流的SC模型,而不使用原始数据。DAC通过一种新的投影潜在蒸馏损失在潜在空间中执行蒸馏。实验结果表明,DAC能够在SCD之间进行前向传输,并在Split CIFAR100,CORe50和Split TinyImageNet上达到最先进的准确性,无论是在无再骚扰和分布式CL场景中。令人惊讶的是,即使是一个单独的分发映像也足以作为整合过程中的唯一数据源。
2023-03-28 cs.AI cs.CV cs.LG
Scalable Strategies for Continual Learning with Replay
Southwest Research Institute(西南研究 institute)
针对持续学习中回放方法可扩展性差的问题,该研究将低秩适配引入持续学习,提出分阶段回放的巩固方法与适配持续学习的顺序合并方法,三者协同形成的高可扩展工具集性能优于单一方法。
2025-05-18 cs.AI cs.CV cs.LG
MedPEFT-CL: Dual-Phase Parameter-Efficient Continual Learning with Medical Semantic Adapter and Bidirectional Memory Consolidation
University College London(伦敦大学学院)
MedPEFT-CL通过语义驱动适配器和双向记忆协调,实现医学视觉-语言任务中的参数高效持续学习,有效缓解灾难性遗忘。
2025-11-21 cs.CV
Continual Vision-and-Language Navigation
Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能交叉学科项目,首尔国立大学);AI Institute for Seoul National University(首尔国立大学人工智能研究所);SK Telecom(SK电信);Korea Institute of Science and Technology(韩国科学技术院)
针对视觉与语言导航智能体在持续新环境中的适应问题,提出持续视觉与语言导航(CVLN)范式及两种设置,并设计PerpR与ESR两种重放基线,通过高效利用重放内存实现更优的持续学习性能。
2025-10-31 cs.AI cs.CV
Batch-level Experience Replay with Review for Continual Learning
University of Toronto(多伦多大学);LG Sciencepark(LG科学园)
持续学习是深度学习的一个分支,它寻求在学习稳定性和可塑性之间取得平衡。CVPR 2020 CLVision计算机视觉持续学习挑战赛致力于使用CORe 50数据集评估和推进当前最先进的持续学习方法,并提供三种不同的持续学习场景。本文提出了我们的方法,称为批量级经验回放与审查,这一挑战。我们的团队在79个参赛团队中获得了所有三个场景的第一名。我们实现的代码库可以在https://github.com/RaptorMai/CVPR20_CLVision_challenge上公开获得
2020-07-11 cs.AI cs.CV cs.LG
Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们提出了一种新的无监督生成式持续学习方法,通过调整变分自动编码器的潜在空间。深度生成模型与其他神经结构一样,也会遭受灾难性遗忘。最近的生成式持续学习工作解决了这个问题,并试图从新的数据中学习,而不会忘记以前的知识。然而,这些方法通常专注于人工场景,其中示例在后续数据部分之间几乎没有相似性-这一假设在持续学习的实际应用中是不现实的。在这项工作中,我们确定了这一限制,并将生成性持续学习的目标作为知识积累的任务。我们通过不断调整新数据的潜在表示来解决这个问题,我们称之为额外潜在空间中的条带,其中示例独立于其源任务进行编码。此外,我们还介绍了一种控制遗忘过去数据的方法,该方法简化了这一过程。在标准的持续学习基准之上,我们提出了一种新的具有挑战性的知识整合方案,并表明所提出的方法在所有实验和额外的现实生活中的评估中的表现都超过了最先进的两倍。据我们所知,多波段VAE是第一种显示生成式持续学习中向前和向后知识转移的方法。
2022-06-03 cs.CV cs.LG
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University(罗文大学)
提出受神经科学启发的Robust Rehearsal框架,通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘,在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
Department of Computational Intelligence, SRM Institute of Science and Technology(计算智能系,SRM科学与技术学院)
本文提出R2R无监督持续学习框架,通过簇级不确定性反馈和生成回放机制在多个数据集上显著提升知识保留能力并取得领先性能。
2025-05-09 cs.AI cs.CV cs.LG
Knowledge Capture and Replay for Continual Learning
Artificial Intelligence, Analytics And Informatics (AI), A*STAR(A*STAR人工智能、分析与信息学);RMIT University(皇家墨尔本理工大学);Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院)
深度神经网络已经在几个领域显示出前景,并且学习的数据(任务)特定信息隐式地存储在网络参数中。当数据在未来不再可用时,编码的知识表示的提取和利用是至关重要的,特别是在持续学习的情况下。在这项工作中,我们介绍{ \em抽认卡},这是视觉表示,{ \em捕捉}的编码知识的网络作为一个递归函数的预定义的随机图像模式。在持续学习的情况下,抽认卡有助于防止灾难性遗忘,并巩固所有先前任务的知识。抽认卡只需要在学习后续任务之前构建,因此,与之前训练的任务数量无关。我们证明了抽认卡在捕获学习到的知识表示(作为原始数据集的替代方案)方面的功效,并在各种持续学习任务上进行了经验验证:重建,去噪,任务增量学习和新实例学习分类,使用几个异构基准数据集。实验证据表明:(i)抽认卡作为重放策略是{ \em任务不可知的},(ii)比生成重放执行得更好,以及(iii)与情节重放相当而没有额外的存储器开销。
2021-04-29 cs.AI cs.CV cs.LG
The Effectiveness of Memory Replay in Large Scale Continual Learning
University of Maryland(马里兰大学);DeepMind(深度思维)
本文研究了大规模环境下的持续学习问题,其中输入序列中的任务不限于分类,输出可以是高维的。在多种最先进的方法中,我们发现vanilla experience replay(ER)在性能和可扩展性方面仍然非常具有竞争力,尽管它很简单。然而,观察到性能下降的ER与小内存。特征空间的进一步可视化揭示了中间表示经历了分布漂移。虽然现有的方法通常只重放输入输出对,但我们假设它们的正则化效果对于复杂的深度模型和重放缓冲区大小较小的各种任务来说是不够的。根据这一观察,我们建议除了输入输出对之外,还重放中间层的激活。考虑到保存原始激活图会大大增加内存和计算成本,我们提出了压缩激活重放技术,其中层激活的压缩表示保存到重放缓冲区。我们表明,这种方法可以实现优越的正则化效果,同时增加可以忽略不计的内存开销重放方法。在具有不同任务集的大型Taskonomy基准测试和标准公共数据集(Split-CIFAR和Split-miniImageNet)上的实验证明了所提出方法的有效性。
2020-10-06 cs.AI cs.CV cs.LG
Learn the Time to Learn: Replay Scheduling in Continual Learning
Aalto University(阿尔托大学);KTH Royal Institute of Technology(皇家理工学院);Microsoft Research(微软研究院)
针对处理时间受限下持续学习中的重放调度问题,提出通过蒙特卡洛树搜索和强化学习学习重放调度策略,在不增加计算成本下提升了泛化能力并优于固定策略。
2023-11-20 cs.CV cs.LG
PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对在线类增量持续学习中的灾难性遗忘问题,提出基于代理的对比重放方法(PCR),通过用代理替换对比样本解决类别不平衡并加速收敛,在三个基准数据集上优于现有方法。
2023-04-10 cs.AI cs.CV cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology(麻省理工学院);SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题,但它需要大量内存,甚至更糟的是,在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发,我们提出了深度生成重播,这是一种新颖的框架,具有合作双模型架构,由深度生成模型(“生成器”)和任务求解模型组成(“求解器”)。只有这两个模型,以前任务的训练数据可以很容易地被采样,并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
ACAE-REMIND for Online Continual Learning with Compressed Feature Replay
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在线持续学习旨在从来自许多不同任务的非IID数据流中学习,其中学习者仅允许考虑一次数据。方法通常允许使用有限的缓冲区来存储流中的一些图像。最近,发现特征重放(其中存储(或生成)图像的中间层表示)导致比图像重放更好的结果,同时需要更少的存储器。量化样本可以进一步减少内存使用。然而,这些方法的缺点是它们使用固定的(或非常不妥协的)骨干网络。这极大地限制了能够区分所有任务的表征的学习。为了解决这个问题,我们提出了一个辅助分类器自动编码器(ACAE)模块的特征重放在中间层具有高压缩率。减少每个图像的内存占用使我们能够保存更多的样本进行回放。在我们的实验中,我们在在线持续学习设置下进行了与任务无关的评估,并在ImageNet-Subset、CIFAR 100和CIFAR 10数据集上获得了最先进的性能。
2021-07-08 cs.CV
World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
提出循环生成重放(REGEN)框架,利用世界行动模型(WAM)生成伪重放轨迹,使机器人策略在不存储原始演示的情况下复习先前任务,在仿真和真实实验中减少50%灾难性遗忘,接近真实重放性能。
2026-06-26 cs.CV cs.RO
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science(印度科学研究院)
连续零样本学习(Continual zero-shot learning,CSCL)是一个新的领域,用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况,即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习(CL)遭受灾难性遗忘,并且由于在训练期间缺乏实际数据(或特征),零样本学习(ZNL)模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习(DVGR-CQML)模型,该模型随着每个任务的大小而增长,并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型(DVGR-CNOL)优于基线,并且在几个数据集上是有效的,即,CUB、AWA 1、AWA 2和aPY。我们表明,我们的方法是优越的任务顺序学习的零样本学习(Zero-Shot Learning)。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
Replay-free Online Continual Learning with Self-Supervised MultiPatches
University of Pisa(比萨大学);Computer Vision Center (CVC)(计算机视觉中心(CVC))
针对在线持续学习(OCL)中回放策略因隐私限制无法使用的问题,提出持续多补丁(CMP)插件,通过生成单样本多补丁并投影到共享特征空间避免回放,性能优于回放及其他SSL策略。
2025-02-13 cs.CV cs.LG
On-device Synaptic Memory Consolidation using Fowler-Nordheim Quantum-tunneling
Washington University in St. Louis(圣路易斯华盛顿大学)
在神经形态人工智能系统中,突触记忆巩固被认为是支持持续学习的关键机制之一。在这里,我们报告说,福勒-诺德海姆(FN)量子隧穿设备可以实现突触记忆巩固类似于可以实现的算法巩固模型,如级联和弹性权重巩固(EWC)模型。所提出的FN-突触不仅存储突触权重,而且还存储突触在设备本身上的历史使用统计。我们还表明,FN-突触的操作是接近最佳的突触寿命方面,我们证明了一个网络,包括FN-突触优于一个小的基准持续学习任务的可比EWC网络。由于每个突触更新的能量足迹为毫微微焦耳,我们相信所提出的FN突触为实现突触记忆巩固和持续学习提供了一种超节能的方法。
2022-06-27 cs.AI cs.AR cs.CV
LoRA-Loop: Closing the Synthetic Replay Cycle for Continual VLM Learning
Waymo;Boston University(波士顿大学);Korea University(韩国大学)
针对视觉语言模型持续学习中合成重放样本与下游任务对齐偏差的问题,提出LoRA增强的两阶段置信度筛选合成重放框架,在MTIL基准上实现可塑性、稳定性与零样本能力的最优平衡。
2025-07-29 cs.CV
Continual Learning of Personalized Generative Face Models with Experience Replay
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对个性化2D/3D生成式人脸模型顺序更新中的灾难性遗忘问题,提出结合随机采样与StyleGAN潜空间的凸包经验回放算法,在小存储长期部署下优于随机回放基线。
2024-12-03 cs.CV
SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
Georgia Institute of Technology(佐治亚理工学院);The Cyprus Institute(塞浦路斯研究所)
SHARP提出一种神经启发式持续学习方法,利用稀疏动态连接和激活回放,仅回放最近见过的少数类别即可持续更新所有层,在类别增量学习中优于现有回放方法。
2023-05-29 cs.CV cs.LG
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
开发能够真正终身学习的人工智能应用的一个主要障碍是,人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法,但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较,我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议,我们发现基于正则化的方法(例如,弹性权重合并)在需要推断任务标识时失败。相比之下,生成重放结合蒸馏(即,使用类别概率作为“软目标”)在所有三种情况下都实现了优异的性能。为了解决效率问题,我们通过将生成模型集成到主模型中,并为其配备生成反馈或反向连接,从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间,而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
ReplayCAD: Generative Diffusion Replay for Continual Anomaly Detection
South China University of Technology(华南理工大学);China United Network Communications Corporation Limited Guangdong Branch(中国联合网络通信集团有限公司广东分公司);Pazhou Laboratory(琶洲实验室);Guangdong University of Technology(广东工业大学)
针对持续异常检测中的灾难性遗忘与小异常区域分割难题,提出ReplayCAD扩散生成回放框架,利用语义与空间特征压缩并回放多样化像素级历史数据,在VisA和MVTec上取得显著分割提升。
2025-05-10 cs.CV
Generative Negative Replay for Continual Learning
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学)
持续学习是智力的一个重要方面,也是解决许多现实问题的必要能力。控制灾难性遗忘(持续学习的阿喀琉斯之踵)的最有效策略之一是存储部分旧数据,并与新经验交叉重放(也称为重放方法)。生成式重放(Generative replay)使用生成模型按需提供重放模式,特别有趣,然而,它主要在简化的假设下被证明是有效的,例如简单的场景和低维数据。在本文中,我们表明,虽然生成的数据通常不能提高旧类的分类精度,但它们可以有效地作为负例(或拮抗剂),以更好地学习新类,特别是当学习经验很小时,包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景(CORe 50和ImageNet-1000)上进行了验证,这些场景由高维数据和大量训练经验组成:现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
Direct Discrepancy Replay: Distribution-Discrepancy Condensation and Manifold-Consistent Replay for Continual Face Forgery Detection
SAI, UCAS(UCAS模式识别实验室);MAIS, CASIA(中国科学院自动化研究所);IIE, CAS(中国科学院自动化研究所);SCS, UCAS(UCAS智能科学学院);SCSE, FIE, M.U.S.T(法国里尔大学)
本文提出分布不一致压缩和流形一致重放方法,通过压缩真实与伪造分布差异并生成兼容当前真实人脸统计的重放样本,有效缓解持续人脸伪造检测中的灾难性遗忘问题。
2026-04-14 cs.CV
Generative Feature-driven Image Replay for Continual Learning
IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
当神经网络在不同的任务上进行增量训练时,容易出现灾难性遗忘。流行的增量学习方法通过保留先前看到的样本的子集并在后续任务的训练期间重放它们来减轻这种遗忘。然而,这并不总是可能的,例如,由于数据保护法规。在这样的受限场景中,可以采用生成模型来向分类器重放人工图像或隐藏特征。在这项工作中,我们提出了Genifer(GENeratIve特征驱动的图像回放),其中生成模型经过训练以回放图像,这些图像在通过分类器时必须诱导与真实样本相同的隐藏特征。因此,我们的技术结合了图像和特征重放的优点,即:(1)与传统的图像重放不同,我们的生成模型明确地学习与分类相关的特征的分布;(2)与特征重放相比,我们的整个分类器仍然是可训练的;(3)我们可以利用图像空间增强,这提高了蒸馏性能,同时也减轻了生成模型训练期间的过拟合。我们表明,Genifer大大优于以前的最先进的CIFAR-100和CUB-200数据集的各种设置。
2022-12-06 cs.CV
IDER: IDempotent Experience Replay for Reliable Continual Learning
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Shanghai Innovation Institute(上海创新研究院);Lehigh University(莱斯大学);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI);MIFA Lab(MIFA实验室)
IDER通过惰性性质提出新的经验重放方法,提升持续学习的可靠性与准确性,减少遗忘问题。
2026-03-03 cs.AI cs.CV cs.LG
Self-paced Weight Consolidation for Continual Learning
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
针对持续学习中未区分旧任务贡献导致性能下降、正则化所有旧任务计算成本高的问题,提出自步权重整合框架,按准确率衡量旧任务难度并排序,选择性保留难任务知识,可即插即用适配多种算法,在多个基准数据集上有效提升性能。
2023-07-20 cs.CV cs.LG
Saliency-Guided Replay for Continual Learning in Deep Spiking Neural Networks
Sapienza University of Rome(罗马大学);Goethe University Frankfurt(法兰克福大学)
该研究针对深度脉冲神经网络的灾难性遗忘问题,提出结合VGG9 SNN与脉冲激活图(SAM)的显著性引导经验打包与重放策略,在Split CIFAR数据集上实现了更优的准确率-内存权衡。
2026-10-14 cs.AI cs.CV cs.LG
Elastic Weight Consolidation Done Right for Continual Learning
School of Artificial Intelligence, Sun Yat-sen University, China(中山大学人工智能学院,中国);Key Laboratory of Intelligent Assessment Technology for Sustainable Tourism, Ministry of Culture and Tourism, Sun Yat-sen University(文化旅游可持续发展智能评估技术重点实验室,文化部,中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(机器智能与高级计算重点实验室,教育部,中国)
本文分析了EWC中权重重要性估计的问题,提出Logits Reversal操作改进EWC,通过防止梯度消失和冗余保护提升持续学习性能。
2026-03-26 cs.AI cs.CV cs.LG
Few-Shot Domain Incremental Learning via Continual Vision-Language Consolidation
School of Computer Science and IT, Adelaide University, Australia(阿德莱德大学计算机科学与信息技术学院,澳大利亚);Faculty of Engineering and IT, University of Technology Sydney (UTS), Australia(悉尼大学工程与信息技术学院(UTS),澳大利亚);School of Artificial Intelligence and Computer Science, Nantong University, China(南通大学人工智能与计算机科学学院,中国);College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院,新加坡)
针对少样本领域增量学习问题,提出持续视觉-语言整合(CVLC)算法,通过基础域潜在空间预留和双共轭投影(DCP)参数高效微调,融合视觉与语言原型,在多个基准上性能提升高达16%。
2026-06-29 cs.AI cs.CV cs.LG
Distribution-Aware Replay for Continual MRI Segmentation
Technical University of Darmstadt(达姆施塔特工业大学);Stanford University(斯坦福大学);The Hessian Center for Artificial Intelligence: hessian.AI(黑森人工智能中心(hessian.AI))
本文提出分布感知回放策略,通过特征自编码缓解持续MRI分割中的遗忘,并利用特征分布检测模型失效,在保护隐私的同时应对分布外变化。
2024-07-30 cs.CV eess.IV
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Looking through the past: better knowledge retention for generative replay in continual learning
IDEAS NCBR;Gdańsk University of Technology(格但斯克工业大学);Warsaw University of Technology(华沙工业大学);Jagiellonian University(雅盖隆大学);Tooploox;Computer Vision Center(计算机视觉中心);Universitat Autònoma Barcelona(巴塞罗那自治大学)
本文针对持续学习中生成回放难以处理复杂数据的问题,提出潜在空间蒸馏、潜在匹配和生成循环三项改进,显著提升了生成回放在复杂场景下的知识保留能力。
2023-09-18 cs.AI cs.CV cs.LG
Watch Your Step: Optimal Retrieval for Continual Learning at Scale
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出大规模持续学习中的选择性回放检索评估框架,系统比较类别与样本级策略,研究重复回放及低损失新样本免回放学习,并在15个数据集序列上全面微调开放词汇表检测模型。
2024-05-09 cs.CV
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science(印度科学研究院)
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上,大多数现有的人工神经网络(ANN)模型都失败了,而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题,但它需要大量的内存,并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型,以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长,以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘,并在视觉持续学习基准测试中获得了最先进的结果,如MNIST,Permuted MNIST(QMNIST),CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果,如SVHN,Fashion-MNIST,EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
Prompt-Aware Adaptive Elastic Weight Consolidation for Continual Learning in Medical Vision-Language Models
University College London(伦敦大学学院)
PA-EWC通过提示引导的参数专门化,有效缓解医疗视觉-语言模型在持续学习中的灾难性遗忘问题,提升多模态医学任务的性能。
2025-12-21 cs.CV cs.MM
ReConText3D: Replay-based Continual Text-to-3D Generation
DFKI(德累斯顿自由大学);RPTU Kaiserslautern-Landau(科布伦茨-劳恩堡大学)
本文提出ReConText3D框架,解决文本到3D生成中的持续学习问题,通过文本嵌入k-Center选择构建紧凑多样回放记忆,实现增量学习新3D类别并保持旧类生成能力。
2026-04-15 cs.CV
Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for Continual Learning
University of Pisa(比萨大学);University of Bologna(博洛尼亚大学)
近年来,我们目睹了对机器学习方法的新兴趣,特别是深度表示学习,它可以克服基本的i.i.d.。假设和处理受各种分布变化或样本选择偏差影响的非平稳环境。在这种情况下,几个计算方法的基础上的建筑先验,正则化和重放政策已被提出了不同程度的成功,这取决于它们被开发和评估的具体情况。然而,设计全面的混合解决方案,可以灵活地和普遍适用于可调的效率-效益权衡似乎仍然是一个遥远的目标。在本文中,我们提出了“架构,正则化和重放”(ARR),这是着名的AR 1算法及其变体的混合推广,可以在经典场景(例如类增量学习)中实现最先进的结果,但也可以推广到从真实世界数据集(如CIFAR-100,CORe 50和ImageNet-1000)生成的任意数据流。
2023-01-06 cs.AI cs.CV cs.LG
Symbolic Replay: Scene Graph as Prompt for Continual Learning on VQA Task
National University of Singapore(新加坡国立大学);Tencent Data Platform(腾讯数据平台);Agency for Science, Technology and Research(新加坡科技研究局)
VQA是一项雄心勃勃的任务,旨在回答任何与图像相关的问题。然而,在现实中,由于用户的需求不断更新,系统必须实现新的功能,因此很难一次性建立这样的系统。因此,持续学习(CL)能力是开发先进VQA系统的必要条件。最近,一个先驱工作将VQA数据集分成不相交的答案集来研究这个主题。然而,VQA上的CL不仅涉及标签集的扩展(新的答案集)。研究如何在将VQA系统部署到新环境(新视觉场景)时回答问题以及如何回答需要新功能的问题(新问题类型)至关重要。因此,我们提出了CLOVE,一个基准的持续学习在视觉问答,其中包含场景和功能的增量设置为上述两个CL方案。在方法论方面,CL对VQA和分类之间的主要区别是,前者还涉及扩展和防止遗忘的推理机制,而后者侧重于类表示。因此,我们提出了一个真实的数据自由重放为基础的方法定制CL VQA,命名为场景图提示符号重放。使用一个场景图作为提示,它重放伪场景图来表示过去的图像,以及相关的QA对。提出了一个统一的VQA模型,利用当前数据和回放数据来增强其QA能力。最后,实验结果揭示了CLOVE中的挑战,并证明了我们的方法的有效性。数据集和代码将在https://github.com/showlab/CLVQA上提供。
2022-08-29 cs.CV