RECALL+: Adversarial Web-based Replay for Continual Learning in Semantic Segmentation
University of Padova(帕多瓦大学);The Pengcheng Lab(鹏城实验室);Xidian University(西安电子科技大学)
本文扩展RECALL方法,通过对抗方法和自适应阈值策略筛选网络数据,并改进伪标签方案,有效解决了语义分割持续学习中的灾难性遗忘问题,在多步增量场景中表现优异。
2024-02-17 cs.CV
Replay Consolidation with Label Propagation for Continual Object Detection
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对持续目标检测中的缺失标注和任务干扰问题,提出RCLPOD方法,通过类别平衡和标签传播技术提升重放样本及其标注质量,在VOC和COC基准上超越现有技术,并兼容YOLOv8等现代架构。
2025-03-04 cs.AI cs.CV
Rethinking Exemplars for Continual Semantic Segmentation in Endoscopy Scenes: Entropy-based Mini-Batch Pseudo-Replay
The Chinese University of Hong Kong(香港中文大学);Northeastern University(东北大学);The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);Suzhou Research Institute, National University of Singapore(新加坡国立大学苏州研究院);Shun Hing Institute of Advanced Engineering, The Chinese University of Hong Kong(香港中文大学信兴高等工程研究院);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院)
针对内窥镜图像分割模型的灾难性遗忘及旧数据隐私存储问题,提出含小批量伪回放机制和自适应噪声交叉熵损失的EndoCSS框架,可有效解决类别增量遗忘问题,适用于流学习实际部署。
2023-08-27 cs.AI cs.CV
ACAE-REMIND for Online Continual Learning with Compressed Feature Replay
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在线持续学习旨在从来自许多不同任务的非IID数据流中学习,其中学习者仅允许考虑一次数据。方法通常允许使用有限的缓冲区来存储流中的一些图像。最近,发现特征重放(其中存储(或生成)图像的中间层表示)导致比图像重放更好的结果,同时需要更少的存储器。量化样本可以进一步减少内存使用。然而,这些方法的缺点是它们使用固定的(或非常不妥协的)骨干网络。这极大地限制了能够区分所有任务的表征的学习。为了解决这个问题,我们提出了一个辅助分类器自动编码器(ACAE)模块的特征重放在中间层具有高压缩率。减少每个图像的内存占用使我们能够保存更多的样本进行回放。在我们的实验中,我们在在线持续学习设置下进行了与任务无关的评估,并在ImageNet-Subset、CIFAR 100和CIFAR 10数据集上获得了最先进的性能。
2021-07-08 cs.CV
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science(印度科学研究院)
连续零样本学习(Continual zero-shot learning,CSCL)是一个新的领域,用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况,即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习(CL)遭受灾难性遗忘,并且由于在训练期间缺乏实际数据(或特征),零样本学习(ZNL)模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习(DVGR-CQML)模型,该模型随着每个任务的大小而增长,并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型(DVGR-CNOL)优于基线,并且在几个数据集上是有效的,即,CUB、AWA 1、AWA 2和aPY。我们表明,我们的方法是优越的任务顺序学习的零样本学习(Zero-Shot Learning)。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
LoRA-Loop: Closing the Synthetic Replay Cycle for Continual VLM Learning
Waymo;Boston University(波士顿大学);Korea University(韩国大学)
针对视觉语言模型持续学习中合成重放样本与下游任务对齐偏差的问题,提出LoRA增强的两阶段置信度筛选合成重放框架,在MTIL基准上实现可塑性、稳定性与零样本能力的最优平衡。
2025-07-29 cs.CV
Continual Learning of Personalized Generative Face Models with Experience Replay
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对个性化2D/3D生成式人脸模型顺序更新中的灾难性遗忘问题,提出结合随机采样与StyleGAN潜空间的凸包经验回放算法,在小存储长期部署下优于随机回放基线。
2024-12-03 cs.CV
ReplayCAD: Generative Diffusion Replay for Continual Anomaly Detection
South China University of Technology(华南理工大学);China United Network Communications Corporation Limited Guangdong Branch(中国联合网络通信集团有限公司广东分公司);Pazhou Laboratory(琶洲实验室);Guangdong University of Technology(广东工业大学)
针对持续异常检测中的灾难性遗忘与小异常区域分割难题,提出ReplayCAD扩散生成回放框架,利用语义与空间特征压缩并回放多样化像素级历史数据,在VisA和MVTec上取得显著分割提升。
2025-05-10 cs.CV
Direct Discrepancy Replay: Distribution-Discrepancy Condensation and Manifold-Consistent Replay for Continual Face Forgery Detection
SAI, UCAS(UCAS模式识别实验室);MAIS, CASIA(中国科学院自动化研究所);IIE, CAS(中国科学院自动化研究所);SCS, UCAS(UCAS智能科学学院);SCSE, FIE, M.U.S.T(法国里尔大学)
本文提出分布不一致压缩和流形一致重放方法,通过压缩真实与伪造分布差异并生成兼容当前真实人脸统计的重放样本,有效缓解持续人脸伪造检测中的灾难性遗忘问题。
2026-04-14 cs.CV
Generative Feature-driven Image Replay for Continual Learning
IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
当神经网络在不同的任务上进行增量训练时,容易出现灾难性遗忘。流行的增量学习方法通过保留先前看到的样本的子集并在后续任务的训练期间重放它们来减轻这种遗忘。然而,这并不总是可能的,例如,由于数据保护法规。在这样的受限场景中,可以采用生成模型来向分类器重放人工图像或隐藏特征。在这项工作中,我们提出了Genifer(GENeratIve特征驱动的图像回放),其中生成模型经过训练以回放图像,这些图像在通过分类器时必须诱导与真实样本相同的隐藏特征。因此,我们的技术结合了图像和特征重放的优点,即:(1)与传统的图像重放不同,我们的生成模型明确地学习与分类相关的特征的分布;(2)与特征重放相比,我们的整个分类器仍然是可训练的;(3)我们可以利用图像空间增强,这提高了蒸馏性能,同时也减轻了生成模型训练期间的过拟合。我们表明,Genifer大大优于以前的最先进的CIFAR-100和CUB-200数据集的各种设置。
2022-12-06 cs.CV
Learn the Time to Learn: Replay Scheduling in Continual Learning
Aalto University(阿尔托大学);KTH Royal Institute of Technology(皇家理工学院);Microsoft Research(微软研究院)
针对处理时间受限下持续学习中的重放调度问题,提出通过蒙特卡洛树搜索和强化学习学习重放调度策略,在不增加计算成本下提升了泛化能力并优于固定策略。
2023-11-20 cs.CV cs.LG
Watch Your Step: Optimal Retrieval for Continual Learning at Scale
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出大规模持续学习中的选择性回放检索评估框架,系统比较类别与样本级策略,研究重复回放及低损失新样本免回放学习,并在15个数据集序列上全面微调开放词汇表检测模型。
2024-05-09 cs.CV
World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
提出循环生成重放(REGEN)框架,利用世界行动模型(WAM)生成伪重放轨迹,使机器人策略在不存储原始演示的情况下复习先前任务,在仿真和真实实验中减少50%灾难性遗忘,接近真实重放性能。
2026-06-26 cs.CV cs.RO
ReConText3D: Replay-based Continual Text-to-3D Generation
DFKI(德累斯顿自由大学);RPTU Kaiserslautern-Landau(科布伦茨-劳恩堡大学)
本文提出ReConText3D框架,解决文本到3D生成中的持续学习问题,通过文本嵌入k-Center选择构建紧凑多样回放记忆,实现增量学习新3D类别并保持旧类生成能力。
2026-04-15 cs.CV
Replay-free Online Continual Learning with Self-Supervised MultiPatches
University of Pisa(比萨大学);Computer Vision Center (CVC)(计算机视觉中心(CVC))
针对在线持续学习(OCL)中回放策略因隐私限制无法使用的问题,提出持续多补丁(CMP)插件,通过生成单样本多补丁并投影到共享特征空间避免回放,性能优于回放及其他SSL策略。
2025-02-13 cs.CV cs.LG
Symbolic Replay: Scene Graph as Prompt for Continual Learning on VQA Task
National University of Singapore(新加坡国立大学);Tencent Data Platform(腾讯数据平台);Agency for Science, Technology and Research(新加坡科技研究局)
VQA是一项雄心勃勃的任务,旨在回答任何与图像相关的问题。然而,在现实中,由于用户的需求不断更新,系统必须实现新的功能,因此很难一次性建立这样的系统。因此,持续学习(CL)能力是开发先进VQA系统的必要条件。最近,一个先驱工作将VQA数据集分成不相交的答案集来研究这个主题。然而,VQA上的CL不仅涉及标签集的扩展(新的答案集)。研究如何在将VQA系统部署到新环境(新视觉场景)时回答问题以及如何回答需要新功能的问题(新问题类型)至关重要。因此,我们提出了CLOVE,一个基准的持续学习在视觉问答,其中包含场景和功能的增量设置为上述两个CL方案。在方法论方面,CL对VQA和分类之间的主要区别是,前者还涉及扩展和防止遗忘的推理机制,而后者侧重于类表示。因此,我们提出了一个真实的数据自由重放为基础的方法定制CL VQA,命名为场景图提示符号重放。使用一个场景图作为提示,它重放伪场景图来表示过去的图像,以及相关的QA对。提出了一个统一的VQA模型,利用当前数据和回放数据来增强其QA能力。最后,实验结果揭示了CLOVE中的挑战,并证明了我们的方法的有效性。数据集和代码将在https://github.com/showlab/CLVQA上提供。
2022-08-29 cs.CV
Continual Learning with Strong Experience Replay
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算学院)
本文提出强经验回放(SER)持续学习方法,通过在当前训练数据上模拟未来经验并结合过去经验蒸馏,提升新旧模型预测一致性,在多个图像分类数据集上显著超越现有方法。
2023-12-03 cs.CV
SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
Georgia Institute of Technology(佐治亚理工学院);The Cyprus Institute(塞浦路斯研究所)
SHARP提出一种神经启发式持续学习方法,利用稀疏动态连接和激活回放,仅回放最近见过的少数类别即可持续更新所有层,在类别增量学习中优于现有回放方法。
2023-05-29 cs.CV cs.LG
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology(罗切斯特理工学院);Paige;Cornell Tech(康奈尔科技学院)
在持续学习中,系统从非平稳数据流或批次中学习,而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究,但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里,我们研究类比推理的持续学习。类比推理测试,如乌鸦的渐进矩阵(RPM)通常用于衡量人类的非语言抽象推理,最近离线神经网络的RPM问题已经提出。在本文中,我们建立了实验基线,协议,和向前和向后传输指标,以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现,选择性地选择要重放的样本提供的益处(如果有的话)比随机选择少得多。相比之下,我们发现,选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
Integrating Curricula with Replays: Its Effects on Continual Learning
Hwa Chong Institution(华侨中学);Agency for Science, Technology, and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本研究受人类课程式学习行为启发,探索课程与重放方法整合对持续学习的影响,从交错频率、重放顺序、样例选择策略三方面设计课程,有效缓解灾难性遗忘并增强正向知识迁移。
2023-07-25 cs.AI cs.CV cs.LG
Batch-level Experience Replay with Review for Continual Learning
University of Toronto(多伦多大学);LG Sciencepark(LG科学园)
持续学习是深度学习的一个分支,它寻求在学习稳定性和可塑性之间取得平衡。CVPR 2020 CLVision计算机视觉持续学习挑战赛致力于使用CORe 50数据集评估和推进当前最先进的持续学习方法,并提供三种不同的持续学习场景。本文提出了我们的方法,称为批量级经验回放与审查,这一挑战。我们的团队在79个参赛团队中获得了所有三个场景的第一名。我们实现的代码库可以在https://github.com/RaptorMai/CVPR20_CLVision_challenge上公开获得
2020-07-11 cs.AI cs.CV cs.LG
Scalable Strategies for Continual Learning with Replay
Southwest Research Institute(西南研究 institute)
针对持续学习中回放方法可扩展性差的问题,该研究将低秩适配引入持续学习,提出分阶段回放的巩固方法与适配持续学习的顺序合并方法,三者协同形成的高可扩展工具集性能优于单一方法。
2025-05-18 cs.AI cs.CV cs.LG
Advancing Prompt-Based Methods for Replay-Independent General Continual Learning
Inria(法国国家信息与自动化研究所);Tsinghua University(清华大学)
针对通用持续学习中模糊任务边界导致的灾难性遗忘问题,提出MISA方法,通过遗忘感知的初始会话适应和非参数化logit掩码提升基于提示方法的性能,无需重放即取得显著提升。
2025-03-02 cs.CV
Distribution-Aware Replay for Continual MRI Segmentation
Technical University of Darmstadt(达姆施塔特工业大学);Stanford University(斯坦福大学);The Hessian Center for Artificial Intelligence: hessian.AI(黑森人工智能中心(hessian.AI))
本文提出分布感知回放策略,通过特征自编码缓解持续MRI分割中的遗忘,并利用特征分布检测模型失效,在保护隐私的同时应对分布外变化。
2024-07-30 cs.CV eess.IV
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Generative Negative Replay for Continual Learning
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学)
持续学习是智力的一个重要方面,也是解决许多现实问题的必要能力。控制灾难性遗忘(持续学习的阿喀琉斯之踵)的最有效策略之一是存储部分旧数据,并与新经验交叉重放(也称为重放方法)。生成式重放(Generative replay)使用生成模型按需提供重放模式,特别有趣,然而,它主要在简化的假设下被证明是有效的,例如简单的场景和低维数据。在本文中,我们表明,虽然生成的数据通常不能提高旧类的分类精度,但它们可以有效地作为负例(或拮抗剂),以更好地学习新类,特别是当学习经验很小时,包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景(CORe 50和ImageNet-1000)上进行了验证,这些场景由高维数据和大量训练经验组成:现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
EWC-Guided Diffusion Replay for Exemplar-Free Continual Learning in Medical Imaging
University of Cambridge(剑桥大学);University of Kent(肯特大学)
针对医学影像基础模型持续适应中的隐私与成本问题,提出结合类别条件扩散回放和EWC的无样本持续学习框架,在MedMNIST v2与CheXpert上显著降低遗忘并接近联合训练性能。
2025-09-28 cs.AI cs.CV
Generative appearance replay for continual unsupervised domain adaptation
IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
深度学习模型在对大量标记数据进行训练时可以实现高精度。然而,现实世界的场景通常涉及几个挑战:训练数据可能会分期提供,可能来自多个不同的域,并且可能不包含用于训练的标签。某些设置,例如医疗应用,通常涉及由于隐私法规而禁止保留先前看到的数据的进一步限制。在这项工作中,为了解决这些挑战,我们研究了无监督分割在持续学习的情况下,涉及域转移。为此,我们引入了GarDA(连续领域自适应的生成外观重放),这是一种基于生成重放的方法,可以将分割模型顺序地适应于具有未标记数据的新领域。与单步无监督领域自适应(UDA)相比,对一系列领域的持续适应使得能够利用和整合来自多个领域的信息。与以前的增量UDA方法不同,我们的方法不需要访问以前看到的数据,使其适用于许多实际场景。我们在两个具有不同器官和模式的数据集上评估了GarDA,它大大优于现有技术。
2023-02-13 cs.AI cs.CV
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science(印度科学研究院)
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上,大多数现有的人工神经网络(ANN)模型都失败了,而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题,但它需要大量的内存,并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型,以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长,以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘,并在视觉持续学习基准测试中获得了最先进的结果,如MNIST,Permuted MNIST(QMNIST),CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果,如SVHN,Fashion-MNIST,EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学)
提出注意力谱正则化(ASR),一种无回放的连续学习框架,通过存储技能级交叉注意力原型分布并施加谱正则化约束,有效缓解多模态大语言模型在连续微调中的灾难性遗忘。
2026-06-23 cs.AI cs.CV
Stable-Drift: A Patient-Aware Latent Drift Replay Method for Stabilizing Representations in Continual Learning
National Technical University of Athens(希腊国家技术大学);London School of Economics and Political Science(伦敦政治经济学院);University of Lincoln(林肯大学)
Stable-Drift方法通过患者感知的潜在漂移重放,有效减少持续学习中的灾难性遗忘,提升医学影像任务的鲁棒性。
2025-11-27 cs.CV cs.LG
FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification
Faculty of Electrical Engineering and Information Technology, Chemnitz University of Technology(德国 Chemnitz 工业大学 电气工程与信息技术学院);Institute for Computational Visualistics, University of Koblenz(科布伦茨大学 计算视觉学研究所)
FETCH提出两阶段压缩回放方法,在GDumb流程中评估压缩技术,通过预训练编码和压缩存储提高CIFAR10和CIFAR100的准确率,简单压缩优于深度自编码器。
2024-07-17 cs.CV cs.LG
Variational Prototype Replays for Continual Learning
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
持续学习指的是获得和转移知识的能力,而不会灾难性地忘记以前学过的东西。在这项工作中,我们认为\emph{few-shot}在分类任务的持续学习,我们提出了一种新的方法,变分原型重放,有效地巩固和回顾以前的知识,以避免灾难性遗忘。在每个分类任务中,我们的方法学习一组具有均值和方差的变分原型,其中来自同一类的样本的嵌入可以表示为原型分布,并且类代表原型被分开。为了减轻灾难性遗忘,我们的方法从以前的任务中重放每个类的一个样本,并相应地将新预测的嵌入与从以前的任务中存储的最接近的类代表原型相匹配。与最近的持续学习方法相比,我们的方法可以很容易地适应更多类的新任务,而不需要添加新的单元。此外,我们的方法是更有效的内存,因为只有类代表性的原型与他们的手段和方差,以及只有一个样本,每个类从以前的任务需要存储。在不影响初始任务性能的情况下,我们的方法在新任务中学习新概念,给出每个类的一些训练样本。
2020-02-15 cs.AI cs.CV
Class-Incremental Experience Replay for Continual Learning under Concept Drift
Virginia Commonwealth University(弗吉尼亚联邦大学)
现代机器学习系统需要能够应对不断到达和变化的数据。处理这种情况的两个主要研究领域是持续学习和数据流挖掘。持续学习的重点是积累知识和避免遗忘,假设一旦学习的信息应该被存储。数据流挖掘的重点是适应概念漂移和丢弃过时的信息,假设只有最新的数据是相关的。虽然这两个领域主要是分开开发的,但它们为从动态数据中学习的问题提供了互补的观点。有必要通过提供能够学习和存储新信息的架构来统一它们,以及重新访问和适应以前看到的概念的变化。我们提出了一种新的持续学习方法,可以处理这两个任务。我们的体验重播方法由存储增量到达类的不同实例的重心驱动内存提供动力。这通过一个反应式子空间缓冲器来增强,该缓冲器跟踪先前看到的类中的概念漂移事件并相应地调整聚类。因此,所提出的架构能够记住有效的和忘记过时的信息,提供了一个整体的框架下的概念漂移持续学习。
2021-04-24 cs.CV cs.LG
Saliency Guided Experience Packing for Replay in Continual Learning
Purdue University(普渡大学)
人工学习系统渴望通过不断地从一系列任务中学习而不忘记过去的知识来模仿人类智能。实现这种学习的一种方法是将过去的经验以输入示例的形式存储在情景记忆中,并在学习新任务时重放它们。然而,这种方法的性能随着存储器的大小变得更小而受到影响。在本文中,我们提出了一种新的经验重放的方法,我们选择过去的经验,通过查看显着性图,为模型的决策提供视觉解释。在这些显着图的指导下,我们只将输入图像中对模型预测重要的部分或补丁装入内存。在学习新任务时,我们用适当的零填充来重放这些记忆补丁,以提醒模型过去的决定。我们在CIFAR-100,miniImageNet和CUB数据集上评估了我们的算法,并报告了比最先进方法更好的性能。通过定性和定量分析,我们表明,我们的方法捕捉更丰富的总结过去的经验,没有任何记忆增加,因此表现良好,小情景记忆。
2022-10-12 cs.CV cs.LG
Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
Department of Computational Intelligence, SRM Institute of Science and Technology(计算智能系,SRM科学与技术学院)
本文提出R2R无监督持续学习框架,通过簇级不确定性反馈和生成回放机制在多个数据集上显著提升知识保留能力并取得领先性能。
2025-05-09 cs.AI cs.CV cs.LG
Knowledge Capture and Replay for Continual Learning
Artificial Intelligence, Analytics And Informatics (AI), A*STAR(A*STAR人工智能、分析与信息学);RMIT University(皇家墨尔本理工大学);Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院)
深度神经网络已经在几个领域显示出前景,并且学习的数据(任务)特定信息隐式地存储在网络参数中。当数据在未来不再可用时,编码的知识表示的提取和利用是至关重要的,特别是在持续学习的情况下。在这项工作中,我们介绍{ \em抽认卡},这是视觉表示,{ \em捕捉}的编码知识的网络作为一个递归函数的预定义的随机图像模式。在持续学习的情况下,抽认卡有助于防止灾难性遗忘,并巩固所有先前任务的知识。抽认卡只需要在学习后续任务之前构建,因此,与之前训练的任务数量无关。我们证明了抽认卡在捕获学习到的知识表示(作为原始数据集的替代方案)方面的功效,并在各种持续学习任务上进行了经验验证:重建,去噪,任务增量学习和新实例学习分类,使用几个异构基准数据集。实验证据表明:(i)抽认卡作为重放策略是{ \em任务不可知的},(ii)比生成重放执行得更好,以及(iii)与情节重放相当而没有额外的存储器开销。
2021-04-29 cs.AI cs.CV cs.LG
The Effectiveness of Memory Replay in Large Scale Continual Learning
University of Maryland(马里兰大学);DeepMind(深度思维)
本文研究了大规模环境下的持续学习问题,其中输入序列中的任务不限于分类,输出可以是高维的。在多种最先进的方法中,我们发现vanilla experience replay(ER)在性能和可扩展性方面仍然非常具有竞争力,尽管它很简单。然而,观察到性能下降的ER与小内存。特征空间的进一步可视化揭示了中间表示经历了分布漂移。虽然现有的方法通常只重放输入输出对,但我们假设它们的正则化效果对于复杂的深度模型和重放缓冲区大小较小的各种任务来说是不够的。根据这一观察,我们建议除了输入输出对之外,还重放中间层的激活。考虑到保存原始激活图会大大增加内存和计算成本,我们提出了压缩激活重放技术,其中层激活的压缩表示保存到重放缓冲区。我们表明,这种方法可以实现优越的正则化效果,同时增加可以忽略不计的内存开销重放方法。在具有不同任务集的大型Taskonomy基准测试和标准公共数据集(Split-CIFAR和Split-miniImageNet)上的实验证明了所提出方法的有效性。
2020-10-06 cs.AI cs.CV cs.LG
Latent Replay for Real-Time Continual Learning
University of Bologna(博洛尼亚大学)
在轻型计算设备、嵌入式系统和机器人平台的边缘训练深度神经网络如今非常具有挑战性。持续学习技术,其中复杂的模型在小批量的新数据上进行增量训练,可以使学习问题易于处理,即使对于只有CPU的嵌入式设备,也可以实现显着的自适应性和自主性。然而,还有一些实际问题需要解决:首先是灾难性遗忘。在本文中,我们介绍了一种名为“潜在重放”的原始技术,而不是在输入空间中存储过去的数据的一部分,我们存储在一些中间层的激活量。这可以显著减少本地排练所需的计算和存储。为了保持表示稳定和存储的激活有效,我们建议在潜在重放层以下的所有层放慢学习速度,让上面的层自由地全速学习。在我们的实验中,我们表明,潜在重放,结合现有的持续学习技术,实现了最先进的性能在复杂的视频基准,如CORe 50 NICv2(近400个小的和高度非i.i.d.批次)和OpenLORIS。最后,我们通过在智能手机设备上部署所提出的技术,证明了在边缘上进行近实时的【形】持续学习的可行性。
2020-03-04 cs.CV cs.LG stat.ML
ER-FSL: Experience Replay with Feature Subspace Learning for Online Continual Learning
Harbin Institute of Technology(哈尔滨工业大学)
针对在线持续学习中的灾难性遗忘,提出ER-FSL方法,通过在不同特征空间学习和回放,利用子空间学习新知识并重用机制,在三个数据集上优于现有方法。
2024-07-17 cs.CV cs.LG
PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对在线类增量持续学习中的灾难性遗忘问题,提出基于代理的对比重放方法(PCR),通过用代理替换对比样本解决类别不平衡并加速收敛,在三个基准数据集上优于现有方法。
2023-04-10 cs.AI cs.CV cs.LG
Continual Vision-and-Language Navigation
Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能交叉学科项目,首尔国立大学);AI Institute for Seoul National University(首尔国立大学人工智能研究所);SK Telecom(SK电信);Korea Institute of Science and Technology(韩国科学技术院)
针对视觉与语言导航智能体在持续新环境中的适应问题,提出持续视觉与语言导航(CVLN)范式及两种设置,并设计PerpR与ESR两种重放基线,通过高效利用重放内存实现更优的持续学习性能。
2025-10-31 cs.AI cs.CV
Continual Learning via Manifold Expansion Replay
East China Normal University(华东师范大学);Sun Yat-sen University(中山大学);Information Engineering University(信息工程大学)
针对持续学习中的灾难性遗忘,提出流形扩展回放(MaER)策略,通过贪婪扩大记忆中的隐式流形直径并采用Wasserstein距离蒸馏损失,在多个基准数据集上显著提升准确率。
2023-10-12 cs.CV cs.IR cs.LG
HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Centre for Frontier AI Research, Institute of High Performance Computing, A*STAR(新加坡高性能计算研究院前沿人工智能研究中心(新加坡科技研究局))
针对在线持续学习中的灾难性遗忘问题,本文提出HPCR方法,通过对比组件、温度组件和蒸馏组件分别改进PCR在特征提取、泛化和抗遗忘方面的不足,并在四个数据集上验证了其优越性。
2025-01-03 cs.CV cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology(麻省理工学院);SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题,但它需要大量内存,甚至更糟的是,在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发,我们提出了深度生成重播,这是一种新颖的框架,具有合作双模型架构,由深度生成模型(“生成器”)和任务求解模型组成(“求解器”)。只有这两个模型,以前任务的训练数据可以很容易地被采样,并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction
Indian Institute of Technology Bombay(印度理工学院孟买分校);Monash University(莫纳什大学)
本文提出一种融合变分先验与显著性图回放的持续三维重建方法,以缓解灾难性遗忘并降低存储开销,实验证明其性能具有竞争力。
2024-11-21 cs.CV cs.LG
Learning on the Fly: Replay-Based Continual Object Perception for Indoor Drones
National University of Science and Technology Politehnica Bucharest, Romania(罗马尼亚布加勒斯特多项技术大学);Institute of Mathematics ``Simion Stoilow'' of the Romanian Academy, Romania(罗马尼亚科学院模拟昂斯数学研究所);NORCE Norwegian Research Center, Norway(挪威NORCE研究中心)
本研究提出基于回放的连续学习方法,通过室内无人机视频数据集评估,证明在有限内存预算下FAR方法能有效提升物体感知性能。
2026-02-13 cs.CV cs.RO
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
开发能够真正终身学习的人工智能应用的一个主要障碍是,人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法,但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较,我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议,我们发现基于正则化的方法(例如,弹性权重合并)在需要推断任务标识时失败。相比之下,生成重放结合蒸馏(即,使用类别概率作为“软目标”)在所有三种情况下都实现了优异的性能。为了解决效率问题,我们通过将生成模型集成到主模型中,并为其配备生成反馈或反向连接,从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间,而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning
The Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学)
持续学习(CL)方法旨在使机器学习模型能够学习新任务,而不会对先前已经掌握的任务造成灾难性遗忘。现有的CL方法通常保留先前看到的样本的缓冲区,执行知识蒸馏,或使用正则化技术来实现此目标。尽管他们表现出色,但他们仍然受到跨任务干扰的影响,这导致了灾难性遗忘。为了改善这个问题,我们建议在任何阶段只激活和选择稀疏神经元来学习当前和过去的任务。这样可以为以后的任务预留更多的参数空间和模型容量。这最大限度地减少了不同任务的参数之间的干扰。为此,我们提出了一个用于持续学习的稀疏神经网络(SNCL),它采用变分贝叶斯稀疏先验对所有层中的神经元的激活。全经验重放(FER)在学习不同层中的神经元的稀疏激活方面提供有效的监督。一个丢失感知的采样策略,以维护内存缓冲区。所提出的方法是不可知的网络结构和任务边界。在不同数据集上的实验表明,我们的方法在减轻遗忘方面达到了最先进的性能。
2022-02-21 cs.CV cs.LG
Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship
Tencent Jarvis Lab(腾讯Jarvis实验室)
提出关系经验回放(RER)双层学习框架,通过自适应调节任务间关系与样本重要性优化稳定性与可塑性权衡,有效缓解持续学习中的灾难性遗忘,在多个数据集上超越现有方法。
2023-08-03 cs.CV cs.LG
Amnesia: A Stealthy Replay Attack on Continual Learning Dreams
Department of Computer Vision(计算机视觉系);Mohamed bin Zayed University of Artificial Intelligence(莫阿兹·本·扎耶德人工智能大学);Department of Machine Learning(机器学习系)
提出Amnesia攻击,通过仅控制重放索引选择,在审计约束下最大化持续学习模型性能下降,揭示了索引级重放控制的威胁。
2026-06-12 cs.CR cs.CV
Dealing with Cross-Task Class Discrimination in Online Continual Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);University of Illinois Chicago(伊利诺伊大学芝加哥分校);BIGAI(北京通用人工智能研究院)
本文指出了类增量学习中的跨任务类判别(CTCD)挑战,并发现回放方法存在动态训练偏差问题,为此提出了一种基于梯度的自适应优化目标,在在线持续学习中动态解决该问题并取得更优效果。
2023-05-24 cs.CV cs.LG
Generative Replay-based Continual Zero-Shot Learning
Indian Institute of Science(印度科学学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
零样本学习是一种新的范例,用于对训练时不可用的类中的对象进行分类。零样本学习(Zero-shot learning,简称ZRL)方法由于其能够对未知类样本进行分类,近年来引起了广泛关注。大多数现有的方法在可用于训练模型的所有可见类的样本时都有效,这并不适合现实生活。在本文中,我们解决了这个障碍,开发了一个生成的重放为基础的连续的可编程逻辑(GRCCARL)。该方法使传统的并行学习算法能够从流数据中学习并获得新的知识,而不会忘记以前任务的经验。我们处理灾难性遗忘在GRCXL通过重放的合成样本看到的类,这已经出现在早期的任务。这些合成样本是使用经过训练的条件变分自编码器(VAE)在刚刚过去的任务上合成的。此外,我们只需要在任何时候进行培训和测试的当前和前一个VAE。所提出的GRPGL方法是为单头设置的持续学习,模拟现实世界的问题设置。在这种设置中,任务标识在训练期间给出,但在测试期间不可用。在五个基准数据集上评估了GRCNOL的性能,这些基准数据集用于具有持续学习的固定和动态(增量类)设置的GRCNOL的广义设置。现有的类设置最近在文献中提出的是不适合类增量设置。因此,本文提出了一种新的设置来解决这个问题。实验结果表明,该方法明显优于基线和国家的最先进的方法,使它更适合于现实世界的应用。
2021-06-07 cs.CV cs.LG