Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting
Peking University(北京大学);Nankai University(南开大学)
本文综述了视觉语言模型的持续学习挑战,提出四种核心范式以解决跨模态特征漂移和灾难性遗忘问题,强调零样本学习和智能体生态系统的发展。
2026-07-31 cs.CV cs.LG
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University(庆熙大学);Yonsei University(延世大学)
本文提出FSCIL框架PriViLege,利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优,显著缓解灾难性遗忘和过拟合,并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning(A-CZSL)
Indian Institute of Science(印度科学理工学院)
现有的大多数人工神经网络(ANN)由于灾难性遗忘而无法持续学习,而人类可以通过保持先前任务的性能来实现同样的目标。虽然存储所有以前的数据可以缓解这个问题,但它需要很大的内存,在现实世界中是不可行的。我们提出了一种更适合实际场景的持续零样本学习模型(A-CZSL),以解决可以顺序学习并区分模型在训练期间未见过的类别的问题。此外,为了提高可靠性,我们开发了一个单一的头部持续学习设置任务身份,在培训过程中,但不是在测试过程中透露的A-CableL。我们提出了一个混合网络,它由一个共享的VAE模块来保存所有任务的信息和特定于任务的私有VAE模块为每个任务。该模型的大小随着每个任务的增加而增加,以防止对特定任务技能的灾难性遗忘,并且它包括一种重放方法来保存共享技能。我们证明了我们的混合模型优于基线,并且在几个数据集上是有效的,即,CUB、AWA 1、AWA 2和aPY。我们表明,我们的方法是优越的类顺序学习与零样本学习(Zero-Shot Learning)和GeroL(Generalized零样本学习)。
2021-04-19 cs.CV cs.LG
Targeted Forgetting of Image Subgroups in CLIP Models
University of Rochester(罗切斯特大学);Cisco Research(思科研究)
本文提出一种无需访问预训练数据的三阶段方法,通过遗忘、提醒和模型融合恢复,并引入知识蒸馏,在CLIP模型中实现类内图像子群的有针对性遗忘,同时保持零样本性能。
2025-06-03 cs.CV
FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);XXII Group(XXII集团)
深度神经网络(DNN)最近在计算机视觉和几个相关领域取得了巨大成功。尽管取得了这样的进展,但当前的神经架构仍然遭受灾难性干扰(a.k.a.遗忘),这阻碍了DNN不断学习。虽然已经提出了几种最先进的方法来减轻遗忘,但这些现有的解决方案要么是高度刚性的(如规则化),要么是对时间/记忆要求很高的(如重播)。在文献中已经提出了基于动态网络的中间类方法,并且在任务记忆和计算足迹之间提供了合理的平衡。在本文中,我们设计了一个动态的网络结构的持续学习的基础上,一种新的遗忘自由神经块(FFNB)。训练FFNB功能的新任务是使用一种新的程序,约束的基本参数在零空间的先前的任务,而训练分类器参数相当于Fisher判别分析。后者提供了一个有效的增量过程,从贝叶斯的角度来看也是最佳的。使用增量的“端到端”微调进一步增强训练的特征和分类器。对不同的具有挑战性的分类问题进行了大量的实验,结果表明该方法具有很高的有效性。
2021-11-22 cs.CV
Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning
Google Research(谷歌研究院)
针对持续小样本学习的不遗忘问题,提出基于HyperTransformer的递归权重复用方法,无需重放缓冲区等常用机制,可在多种学习场景下保留过往任务知识。
2024-08-18 cs.CV cs.LG
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science(印度科学研究院)
连续零样本学习(Continual zero-shot learning,CSCL)是一个新的领域,用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况,即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习(CL)遭受灾难性遗忘,并且由于在训练期间缺乏实际数据(或特征),零样本学习(ZNL)模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习(DVGR-CQML)模型,该模型随着每个任务的大小而增长,并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型(DVGR-CNOL)优于基线,并且在几个数据集上是有效的,即,CUB、AWA 1、AWA 2和aPY。我们表明,我们的方法是优越的任务顺序学习的零样本学习(Zero-Shot Learning)。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
SMoLoRA: Exploring and Defying Dual Catastrophic Forgetting in Continual Visual Instruction Tuning
Hefei University of Technology(合肥工业大学);Tsinghua University(清华大学);Academy of Cyber(网络学院)
针对连续视觉指令微调中视觉理解与指令遵循双重灾难性遗忘问题,提出SMoLoRA框架,通过双路由模块实现领域专用适应,并构建新基准,有效缓解遗忘并提升泛化与鲁棒性。
2025-07-01 cs.AI cs.CV
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University(北卡罗来纳州立大学);Salesforce Research(赛富时研究院)
解决灾难性遗忘是持续学习的关键挑战之一,其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展,但深度神经网络(DNN)仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架,用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成:神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计,该方法不仅能够以直观有意义的方式进化神经结构,而且在实验中显示出较强的缓解灾难性遗忘的能力。此外,所提出的方法优于所有其他基线上的排列MNIST数据集,分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models
KAIST(韩国科学技术院)
本文通过线性注意力模型理论分析,揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件,提出仅更新值矩阵可保持上下文学习能力。
2026-05-31 cs.CL cs.LG stat.ML
A novel spatial-frequency domain network for zero-shot incremental learning
Xi’an Polytechnic University(西安工程大学);Shaanxi University of Science and Technology(陕西科技大学);CSIRO Data61(联邦科学与工业研究组织数据61部门)
本文提出SFDNet,通过SFFE模块和AFA模块提取空间-频域特征,结合最近类均值分类器与零样本翻译模型,有效缓解灾难性遗忘并提升零样本增量学习的分类精度。
2024-02-11 cs.CV
People, Penguins and Petri Dishes: Adapting Object Counting Models To New Visual Domains And Object Types Without Forgetting
在本文中,我们提出了一种技术,以适应卷积神经网络(CNN)为基础的对象计数器,以额外的视觉领域和对象类型,同时仍然保留原来的计数功能。训练特定于域的归一化和缩放运算符,以允许模型根据各种视觉域的统计分布进行调整。开发的适应技术是用来产生一个单一的补丁为基础的计数回归能够计数各种对象类型,包括人,车辆,细胞核和野生动物。作为本研究的一部分,构建了组织培养和患者诊断背景下具有挑战性的新细胞计数数据集。这个新的集合,被称为都柏林细胞计数(DCC)数据集,是第一个提供给更广泛的计算机视觉社区。在Shanghaitech(A和B部分)和Penguins数据集中实现了最先进的对象计数性能,而在TRANCOS和Modified Bone Marrow(MBM)数据集上观察到了竞争性性能,所有数据集都使用共享计数模型。
2017-11-15 cs.CV
How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks
University of Vermont(佛罗里达大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute Canada(加拿大向量研究所);CIFAR AI Chair(CIFAR人工智能主席)
本文研究了权重重采样(zapping)和优化器选择对神经网络持续学习与遗忘动态的影响,发现二者均能显著改变模型迁移后的恢复速度及多任务间的协同与干扰模式。
2025-07-02 cs.CV cs.LG
Evolving Dictionary Representation for Few-shot Class-incremental Learning
Carleton University(卡尔顿大学)
针对少样本类别增量学习易遗忘旧类、新类标注少的问题,提出结合深度字典学习的方法,基础阶段同训字典与骨干网并加入伪类别预留空间,增量阶段仅微调字典,在多个数据集上效果优于现有SOTA方法。
2023-05-03 cs.CV cs.LG
Select and Distill: Selective Dual-Teacher Knowledge Transfer for Continual Learning on Vision-Language Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
提出选择性双教师知识迁移框架,利用微调和原始VLM作为双教师,通过特征差异进行选择性蒸馏,缓解持续学习中的灾难性遗忘并保持零样本能力。
2024-07-17 cs.CV
Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
Qualcomm AI Research(高通人工智能研究)
针对少样本类增量学习中的遗忘和过拟合问题,提出三元权重空间集成方法,通过插值基模型、前一模型和当前模型的权重并利用增强数据蒸馏,在多个基准上取得最优性能。
2025-06-04 cs.CV cs.LG
Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models
Independent Researcher, USA(美国独立研究者);Indiana University at Bloomington, United States(印第安纳大学布卢明顿分校);Independent Researcher, Taiwan(台湾独立研究者);National Taiwan University, Taiwan(台湾国立大学);Boise State University, United States(博伊西州立大学);National Yang Ming Chiao Tung University, Taiwan(台湾阳明交通大学)
本文提出基于冻结基础模型与任务特定LoRA模块的小样本持续学习方法,有效解决3D脑部MRI肿瘤分割与脑年龄估计任务中的灾难性遗忘问题。
2026-02-26 cs.CV cs.LG eess.IV
Generative Replay-based Continual Zero-Shot Learning
Indian Institute of Science(印度科学学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
零样本学习是一种新的范例,用于对训练时不可用的类中的对象进行分类。零样本学习(Zero-shot learning,简称ZRL)方法由于其能够对未知类样本进行分类,近年来引起了广泛关注。大多数现有的方法在可用于训练模型的所有可见类的样本时都有效,这并不适合现实生活。在本文中,我们解决了这个障碍,开发了一个生成的重放为基础的连续的可编程逻辑(GRCCARL)。该方法使传统的并行学习算法能够从流数据中学习并获得新的知识,而不会忘记以前任务的经验。我们处理灾难性遗忘在GRCXL通过重放的合成样本看到的类,这已经出现在早期的任务。这些合成样本是使用经过训练的条件变分自编码器(VAE)在刚刚过去的任务上合成的。此外,我们只需要在任何时候进行培训和测试的当前和前一个VAE。所提出的GRPGL方法是为单头设置的持续学习,模拟现实世界的问题设置。在这种设置中,任务标识在训练期间给出,但在测试期间不可用。在五个基准数据集上评估了GRCNOL的性能,这些基准数据集用于具有持续学习的固定和动态(增量类)设置的GRCNOL的广义设置。现有的类设置最近在文献中提出的是不适合类增量设置。因此,本文提出了一种新的设置来解决这个问题。实验结果表明,该方法明显优于基线和国家的最先进的方法,使它更适合于现实世界的应用。
2021-06-07 cs.CV cs.LG
Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models
National University of Singapore(新加坡国立大学);UC Berkeley(加州大学伯克利分校);The Chinese University of Hong Kong(香港中文大学)
针对CLIP持续学习中零样本能力退化问题,提出ZSCL方法,通过在特征空间引入参考数据集蒸馏和在参数空间进行权重平均来防止遗忘,并在多领域任务增量学习基准上取得领先性能。
2023-08-11 cs.CV cs.LG
S3C: Self-Supervised Stochastic Classifiers for Few-Shot Class-Incremental Learning
Indian Institute of Science(印度科学学院)
针对少样本类增量学习中的过拟合与灾难性遗忘问题,本文提出自监督随机分类器S3C,通过分类器权重随机性与自监督特征学习提升泛化能力,并在多个基准及现实场景下显著超越现有方法。
2023-07-05 cs.CV
ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
ECLIPSE通过冻结基础模型参数并仅微调少量视觉提示嵌入,结合logit操作缓解错误传播与语义漂移,在ADE20K持续全景分割基准上实现了抗灾难性遗忘与合理可塑性的新最优性能。
2024-03-29 cs.CV
Don't Stop Learning: Towards Continual Learning for the CLIP Model
Xidian University(西安电子科技大学);University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Shenzhen University(深圳大学);Northwestern Polytechnical University(西北工业大学)
对比图像预训练模型(CLIP)是近年来提出的一种大规模图像预训练模型,在计算机视觉领域引起了越来越多的关注。CLIP模型得益于其庞大的图像-文本训练集,在零样本学习和图像-文本匹配方面具有出色的能力。为了提高CLIP对某些目标视觉概念的识别性能,通常希望通过对额外的训练数据微调某些感兴趣的类别来进一步更新CLIP模型。然而,该操作引起了一个重要的问题:更新是否会损害CLIP的零样本学习或图像-文本匹配能力,即,灾难性遗忘的问题如果答案是肯定的,那么现有的持续学习算法是否可以用来减轻灾难性遗忘的风险?为了回答这些问题,本文对CLIP模型的持续学习问题进行了系统的研究。我们构建评估协议来衡量微调更新的影响,并探索不同的方式来升级现有的持续学习方法,以减轻CLIP模型的遗忘问题。本研究揭示了CLIP持续学习问题的特殊挑战,为进一步研究奠定了基础。此外,我们提出了一个新的算法,称为学习没有忘记通过重播词汇(VR-LwF),这表明确切的有效性,以减轻CLIP模型的遗忘问题。
2022-07-20 cs.CV
A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection
Huazhong University of Science and Technology(华中科技大学)
表面缺陷检测是工业质量检测的重要环节之一。基于深度学习的表面缺陷检测方法已经显示出巨大的潜力。然而,性能良好的模型通常需要大量的训练数据,并且只能检测在训练阶段出现的缺陷。当缺陷检测模型面对增量Few-Shot数据时,不可避免地会出现灾难性遗忘和误分类问题。为了解决这些问题,本文提出了一种新的知识蒸馏网络,称为双知识对齐网络(DKAN)。所提出的DKAN方法遵循预训练-微调迁移学习范式,并设计了用于微调的知识蒸馏框架。具体来说,提出了一种增量RCNN来实现不同类别的解耦稳定特征表示。在此框架下,在类无关特征图之间设计特征知识对齐(FKA)损失以解决灾难性遗忘问题,在logit分布之间部署Logit知识对齐(LKA)损失以解决误分类问题.在增量式Few-Shot NEU-DET数据集上的实验结果表明,DKAN算法在不同的Few-Shot场景下的平均精度指标达到6.65%,优于其他方法,证明了该方法的有效性。
2022-09-01 cs.AI cs.CV
Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
持续学习的目标是在不遭受灾难性遗忘现象的情况下学习一系列任务。以前的工作表明,以重放缓冲区的形式利用内存可以减少先前任务的性能下降。我们假设,当模型被鼓励记住之前做出的决定的\textit{evidence}时,遗忘可以进一步减少。作为探索这一假设的第一步,我们提出了一种简单的新训练范式,称为“记住正确的原因”(RRR),它还将每个示例的视觉模型解释存储在缓冲区中,并通过鼓励其解释与训练时用于决策的解释保持一致来确保模型具有“正确的原因”。如果没有这个约束,在传统的持续学习算法学习新任务时,解释会发生漂移,遗忘会增加。我们演示了如何将RRR轻松添加到任何基于记忆或正则化的方法中,并减少遗忘,更重要的是,改进模型解释。我们在标准和Few-Shot设置中评估了我们的方法,并观察到使用不同架构和技术来生成模型解释的各种CL方法的一致改进,并展示了我们的方法,该方法显示了可解释性和持续学习之间有希望的联系。我们的代码可在\url{https://github.com/SaynaEbrahimi/Remembering-for-the-Right-Reasons}上找到。
2021-05-03 cs.AI cs.CV cs.LG
Forgetting of task-specific knowledge in model merging-based continual learning
Department of Electrical Engineering (ESAT), KU Leuven, Belgium(电气工程系(ESAT),鲁文大学,比利时)
该研究聚焦持续学习中的模型线性融合问题,通过视觉实验证实融合可保留增强共享知识但会导致任务特定知识退化,且增量训练模型的融合效果优于并行训练模型。
2025-07-31 cs.CV
TASSO: TAsk-Specific Subspace Optimization for Continual Learning of Vision-Language Models
University of Padova(帕多瓦大学)
TASSO通过子空间学习与几何感知知识蒸馏,缓解VLMs持续学习中的灾难性遗忘和零样本退化,在多域及类增量学习基准上优于现有最优方法。
2026-08-25 cs.AI cs.CV
Attention Retention for Continual Learning with Vision Transformers
本文提出一种基于视觉变换器的注意力保留框架,通过约束注意力漂移来减轻持续学习中的灾难性遗忘,通过生成实例自适应二进制掩码并调整梯度更新,有效保留已学习的视觉概念。
2026-02-05 cs.AI cs.CV
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima
The Hong Kong Polytechnic University(香港理工大学)
本文考虑了增量式少样本学习,它要求模型在只提供少量样本的情况下不断识别新的类别。我们的研究表明,现有的方法严重遭受灾难性遗忘,一个众所周知的问题,在增量学习,这是加剧由于数据稀缺和不平衡的Few-Shot设置。我们的分析进一步表明,为了防止灾难性遗忘,需要在原始阶段采取行动--训练基类,而不是以后的少样本学习。因此,我们建议搜索基本训练目标函数的平坦局部最小值,然后在新任务的平坦区域内微调模型参数。通过这种方式,模型可以有效地学习新类,同时保留旧类。综合实验结果表明,我们的方法优于所有现有的国家的最先进的方法,是非常接近的近似上限。源代码可在https://github.com/moukamisama/F2M上获得。
2021-11-04 cs.CV cs.LG
Wings: Learning Multimodal LLMs without Text-only Forgetting
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);AI Business, Alibaba Group(阿里巴巴集团AI业务部)
针对多模态大语言模型灾难性遗忘纯文本指令的问题,提出Wings模型,通过构建并行的视觉与文本学习者模块及低秩残差注意力,有效补偿注意力转移,在纯文本与多模态问答任务上均取得优异表现。
2024-06-05 cs.AI cs.CL cs.LG
Continual Audio-Visual Sound Separation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Brown University(布朗大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出持续视听声音分离任务及ContAV-Sep方法,通过跨模态相似性蒸馏约束缓解灾难性遗忘,实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
CL-CrossVQA: A Continual Learning Benchmark for Cross-Domain Visual Question Answering
University of Oxford(牛津大学);Siemens AG(西门子股份公司);LMU Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学)
视觉问答是一个多学科交叉的研究课题。为了产生正确的答案,它需要理解图像的视觉内容、自然语言问题,以及对图像中包含的信息和世界知识的常识推理。最近,大规模的视觉和语言预训练模型(VLPMs)由于其优越的性能已经成为VQA任务的主流方法。标准的做法是使用特定于域的VQA数据集对在大型通用域数据集上预先训练的大规模VLPM进行微调。然而,实际上,应用领域可能会随着时间的推移而变化,这就要求VLPM不断学习和适应新的领域,而不会忘记以前获得的知识。现有的持续学习研究大多集中在单峰任务上,而更实际的应用场景,即跨领域VQA的持续学习还没有被研究。基于此,我们引入了CL-CrossVQA,一个严格的跨领域视觉问答的持续学习基准,通过它,我们对来自不同领域的4种VLPM,4种CL方法和5个VQA数据集进行了广泛的实验。此外,通过探索中间层的遗忘现象,我们提供了深入了解模型架构如何影响CL性能,为什么CL方法可以在一定程度上帮助减轻VLPM中的遗忘,以及如何设计适合于VLPM的CL方法在这个具有挑战性的持续学习环境。为了促进CL跨域VQA的未来工作,我们将发布我们的数据集和代码。
2022-11-19 cs.CV
Towards Lifelong Few-Shot Customization of Text-to-Image Diffusion
Nanyang Technological University(南洋理工大学)
针对文本到图像扩散的终身少样本定制中相关概念遗忘与先前概念遗忘问题,提出无数据知识蒸馏策略与上下文生成范式,实现高质量生成并保留旧知识。
2024-11-08 cs.CV cs.LG
Balanced Supervised Contrastive Learning for Few-Shot Class-Incremental Learning
KAIST(韩国科学技术院);Samsung Research(三星研究院)
针对少样本类增量学习中新任务欠拟合与旧任务遗忘的平衡难题,本文提出平衡监督对比损失以学习通用特征表示,并统一基会话与增量会话分类器初始化,在多个数据集上显著超越现有方法。
2023-05-26 cs.AI cs.CV
Few-Shot Visual Question Generation: A Novel Task and Benchmark Datasets
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
从视觉场景生成自然语言问题,称为视觉问题生成(VQG),在最近的过去已经被探索,其中大量精心标记的数据提供训练语料库。然而,在实践中,仅具有对应于几种类型的答案的具有问题注释的几个图像并不罕见。本文提出了一个新的具有挑战性的Few-Shot视觉问题生成(FS-VQG)任务,并给出了一个全面的测试基准,具体地,我们评估了各种现有的VQG方法以及流行的基于元学习和自监督策略的FS-VQG任务的Few-Shot解决方案。我们在两个流行的现有数据集VQG和Visual 7 w上进行实验。此外,我们还清理和扩展了VQG数据集,以便在Few-Shot场景中使用,其中包含额外的图像-问题对以及额外的答案类别。我们称这个新数据集为VQG-23。从我们的实验中出现了几个重要的发现,揭示了当前模型在Few-Shot视觉和语言生成任务中的局限性。我们发现,用迁移学习或元学习来简单地扩展现有的VQG方法可能不足以解决Few-Shot VQG中的固有挑战。我们相信,这项工作将有助于加快少样本学习研究的进展。
2023-01-06 cs.CV
Prompt-Based Continual Compositional Zero-Shot Learning
Intelligent Machines Lab(智能机器实验室);Information Technology University(信息技术大学);Visual Computing Lab(视觉计算实验室);Ontario Tech University(安大略技术大学)
PromptCCZSL通过多教师蒸馏和正交投影损失,实现持续组成零样本学习中的知识保留与泛化提升。
2026-09-28 cs.AI cs.CV
Continual Few-shot Adaptation for Synthetic Fingerprint Detection
本文提出连续少样本适应方法用于合成指纹检测,通过结合二元交叉熵和监督对比损失,结合样本重放以缓解灾难性遗忘,实现快速适应新合成风格同时避免遗忘已知风格。
2026-03-15 cs.CV cs.IT math.IT
Understanding How Model Size Affects Few-shot Instruction Prompting
Yale-NUS College(耶鲁-新加坡国立大学学院);Bukalapak
大语言模型受训练数据记忆和遗忘现象的影响。但这些是如何根据模型大小而变化的呢?我们对这个问题的工作,通过调查模型的大小如何影响模型的能力,在给定的上下文中区分一个词的含义。我们引入了一个名为DeltaWords的数据集,该数据集评估模型遵循指令选择一个句子的能力,该句子将目标词替换为反义词。我们显示了一个弱的逆缩放趋势,任务的准确性降低模型大小的增加,在极Few-Shot提示制度。我们发现,增加的例子的数量往往不成比例地受益于较大的模型比较小的模型。
2022-12-04 cs.CL cs.LG stat.ML
Generalized Few-Shot Object Detection without Forgetting
Megvii Technology(旷视科技)
近年来,Few-Shot目标检测被广泛用于处理数据有限的情况。虽然大多数以前的作品只专注于性能上的Few-Shot类别,我们声称,检测所有类是至关重要的测试样本可能包含任何实例在现实中的应用,这需要Few-Shot检测器学习新的概念,而不会忘记。通过对基于迁移学习的方法的分析,利用一些被忽视但有益的性质,设计了一种简单而有效的Few-Shot检测器--保留R-CNN。它由Bias-Balanced RPN和Re-detector组成,Bias-Balanced RPN用于消除预训练RPN的偏差,Re-detector用于在不忘记先前知识的情况下找到Few-Shot类对象。在Few-Shot检测基准上进行的大量实验表明,在所有设置中,Retentive R-CNN在整体性能上明显优于最先进的方法,因为它可以在Few-Shot类上实现有竞争力的结果,并且根本不会降低基类的性能。我们的方法已经证明,长期期望的永不遗忘的学习器是可用的目标检测。
2021-05-20 cs.CV
Few-shot Class-Incremental Learning via Generative Co-Memory Regularization
Institute of Information Engineering(信息工程研究所);Chinese Academy of Sciences(中国科学院);School of Cyber Security(网络安全学院);University of Chinese Academy of Sciences(中国科学院大学);Department of Communication Engineering(通信工程系)
本文提出基于生成共记忆正则化的少样本类增量学习方法,通过微调生成编码器和构建类记忆来提升模型在少量样本下的识别准确率,同时减少灾难性遗忘和过拟合。
2026-01-12 cs.AI cs.CV
Generalized and Incremental Few-Shot Learning by Explicit Learning and Calibration without Forgetting
MPI for Informatics(马克斯·普朗克信息学研究所);Goethe University Frankfurt(法兰克福大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
广义和增量少样本学习都必须应对三个主要挑战:从每个类的少数样本中学习新类,防止基类的灾难性遗忘,以及跨新类和基类的分类器校准。在这项工作中,我们提出了一个三阶段的框架,允许明确和有效地解决这些挑战。当第一阶段学习具有许多样本的基类时,第二阶段学习用于来自少数样本的新类的校准分类器,同时还防止灾难性遗忘。在最后阶段,在所有类别中实现校准。我们在四个具有挑战性的图像和视频Few-Shot分类基准数据集上评估了所提出的框架,并获得了广义和增量少样本学习的最新结果。
2021-08-18 cs.CV
Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent
UC San Diego(加州大学圣迭戈分校);University of New South Wales(新南威尔士大学);Adobe Research(Adobe研究)
本文提出模态解耦梯度下降方法,通过有效秩量化视觉退化并缓解过度压缩,保留预训练视觉知识并提升任务适应能力。
2026-01-23 cs.CV cs.LG
Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
该研究针对多模态大语言模型的长上下文视觉遗忘问题,提出强化学习框架Remember-R1,通过过程级监督优化视觉依赖与注意力,提升了多模态推理性能。
2026-08-04 cs.CV
Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion
Northeastern University(东北大学);School of Information and Intelligent Science(信息与智能科学学院);Whiting School of Engineering(工程学院)
本文提出无训练的少样本类增量学习方法,通过条件扩散过程替代梯度优化,缓解灾难性遗忘并提升泛化能力。
2025-11-23 cs.CV
TeFF: Tracking-enhanced Forgetting-free Few-shot 3D LiDAR Semantic Segmentation
Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能计算系统研究中心);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);China North Artificial Intelligence & Innovation Research Institute(中国北方人工智能与创新研究院);Collective Intelligence & Collaboration Laboratory (CIC)(集体智能与协作实验室);Research Center for In(研究中心)
本文提出TeFF方法,利用LiDAR时间连续性通过跟踪模型生成伪标签以增强小样本3D语义分割,并引入LoRA缓解灾难性遗忘,在保持基类性能的同时提升对新类别的适应能力。
2024-08-28 cs.CV cs.RO
Continual Few-Shot Learning with Adversarial Class Storage
Syracuse University(雪城大学);Northeastern University(东北大学);Colorado School of Mines(科罗拉多矿业学院)
人类有一种非凡的能力,可以快速有效地持续学习新概念,而不会忘记旧知识。虽然深度学习在各种计算机视觉任务上取得了巨大的成功,但它在实现这种人类水平的智能方面面临着挑战。在本文中,我们定义了一个新的问题,称为连续少样本学习,其中任务顺序到达,每个任务都与一些训练样本相关联。我们提出了连续元学习器(CML)来解决这个问题。CML将基于度量的分类和基于记忆的机制以及对抗学习集成到元学习框架中,这导致了理想的特性:1)它可以快速有效地学习处理新任务; 2)它克服了灾难性遗忘; 3)它是模型不可知的。我们在两个图像数据集MiniImageNet和CIFAR 100上进行了广泛的实验。实验结果表明,CML在少样本学习任务的分类准确率方面提供了最先进的性能,而没有灾难性遗忘。
2022-07-10 cs.AI cs.CV cs.LG
One-Shot Machine Unlearning with Mnemonic Code
NTT Social Informatics Laboratories(NTT社会信息学研究所);NTT Communication Science Laboratories(NTT通信科学研究所)
针对现有机器遗忘方法计算成本高、难以应用于ImageNet和Transformer等实际场景的问题,提出一种基于Fisher信息矩阵和记忆码的轻量级方法,通过向敏感参数添加扰动实现快速有效的遗忘。
2024-09-25 cs.AI cs.CV cs.LG
Prototypical quadruplet for few-shot class incremental learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对少样本类增量学习中的数据稀缺和灾难性遗忘问题,提出使用改进对比损失和更新类原型的方法,在保持嵌入空间完整的同时提升分类准确性,优于现有最先进算法。
2023-04-08 cs.CV cs.LG
Class-Incremental Few-Shot Object Detection
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);University of California, Los Angeles(加州大学洛杉矶分校)
传统的检测网络通常需要大量的标记训练样本,而人类只需几个例子就可以逐步学习新概念。本文主要研究一个更具挑战性但更现实的类增量Few-Shot目标检测问题(iFSD)。它的目标是从少量的注释样本中增量地转移新对象的模型,而不会灾难性地忘记以前学习的对象。为了解决这个问题,我们提出了一种新的方法LEAST,它可以更少的遗忘,更少的训练资源,更强的迁移能力。具体来说,我们首先提出的转移策略,以减少不必要的权重调整,提高转移能力的iFSD。在此基础上,我们整合了知识蒸馏技术,使用较少的资源消耗的方法来减轻遗忘,并提出了一种新的基于聚类的样本选择过程,以保留更多的判别功能以前学习。作为一种通用而有效的方法,LEAST可以大大提高iFSD在各种基准测试中的性能。
2021-12-28 cs.CV
Incremental Concept Formation over Visual Images Without Catastrophic Forgetting
Drexel University(德雷塞尔大学);Georgia Institute of Technology(佐治亚理工学院)
针对深度神经网络在顺序学习中的灾难性遗忘问题,提出基于类人学习系统Cobweb的Cobweb4V视觉分类方法,以更少数据实现稳定且无遗忘的增量概念学习。
2024-09-19 cs.AI cs.CV cs.IR
Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure
WeBank AI Lab(WeBank人工智能实验室);Universiti Malaya(马来亚大学)
本文提出一种面向垂直联邦学习中隐私保障的标签撤销学习方法,通过流形混合机制生成合成嵌入,实现高效标签撤销与性能恢复。
2026-02-27 cs.CR cs.CV cs.LG
Can Synthetic Images Conquer Forgetting? Beyond Unexplored Doubts in Few-Shot Class-Incremental Learning
UNIST(全南国立科学技术大学);DeepBrain AI;NVIDIA Foundation Models LAB, MODULABS(NVIDIA基础模型实验室,MODULABS)
本文提出Diffusion-FSCIL,利用冻结的文本到图像扩散模型提取多尺度互补特征作为潜在重放,结合轻量特征蒸馏,在小样本类增量学习中有效缓解灾难性遗忘并超越现有方法。
2025-07-18 cs.AI cs.CV
Bias Redistribution in Visual Machine Unlearning: Does Forgetting One Group Harm Another?
NewraLab;Beihang University(北京航空航天大学);GoerTek Alpha Lab(歌尔Alpha实验室);Skyline University Nigeria(尼日利亚天际线大学);UESTC(电子科技大学);Imperial College London(帝国理工学院)
研究通过CLIP模型在CelebA数据集上探讨机器遗忘对偏见的再分配影响,发现遗忘某一性别群体会将偏见转移至相关群体,揭示嵌入空间中的性别主导结构。
2026-04-09 cs.CV cs.LG
CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks
University of Parma(帕尔马大学)
本文提出CFTS-GAN,通过师生蒸馏、适配器模块、跨域对应损失和冻结判别器策略,同时缓解GAN在少样本持续学习中的过拟合与灾难性遗忘问题。
2024-10-17 cs.CV cs.LG
Listen, Look, and Learn: Learning Without Forgetting through SAM-Audio
University of Washington(华盛顿大学)
提出一种利用SAM-Audio多模态先验的类增量学习方法,通过引导注意力机制和双层蒸馏策略,在音频-视觉场景中缓解灾难性遗忘,性能优于现有方法。
2026-06-09 cs.CV