Lifelong Wandering: A realistic few-shot online continual learning setting
Georgia Institute of Technology(佐治亚理工学院)
在线少样本学习描述了一种设置,其中模型在学习新兴类的同时在数据流上进行训练和评估。虽然在此设置之前的工作已经取得了非常有前途的性能时,从一个单一的室内环境组成的数据流学习的实例分类,我们建议扩展此设置,考虑对象分类的一系列几个室内环境,这是可能发生在应用中,如机器人。重要的是,我们的设置,我们称之为在线Few-Shot持续学习,将灾难性遗忘的充分研究问题注入Few-Shot在线学习范式。在这项工作中,我们基准几个现有的方法和适应基线在我们的设置,并显示存在一个权衡之间的灾难性遗忘和在线性能。我们的发现激发了在这种环境下进行未来工作的需求,这种环境可以在没有灾难性遗忘的情况下实现更好的在线性能。
2022-06-16 cs.CV cs.LG
Synthetic Forgetting without Access: A Few-shot Zero-glance Framework for Machine Unlearning
针对机器遗忘需访问原始训练数据的局限,提出少样本零样本设定下的GFOES框架,通过生成最优擦除样本和两阶段微调,仅用5%原始数据即可实现有效遗忘并保留模型性能。
2025-11-17 cs.AI cs.LG
Latest Advancements Towards Catastrophic Forgetting under Data Scarcity: A Comprehensive Survey on Few-Shot Class Incremental Learning
University of South Australia(南澳大学);University of Ljubljana(卢布尔雅那大学)
本文综述少样本类别增量学习(FSCIL)的最新进展,涵盖其目标、原型修正、预训练模型及语言引导新范式、性能分析与实际应用,提出挑战、解决方案与未来方向,助力应对数据稀缺下的持续学习问题。
2025-02-12 cs.AI cs.CV cs.LG
Few-Shot Class-Incremental Learning
Xi’an Jiaotong University(西安交通大学);Peng Cheng Laboratory(鹏城实验室)
增量学习新类的能力对于开发真实世界的人工智能系统至关重要。在本文中,我们专注于一个具有挑战性的,但实际的Few-Shot类增量学习(FSCIL)问题。FSCIL要求CNN模型从很少的标记样本中增量学习新的类,而不会忘记以前学习的类。为了解决这个问题,我们使用神经气体(NG)网络来表示知识,该网络可以学习和保存由不同类形成的特征流形的拓扑结构。在此基础上,我们提出了拓扑保持知识增量(TOPIC)框架。TOPIC通过稳定NG的拓扑结构来减轻对旧类的遗忘,并通过增长NG并使其适应新的训练样本来改进对Few-Shot新类的表示学习。综合实验结果表明,我们提出的方法在CIFAR100,miniImageNet和CUB200数据集上的性能明显优于其他最先进的类增量学习方法。
2020-04-24 cs.CV cs.LG stat.ML
Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness
The University of Tokyo(东京大学);KAIST(韩国科学技术院)
该研究提出FRAG预测器,基于权重选择性而非距离,结合FRP方法提升LLM再学习鲁棒性,揭示权重选择性对鲁棒性的解释力优于单独距离。
2026-11-03 cs.AI cs.LG
Continual Few-Shot Learning with Adversarial Class Storage
Syracuse University(雪城大学);Northeastern University(东北大学);Colorado School of Mines(科罗拉多矿业学院)
人类有一种非凡的能力,可以快速有效地持续学习新概念,而不会忘记旧知识。虽然深度学习在各种计算机视觉任务上取得了巨大的成功,但它在实现这种人类水平的智能方面面临着挑战。在本文中,我们定义了一个新的问题,称为连续少样本学习,其中任务顺序到达,每个任务都与一些训练样本相关联。我们提出了连续元学习器(CML)来解决这个问题。CML将基于度量的分类和基于记忆的机制以及对抗学习集成到元学习框架中,这导致了理想的特性:1)它可以快速有效地学习处理新任务; 2)它克服了灾难性遗忘; 3)它是模型不可知的。我们在两个图像数据集MiniImageNet和CIFAR 100上进行了广泛的实验。实验结果表明,CML在少样本学习任务的分类准确率方面提供了最先进的性能,而没有灾难性遗忘。
2022-07-10 cs.AI cs.CV cs.LG
Catastrophic Forgetting Resilient One-Shot Incremental Federated Learning
Linköping University(利厄普大学)
OSI-FL通过一次通信轮次生成类别特定嵌入并结合选择性样本保留技术,有效解决增量联邦学习中的通信开销和灾难性遗忘问题。
2026-02-19 cs.DC cs.LG
Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models
KAIST(韩国科学技术院)
本文通过线性注意力模型理论分析,揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件,提出仅更新值矩阵可保持上下文学习能力。
2026-05-31 cs.CL cs.LG stat.ML
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University(纽约大学);NYU Shanghai(上海纽约大学)
Soft Actor-Critic(SAC)是一种基于最大熵强化学习的离线Actor-Critic深度强化学习(DRL)算法。通过将非策略更新与参与者-批评者制定相结合,SAC在一系列连续动作基准任务上实现了最先进的性能,优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验(ERE),一个简单但功能强大的政策外采样技术,强调最近观察到的数据,同时不忘记过去。ERE算法从最近的经验中更积极地采样,并且还对更新进行排序,以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE,并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放(PER)结合起来,PER是一种最初为深度Q学习提出的方案,它基于时间差(TD)误差对数据进行优先级排序。我们发现,SAC+PER可以稍微提高SAC的样本效率性能,但远远低于SAC+ERE。最后,我们提出了一种算法,它集成了ERE和PER,并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Learning Style, Forgetting Semantics: A Case Study of SFT and RFT on Classification Tasks
University of California, Davis(加州大学戴维斯分校)
本研究通过分类任务案例,理论分析了SFT与RFT在语义遗忘上的差异,发现SFT因风格漂移导致遗忘,而RFT保持语义不变,并用模拟验证了该分离现象。
2026-10-05 cs.AI cs.LG stat.ML
Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure
WeBank AI Lab(WeBank人工智能实验室);Universiti Malaya(马来亚大学)
本文提出一种面向垂直联邦学习中隐私保障的标签撤销学习方法,通过流形混合机制生成合成嵌入,实现高效标签撤销与性能恢复。
2026-02-27 cs.CR cs.CV cs.LG
Learning to Forget for Meta-Learning
Seoul National University(首尔国立大学)
少样本学习是一个具有挑战性的问题,其目标是从很少的样本中实现泛化。与模型无关的元学习(MAML)通过将先验知识公式化为跨任务的公共初始化来解决这个问题,然后将其用于快速适应未知任务。然而,强制共享初始化可能导致任务之间的冲突和优化景观上的妥协(任务不期望的)位置,从而阻碍任务自适应。此外,我们观察到,冲突的程度不仅不同的任务,但也层的神经网络。因此,我们提出了任务和逐层衰减妥协的初始化,以减少其影响。由于衰减动态地控制(或选择性地忘记)先验知识对给定任务和每个层的影响,我们将我们的方法命名为L2F(学习忘记)。实验结果表明,该方法提供了更快的适应,并大大提高了性能。此外,L2F可以很容易地应用和改进其他最先进的基于MAML的框架,说明了它的简单性和通用性。
2020-06-16 cs.CV cs.LG stat.ML
Prototypical quadruplet for few-shot class incremental learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对少样本类增量学习中的数据稀缺和灾难性遗忘问题,提出使用改进对比损失和更新类原型的方法,在保持嵌入空间完整的同时提升分类准确性,优于现有最先进算法。
2023-04-08 cs.CV cs.LG
Forget Many, Forget Right: Scalable and Precise Concept Unlearning in Diffusion Models
The University of Arizona(亚利桑那大学);Clemson University(克莱姆森大学);The University of Tulsa(塔尔萨大学)
本文提出了一种名为ScaPre的统一框架,用于在大规模扩散模型中实现精确的概念反学习,通过解决冲突更新、不精确机制和依赖额外数据的问题,提高了反学习的效率和精度。
2026-05-18 cs.CV cs.LG
Geometric-disentangelment Unlearning
uiuc(伊利诺伊大学厄巴纳-香槟分校)
几何解耦遗忘通过理论保证减少LLM遗忘与保留的权衡,提升遗忘提取强度。
2026-02-02 cs.AI cs.CL cs.LG
CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks
University of Parma(帕尔马大学)
本文提出CFTS-GAN,通过师生蒸馏、适配器模块、跨域对应损失和冻结判别器策略,同时缓解GAN在少样本持续学习中的过拟合与灾难性遗忘问题。
2024-10-17 cs.CV cs.LG
An Information Theoretic Approach to Machine Unlearning
University of Cambridge(剑桥大学);California Institute of Technology(加州理工学院)
针对零样本机器学习遗忘场景,提出一种基于信息论和模型几何结构的方法,通过最小化遗忘点邻域梯度实现遗忘并保留性能,在基准测试中与最先进方法竞争力强。
2024-12-02 cs.AI cs.LG stat.ML
Few-Shot Incremental Learning with Continually Evolved Classifiers
Nanyang Technological University(南洋理工大学);Alibaba DAMO Academy(阿里巴巴达摩院)
Few-Shot类增量学习(FSCIL)旨在设计机器学习算法,该算法可以从几个数据点中不断学习新概念,而不会忘记旧类的知识。困难在于来自新类的有限数据不仅导致显著的过拟合问题,而且还加剧了臭名昭著的灾难性遗忘问题。此外,由于训练数据在FSCIL中按顺序出现,学习的分类器只能在单个会话中提供区分信息,而FSCIL要求所有类都参与评估。在本文中,我们从两个方面解决FSCIL问题。首先,我们采用了一种简单但有效的表示和分类器的解耦学习策略,在每个增量会话中只更新分类器,这避免了表示中的知识遗忘。通过这样做,我们证明了预训练的骨干加上非参数类均值分类器可以击败最先进的方法。其次,为了使在各个会话上学习的分类器适用于所有类,我们提出了一种持续进化分类器(CEC),该分类器采用图模型在分类器之间传播上下文信息以进行适应。为了实现CEC的学习,我们设计了一个伪增量学习范式,该范式通过从基础数据集采样数据来逐段构建伪增量学习任务以优化图参数。在CIFAR 100、miniImageNet和Caltech-USCD Birds-200-2011(CUB 200)三个流行的基准数据集上的实验表明,我们的方法显著优于基线,并具有显著的优势。
2021-04-07 cs.AI cs.CV cs.LG
One-shot learning for the long term: consolidation with an artificial hippocampal algorithm
Cerenaut(赛睿诺特)
标准的Few-Shot实验涉及学习有效地按类匹配先前未见过的样本。我们主张,少样本学习应该是长期的,吸收知识为未来,而不忘记以前的概念。在哺乳动物的大脑中,海马体被认为在这一过程中发挥着重要作用,通过快速学习和在短时间内将知识逐步巩固到新皮层。在这项研究中,我们测试了人工海马算法(AHA)是否可以与传统的机器学习(ML)模型一起使用,该模型类似于新皮层进行增量学习,以实现短期和长期的一次性学习。实验结果表明,加入AHA后,系统可以一次性学习并长期巩固知识,而不会发生灾难性遗忘。这项研究是第一个使用海马CLS模型来巩固记忆的例子之一,它向Few-Shot持续学习迈出了一步。
2021-05-11 cs.AI cs.LG cs.NE
Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning
Google Research(谷歌研究院)
针对持续小样本学习的不遗忘问题,提出基于HyperTransformer的递归权重复用方法,无需重放缓冲区等常用机制,可在多种学习场景下保留过往任务知识。
2024-08-18 cs.CV cs.LG
Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning
Concordia University(康考迪亚大学)
提出选择性反向传播(SBP),通过预分配参数子集限制梯度更新,在少样本类增量学习中实现高效适应,兼顾稳定性与低训练成本,并在跨域和长序列场景中保持强性能。
2026-10-06 cs.AI cs.CV cs.LG
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks
Nanjing University(南京大学);Hikvision Research Institute(海康威视研究院)
在我们不断变化的世界中,新的阶级经常出现,例如,社交媒体中的新兴话题和电子商务中的新型产品。模型应该识别新类,同时保持对旧类的可区分性。在严重的情况下,只有有限的新实例可用于增量更新模型。识别Few-Shot新类而不忘记旧类的任务称为Few-Shot类增量学习(FSCIL)。在这项工作中,我们提出了一个新的范式FSCIL元学习的基础上学习多阶段增量任务(LIMIT),合成假FSCIL任务的基础数据集。伪任务的数据格式与“真实”增量任务一致,通过元学习可以为不可见任务建立可泛化的特征空间。此外,LIMIT还构建了一个基于Transformer的标定模块,将旧的类分类器和新的类原型标定到相同的尺度上,填补了语义鸿沟。校准模块还利用集合到集合函数自适应地将特定于实例的嵌入上下文化。LIMIT有效地适应新类,同时防止遗忘旧类。在三个基准数据集(CIFAR100,miniImageNet和CUB200)和大规模数据集上的实验,即,ImageNet ILSVRC 2012验证了LIMIT实现了最先进的性能。
2022-08-19 cs.CV cs.LG
Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models
Independent Researcher, USA(美国独立研究者);Indiana University at Bloomington, United States(印第安纳大学布卢明顿分校);Independent Researcher, Taiwan(台湾独立研究者);National Taiwan University, Taiwan(台湾国立大学);Boise State University, United States(博伊西州立大学);National Yang Ming Chiao Tung University, Taiwan(台湾阳明交通大学)
本文提出基于冻结基础模型与任务特定LoRA模块的小样本持续学习方法,有效解决3D脑部MRI肿瘤分割与脑年龄估计任务中的灾难性遗忘问题。
2026-02-26 cs.CV cs.LG eess.IV
Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt
University of Maryland(马里兰大学)
提出注意力感知自适应提示(ASP)框架,通过任务不变与任务特定提示结合信息瓶颈目标,解决少样本类增量学习的过拟合与遗忘问题,并在三个基准上超越现有方法。
2024-07-17 cs.AI cs.CV cs.LG
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
现有的持续关系学习(CRL)方法依赖于大量的标记训练数据来学习新的任务,这在实际场景中很难获得,因为获得大量具有代表性的标记数据通常是昂贵和耗时的。因此,该模型有必要学习新的关系模式与很少的标记数据,同时避免灾难性遗忘以前的任务知识。在本文中,我们制定了这个具有挑战性的,但实际的问题,连续Few-Shot关系学习(CFRL)。基于新出现的Few-Shot任务的学习通常会导致与先前任务的学习分布不兼容的特征分布的发现,我们提出了一种基于嵌入空间正则化和数据增强的新方法。我们的方法推广到新的Few-Shot任务,并通过对关系嵌入施加额外的约束和以自监督的方式添加额外的{相关}数据来避免对先前任务的灾难性遗忘。通过大量的实验,我们证明了我们的方法可以显着优于以前的国家的最先进的方法在CFRL任务设置。
2022-03-04 cs.CL cs.LG
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University(清华大学);Tsinghua-Peking Center for Life Sciences(清华-北大生命科学联合中心)
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习,但很少有研究考虑到Few-Shot持续学习(FSCL)这一新的环境,即需要最大限度地减少对旧任务的灾难性遗忘,并逐步提高Few-Shot泛化能力。在本文中,我们提供了第一个系统的研究FSCL,并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察,即任务序列的持续学习不可避免地干扰了Few-Shot泛化,这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发,提出了一种方法:(1)受元可塑性和快/慢突触的生物学模型的启发,相互依赖地更新持续学习和少样本学习的一对快/慢权重,以理清它们的不同目标;(2)用脑启发的两个--步骤合并策略,用于在快速权重中学习任务序列而不会忘记,同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明,我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Mechanism-Guided Selective Unlearning for RLVR-Induced Reasoning
School of Engineering, Institute of Science Tokyo, Japan(东京科学研究院工程学院);College of Control Science and Engineering, Zhejiang University, China(浙江大学控制科学与工程学院);Department of Electrical and Computer Engineering, National University of Singapore, Singapore(新加坡国立大学电子与计算机工程系)
提出MAST方法,通过机制引导选择性更新参数,在遗忘RLVR诱导的推理行为时,显著降低对保留性能的附带损害。
2026-06-18 cs.AI cs.LG
Forward Compatible Few-Shot Class-Incremental Learning
Nanjing University(南京大学);Hikvision Research Institute(海康威视研究院)
在我们这个动态变化的世界中,新的类经常出现,例如,认证系统中的新用户,并且机器学习模型应该识别新类而不会忘记旧类。当新的类实例不足时,这种情况变得更具挑战性,这被称为Few-Shot类增量学习(FSCIL)。目前的方法通过使更新后的模型与旧模型相似来处理增量学习。相比之下,我们建议前瞻性地学习,为未来的更新做准备,并为FSCIL提出ForwArd兼容培训(FACT)。前向兼容性要求未来的新类可以根据当前阶段的数据轻松地合并到当前模型中,我们试图通过为未来的新类保留嵌入空间来实现这一点。详细地说,我们分配虚拟原型来挤压已知类的嵌入并为新类保留。此外,我们预测可能出现的新类别,并为更新过程做好准备。虚拟原型允许模型在未来接受可能的更新,这些更新充当分散在嵌入空间中的代理,以在推理过程中构建更强大的分类器。FACT有效地整合了具有向前兼容性的新类,同时阻止了对旧类的遗忘。大量的实验验证了FACT的最先进的性能。代码可在:https://github.com/zhoudw-zdw/CVPR22-Fact
2022-03-14 cs.CV cs.LG
A Cognac Shot To Forget Bad Memories: Corrective Unlearning for Graph Neural Networks
IIIT Hyderabad(海得拉巴国际信息技术研究所);University of Stuttgart(斯图加特大学)
针对图数据错误经消息传递传播的问题,本文提出 Cognac 纠正性图遗忘方法,仅识别 5% 操纵数据即可有效消除其影响,性能优于从头重训且效率提升 8 倍。
2025-06-09 cs.AI cs.CR cs.LG
Statistical Roughness-Informed Machine Unlearning
Electrical Engineering and Computer Science, University of California, Merced, CA 95343, USA(电气工程与计算机科学系,加州大学默塞德分校);Department of Applied Mathematics, University of California, Merced, CA 95343, USA(应用数学系,加州大学默塞德分校);Department of Innovation and Research, North Carolina State University, Raleigh, NC, USA(创新与研究系,北卡罗来纳州立大学);Automation (MESA) Lab, Department of Mechanical Engineering, School of Engineering, University of California, Merced, CA 95343, USA(自动化(MESA)实验室,机械工程系,工程学院,加州大学默塞德分校)
SRAGU通过统计粗糙度自适应梯度方法提升深度学习模型在大规模或对抗性删除下的稳定性与效用
2026-02-10 cs.LG
Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning
University of California, Irvine(加州大学尔湾分校);Purdue University Northwest(普渡大学西北分校)
R2F通过从LoRA适配器更新中恢复梯度方向,实现高效LLM反学习,无需完整微调或内部参数访问。
2025-12-08 cs.CL cs.LG
Few-Shot Class-Incremental Learning with Prior Knowledge
East China Normal University(华东师范大学);DiDi(滴滴);Shanghai Jiao Tong University(上海交通大学);Tsinghua Berkeley Shenzhen Institute(清华伯克利深圳学院);Toronto Metropolitan University(多伦多都会大学)
针对小样本类别增量学习的灾难性遗忘与过拟合问题,提出LwPK方法,利用后续增量类少量无标注数据的先验知识,通过聚类生成伪标签并与基类联合训练分配嵌入空间,有效提升模型抗遗忘能力并经理论验证。
2024-02-02 cs.AI cs.LG
An Efficient Memory Module for Graph Few-Shot Class-Incremental Learning
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学)
针对图少样本类增量学习中的高内存消耗和灾难性遗忘问题,提出高效记忆方法Mecoin,通过结构化记忆单元和知识蒸馏模块缓存并更新类别原型,显著提升了模型的准确率并降低了遗忘率。
2024-11-11 cs.AI cs.LG
A Hippocampus Model for Online One-Shot Storage of Pattern Sequences
Ruhr Universität Bochum(波鸿鲁尔大学)
我们提出了一个计算模型的基础上的CRISP理论(内容表示,内在序列和模式完成)的海马,允许连续存储模式序列在线一次拍摄的方式。CA 3不是将序列存储在CA 3中,而是提供与输入序列异源关联的预训练序列,这允许系统执行一次性学习。因此,短时间尺度上的可塑性只发生在CA 3的传入和传出连接中。存储的序列可以稍后从单个提示模式中调用。我们确定子区域DG进行的模式分离是必要的存储序列,包含相关的模式。该模型的一个设计原则是,我们使用一个单一的学习规则命名为Hebbiand-escent训练系统的所有部分。赫布血统有一个固有的遗忘机制,允许系统不断记住新的模式,同时忘记早期存储的模式。该模型显示了一个合理的行为时,提出了嘈杂的和新的模式,并具有相当高的容量约40%的神经元在CA 3的数量。我们的模型的一个显着的属性是,它是能够“自举”(改善)本身没有外部输入的过程中,我们称之为“梦想”。除了人工生成的输入序列,我们还表明,该模型与编码的手写数字或自然图像序列。据我们所知,这是海马体的第一个模型,它允许以一次性方式在线存储相关的模式序列,而无需巩固过程,稍后可以立即回忆起来。
2019-05-30 cs.LG cs.NE q-bio.NC