Generative Feature Replay with Orthogonal Weight Modification for Continual Learning
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
智能代理连续学习和记住多个任务的能力对于实现人工通用智能至关重要。为了克服神经网络顺序学习过程中由于数据非独立性而导致的灾难性遗忘,人们提出了许多持续学习方法。在本文中,我们专注于类增量学习,一个具有挑战性的CL场景。对于这种情况,生成重放是一种很有前途的策略,它为以前的任务生成并重放伪数据,以减轻灾难性遗忘。然而,对于相对复杂的数据,很难连续地训练生成模型。基于最近提出的正交权重修改(OWM)算法,该算法在学习新任务时可以近似保持先前学习的特征不变,我们提出1)使用生成模型重放倒数第二层特征; 2)利用自监督辅助任务进一步增强特征的稳定性。几个数据集上的实验结果表明,我们的方法总是取得了显着的改善,而强大的OWM传统的生成重放总是导致负面影响。同时,我们的方法击败了几个强大的基线,包括一个基于真实数据存储的基线。此外,我们进行实验,研究为什么我们的方法是有效的。
2020-09-12 cs.LG stat.ML
Generative Negative Replay for Continual Learning
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学)
持续学习是智力的一个重要方面,也是解决许多现实问题的必要能力。控制灾难性遗忘(持续学习的阿喀琉斯之踵)的最有效策略之一是存储部分旧数据,并与新经验交叉重放(也称为重放方法)。生成式重放(Generative replay)使用生成模型按需提供重放模式,特别有趣,然而,它主要在简化的假设下被证明是有效的,例如简单的场景和低维数据。在本文中,我们表明,虽然生成的数据通常不能提高旧类的分类精度,但它们可以有效地作为负例(或拮抗剂),以更好地学习新类,特别是当学习经验很小时,包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景(CORe 50和ImageNet-1000)上进行了验证,这些场景由高维数据和大量训练经验组成:现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models
National University of Singapore(新加坡国立大学);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究所)
针对文本到图像模型可能被滥用以生成有害内容的问题,提出基于持续学习的“选择性遗忘”方法,实现可控遗忘,可应用于变分自编码器和扩散模型,实验证明能有效遗忘多种概念。
2023-10-17 cs.AI cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology(麻省理工学院);SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题,但它需要大量内存,甚至更糟的是,在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发,我们提出了深度生成重播,这是一种新颖的框架,具有合作双模型架构,由深度生成模型(“生成器”)和任务求解模型组成(“求解器”)。只有这两个模型,以前任务的训练数据可以很容易地被采样,并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Continual Learning of Generative Models with Limited Data: From Wasserstein-1 Barycenter to Adaptive Coalescence
Arizona State University(亚利桑那州立大学)
对于数据和计算能力有限的网络边缘节点来说,学习生成模型具有挑战性。由于类似环境中的任务具有模型相似性,因此可以利用来自云或其他边缘节点的预训练生成模型。呼吁最佳运输理论适合Wasserstein-1生成对抗网络(WGAN),这项研究的目的是开发一个框架,系统地优化生成模型的持续学习使用本地数据在边缘节点,同时利用预训练生成模型的自适应合并。具体而言,通过将来自其他节点的知识转移视为以其预训练模型为中心的Wasserstein球,生成模型的持续学习被转换为约束优化问题,该问题被进一步简化为Wasserstein-1重心问题。提出了一种两阶段的方法:1)离线计算预训练模型的重心,并以位移插值为理论基础,通过“递归”WGAN结构寻找自适应重心; 2)离线计算的重心作为Meta,模型初始化用于持续学习,然后执行快速自适应以使用目标边缘节点处的局部样本来找到生成模型。最后,提出了一种基于权值和量化阈值联合优化的权值三值化方法,进一步压缩生成模型。
2021-01-22 cs.LG eess.IV
Continual Learning with Invertible Generative Models
Sapienza University of Rome(罗马大学)
每当神经网络在接受新任务训练时覆盖过去的知识时,就会发生灾难性遗忘(CF)。处理CF的常见技术包括权重的正则化(使用例如,它们对过去任务的重要性),以及排练策略,其中网络不断地根据过去的数据进行重新训练。生成模型也适用于后者,以便拥有无穷无尽的数据来源。在本文中,我们提出了一种新的方法,结合了正则化和基于生成的排练方法的优势。我们的生成模型包括一个归一化流(NF),一个概率和可逆的神经网络,在网络的内部嵌入上训练。通过在整个训练过程中保持单个NF,我们表明我们的内存开销保持不变。此外,利用NF的可逆性,我们提出了一种简单的方法来正则化网络的嵌入相对于过去的任务。我们表明,我们的方法表现良好,相对于国家的最先进的方法在文献中,有界的计算能力和内存开销。
2022-12-27 cs.LG stat.ML
Brain-inspired feature exaggeration in generative replay for continual learning
University of Bath(巴斯大学)
灾难性遗忘以前学习过的类是成功开发可靠和准确的生成持续学习模型的主要障碍之一。当学习新的类时,以前学习的类的内部表示通常会被覆盖,导致模型对早期类的“记忆”随着时间的推移而丢失。神经科学的最新发展揭示了一种方法,通过这种方法,大脑可以避免自己的记忆干扰。通过有针对性地夸大相似但相互竞争的记忆特征之间的差异,大脑可以更容易地区分和回忆它们。在本文中,这种夸张的应用,通过属于竞争类的重放样本的排斥,探索。通过“重建排斥”损失的发展,本文提出了一种新的最先进的性能,在类增量学习数据集CIFAR100中的早期类的分类。
2021-11-23 cs.AI cs.LG cs.NE
Efficient Feature Transformations for Discriminative and Generative Continual Learning
Duke University(杜克大学);Facebook AI(脸书人工智能研究院);IIT Kanpur(坎普尔印度理工学院)
随着神经网络越来越多地应用于现实世界的应用,解决分布转移和顺序任务学习而不遗忘的机制至关重要。结合网络扩展的方法通过自然地增加用于学习新任务的模型容量,同时避免灾难性遗忘而显示出希望。然而,这些类型的方法中的许多方法的附加参数的数量的增长在较大规模上可能在计算上是昂贵的,有时是令人望而却步的。相反,我们提出了一个简单的特定于任务的持续学习,我们称之为有效的特征转换(EFT)的特征映射转换策略。这些EFT为学习新任务提供了强大的灵活性,只需向基础架构添加最少的参数即可实现。我们进一步提出了一个特征距离最大化策略,它显着提高了类增量设置中的任务预测,而不需要昂贵的生成模型。我们通过一组广泛的实验来证明我们的方法在区分性(CIFAR-100和ImageNet-1 K)和生成性(LSUN,CUB-200,Cats)任务序列中的有效性和效率。即使是低个位数的参数增长率,EFT也可以在广泛的设置中胜过许多其他持续学习方法。
2021-03-25 cs.AI cs.CV cs.LG
Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal
University of Trento(特伦托大学);University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
针对神经符号持续学习中现有方法易灾难性遗忘、易出现推理捷径的问题,提出概念级持续学习策略COOL,在三个新基准上实现了其他策略无法达到的持续高性能。
2023-12-19 cs.AI cs.LG
Adapt & Align: Continual Learning with Generative Models Latent Space Alignment
Warsaw University of Technology(华沙理工大学);NCBR Ideas;Tooploox
提出Adapt & Align方法,通过生成模型潜在空间对齐,分两步更新模型以缓解持续学习中的灾难性遗忘,并可用于分类等下游任务。
2023-12-21 cs.LG
Continual Learning of New Sound Classes using Generative Replay
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila--Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Adobe Research(奥多比研究院)
持续学习包括在一系列数据集上递增地训练模型,并在所有数据集的联合上进行测试。在本文中,我们研究了声音分类问题的持续学习,我们希望改进已经训练好的模型来学习新的声音类别。在实践中,人们并不想保留所有过去的训练数据并从头开始重新训练,但是天真地用新数据(集)更新模型会导致已经学习的任务的退化,这被称为“灾难性遗忘”。“我们开发了一个生成重放程序来生成训练音频频谱图数据,而不是保留旧的训练数据集。我们表明,通过逐步完善的分类器与生成重放一个发电机,是所有以前的训练数据的大小的4%匹配的性能,完善的分类器保持20%的所有以前的训练数据。因此,我们可以扩展经过训练的声音分类器来学习新的类,而不必保留以前使用的数据集。
2019-06-03 cs.LG cs.SD eess.AS
Logarithmic Continual Learning
Warsaw University of Technology(华沙理工大学);Tooploox;Jagiellonian University(雅盖隆大学)
我们引入了一个神经网络架构,该架构在不断学习的模型的生成排练中,以数学方式减少了自排练步骤的数量。在持续学习(CL)中,训练样本进入后续任务,并且训练好的模型一次只能访问单个任务。为了重放以前的样本,当代CL方法引导生成模型,并用当前和再生的过去数据的组合递归地训练它们。由于在每个任务之后重新生成相同的过去样本,这种重复导致多余的计算,并且重建质量连续降低。在这项工作中,我们解决了这些限制,并提出了一个新的生成排练架构,需要在最多对数数量的再培训每个样本。我们的方法利用分配过去的数据在一组生成模型,使他们中的大多数不需要再训练后,一个~任务。我们的对数持续学习方法的实验评估显示了我们的方法相对于最先进的生成排练方法的优越性。
2022-01-17 cs.LG
Recall-Oriented Continual Learning with Generative Adversarial Meta-Model
Inha University(仁荷大学)
针对持续学习的稳定性-可塑性困境,提出受脑机制启发的双层面向回忆持续学习框架及生成对抗元模型GAMM,通过增量学习任务参数而非样本,在两类场景下兼顾新知识学习与旧知识稳定性。
2024-03-05 cs.AI cs.CV cs.LG
Self-recovery of memory via generative replay
University of Pennsylvania(宾夕法尼亚大学)
大脑的一个非凡能力是它在离线期间自主重组记忆的能力。记忆重放是一种被假设为生物离线学习的基础的机制,它激发了在持续学习环境中减少人工神经网络遗忘的离线方法。一个记忆效率和神经合理的方法是生成重放,它在持续学习基准上实现了最先进的性能。然而,与大脑不同的是,标准的生成回放在离线训练自己的回放样本时不会自我重组记忆。我们提出了一种新的架构,增强了自适应的,类似大脑的能力,自主恢复记忆的生成重放。我们在几个持续学习任务和环境中展示了该架构的这种能力。
2023-01-15 cs.AI cs.LG cs.NE
Continual Learning with Fully Probabilistic Models
Fulda University of Applied Sciences(富尔达应用科学大学)
我们提出了一种基于机器学习的完全概率(或生成)模型的持续学习(CL)方法。与之相反,例如,GANs是“生成”的,因为它们可以生成样本,完全概率模型旨在直接对数据分布进行建模。因此,它们提供了与持续学习高度相关的功能,例如密度估计(离群值检测)和样本生成。作为生成式持续学习的一种具体实现,我们提出了高斯混合重放(GMR)算法。GMR是使用高斯混合模型(GMM)实例用于生成器和分类器功能的伪排练方法。依赖于MNIST,FashionMNIST和Devanagari基准,我们首先展示了无监督的任务边界检测GMM密度估计,我们也用它来拒绝不典型的生成样本。此外,我们证明了GMR能够以cGAN的方式进行类条件采样。最后,我们验证了GMR,尽管它的结构简单,实现了最先进的性能在非常有竞争力的时间和内存复杂性的常见类增量学习问题。
2021-04-19 cs.LG stat.ML
Deep Generative Dual Memory Network for Continual Learning
University of Southern California(南加利福尼亚大学)
尽管深度学习取得了进展,但神经网络只能在联合训练时学习多个任务。当任务按顺序到达时,他们会在之前学习的任务上失去表现。这种被称为灾难性遗忘的现象是神经网络从输入数据中不断学习之前需要克服的一个基本挑战。在这项工作中,我们从人类记忆中获得灵感,开发一种能够从连续传入的任务中不断学习的架构,同时避免灾难性遗忘。具体来说,我们的贡献是:(i)模拟人类大脑中的互补学习系统(海马和新皮层)的双重记忆架构,(ii)通过生成重放过去的经验来巩固记忆,(iii)通过实验证明生成重放和双重记忆的优势,以及(iv)即使对于低容量模型,也能提高对挑战性任务的性能保持。我们的架构显示了哺乳动物记忆的许多特征,并提供了关于睡眠和学习之间联系的见解。
2018-05-25 cs.LG
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science(印度科学研究院)
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上,大多数现有的人工神经网络(ANN)模型都失败了,而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题,但它需要大量的内存,并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型,以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长,以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘,并在视觉持续学习基准测试中获得了最先进的结果,如MNIST,Permuted MNIST(QMNIST),CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果,如SVHN,Fashion-MNIST,EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
BinPlay: A Binary Latent Autoencoder for Generative Replay Continual Learning
Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一个二进制潜在空间自动编码器架构排练训练样本的持续学习的神经网络。用新数据扩展模型知识而不忘记先前学习的样本的能力是持续学习的基本要求。现有的解决方案通过从存储器重放过去的数据来解决它,这对于不断增长的训练数据是不可持续的,或者通过用生成模型来重建过去的样本来解决它,生成模型被训练为泛化超过训练数据,因此错过了各个样本的重要细节。在本文中,我们采取了两全其美,并介绍了一种新的生成排练方法,称为BinPlay。它的主要目标是找到一个质量保持编码过去的样本到预先计算的二进制代码生活在自动编码器的二进制潜在空间。由于我们仅根据训练样本的时间索引来参数化用于预计算代码的公式,因此自动编码器能够实时计算排练样本的二进制嵌入,而无需将它们保存在内存中。对三个基准数据集的评估显示,BinPlay与竞争性生成重放方法相比,准确性提高了两倍。
2020-11-25 cs.LG
Task-agnostic Continual Learning with Hybrid Probabilistic Models
New York University(纽约大学);DeepMind(深度思维);Google Research(谷歌研究院)
不断学习新任务而不忘记不断变化的数据分布对于现实世界的问题至关重要,但对于现代深度学习来说极具挑战性。在这项工作中,我们提出了HCL,一个混合生成判别方法的持续学习分类。我们用一个标准化的流程来建模每个任务和每个类的分布。该流用于学习数据分布,执行分类,识别任务更改并避免遗忘,所有这些都利用了归一化流模型唯一启用的可逆性和精确可能性。我们使用流的生成能力,以避免灾难性遗忘通过生成重放和一种新的功能正则化技术。对于任务识别,我们使用最先进的异常检测技术的基础上测量模型的统计数据的典型性。我们展示了HCL在一系列持续学习基准测试(如split-MNIST、split-CIFAR和SVHN-MNIST)上的强大性能。
2021-06-24 cs.LG stat.ML
Continual Learning for Sentence Representations Using Conceptors
Jacobs University Bremen(不来梅雅各布大学);University of Pennsylvania(宾夕法尼亚大学)
句子的分布式表示在自然语言处理任务中已经变得无处不在。在本文中,我们考虑一个持续学习的情况下,句子表示:给定一个序列的语料库,我们的目标是优化句子编码器相对于新的语料库,同时保持其准确性的旧语料库。为了解决这个问题,我们建议初始化句子编码器的帮助下,语料库无关的功能,然后依次更新句子编码器使用布尔运算的概念矩阵学习语料库相关的功能。我们评估我们的语义文本相似性任务的方法,并表明我们提出的句子编码器可以不断学习新的语料库的功能,同时保留其能力,以前遇到的语料库。
2019-04-18 cs.LG stat.ML
Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们提出了一种新的无监督生成式持续学习方法,通过调整变分自动编码器的潜在空间。深度生成模型与其他神经结构一样,也会遭受灾难性遗忘。最近的生成式持续学习工作解决了这个问题,并试图从新的数据中学习,而不会忘记以前的知识。然而,这些方法通常专注于人工场景,其中示例在后续数据部分之间几乎没有相似性-这一假设在持续学习的实际应用中是不现实的。在这项工作中,我们确定了这一限制,并将生成性持续学习的目标作为知识积累的任务。我们通过不断调整新数据的潜在表示来解决这个问题,我们称之为额外潜在空间中的条带,其中示例独立于其源任务进行编码。此外,我们还介绍了一种控制遗忘过去数据的方法,该方法简化了这一过程。在标准的持续学习基准之上,我们提出了一种新的具有挑战性的知识整合方案,并表明所提出的方法在所有实验和额外的现实生活中的评估中的表现都超过了最先进的两倍。据我们所知,多波段VAE是第一种显示生成式持续学习中向前和向后知识转移的方法。
2022-06-03 cs.CV cs.LG
Continual Learning with Dirichlet Generative-based Rehearsal
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
提出Dirichlet持续学习(DCL)方法,利用Dirichlet分布建模CVAE潜变量并引入JSKD知识蒸馏,有效解决面向任务对话系统持续学习中的灾难性遗忘问题。
2023-09-13 cs.AI cs.CL cs.LG
Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning
Duke University(杜克大学)
零样本学习(Zero-shot learning,简称ZRL)已被证明是一种很有前途的方法,可以通过利用类属性将模型推广到训练过程中看不到的类别,但挑战仍然存在。最近,使用生成模型来对抗训练期间出现的对类别的偏见的方法推动了ZSL的发展水平,但这些生成模型可能速度很慢,或者训练时计算成本很高。此外,虽然许多以前的CNOL方法假设一次性适应看不见的类,但实际上,世界总是在变化,需要不断调整部署的模型。没有准备好处理连续数据流的模型很可能会经历灾难性遗忘。我们提出了一个元连续零样本学习(MCSRL)的方法来解决这两个问题。特别是,通过将属性的自选通和缩放类归一化与基于元学习的训练配对,我们能够超越最先进的结果,同时能够比昂贵的基于生成的方法更快地训练我们的模型($>100\times$)。我们证明了这一点,通过在五个标准的ARML数据集(CUB,aPY,AWA 1,AWA 2和SUN)在广义零样本学习和广义连续零样本学习设置进行实验。
2021-02-23 cs.AI cs.CV cs.LG
Dream2Learn: Structured Generative Dreaming for Continual Learning
PeRCeiVe Lab, University of Catania, Italy(卡塔尼亚大学PeRCeiVe实验室)
Dream2Learn通过生成梦中类别来提升持续学习的适应性,利用内部合成数据自我训练,实现更好的知识迁移和泛化能力。
2026-03-02 cs.AI cs.LG
Online Continual Learning with Maximally Interfered Retrieval
KU Leuven(鲁汶大学);Mila(米拉研究所)
持续学习,即学习代理面临永无止境的数据流的设置,仍然是现代机器学习系统的巨大挑战。特别是在线或“单次通过数据”设置最近作为难以处理的自然设置而受到关注。基于重放的方法,无论是生成的还是从存储的存储器,已经被证明是用于持续学习的有效方法,在许多标准基准中匹配或超过现有技术。这些方法通常依赖于从重放存储器或从生成模型中随机选择样本,这是次优的。在这项工作中,我们考虑一个控制采样的记忆重放。我们检索受干扰最大的样本,即其预测将受到可预见参数更新的最大负面影响。我们展示了一个公式,这个采样标准的生成重放和经验重放设置,产生一致的增益性能和大大减少遗忘。我们在https://github.com/optimass/Maximally_Interfered_Retrieval上发布了我们的方法的实现。
2019-10-29 cs.LG stat.ML
Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
Department of Computational Intelligence, SRM Institute of Science and Technology(计算智能系,SRM科学与技术学院)
本文提出R2R无监督持续学习框架,通过簇级不确定性反馈和生成回放机制在多个数据集上显著提升知识保留能力并取得领先性能。
2025-05-09 cs.AI cs.CV cs.LG
Looking through the past: better knowledge retention for generative replay in continual learning
IDEAS NCBR;Gdańsk University of Technology(格但斯克工业大学);Warsaw University of Technology(华沙工业大学);Jagiellonian University(雅盖隆大学);Tooploox;Computer Vision Center(计算机视觉中心);Universitat Autònoma Barcelona(巴塞罗那自治大学)
本文针对持续学习中生成回放难以处理复杂数据的问题,提出潜在空间蒸馏、潜在匹配和生成循环三项改进,显著提升了生成回放在复杂场景下的知识保留能力。
2023-09-18 cs.AI cs.CV cs.LG
Unified Probabilistic Deep Continual Learning through Generative Replay and Open Set Recognition
Goethe University(歌德大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Yonsei University(延世大学)
众所周知,现代深度神经网络在面对未知数据实例时是脆弱的,并且识别后者仍然是一个挑战。虽然持续学习系统不可避免地会遇到这些看不见的概念,但相应的文献似乎主要集中在减轻对学习表征的灾难性干扰上。在这项工作中,我们引入了一种概率方法,该方法基于变分推理在单个深度自动编码器模型中连接这些观点。具体而言,我们建议通过在正确分类的数据点的基础上拟合高密度区域来约束近似后验。这些界限具有双重目的:可以将看不见的未知分布数据与已经训练的已知任务区分开来,以实现强大的应用程序。同时,为了保留已经获得的知识,生成重放过程可以被缩小到严格分布内的样本,以便显著减轻灾难性干扰。
2022-04-01 cs.CV cs.LG cs.NE
Bayesian Flow Networks in Continual Learning
IDEAS NCBR(IDEAS国家计算智能研究中心);Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Autonomous University of Barcelona(巴塞罗那自治大学)
本文探究贝叶斯流网络(BFN)在持续学习中的适用性,通过实验验证其在非平稳数据上的生成能力。
2023-10-18 cs.CV cs.LG stat.ML
Continual Learning via Inter-Task Synaptic Mapping
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology, A*Star(新加坡科技研究局新加坡制造技术研究院)
从流任务中学习会导致模型灾难性地删除它从以前的事件中吸收的独特体验。虽然诸如LWF、SI、EWC之类的正则化技术已经被证明是通过在接受新概念时约束旧任务的重要参数不改变来克服这个问题的有效途径,但是这些方法不利用可以共享给现有神经元的每个任务的公共信息。因此,它们不能很好地扩展到大规模的问题,因为参数重要性变量会迅速爆炸。提出了一种任务间突触映射(ISYANA)来支持持续学习的知识保持。ISYANA结合了任务与神经元的关系以及概念与概念的关系,从而防止神经元在接受相关概念的同时接受不同的概念。在基准持续学习问题的数值研究已经进行了比较突出的持续学习算法。ISYANA展示了与艺术状态相比具有竞争力的性能。ISYANA的代码在\url{https://github.com/ContinualAL/ISYANAKBS}中提供。
2021-06-26 cs.AI cs.LG
Continual Learning without Continual Training
Imperial College London(帝国理工学院)
本文提出用持续推理替代持续训练,通过冻结的PFN模型在潜在概念空间进行上下文贝叶斯推理,仅扩展证据集适应新类别,无需梯度更新,在增量学习数据集上实现竞争性能并学习可解释概念。
2026-10-08 cs.LG
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California(南加州大学)
针对严格类增量持续学习的遗忘难题,提出基于时间感知正则化的生成式经验重放方法,动态微调三类训练目标,在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Continual Learning for Generative AI: From LLMs to MLLMs and Beyond
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences(中国科学院香港科学与创新研究院人工智能与机器人中心);School of Computer and Information Engineering, Xiamen University of Technology(厦门理工大学计算机与信息工程学院)
本文针对生成式AI模型的灾难性遗忘问题,全面综述主流生成式模型(含LLM、MLLM等)的持续学习方法,将其分为三类范式并分析学习设置,为该领域提供深入见解。
2025-08-24 cs.CV cs.LG
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College(达特茅斯学院)
本文提出一种受神经科学启发的持续学习框架,通过比较预测编码与反向传播策略,展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Variational Continual Learning
Department of Engineering, University of Cambridge(剑桥大学工程系)
本文发展了变分连续学习(VCL),一个简单但通用的框架,融合在线变分推断(VI)和蒙特卡罗VI的神经网络的最新进展。该框架可以在复杂的持续学习环境中成功地训练深度判别模型和深度生成模型,在复杂的持续学习环境中,现有的任务随着时间的推移而发展,全新的任务出现。实验结果表明,VCL在各种任务上的表现优于最先进的持续学习方法,以全自动的方式避免了灾难性遗忘。
2018-05-20 cs.LG stat.ML
Continual Learning for non-stationary regression via Memory-Efficient Replay
atlanTTic - ICLAB - Universidade de Vigo, Escola de Enxeñaría de Telecomunicación, Campus Universitario(atlanTTic - ICLAB - 维戈大学,电信工程学院,大学校区);Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)(加利西亚电信技术中心(GRADIANT));Facultade de Informática, Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学计算机学院)
本文提出了一种基于原型的生成回放框架,用于在线任务无关的持续回归,通过自适应输出空间离散化模型减少遗忘并提高稳定性。
2026-02-10 cs.LG stat.ML
Caption, Create, Continue: Continual Learning with Pre-trained Generative Vision-Language Models
International Institute of Information Technology Bangalore (IIITB), India(国际信息技术研究所(班加罗尔));Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR), Singapore(信息与通信研究所(A*STAR))
针对持续学习依赖大回放缓冲区或标注数据的问题,提出CLTS框架,利用预训练视觉-语言模型(BLIP和Stable Diffusion)生成文本和样本,无需存储真实数据,提升准确率达54%且内存效率高63倍。
2025-11-13 cs.LG
Continual Density Ratio Estimation in an Online Setting
University of Bristol(布里斯托大学);Amazon Research(亚马逊研究院)
在具有流数据的在线应用中,了解训练或测试集偏离原始数据集的程度对模型的性能至关重要。但是,我们可能无法访问数据流中的历史样本。为了应对这种情况下,我们提出了一种新的方法,连续密度比估计(CDRE),用于估计的初始和当前分布($p/q_t$)的数据流在迭代的方式,而不需要存储过去的样本,其中$q_t$转移远离$p$随着时间的推移$t$的密度比。我们证明了CDRE在估计分布之间的分歧方面可以比标准DRE更准确,尽管不需要原始分布的样本。CDRE可以应用于在线学习的场景,例如重要性加权协变量偏移,跟踪数据集变化以更好地做出决策。此外,(CDRE)还支持在持续学习的设置下对生成模型进行评估。据我们所知,目前还没有一种方法可以在不存储原始分布样本的情况下,在持续学习中评估生成模型。
2021-03-09 cs.LG stat.ML
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales(泰雷兹)
人类一生都在学习。他们从一系列的学习经验中积累知识,记住基本概念,而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案,如分类或回归。特别是,如果他们接受新的培训,他们会忘记过去的学习经验。因此,人工神经网络往往不适合处理现实生活中的设置,如一个笨拙的机器人,必须在线学习,以适应新的情况,克服新的问题,而不会忘记它过去的学习经验。持续学习(CL)是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识,而不会忘记。在这篇论文中,我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本,以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷,从而使学习不会忘记任务设置的顺序。我们表明,他们是非常有前途的方法,持续学习。值得注意的是,它们能够用新知识重新评估过去的数据,并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
CLoG: Benchmarking Continual Learning of Image Generation Models
Peking University(北京大学)
本文提出将持续学习研究从分类任务转向生成模型持续学习(CLoG),系统分析其独特挑战,适配三类现有CL方法并构建多样化基准,为终身学习范式下的AIGC发展提供支撑。
2024-06-07 cs.AI cs.CV cs.LG
Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国大学);University of Rochester(罗切斯特大学)
本文提出一种诊断框架,利用稀疏自编码器分析概念层面遗忘,发现遗忘主要源于表征可访问性变化而非信息擦除。
2026-05-10 cs.AI cs.LG
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点,但主要的问题仍然没有答案:灾难性遗忘的根本原因是什么?在这项工作中,我们的目标是回答这个问题,提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说,我们设计了一组经验评估,比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到,通过判别模型学习的表征比生成模型更容易发生灾难性遗忘,这为开发用于持续学习的生成模型的优势提供了新的视角。最后,我们的工作开辟了新的研究途径和可能性,采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset
Trinity College Dublin(都柏林信任学院)
针对异构联邦持续学习中生成重放易遗忘、客户端任务差异导致过拟合的问题,提出STAMP方法,通过模型无关原型筛选、时空梯度匹配及原型近似梯度提升性能,优于现有基线。
2025-05-22 cs.AI cs.LG
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
持续学习通常假设传入的数据是完全标记的,这在实际应用中可能不适用。在这项工作中,我们考虑半监督持续学习(SSCL),增量学习部分标记的数据。观察到现有的持续学习方法缺乏持续利用未标记数据的能力,我们提出了具有判别器一致性的深度在线重放(ORDisCo),以利用条件生成对抗网络(GAN)相互依赖地学习分类器,该网络不断将学习的数据分布传递给分类器。特别是,ORDisCo重放采样的数据从条件发生器的分类器在一个在线的方式,利用未标记的数据在时间和存储效率的方式。此外,为了明确地克服未标记数据的灾难性遗忘,我们选择性地稳定对于区分由分类器预测的旧的未标记数据和它们的伪标签对很重要的参数。我们在SSCL的各种半监督学习基准数据集上广泛评估了ORDisCo,并表明与强基线相比,ORDisCo在SVHN,CIFAR 10和Tiny-ImageNet上实现了显着的性能改进。
2021-04-09 cs.AI cs.LG stat.ML
Continual Learning with Diffusion-based Generative Replay for Industrial Streaming Data
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学吴贤铭智能工程学院);Pazhou Lab(琶洲实验室);China Academy of Information and Communications Technology(中国信息通信研究院)
针对工业物联网动态环境下的数据漂移及资源受限问题,提出基于蒸馏自引导的扩散生成重放持续学习方法DSG,通过知识蒸馏提升生成器稳定性与数据质量以缓解灾难性遗忘,在多个数据集上准确率较最优基线提升2.9%-5.0%。
2024-06-22 cs.LG
Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models
Rowan University(罗文大学)
当需要从后续批次或流数据中学习额外的知识或任务时,采用连续(或“增量”)学习方法。然而,这些方法通常是对手不可知的,即,他们不考虑恶意攻击的可能性。在我们之前的工作中,我们探讨了弹性权重合并(EWC)对可感知的错误信息的脆弱性。我们现在探索其他基于正则化以及基于生成重放的持续学习算法的漏洞,并将攻击扩展到无法感知的错误信息。我们表明,智能对手可以利用持续学习算法随着时间的推移保留现有知识的能力,并迫使它学习并保留故意引入的错误信息。为了证明此漏洞,我们将后门攻击样本注入训练数据。这些攻击样本构成了错误信息,允许攻击者在测试时捕获模型的控制权。我们在两个重要的域和类增量学习场景下,对MNIST数据集的旋转和分裂基准变体进行了评估。我们表明,对手可以创建一个“错误的记忆”的任何任务,通过插入精心设计的后门样本的测试实例,该任务,从而控制遗忘的任何任务的选择量。也许最重要的是,我们发现这个漏洞是非常严重和破坏性的:模型内存可以很容易地受到影响,只需将后门样本添加到训练数据的1%,即使错误信息是人眼无法察觉的。
2021-02-16 cs.CR cs.LG
Continual Learning of Visual Concepts for Robots through Limited Supervision
The Pennsylvania State University(宾夕法尼亚州立大学)
对于许多现实世界的机器人应用,机器人需要不断适应和学习新概念。此外,机器人需要通过有限的数据进行学习,因为现实世界中的标记数据稀缺。为此,我的研究重点是开发机器人,这些机器人在动态的看不见的环境/场景中不断学习,从有限的人类监督中学习,记住以前学到的知识,并使用这些知识学习新概念。我开发了机器学习模型,这些模型不仅可以在基准数据集上产生结果状态,还可以让机器人在不受约束的环境中学习新的对象和场景,从而导致各种新颖的机器人应用。
2021-01-26 cs.CV cs.LG cs.RO
CoLoR-GAN: Continual Few-Shot Learning with Low-Rank Adaptation in Generative Adversarial Networks
Department of Engineering and Architecture(工程与建筑系)
提出CoLoR-GAN框架,结合低秩适应与LoRA in LoRA技术,在生成对抗网络中高效实现持续少样本学习,以更少参数达到先进性能。
2025-10-13 cs.AI cs.LG
Class-Incremental Experience Replay for Continual Learning under Concept Drift
Virginia Commonwealth University(弗吉尼亚联邦大学)
现代机器学习系统需要能够应对不断到达和变化的数据。处理这种情况的两个主要研究领域是持续学习和数据流挖掘。持续学习的重点是积累知识和避免遗忘,假设一旦学习的信息应该被存储。数据流挖掘的重点是适应概念漂移和丢弃过时的信息,假设只有最新的数据是相关的。虽然这两个领域主要是分开开发的,但它们为从动态数据中学习的问题提供了互补的观点。有必要通过提供能够学习和存储新信息的架构来统一它们,以及重新访问和适应以前看到的概念的变化。我们提出了一种新的持续学习方法,可以处理这两个任务。我们的体验重播方法由存储增量到达类的不同实例的重心驱动内存提供动力。这通过一个反应式子空间缓冲器来增强,该缓冲器跟踪先前看到的类中的概念漂移事件并相应地调整聚类。因此,所提出的架构能够记住有效的和忘记过时的信息,提供了一个整体的框架下的概念漂移持续学习。
2021-04-24 cs.CV cs.LG
Bilevel Continual Learning
NEC Laboratories Europe GmbH(欧洲NEC实验室有限公司)
持续学习(CL)研究学习一系列任务的问题,一次一个,使得每个新任务的学习不会导致先前看到的任务的性能下降,同时利用先前学习的特征。本文介绍了Bilevel持续学习(BiCL),这是一种用于持续学习的通用框架,它融合了双层优化和深度神经网络元学习的最新进展。BiCL能够在在线持续学习的保守设置下训练深度判别和生成模型。实验结果表明,BiCL提供了竞争力的性能方面的准确性为当前的任务,同时减少了灾难性遗忘的影响。这是与[1]并行的工作。我们将其提交给AAAI 2020和IJCAI 2020。现在我们把它放在arxiv上记录下来。与文献[1]不同的是,我们还考虑了连续生成模型.与此同时,作者意识到最近提出了一个关于基于双层优化的核心集构造的建议,用于持续学习[2]。[1]Q.范,D.萨胡角Liu和S. C.海两级持续学习。arXiv预印本arXiv:2007.15553,2020。[2]Z.博尔索斯湾Mutny和A.克劳斯通过两级优化的核心集,用于持续学习和流式传输。arXiv预印本arXiv:2006.03875,2020
2020-11-02 cs.LG
Continual Graph Learning: A Survey
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);University College London(伦敦大学学院);Aston University(阿斯顿大学)
本文综述了持续图学习的核心方法与挑战,提出基于对抗的生成性重放框架,提升分布匹配与稳定性。
2026-03-29 cs.AI cs.LG
Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay
Nanyang Technological University(南洋理工大学);VU Amsterdam(阿姆斯特丹大学);UiT The Arctic University of Norway(北欧大学)
本文提出首个针对异构临床站点的fMRI诊断持续学习框架,通过生成对抗网络生成真实功能性连接矩阵,并结合多级知识蒸馏策略和分层上下文老虎机方案,有效缓解灾难性遗忘问题。
2026-04-15 cs.LG eess.IV q-bio.TO
Generative Model-Aided Continual Learning for CSI Feedback in FDD mMIMO-OFDM Systems
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);Department of Information and Computer Science, Keio University(Keio大学信息与计算机科学系);School of Computing and Information Technology, Great Bay University(Great Bay大学计算与信息科技学院);Great Bay Institute for Advanced Study (GBIAS)(Great Bay先进研究 institutes);Department of Engineering, Nottingham Trent University(Nottingham Trent大学工程系)
本文提出基于GAN的连续学习方法,用于FDD mMIMO-OFDM系统中的CSI反馈,通过生成器作为记忆单元保留历史知识,提升DAE框架的泛化能力并降低内存开销。
2025-11-23 cs.AI cs.IT cs.LG
Continual Diffusion with STAMINA: STack-And-Mask INcremental Adapters
Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出STAMINA方法,通过低秩注意力掩码适配器和定制MLP令牌增强LoRA的顺序概念学习能力,在50概念持续扩散定制和图像分类持续学习基准上均取得SOTA性能,且无额外推理参数开销。
2024-05-02 cs.AI cs.CV cs.LG