Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks
University of Cambridge(剑桥大学)
记忆重放可能是生物大脑学习的关键,它能够不断地学习新任务,而不会灾难性地干扰以前的知识。另一方面,人工神经网络遭受灾难性的遗忘,往往只表现良好的任务,他们最近trainedon.In这项工作中,我们探讨了应用潜在空间为基础的记忆重放分类使用人工神经网络。我们能够保持良好的性能,在以前的任务中存储只有一小部分的原始数据在压缩的潜在空间版本。
2022-01-05 cs.LG
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning
College of Health Solutions, Arizona State University(亚利桑那州立大学健康解决方案学院);Department of Electrical and Computer Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);The GAME School, Arizona State University(亚利桑那州立大学GAME学院)
研究针对大语言模型持续学习的灾难性遗忘问题,提出Latent-LoRA系统。利用冻结嵌入层池化令牌嵌入分离任务分布,无需可训练路由组件,通过奇异值分解和正交正则化控制任务干扰,实验显示其有近零遗忘的最优性能。
2026-07-28 cs.CL cs.LG
Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation
University of Southern California(南加州大学)
二元概念被人类经验性地用于有效地概括。它们基于伯努利分布,这是信息的构建块。这些概念涵盖了低级和高级特征,例如“大与小”和“神经元是活跃的还是不活跃的”。二元概念是普遍存在的特征,可以用来传递知识以提高模型的泛化能力。我们提出了一种新的二进制正则化,以促进二进制概念的学习,以提高自动编码器中数据生成的质量。在数据生成过程中引入二值化超参数$r$,对称地解开潜在空间。我们证明,这种方法可以很容易地应用到现有的变分自编码器(VAE)的变种,以鼓励对称解纠缠,提高重建质量,并防止后崩溃,而无需计算开销。我们还证明了这种方法可以提高现有的模型,学习更多的可转移的表示,并产生更多的代表性样本的输入分布,可以减轻灾难性遗忘使用生成重放下持续学习设置。
2023-03-22 cs.CV cs.LG
Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们提出了一种新的无监督生成式持续学习方法,通过调整变分自动编码器的潜在空间。深度生成模型与其他神经结构一样,也会遭受灾难性遗忘。最近的生成式持续学习工作解决了这个问题,并试图从新的数据中学习,而不会忘记以前的知识。然而,这些方法通常专注于人工场景,其中示例在后续数据部分之间几乎没有相似性-这一假设在持续学习的实际应用中是不现实的。在这项工作中,我们确定了这一限制,并将生成性持续学习的目标作为知识积累的任务。我们通过不断调整新数据的潜在表示来解决这个问题,我们称之为额外潜在空间中的条带,其中示例独立于其源任务进行编码。此外,我们还介绍了一种控制遗忘过去数据的方法,该方法简化了这一过程。在标准的持续学习基准之上,我们提出了一种新的具有挑战性的知识整合方案,并表明所提出的方法在所有实验和额外的现实生活中的评估中的表现都超过了最先进的两倍。据我们所知,多波段VAE是第一种显示生成式持续学习中向前和向后知识转移的方法。
2022-06-03 cs.CV cs.LG
Continual Learning without Continual Training
Imperial College London(帝国理工学院)
本文提出用持续推理替代持续训练,通过冻结的PFN模型在潜在概念空间进行上下文贝叶斯推理,仅扩展证据集适应新类别,无需梯度更新,在增量学习数据集上实现竞争性能并学习可解释概念。
2026-10-08 cs.LG
BinPlay: A Binary Latent Autoencoder for Generative Replay Continual Learning
Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一个二进制潜在空间自动编码器架构排练训练样本的持续学习的神经网络。用新数据扩展模型知识而不忘记先前学习的样本的能力是持续学习的基本要求。现有的解决方案通过从存储器重放过去的数据来解决它,这对于不断增长的训练数据是不可持续的,或者通过用生成模型来重建过去的样本来解决它,生成模型被训练为泛化超过训练数据,因此错过了各个样本的重要细节。在本文中,我们采取了两全其美,并介绍了一种新的生成排练方法,称为BinPlay。它的主要目标是找到一个质量保持编码过去的样本到预先计算的二进制代码生活在自动编码器的二进制潜在空间。由于我们仅根据训练样本的时间索引来参数化用于预计算代码的公式,因此自动编码器能够实时计算排练样本的二进制嵌入,而无需将它们保存在内存中。对三个基准数据集的评估显示,BinPlay与竞争性生成重放方法相比,准确性提高了两倍。
2020-11-25 cs.LG
Adapt & Align: Continual Learning with Generative Models Latent Space Alignment
Warsaw University of Technology(华沙理工大学);NCBR Ideas;Tooploox
提出Adapt & Align方法,通过生成模型潜在空间对齐,分两步更新模型以缓解持续学习中的灾难性遗忘,并可用于分类等下游任务。
2023-12-21 cs.LG
A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays
University of Bologna(博洛尼亚大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);ETH Zürich(苏黎世联邦理工学院)
在过去的几年里,TinyML对超低功耗设备的深度学习模型和技术的研究和开发主要集中在训练然后部署的假设上,静态模型在没有基于云的数据汇集和微调的情况下无法适应新收集的数据。基于潜在重放的持续学习(CL)技术[1]原则上支持在线、无服务器的适应,但到目前为止,它们对于通常基于微控制器的超低功耗TinyML设备来说仍然过于计算和内存消耗。在这项工作中,我们介绍了一个硬件/软件平台的端到端CL的基础上,10核FP 32启用并行超低功耗(PULP)处理器。我们重新考虑了基线Latent Replay CL算法,利用模型冻结阶段的量化和Latent Replays(LR)来降低其内存成本,同时对精度的影响最小。特别是,与全精度基线实现相比,LR存储器的8位压缩被证明几乎是无损的(3000 LR时为-0.26%),但所需的存储器减少了4倍,而7位也可以在额外的最小精度降低(高达5%)的情况下使用。我们还介绍了优化原语的前向和后向传播的纸浆处理器。我们的研究结果表明,通过结合这些技术,持续学习可以在实践中使用不到64 MB的内存实现,这与TinyML设备中的嵌入兼容。在我们平台的先进22纳米原型VEGA上,该解决方案的性能平均比低功耗STM 32 L4微控制器快65倍,在每分钟学习一次新的小批量数据时,能效高37倍,寿命为535小时。
2021-10-20 cs.AI cs.LG
Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校);Computer Vision Center(计算机视觉中心)
边缘上的分布式学习通常包括以自我为中心的设备(SCD),它们独立地学习本地任务,并且不愿意为其他SDC的性能做出贡献。我们如何以零成本实现单个SCD的前向传输?我们将此问题形式化为分布式持续学习场景,其中SCD适应本地任务,CL模型从所产生的模型流中整合知识,而无需查看SCD的私有数据。不幸的是,目前的CL方法不直接适用于这种情况。我们提出了数据不可知的合并(DAC),一种新的双重知识蒸馏方法,合并流的SC模型,而不使用原始数据。DAC通过一种新的投影潜在蒸馏损失在潜在空间中执行蒸馏。实验结果表明,DAC能够在SCD之间进行前向传输,并在Split CIFAR100,CORe50和Split TinyImageNet上达到最先进的准确性,无论是在无再骚扰和分布式CL场景中。令人惊讶的是,即使是一个单独的分发映像也足以作为整合过程中的唯一数据源。
2023-03-28 cs.AI cs.CV cs.LG
Latent Replay for Real-Time Continual Learning
University of Bologna(博洛尼亚大学)
在轻型计算设备、嵌入式系统和机器人平台的边缘训练深度神经网络如今非常具有挑战性。持续学习技术,其中复杂的模型在小批量的新数据上进行增量训练,可以使学习问题易于处理,即使对于只有CPU的嵌入式设备,也可以实现显着的自适应性和自主性。然而,还有一些实际问题需要解决:首先是灾难性遗忘。在本文中,我们介绍了一种名为“潜在重放”的原始技术,而不是在输入空间中存储过去的数据的一部分,我们存储在一些中间层的激活量。这可以显著减少本地排练所需的计算和存储。为了保持表示稳定和存储的激活有效,我们建议在潜在重放层以下的所有层放慢学习速度,让上面的层自由地全速学习。在我们的实验中,我们表明,潜在重放,结合现有的持续学习技术,实现了最先进的性能在复杂的视频基准,如CORe 50 NICv2(近400个小的和高度非i.i.d.批次)和OpenLORIS。最后,我们通过在智能手机设备上部署所提出的技术,证明了在边缘上进行近实时的【形】持续学习的可行性。
2020-03-04 cs.CV cs.LG stat.ML
Continual Learning with Foundation Models: An Empirical Study of Latent Replay
ServiceNow(ServiceNow公司);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Heuritech(Heuritech公司);HEC Montréal(蒙特利尔高等商学院);Sorbonne University(索邦大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
大规模预训练的快速发展已经产生了基础模型,这些模型可以在各种下游任务和领域中充当有效的特征提取器。受此启发,我们研究了预训练视觉模型作为下游持续学习(CL)场景基础的有效性。我们的目标是双重的。首先,我们想了解原始数据空间和预训练编码器的潜在空间中的CL之间的计算精度权衡。其次,我们研究了编码器的特性、预训练算法和数据以及由此产生的潜在空间如何影响CL性能。为此,我们比较了各种预训练模型在大规模基准测试场景中的有效性,以及在潜在和原始数据空间中应用的香草重放设置。值得注意的是,这项研究表明,转移,遗忘,任务相似性和学习是如何依赖于输入数据的特点,而不一定对CL算法。首先,我们表明,在某些情况下,合理的CL性能可以很容易地实现与一个非参数分类器在可以忽略不计的计算。然后,我们展示了在更广泛的数据上预训练的模型如何在各种重放大小下获得更好的性能。我们解释这与代表性的相似性和这些表示的传输特性。最后,我们展示了与预训练域相比,自监督预训练对下游域的有效性。我们指出并验证了几个研究方向,可以进一步提高潜在CL的功效,包括表示集成。本研究中使用的各种数据集可以作为进一步CL研究的计算效率高的游乐场。代码库可在https://github.com/oleksost/latent_CL下获得。
2022-07-02 cs.AI cs.LG
Latent Spectral Regularization for Continual Learning
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Ammagamma(阿马伽玛公司);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学))
针对持续学习中的灾难性遗忘,提出基于潜在空间拉普拉斯谱的几何正则化器CaSpeR-IL,促进类别分区,可结合任意排练方法提升SOTA性能。
2024-07-16 cs.LG
Stable-Drift: A Patient-Aware Latent Drift Replay Method for Stabilizing Representations in Continual Learning
National Technical University of Athens(希腊国家技术大学);London School of Economics and Political Science(伦敦政治经济学院);University of Lincoln(林肯大学)
Stable-Drift方法通过患者感知的潜在漂移重放,有效减少持续学习中的灾难性遗忘,提升医学影像任务的鲁棒性。
2025-11-27 cs.CV cs.LG
CLA: Latent Alignment for Online Continual Self-Supervised Learning
University of Pisa(意大利比萨大学);Computer Vision Center (CVC)(计算机视觉中心)
针对在线持续学习缺乏SSL技术的问题,提出CLA策略,通过将当前与过去表示对齐来缓解遗忘,加速收敛并在同等预算下超越SOTA,且作为早期预训练协议优于完全i.i.d.预训练。
2025-07-15 cs.CV cs.LG
Compressed Latent Replays for Lightweight Continual Learning on Spiking Neural Networks
Universitá di Bologna(博洛尼亚大学);Politecnico di Torino(都灵理工大学);ETH Zurich(苏黎世联邦理工学院)
本文首次为脉冲神经网络引入了基于潜在重放的高内存效率持续学习方法,通过时域压缩将内存需求降低两个数量级,并在多项增量任务中验证了其有效性和低遗忘率。
2024-07-04 cs.AI cs.ET cs.LG
Preventing Latent Rehearsal Decay in Online Continual SSL with SOLAR
Department of Computer Science, University of Pisa(比萨大学计算机科学系);Media Integration and Communication Center (MICC), University of Florence(佛罗伦萨大学媒体集成与通信中心(MICC))
本文提出SOLAR方法,通过引入重叠损失和偏差代理,解决在线持续自监督学习中的潜在复习衰减问题,提升收敛速度和最终性能。
2026-04-12 cs.CV cs.LG
Mixture of basis for interpretable continual learning with distribution shifts
JPMorgan AI Research(摩根大通人工智能研究院)
在数据分布不断变化的环境中进行持续学习是一个具有挑战性的问题。在本文中,我们考虑的设置中,数据分布(任务)的转变突然和这些转变的时间是未知的。此外,我们考虑了一个半监督的任务不可知的设置,其中学习算法可以访问任务分段和未分段的数据进行离线训练。我们提出了一种新的方法称为Basismodels(MoB)的混合物,用于解决这个问题的设置。其核心思想是学习一小部分基本模型,并构建一个动态的、依赖于任务的模型混合体来预测当前任务。我们还提出了一种新的方法来检测的观察是出分布相对于现有的基础模型,并根据需要实例化新的模型。我们在多个领域测试了我们的方法,并表明它在大多数情况下比现有方法获得更好的预测误差,同时使用比其他多模型方法更少的模型。此外,我们分析了潜在的任务表征的MoB学习,并表明,类似的任务往往集群在潜在的空间和任务边界时,任务是不相似的潜在表示转移。
2022-01-05 cs.AI cs.LG
Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation
Tsinghua University(清华大学)
针对在线持续学习中回放缓冲区导致的过拟合与欠拟合困境,提出多级在线顺序专家MOSE,通过多级监督与逆向自蒸馏提升新样本学习与旧知识保留能力。
2024-03-30 cs.AI cs.CV cs.LG
Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay
针对边缘计算中在线持续学习的高内存开销和类别偏差问题,提出SESLR方法,结合脉冲神经网络与睡眠增强潜在重放,显著降低内存并提升准确率。
2025-10-16 cs.CV cs.LG cs.NE
Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation
University of North Texas(北得克萨斯大学)
针对运动障碍人士个性化手势识别中的分布偏移与样本稀缺问题,提出带 LEE 机制的回放式 FSCL 框架,利用先验嵌入和手势内分歧提升少样本泛化性能。
2024-06-11 cs.LG
Continual Learning as Shared-Manifold Continuation Under Compatible Shift
本文提出基于共享流形延续的持续学习方法,通过稀疏重放、输出蒸馏等技术提升旧任务保留和表示保持,同时在新任务准确率上保持竞争力。
2026-03-20 cs.LG
Feature Aggregation with Latent Generative Replay for Federated Continual Learning of Socially Appropriate Robot Behaviours
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
针对社交机器人联邦持续学习的挑战,提出FedRoot权重聚合策略及扩展FedLGR方法,在模拟客厅环境中实现了更优性能与显著的资源消耗降低。
2025-02-21 cs.AI cs.LG cs.RO
Task-Anchored Representation Shaping for Pre-Trained Model-Based Continual Learning
Nanjing University(南京大学)
该研究针对预训练模型持续学习中的跨任务歧义瓶颈,提出TAILS模块,通过任务锚点修正特征表示,以轻量开销提升分类与任务推理性能。
2026-08-18 cs.LG
Continual Self-Improvement with Lightweight Experiential Latent Memories
Toyota Motor Europe(丰田汽车欧洲公司);University of Trento(特伦托大学)
提出一种在线方法,将推理时计算转化为轻量级模块化潜在记忆,通过自生成测试时信号进行训练,实现持续改进且避免灾难性遗忘。
2026-06-17 cs.LG
Dynamic Mixture of Latent Memories for Self-Evolving Agents
The Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);University of Edinburgh(爱丁堡大学);Shanghai Jiao Tong University(上海交通大学)
本文提出MoLEM框架,通过动态混合专家机制实现智能体的持续学习,避免灾难性遗忘,提升任务学习和能力保持。
2026-05-21 cs.LG
Teaching AI to Remember: Insights from Brain-Inspired Replay in Continual Learning
School of Computing, KAIST(计算机学院,韩国科学技术院)
针对人工神经网络持续学习中的灾难性遗忘问题,研究探究脑启发内部重放机制,发现其结合SI可显著缓解遗忘但会降低初始任务准确率,揭示了表征重叠的局限与未来研究方向。
2025-08-24 cs.AI cs.LG
Learning Evolving Latent Strategies for Multi-Agent Language Systems without Model Fine-Tuning
Independent Researcher(独立研究者)
该研究提出一种无需微调的多智能体语言系统框架,通过双环架构实现持续策略进化,利用外部潜在空间提供可解释的抽象战略表示。
2026-01-05 cs.AI cs.LG
Looking through the past: better knowledge retention for generative replay in continual learning
IDEAS NCBR;Gdańsk University of Technology(格但斯克工业大学);Warsaw University of Technology(华沙工业大学);Jagiellonian University(雅盖隆大学);Tooploox;Computer Vision Center(计算机视觉中心);Universitat Autònoma Barcelona(巴塞罗那自治大学)
本文针对持续学习中生成回放难以处理复杂数据的问题,提出潜在空间蒸馏、潜在匹配和生成循环三项改进,显著提升了生成回放在复杂场景下的知识保留能力。
2023-09-18 cs.AI cs.CV cs.LG
Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国大学);University of Rochester(罗切斯特大学)
本文提出一种诊断框架,利用稀疏自编码器分析概念层面遗忘,发现遗忘主要源于表征可访问性变化而非信息擦除。
2026-05-10 cs.AI cs.LG
Reward-Free Continual Adaptation for Resilient Space Robots
University of Luxembourg(卢森堡大学)
针对空间机器人硬件退化导致传统控制策略失效的问题,提出无奖励持续学习框架,利用隐态世界模型使智能体无需奖励即可适应环境,在三类模拟任务中验证了方法有效性。
2026-08-25 cs.AI cs.LG cs.RO
BooVAE: Boosting Approach for Continual Learning of VAE
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit(阿姆斯特丹自由大学);Skoltech(斯科尔科沃科学技术学院);AIRI(人工智能研究院)
变分自编码器(VAE)是一种用于无监督学习的深度生成模型,允许将观察编码到有意义的潜在空间中。当任务顺序到达时,VAE容易发生灾难性遗忘,并且只有当前任务的数据可用。我们解决这个问题的持续学习的VAE。众所周知,在非连续环境中,潜空间上先验分布的选择对于VAE是至关重要的。我们认为,这也有助于避免灾难性遗忘。我们学习聚合后验的近似值作为每个任务的先验。这种近似被参数化为由在可训练伪输入处评估的编码器引起的分布的加性混合。我们使用一种贪婪的提升式方法和熵正则化来学习组件。这种方法鼓励组件的多样性,这是必不可少的,因为我们的目标是用尽可能少的组件记住当前的任务。基于可学习的先验知识,我们引入了一种端到端的VAE持续学习方法,并对常用基准(MNIST、Fashion MNIST、NotMNIST)和CelebA数据集提供实证研究。对于每个数据集,所提出的方法以全自动的方式避免了灾难性遗忘。
2021-11-03 cs.LG stat.ML
NPCL: Neural Processes for Uncertainty-Aware Continual Learning
UNSW Sydney(新南威尔士大学)
本文提出NPCL方法,利用神经过程为持续学习提供不确定性感知能力,通过层次潜变量模型和定制正则化器缓解遗忘,并验证其在任务推断和新数据识别上的优势。
2023-10-30 cs.AI cs.CV cs.LG
Persistent Backdoor Attacks in Continual Learning
Saint Louis University(圣路易斯大学)
针对持续学习场景下后门攻击的持久性研究不足的问题,提出两种低干预的持久后门攻击方法,经测试在多种触发器和持续学习算法下均有高成功率且能规避主流防御。
2025-07-29 cs.CR cs.LG
Forgetting is Not Erasure: Recovering Latent Knowledge via Transport Keys
Axionic Labs(Axionic实验室)
通过缝合评估协议和紧凑的任务特定传输键,发现灾难性遗忘主要由内部阶段接口漂移而非任务相关计算的永久擦除引起,并能在顺序训练后恢复大部分早期任务性能。
2026-06-01 cs.AI cs.LG
Disentangling and Mitigating the Impact of Task Similarity for Continual Learning
Washington University in St Louis(圣路易斯华盛顿大学)
该研究通过线性教师-学生模型分析了任务相似性对持续学习的影响,发现基于Fisher信息度量的权重正则化能显著提升知识保留且不损害迁移,为缓解持续学习困难提供了理论见解。
2024-05-30 cs.LG stat.ML
A Probabilistic Framework for Modular Continual Learning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校);University of Edinburgh(爱丁堡大学)
PICLE提出用概率模型低成本评估模块组合适应度,首次在模块化持续学习中同时实现感知、少样本和潜在迁移,并在长问题序列上超越现有方法。
2024-05-02 cs.LG stat.ML
Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery
Western Digital Corporation(西部数字公司)
本文提出一种硅本征模块化架构,通过任务特定专家和基于异常值的门卫实现结构参数隔离,采用同时流水线并行处理教师学习、学生蒸馏和路由流形获取,有效提升计算效率并满足隐私要求。
2026-04-15 cs.AI cs.LG
Partial Hypernetworks for Continual Learning
University of St. Gallen(圣加仑大学);University of Pisa(比萨大学)
本文提出部分超网络方法,仅生成模型最后几层权重并冻结初始层,以缓解持续学习中的遗忘问题,在CIFAR-100和TinyImagenet上验证了其计算与准确率的有效平衡。
2023-06-19 cs.LG
Graph Relation Aware Continual Learning
University of Science and Technology of China(中国科学技术大学);The Pennsylvania State University(宾夕法尼亚州立大学);Hefei University of Technology(合肥工业大学)
针对持续图学习中知识迁移与分布偏移难题,本文提出关系感知自适应模型 RAM-CG,通过关系发现和任务掩码建模潜在图关系,并在三个数据集上显著超越现有方法。
2023-08-16 cs.LG
R-Tuning: Wavelet-Decomposed Replay and Semantic Alignment for Continual Adaptation of Pretrained Time-Series Models
针对预训练时间序列模型适应演化数据分布时的灾难性遗忘问题,提出R-Tuning框架,通过频率感知重放(小波分解增强样本)和语义对齐(潜在一致性约束)构建统一潜在空间,实现知识保留与高效适应,性能优于现有方法。
2025-11-12 cs.LG
Fixed Random Classifier Rearrangement for Continual Learning
Guilin University of Electronic Technology(桂林电子科技大学);School of Information and Communication(信息与通信学院)
本文提出固定随机分类器重排(FRCR)两阶段持续学习算法,通过固定随机分类器约束单类分类器范数并重排新分类器条目,有效缓解灾难性遗忘。
2024-02-23 cs.AI cs.LG
Geometry of Forgetting: Representation Flux in Continual Learning
该研究提出表示通量作为遗忘的几何标记,提出FlowLess-R表示空间正则化方法,在多个基准测试中结合现有重放方法提升了持续学习的平均准确率并减少了灾难性遗忘。
2026-08-18 cs.CV cs.LG
KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内科学技术大学);Monash University(莫纳什大学);New York University(纽约大学)
本文提出KOPPA方法,通过正交投影键-查询学习和OVA原型组件改进基于提示的持续学习,在基准数据集上超越现有方法达20%。
2024-11-20 cs.CV cs.LG
Replay4NCL: An Efficient Memory Replay-based Methodology for Neuromorphic Continual Learning in Embedded AI Systems
Electrical and Communication Engineering Department, United Arab Emirates University(阿联酋大学电子与通信工程系);eBrain Lab, New York University(纽约大学eBrain实验室);School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology(国立科学与技术大学电子工程与计算机科学学院)
针对现有神经形态持续学习记忆重放方法延迟高、能耗大不适用于嵌入式AI的问题,提出Replay4NCL方法,通过压缩潜在数据并短时步重放,结合阈值与学习率调整,在SHD数据集上实现准确率提升及延迟、内存、能耗的显著优化。
2025-03-21 cs.AI cs.LG cs.NE
Reconciling meta-learning and continual learning with online mixtures of tasks
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
学习-学习或元学习利用数据驱动的归纳偏差来提高对新任务的学习效率。当转移不具有优势时,例如当任务相当不同或随着时间的推移而变化时,这种方法就会遇到困难。我们使用基于梯度的元学习和分层贝叶斯之间的连接,提出了一个Dirichlet过程混合的分层贝叶斯模型的参数的任意参数模型,如神经网络。与将归纳偏差合并到一组超参数中相比,我们的任务相关超参数选择方法更好地处理了潜在的分布偏移,这在一组不断发展的、基于图像的、少样本学习基准测试中得到了证明。
2019-06-19 cs.LG stat.ML
Subspace Distillation for Continual Learning
Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学);Queensland University of Technology(昆士兰科技大学)
提出一种基于线性子空间建模数据流形的知识蒸馏技术,通过利用潜在空间的流形结构有效缓解了持续学习中的灾难性遗忘,并在多个数据集上显著提升了分类与分割任务的性能。
2023-08-01 cs.AI cs.CV cs.LG
TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国美国大学)
本文提出TSN-Affinity方法,通过基于TinySubNetworks和Decision Transformer的策略,实现任务特定参数化和受控知识共享,提升连续离线强化学习中的多任务性能。
2026-04-28 cs.AI cs.LG
Unifying Detection and Adaptation in Task-Free Continual Learning
School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);The Hong Kong University of Science and Technology(香港科技大学);Shandong University(山东大学);Qilu Hospital of Shandong University(山东大学齐鲁医院)
本文提出FiUni框架,通过K-FAC近似的Fisher主子空间正交性检测批量级任务,结合LoRA实现参数高效适配,动态平衡知识共享与任务隔离,缓解LLM持续学习的灾难性遗忘,性能优于先进方法且参数更少。
2026-08-28 cs.CL cs.LG
Uncertainty-Aware Continual Learning for Open-World Intent Discovery Under an evolving Label Space
Politecnico di Milano(米兰理工大学)
针对开放世界下演化标签空间的持续意图发现,提出不确定性感知概率框架,结合多信号决策与密度聚类实现受控标签扩展,实验显示高精确率与低遗忘。
2026-09-17 cs.CL cs.LG
Continual Visual Reinforcement Learning with A Life-Long World Model
MoE Key Lab of Artificial Intelligence(人工智能MOE重点实验室);AI Institute(人工智能学院);Shanghai Jiao Tong University(上海交通大学)
本文提出终身世界模型与探索-保守行为学习方法,通过高斯混合潜在动力学和生成式经验回放缓解灾难性遗忘,在持续视觉控制任务中显著优于现有持续学习与视觉强化学习的直接组合。
2025-07-06 cs.CV cs.LG
KRNet: Towards Efficient Knowledge Replay
Hikvision Research Institute(海康威视研究院)
知识重放技术在持续学习和连续领域自适应等任务中得到了广泛的应用。关键在于如何有效地编码从以前的数据中提取的知识,并在当前的训练过程中重放它们。一个简单而有效的实现知识重放的模型是自动编码器。然而,自动编码器中存储的潜在码的数量随着数据规模线性增加,并且训练的编码器对于重放阶段是冗余的。在本文中,我们提出了一种新的和有效的知识记录网络(KRNet),直接映射到相应的数据的任意样本的身份号码。与自动编码器相比,我们的KRNet需要显着($400\times$)更少的存储成本的潜在代码,可以在没有编码器子网络的情况下进行训练。大量的实验验证了KRNet的有效性,并将其成功应用于持续学习任务中。
2022-05-23 cs.CV cs.LG
Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所);Toyota Motor Europe(丰田汽车欧洲公司)
针对持续学习中旧任务数据不可用的问题,提出原型-样本关系蒸馏,在监督对比嵌入空间中持续演化类别原型并保持其相对相似性,实现无回放的任务与类别增量学习。
2023-06-06 cs.LG
Continual Learning with Pretrained Backbones by Tuning in the Input Space
University of Florence(佛罗伦萨大学);University of Siena(锡耶纳大学);KU Leuven(荷语鲁汶大学)
本文针对预训练模型持续微调中的灾难性遗忘问题,提出冻结预训练骨干、联合学习分类头与输入变换参数的方法,以较低计算成本兼顾可塑性与稳定性,并在四个图像分类任务上验证其优势。
2023-06-08 cs.CV cs.LG