Understanding Forgetting in Continual Learning with Linear Regression
State University of New York at Buffalo(纽约州立大学布法罗分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文通过SGD对线性回归模型进行理论分析,揭示任务序列与步长对遗忘的影响,并在线性回归和DNN模拟中验证了结论。
2024-05-27 cs.LG
Understanding Cross-Modal Contributions in Continual Vision-Language Models: A Theoretical Perspective
San Diego State University(圣地亚哥州立大学)
本文从理论角度分析连续视觉-语言模型中跨模态(视觉-语言)贡献,提出新视角并通过实验验证其有效性,揭示任务顺序和相似性对贡献鲁棒性的影响,提升泛化性能。
2026-09-09 cs.CV cs.LG
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据,这违反了理想的持续学习系统的约束。此外,目前处理遗忘的方法忽略了灾难性记忆的问题,即区分来自不同任务的数据的能力越来越差。在我们的工作中,我们介绍了相关映射网络(RMN)的启发,最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现,RMNs学习一个优化的表示重叠,克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能,甚至显著优于数据重放方法,同时不违反理想的持续学习系统的约束。此外,RMN保留了以无监督的方式从新任务中检测数据的能力,从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Predicting Plasticity in Deep Continual Learning: A Theoretical Perspective
University of Virginia(弗吉尼亚大学);Cisco Research(思科研究);California Institute of Technology(加州技术研究院);Purdue University(普渡大学)
本文从理论角度探讨深度持续学习中塑性预测问题,提出新的度量标准优化准备度,证明其在回归和分类任务中能更可靠地预测可训练性。
2026-05-09 cs.LG
Mathematics of Continual Learning
Department of Electrical and Computer Engineering, Michigan State University(密歇根州立大学电气与计算机工程系)
本教程回顾持续学习与自适应滤波的基本原理,通过比较分析揭示两者联系,以增强持续学习的数学基础并拓展研究方向。
2025-04-24 cs.LG
DynaTokens: Controlling Token Dynamics for Continual Video-Language Understanding
本文提出HyperTokens,通过按需生成微调令牌,控制提示更新并保持内存固定,通过元启发式正则化抑制遗忘,提升连续视频问答任务的准确率与保留率。
2026-10-06 cs.CV cs.LG
Bisecle: Binding and Separation in Continual Learning for Video Language Understanding
School of Computer Science University of New South Wales(计算机科学学院新南威尔士大学);School of Computer Science and Engineering University of New South Wales(计算机科学与工程学院新南威尔士大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文受海马体绑定与分离机制启发,提出Bisecle方法,通过多方向监督和对比提示学习解决视频-语言持续学习中的灾难性遗忘与更新冲突问题。
2025-07-01 cs.CV cs.LG
Exploring the Impact of Parameter Update Magnitude on Forgetting and Generalization of Continual Learning
Institute of Intelligent Information Processing, Shanxi University(山西大学智能信息处理研究所);Alliance Manchester Business School, The University of Manchester(曼彻斯特大学阿利安斯商学院)
本文提出了一种混合参数更新策略,通过理论分析和实验验证,改进持续学习中遗忘与泛化性能。
2026-02-24 cs.LG
Theoretical Foundations of Continual Learning via Drift-Plus-Penalty
IIIT Delhi(德里印度理工学院);IIT Dharwad(达尔瓦德印度理工学院)
提出COLD框架,利用漂移加惩罚原理调节稳定性-可塑性权衡,通过虚拟队列控制遗忘,理论保证收敛性,实验优于现有方法。
2026-06-07 cs.LG
3rd Continual Learning Workshop Challenge on Egocentric Category and Instance Level Object Understanding
University of Bologna(博洛尼亚大学);Meta AI;KU Leuven(鲁汶大学);ServiceNow Research(ServiceNow研究院)
持续学习,也称为终身学习或增量学习,最近在人工智能研究界重新引起了人们的兴趣。最近的研究工作已经迅速导致能够减少深度神经网络中的灾难性遗忘现象的影响的新颖算法的设计。由于对该领域的兴趣激增,近年来举办了许多比赛,因为它们是激发有前途方向研究的绝佳机会。本文总结了CVPR 2022第三届持续学习计算机视觉(CLVision)研讨会上举办的挑战赛的想法、设计选择、规则和结果。本次比赛的重点是复杂的连续目标检测任务,这仍然是在文献中探索的分类任务相比。该挑战赛基于新颖的EgoObjects数据集的挑战版本,这是一个大规模的以自我为中心的对象数据集,旨在对以自我为中心的类别/实例级对象理解的持续学习算法进行基准测试,该数据集覆盖了超过100 k个视频帧中的1 k个唯一主对象和250多个类别。
2022-12-13 cs.AI cs.CV cs.LG
PCoTTA: Continual Test-Time Adaptation for Multi-Task Point Cloud Understanding
Bournemouth University(伯恩茅斯大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University(上海大学);Zhejiang University(浙江大学);Northwest A&F University(西北农林科技大学);La Trobe University(拉筹伯大学)
该研究提出面向多任务点云理解的持续测试时自适应框架PCoTTA,通过自动原型混合、高斯泼溅特征偏移、对比原型排斥三个组件缓解遗忘与误差累积,提升模型对持续变化目标域的迁移能力,实验验证了其优越性并建立新基准。
2024-11-01 cs.CV cs.LG
Theory on Forgetting and Generalization of Continual Learning
The Ohio State University(俄亥俄州立大学)
持续学习(Continuallearning,CL)是一种旨在学习一系列任务的学习方法,近年来受到了广泛的关注。然而,大多数工作集中在实验性能的CL,和CL的理论研究仍然有限。特别是,缺乏对哪些因素是重要的,以及它们如何影响“灾难性遗忘“和泛化性能的理解。为了填补这一空白,我们的理论分析,在过参数化线性模型,提供了第一个已知的明确形式的预期遗忘和泛化误差。进一步的分析,这样一个关键的结果产生了一些理论解释如何overparameterization,任务相似性,任务排序影响遗忘和泛化误差的CL。更有趣的是,通过使用深度神经网络(DNN)在真实数据集上进行实验,我们发现其中一些见解甚至超越了线性模型,可以应用于实际设置。特别是,我们用具体的例子表明,我们的研究结果不仅解释了一些有趣的经验观察在最近的研究,但也激励更好的实用算法设计的CL。
2023-02-12 cs.LG
High-dimensional Asymptotics of Generalization Performance in Continual Ridge Regression
Department of Mathematical Sciences(数学科学系);School of Mathematics and Statistics(数学与统计学学院);Department of Statistics and Data Science(统计与数据科学系)
本文利用随机矩阵理论推导高维持续岭回归的渐近预测风险,刻画平均风险、反向迁移与正向迁移指标,并通过风险曲线揭示模型设定对泛化性能的影响。
2025-08-21 cs.LG stat.ME
Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning
University of Southern California(南加州大学)
该研究以超参数化线性模型为代理,推导了多任务学习中模型规模等因素对性能的影响,以及基于重放的持续学习中缓冲区等对遗忘率的作用,并验证了结论适用于深度神经网络,为相关模型设计提供理论指导。
2025-03-19 cs.LG
Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective
Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学);University of Houston(休斯顿大学)
本文从理论视角分析了持续学习中的排练策略,证明在任务相似度低时顺序排练优于并行排练,并提出混合排练方法以提升模型性能。
2025-05-30 cs.LG
Toward Understanding Catastrophic Forgetting in Continual Learning
Amazon Web Services(亚马逊云科技);Facebook Inc.(脸书公司)
研究了灾难性遗忘与任务序列性质的关系。特别是,给定一个任务序列,我们希望了解该序列的哪些属性会影响在该序列上训练的持续学习算法的出错率。为此,我们提出了一个新的程序,利用任务空间建模以及相关性分析的最新发展,指定和分析我们感兴趣的属性。作为一个应用,我们应用我们的程序来研究任务序列的两个性质:(1)总复杂性和(2)序列异质性。我们发现,出错率是强烈的,正相关的任务序列的总复杂性的一些国家的最先进的算法。我们还发现,令人惊讶的是,出错率没有,甚至在某些情况下,顺序异质性的负相关性。我们的研究结果提出了改进持续学习基准和方法的方向。
2019-08-02 cs.CV cs.LG stat.ML
Global Convergence of Continual Learning on Non-IID Data
Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS(中国科学院香港创新研究院人工智能与机器人中心);Academy of Mathematics and Systems Science, CAS(中国科学院数学与系统科学研究院);Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对现有持续学习理论多依赖难验证的严格假设的局限,本文运用随机Lyapunov函数与鞅估计技术,首次在通用数据条件下证明回归模型持续学习的几乎必然收敛性,并给出无激励条件下遗忘与遗憾指标的收敛速率。
2025-03-24 cs.LG
On the Limitation and Experience Replay for GNNs in Continual Learning
The University of Hong Kong(香港大学)
该研究首次探索节点级图持续学习中GNN的可学习性,发现结构偏移会严重影响其效果,进而提出结构演化感知经验回放方法SEA-ER,通过拓扑感知选样与结构对齐回放缓解遗忘与结构偏移影响,实验验证了理论与方法的有效性。
2024-07-09 cs.LG
How green is continual learning, really? Analyzing the energy consumption in continual training of vision foundation models
University of Florence(佛罗伦萨大学)
本文通过大量实验系统比较了多种持续学习算法在视觉基础模型持续训练中的能耗,并提出Energy NetScore指标,揭示推理阶段能耗对绿色评估的重要性。
2024-09-27 cs.LG
Optimal L2 Regularization in High-dimensional Continual Linear Regression
Department of Data and Decisions Sciences, Technion(以色列理工学院数据与决策科学系);School of Engineering, University of Edinburgh(爱丁堡大学工程学院);Department of Computer Science, Technion(以色列理工学院计算机科学系);Department of Electrical and Computing Engineering, Technion(以色列理工学院电气与计算机工程系);Meta
本文研究了高维连续线性回归中L2正则化对泛化性能的影响,推导了在高维情况下任意线性教师下的泛化损失闭式表达式,证明最优固定正则化强度近似与任务数T成线性关系,为持续学习提供了理论基础。
2026-10-21 cs.LG
LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning
University of Pennsylvania(宾夕法尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对持续学习领域预训练模型类方法缺理论保障、原理性方法性能不佳的问题,提出LoRanPAC方法,通过高维映射加SVD截断解决病态问题,兼具理论保证与SOTA性能。
2025-05-18 cs.LG
Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent
Aqemia;McGill University(麦吉尔大学);Mila;RIKEN(理化学研究所);The University of Tokyo(东京大学)
在持续学习环境中,深度神经网络容易发生灾难性遗忘。正交梯度下降法就是为了解决这一问题而提出的。然而,理论上的保证还没有得到证实。我们提出了一个理论框架来研究神经切线核机制中的连续学习算法。该框架包括通过任务和代理进行迁移学习,概括和任务相似性的模型的封闭形式表达。在这个框架中,我们证明了OGD对灾难性遗忘是鲁棒的,然后推导出SGD和OGD对持续学习的第一个推广界。最后,我们研究了这个框架在OGD实践中的局限性,并强调了神经切线核变化对OGD持续学习的重要性。
2020-12-04 cs.LG stat.ML
Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective
Department of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea;Department of Statistics;Data Science, Yonsei University, Seoul, South Korea
该研究从线性变换视角提出表征差异指标以度量持续学习中的表征遗忘,通过理论分析得出层深度、网络宽度与遗忘速度的关联规律,并在Split-CIFAR100、ImageNet1K数据集上验证了理论结论。
2025-06-12 cs.LG
Data-dependent and Oracle Bounds on Forgetting in Continual Learning
本文针对持续学习中的遗忘问题,为无样本回放方法提出数据依赖上界和吉布斯后验预言界,并据此设计算法,在多个持续学习问题上验证了界的紧致性与实用性。
2025-08-18 cs.LG
Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature
Deerfield Academy(迪尔菲尔德学院)
科学界每天继续发表大量与COVID-19相关的新研究,导致许多文献几乎没有引起关注。为了帮助社区了解快速流动的COVID-19文献,我们提出了一种新颖的BERT架构,为冗长的论文提供简短而原始的摘要。该模型以在线方式不断学习新数据,同时最大限度地减少灾难性遗忘,从而适应社区的需求。基准测试和手动检查其性能表明,该模型提供了一个新的科学文献的声音总结。
2020-09-27 cs.CL cs.LG
Practical Recommendations for Replay-based Continual Learning Methods
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校)
持续学习要求模型从动态、非平稳的数据流中学习,而不会忘记以前的知识。在文献中已经开发了几种方法来应对持续学习的挑战。其中,经验证明,重放方法是最有效的。重播通过在内存中保存一些样本来操作,然后在后续任务的训练期间使用这些样本来排练知识。然而,在文献中仍然缺少对不同重放实现微妙之处的广泛比较和更深入的理解。这项工作的目的是比较和分析现有的重放为基础的战略,并提供切实可行的建议,发展高效,有效和普遍适用的重放为基础的战略。特别是,我们调查的内存大小值的作用,不同的加权政策和讨论的影响,数据增强,这使得达到更好的性能与较低的内存大小。
2022-03-19 cs.LG
Attribution-Guided Continual Learning for Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));The Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于属性引导的持续学习框架,通过估计每个Transformer层中参数的重要性,调节梯度以保留旧任务知识,实验表明在持续学习基准上优于基线方法。
2026-07-14 cs.LG
On Understanding of the Dynamics of Model Capacity in Continual Learning
AI Foundations Capital One(AI基础资本一公司);Mathematics and Computer Science(数学与计算机科学);Argonne National Laboratory(阿贡国家实验室)
本文引入CLEMC刻画持续学习中稳定性-可塑性平衡的动态行为,通过差分方程建模证明有效容量本质非平稳,并在多种架构上验证了任务分布差异导致模型表示新任务能力下降。
2025-08-14 cs.AI cs.LG
Class-wise Classifier Design Capable of Continual Learning using Adaptive Resonance Theory-based Topological Clustering
Osaka Metropolitan University(大阪公立大学);Dalian Maritime University(大连海事大学)
本文提出一种基于自适应共振理论拓扑聚类的逐类分类器设计方法,通过为每个类别独立构建ART聚类并在新类别出现时扩展学习空间,实现了持续学习能力,实验表明其分类性能优于现有具备持续学习能力的聚类分类算法。
2023-09-21 cs.LG
Continual Learning in Low-rank Orthogonal Subspaces
University of Oxford(牛津大学);Five AI Ltd(Five AI有限公司)
在持续学习(CL)中,学习者面临一系列任务,一个接一个地到达,目标是在持续学习体验结束后记住所有任务。CL中的现有技术使用情景记忆、参数正则化或可扩展网络结构来减少任务之间的干扰,但最终,所有方法都在联合向量空间中学习不同的任务。我们认为,这必然会导致不同任务之间的干扰。我们建议在不同的(低秩)向量子空间中学习任务,这些向量子空间彼此保持正交,以最大限度地减少干扰。此外,为了保持来自这些子空间的不同任务的梯度彼此正交,我们通过将网络训练作为Stiefel流形上的优化问题来学习等距映射。据我们所知,我们报告,第一次,强有力的结果超过经验重放基线,有记忆和没有记忆的标准分类基准在持续学习。该代码是公开的。
2020-12-08 cs.LG
Merge before Forget: A Single LoRA Continual Learning via Continual Merging
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种通过持续合并实现单个LoRA持续学习的方法,利用正交初始化和时间感知缩放机制减少任务干扰并提升性能。
2025-12-28 cs.LG
Spurious Forgetting in Continual Learning of Language Models
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
本研究提出“虚假遗忘”概念,指出持续学习中性能下降源于任务对齐破坏而非知识丢失,并通过冻结底层策略在四个场景中显著提升性能。
2025-01-23 cs.LG
Meta Continual Learning via Dynamic Programming
Mathematics and Computer Science Division(数学与计算机科学部);Leadership Computing Facility(领导力计算设施);Argonne National Laboratory(阿贡国家实验室)
Meta持续学习算法寻求在面对以顺序方式观察到的类似任务时训练模型。尽管方法上取得了很大的进步,但缺乏理论框架来分析学习挑战,如泛化和灾难性遗忘。为此,我们开发了一种新的理论方法Meta持续学习~(MCL),我们数学模型的学习动态使用动态规划,我们建立MCL问题的最优性条件。此外,使用的理论框架,我们得到了一个新的动态规划为基础的MCL方法,采用随机梯度驱动的交替优化,以平衡泛化和灾难性遗忘。我们表明,在MCL基准数据集上,我们的理论接地方法实现的精度优于或媲美现有的最先进的方法。
2020-10-09 cs.LG cs.SY eess.SY
Provable Contrastive Continual Learning
SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文为对比持续学习建立理论性能保证,揭示模型性能受先前任务训练损失约束,并据此提出使用自适应蒸馏系数的CILA算法,在标准基准上取得新的最先进性能。
2024-05-29 cs.AI cs.CV cs.LG
Continual Learning In Environments With Polynomial Mixing Times
IBM Research(IBM研究院);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Massachusetts Institute of Technology(麻省理工学院)
由策略引起的马尔可夫链的混合时间限制了真实世界持续学习场景中的性能。然而,在连续强化学习(RL)中混合时间对学习的影响仍然没有得到充分的研究。在本文中,我们通过混合时间的镜头来描述对持续RL的发展具有长期兴趣的问题,我们称之为可扩展的MDP。特别是,我们从理论上建立了可扩展的MDP的混合时间,规模与问题的大小多项式。我们继续证明,多项式混合时间存在显着的困难,现有的方法,患有近视的偏见和陈旧的自举估计。为了验证我们的理论,我们研究的经验缩放行为的混合时间相对于任务的数量和任务持续时间部署在多个雅达利游戏的高性能政策。我们的分析表明,多项式混合时间确实出现在实践中,以及它们的存在如何导致不稳定的学习行为,如持续学习设置中的灾难性遗忘。
2022-10-13 cs.LG
Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality
Tsinghua University(清华大学)
针对自监督预训练下基于提示的持续学习次优问题,提出分层分解方法HiDe-Prompt,通过显式优化任务内预测、任务身份推断和任务自适应预测,实现性能提升。
2023-10-11 cs.LG
Achieving Upper Bound Accuracy of Joint Training in Continual Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文综述了持续学习中通过利用理论和大规模基础模型实现联合训练上界精度的研究,并论证了其合理性及现实应用可行性。
2025-02-26 cs.LG
Hyperbolic Multimodal Continual Learning
The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究针对双曲多模态持续学习的遗忘问题,建立理论基础推导了保留几何结构的持续学习框架,经实验验证其有效性。
2026-08-11 cs.LG
Pathway-based Progressive Inference (PaPI) for Energy-Efficient Continual Learning
Tokyo International University(东京国际大学);University of Turku(图尔库大学)
本文提出基于路径的渐进推理(PaPI)框架,通过能量约束优化和路径路由机制,在持续学习中实现节能并防止灾难性遗忘,理论上优于EWC和GEM。
2025-06-21 cs.AI cs.LG
Towards a General Framework for Continual Learning with Pre-training
Tsinghua University(清华大学);Tsinghua-Bosch Joint Center for ML(清华博世机器学习联合中心)
该研究提出一种带预训练的持续学习通用框架,将目标拆解为三个层级组件,结合PEFT技术与表示统计量优化,实验验证其在下游持续学习的优越性,还探索了PEFT在上游的适用性并讨论框架的神经科学基础。
2024-07-09 cs.LG
Understanding the Role of Training Regimes in Continual Learning
Washington State University(华盛顿州立大学);DeepMind(深度思维)
灾难性遗忘会影响神经网络的训练,限制它们顺序学习多个任务的能力。从公认的可塑性-稳定性困境的角度来看,神经网络往往过于可塑,缺乏防止忘记先前知识所必需的稳定性,这意味着随着学习的进行,网络往往会忘记先前看到的任务。这种现象在持续学习文献中被创造出来,最近引起了很多关注,并且已经提出了几种不同程度的成功方法。然而,以前的工作有限,广泛分析了不同的训练制度-学习率,批量大小,正则化方法-对遗忘的影响。在这项工作中,我们离开了典型的改变学习算法,以提高稳定性的方法。相反,我们假设的几何特性的局部极小值发现每个任务发挥了重要作用的整体遗忘程度。特别是,我们研究了辍学,学习率衰减和批量大小的影响,形成训练制度,扩大任务的局部最小值,从而帮助它不会忘记灾难性的。我们的研究提供了实用的见解,通过简单而有效的技术来提高稳定性,这些技术优于替代基线。
2020-06-12 cs.LG cs.NE stat.ML
Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models
AMOR/e Lab, Eindhoven University of Technology(埃因霍温理工大学AMOR/e实验室)
本文提出剪枝适应模块(PAM),通过冻结大部分预训练ResNet参数,利用稀疏任务特定层实现可扩展的连续学习,显著降低持续学习成本并减少遗忘。
2026-03-22 cs.LG
Continual Learning in Linear Classification on Separable Data
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
本文研究可分二元线性分类任务序列上的持续学习,证明弱正则化等价于序贯最大间隔问题并归入POCS框架,给出循环与随机任务顺序下遗忘等指标的上界及训练启示。
2023-06-06 cs.LG cs.NA math.NA
Regularization Shortcomings for Continual Learning
University of Montréal(蒙特利尔大学);MILA - Quebec AI Institute(魁北克人工智能研究所);Thales(泰雷兹公司);Flowers Laboratory (ENSTA ParisTech & INRIA)(Flowers实验室(ENSTA巴黎高科与INRIA))
在大多数机器学习算法中,训练数据被假设为独立同分布(iid)。当它不是这种情况下,算法的性能受到挑战,导致著名的灾难性遗忘现象。解决这一问题的算法集中在持续学习的研究领域。在本文中,我们研究了基于正则化的方法来持续学习,并表明这些方法不能学习区分类从不同的任务在一个基本的持续基准:类增量的情况下。本文从理论上论证了这一缺陷,并通过实例和实验加以说明。此外,我们还证明了它对连续多任务强化学习或用于持续学习的预训练模型有一些重要的影响。我们相信,强调和理解正则化策略的缺点将有助于我们更有效地使用它们。
2021-04-04 cs.LG stat.ML
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology(麻省理工学院)
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验,发现更大模型未必能缓解灾难性遗忘,反而在在线适应新任务时表现更差,揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
Local vs Global continual learning
ETH AI Center(ETH AI中心);ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Institute of Neuroinformatics - University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
本文从多任务损失近似视角比较局部与全局策略,对现有持续学习算法进行分类评估,并研究了局部多项式近似下的最优目标及实现示例。
2024-07-23 cs.AI cs.LG
A Theoretical Study on Solving Continual Learning
KDDI Research(KDDI研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);ByteDance(字节跳动)
持续学习(CL)是指以递增的方式学习一系列任务。有两种流行的CL设置,类增量学习(CIL)和任务增量学习(TIL)。CL的一个主要挑战是灾难性遗忘(CF)。虽然已经有许多技术可以有效地克服TIL的CF,但CIL仍然具有高度挑战性。到目前为止,很少有理论研究已经做了一个原则性的指导如何解决CIL问题。本文就是进行这样的研究。它首先表明,从概率上讲,CIL问题可以分解为两个子问题:任务内预测(WP)和任务ID预测(TP)。这进一步证明了TP与分布外(OOD)检测相关,它连接了CIL和OOD检测。本研究的主要结论是,无论WP和TP或OOD检测是否明确或隐含定义的CIL算法,良好的WP和良好的TP或OOD检测是必要的,良好的CIL性能足够。另外,TIL只是WP。在理论分析的基础上,设计了新的CIL方法,在CIL和TIL环境下,新的CIL方法的性能都大大优于强基线。
2022-11-04 cs.AI cs.CV cs.LG
Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning
Emory University(埃默里大学);George Mason University(乔治梅森大学)
持续学习被认为是迈向下一代人工智能(AI)的一个有希望的步骤,其中深度神经网络(DNN)通过持续学习类似于人类学习过程的一系列不同任务来做出决策。它仍然相当原始,现有的工作主要集中在避免(灾难性的)遗忘。然而,由于遗忘是不可避免的有限的记忆和无限的任务负载,“如何合理地忘记”是一个问题,持续学习必须解决,以减少人工智能和人类之间的性能差距,在1)记忆效率,2)概括性,和3)鲁棒性处理噪声数据。为了解决这个问题,我们提出了一个新的ScheMATic记忆持久性和短暂性(SMART)框架,持续学习与外部记忆,建立在神经科学的最新进展。一种新的长期遗忘机制和图式记忆,使用稀疏性和“向后正迁移”的限制与理论保证的错误界的效率和泛化能力提高。鲁棒增强是通过使用一种新的短期遗忘机制,灵感来自背景信息门控学习。最后,在基准数据集和真实数据集上进行了大量的实验分析,证明了该模型的有效性和效率。
2021-05-05 cs.LG
Improving Multimodal Large Language Models Using Continual Learning
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究将视觉模型集成至LLM视为持续学习问题,评估五种方法缓解遗忘,提出在保持多模态准确率的同时将语言性能退化降低高达15%的技术。
2025-08-13 cs.CL cs.CV cs.LG
Task-Free Continual Learning via Online Discrepancy Distance Learning
University of York(约克大学)
从非平稳数据流中学习,也称为无任务持续学习(TFCL),由于缺乏明确的任务信息,仍然具有挑战性。虽然最近已经提出了一些方法,TFCL,他们缺乏理论保证。此外,在TFCL的遗忘分析,以前没有从理论上研究。本文提出了一种新的理论分析框架,该框架基于访问样本与可用于训练模型的全部信息之间的差异距离提供泛化界限。这种分析为分类任务中的遗忘行为提供了新的见解。受此理论模型的启发,我们提出了一种新的方法,即在线离散远程学习(ODDL)的混合模型的动态组件扩展机制。ODDL估计当前存储器缓冲区的概率表示与已经积累的知识之间的差异,并将其用作扩展信号,以确保具有最佳性能的紧凑网络架构。然后,我们提出了一种新的样本选择方法,选择性地存储到内存缓冲区中的最相关的样本,通过基于差异的措施,进一步提高性能。我们进行了几个TFCL实验与所提出的方法,这表明,所提出的方法达到了最先进的性能。
2022-10-12 cs.CV cs.LG
Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition
New York University Tandon(纽约大学坦登工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出一种基于张量分解的持续学习模型评估框架,通过分析内部表示变化来揭示策略优劣,发现其能反映性能差异但难以直接识别神经元簇。
2024-05-06 cs.LG
The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
Singapore University of Technology and Design(新加坡科技设计大学);The Hong Kong University of Science and Technology(香港科技大学)
本文建立持续学习与机器遗忘之间的理论桥梁,通过定义后遗忘超额风险揭示保留历史知识与定向遗忘的权衡,并分析梯度法与海森法在遗忘损失和存储开销上的优劣,提出混合策略。
2026-06-29 cs.LG
A Theoretical Bridge Between Long-Tailed Recognition and Continual Learning
Department of Electrical and Computer Engineering & Ingenuity Labs Research Institute(电气与计算机工程系及Ingenuity实验室研究机构)
本文提出CLTR方法,通过持续学习解决长尾识别问题,理论分析显示其能缓解梯度饱和并提升尾部学习性能。
2026-11-09 cs.CV cs.LG
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind(深度思维)
神经网络在许多认知任务中取得了显著的成功。然而,当他们在不访问旧数据的情况下按顺序接受多个任务的训练时,他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘,这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中,我们提供了一个新的观点,正则化为基础的持续学习,制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架,可以实例化,以获得许多现有的算法,如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点,我们研究了优化方面(即,收敛)以及泛化特性(即,有限样本保证)的基于规则化的持续学习。我们的理论结果表明的重要性,准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML