MemEIC: A Step Toward Continual and Compositional Knowledge Editing
Electronics and Telecommunications Research Institute, Republic of Korea(韩国电子电信研究院);POSTECH;Sungkyunkwan University(全南大学)
针对大型视觉语言模型多模态知识连续更新问题,提出MemEIC方法,通过混合内外编辑器、双重外部记忆、双重LoRA适配器及受大脑启发的知识连接器,实现持续与组合式知识编辑,显著提升多模态问答性能并有效保留历史编辑。
2025-10-29 cs.AI cs.CL cs.LG
Continual Gradient Low-Rank Projection Fine-Tuning for LLMs
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通大数据挖掘与具身智能重点实验室);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);State Key Laboratory of Advanced Rail Autonomous Operation(先进轨道交通自主运行国家重点实验室)
本文提出GORP训练策略,通过在统一低秩梯度子空间内协同更新全量与低秩参数,解决LLM持续微调中效率与表达能力的矛盾,在持续学习基准上优于现有方法。
2025-07-03 cs.AI cs.CE cs.LG
Continual Dialogue State Tracking via Example-Guided Question Answering
Information Sciences Institute, University of Southern California(美国南加州大学信息科学研究所);Meta AI
本文将对话状态跟踪重构为示例引导的细粒度问答任务,结合状态变化检索器与对话级记忆回放,使60M参数模型在持续学习基准上达到SOTA。
2025-09-29 cs.AI cs.CL
Evidence-Informed LLM Beliefs for Continual Scientific Discovery
针对AutoDiscovery将惊奇视为静态量而人类惊奇是非平稳的问题,提出证据信息化的LLM信念,通过基于嵌入的检索增强生成更新先验,并修改搜索过程以避免虚假奖励,平均非平稳惊奇提高30.62%。
2026-06-28 cs.AI cs.CL cs.LG
Continual Learning in Vision-Language Models via Aligned Model Merging
Google DeepMind(谷歌DeepMind)
本文提出基于对齐模型合并的持续学习方法,通过将新任务参数与先前参数对齐合并,在大型视觉-语言模型中平衡可塑性与稳定性,有效减少遗忘并提升泛化能力。
2025-05-30 cs.AI cs.CV cs.LG
ALAS: Autonomous Learning Agent for Self-Updating Language Models
Dhruv Atreja(独立研究者)
ALAS提出一种模块化自主学习方法,通过自动生成课程、检索网络信息、蒸馏问答数据并进行SFT和DPO微调,使LLM在快速变化领域中将截止后问答准确率从15%提升至90%。
2025-08-14 cs.AI cs.CL cs.LG
PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs
Waseda University(早稻田大学)
提出PASTA框架,通过数据增强、问答生成和自学习DPO过程,将新闻事实知识集成到LLM中,实现知识覆盖与幻觉抑制,准确率从0.02提升至0.82。
2026-06-27 cs.CL
Beyond Classification: Dynamic Adapter Routing for Continual Multimodal Retrieval
NASK National Research Institute(NASK国家研究院);IDEAS Research Institute(IDEAS研究所);Warsaw University of Technology(华沙技术大学);Universitat Autonoma de Barcelona(巴塞罗那自治大学)
针对持续多模态检索(CMR)任务,提出基于原型路由和模型合并的动态适配器路由(DAR)方法,在跨域评估中取得优于现有基线的性能。
2026-05-29 cs.AI cs.CV
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
KAIST AI(韩国科学技术院人工智能研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google(谷歌公司);KRAFTON(KRAFTON公司);Adobe Research(Adobe研究院);New York University(纽约大学)
本文提出OAKS基准测试,用于评估大语言模型在动态连续知识流中的在线适应能力,发现现有模型在持续更新知识时存在显著局限性。
2026-03-08 cs.CL
CART: Compatible Routing for Multimodal Continual Instruction Tuning
Nanjing University(南京大学);State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
针对多模态持续指令微调中投影器与语言模型非对称适配引发的灾难性遗忘问题,提出CART方法,通过协调双模块适配与专家合并实现最优性能。
2026-10-16 cs.AI
Dense Clinical Contrasts Enhance Medical Knowledge Updating in Large Language Models
Xunfei Healthcare Technology Co., Ltd.(讯飞医疗科技股份有限公司)
该研究提出SEER-Bench基准,对比四种监督形式后发现EMQ在相同预算下可提升大型语言模型的医学知识更新效果,4B模型在该监督下于SEER-Bench取得64.8%答案准确率,证明医学知识更新与监督形式相关。
2026-09-01 cs.AI
Continual Pre-Training of Large Language Models: How to (re)warm your model?
Université de Montréal(蒙特利尔大学);Mila(米拉人工智能研究所);Eleuther AI;Concordia University(康考迪亚大学)
本文研究大语言模型的持续预训练,通过在Pythia 410M模型上实验不同的预热策略、学习率和预热长度,发现重新预热模型虽短期增加损失,但长期显著提升下游性能,甚至优于从头训练的模型。
2023-09-06 cs.CL cs.LG
Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
本研究针对大语言模型持续学习的灾难性遗忘问题,提出子空间调优(SST)方法,通过限制权重更新至底部奇异子空间,在保护已有能力的同时提升目标任务性能,推进了学习-遗忘帕累托前沿。
2026-10-16 cs.AI cs.LG
Adaptive Memory Replay for Continual Learning
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Georgia Institute of Technology(佐治亚理工学院)
针对计算资源有限但记忆充足场景下的持续学习,提出基于多臂老虎机和玻尔兹曼采样的自适应记忆重放框架,动态选择过去数据训练,在视觉与语言预训练任务中减少高达10%的遗忘且不损失训练效率。
2024-04-18 cs.CL cs.CV cs.LG
What Does Loss Optimization Actually Teach, If Anything? Knowledge Dynamics in Continual Pre-training of LLMs
Signals and Interactive Systems Lab, University of Trento(信号与交互系统实验室,特伦托大学)
研究揭示连续预训练中损失优化与知识学习的不一致性,发现事实学习不稳定且非单调,知识路径随训练动态变化,促使基于学习动态的停止标准评估。
2026-01-07 cs.CL
MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
Baylor University(贝勒大学);NEC Laboratories America(美国 NEC 实验室);University of Arkansas(阿肯色大学);Southern Illinois University(南伊利诺伊大学)
针对小语言模型持续学习中参数更新致灾难性遗忘及内存不足问题,提出MIITA框架,它通过存储校正方向原型并在推理时检索应用,结合理论分析,在多种设置实验中提升性能并减轻遗忘。
2026-07-28 cs.AI
Continual Reinforcement Learning with Multi-Timescale Replay
Imperial College London(帝国理工学院);DeepMind
在本文中,我们提出了一个多时间尺度重放(MTR)缓冲区,以提高RL代理的持续学习面临的环境是不断变化的时间尺度是未知的代理。基本的MTR缓冲区包括一系列子缓冲区,这些子缓冲区在不同的时间尺度上积累经验,使代理能够改善适应新数据和保留旧知识之间的权衡。我们还将MTR框架与不变风险最小化相结合,并鼓励代理学习随着时间的推移在遇到的各种环境中具有鲁棒性的政策。MTR方法在三种不同的持续学习设置中对两个连续控制任务进行评估,在许多情况下,显示出超过基线的改进。
2020-04-16 cs.AI cs.LG stat.ML
Domain Mastery Benchmark: An Ever-Updating Benchmark for Evaluating Holistic Domain Knowledge of Large Language Model--A Preliminary Release
本文提出DomMa基准,基于中国112个一级学科构建10万道中英文题目,用于持续、全面地评估大语言模型的领域知识理解能力。
2023-08-10 cs.CL
Efficient Few-Shot Continual Learning in Vision-Language Models
University of Cambridge(剑桥大学)
本文提出 LoRSU 方法,通过结构化低秩更新选择性调整视觉-语言模型中的图像编码器,在少样本持续学习场景下将计算开销降低超 25 倍且保持性能。
2025-02-07 cs.AI cs.CV
SensorPersona: An LLM-Empowered System for Continual Persona Extraction from Longitudinal Mobile Sensor Streams
The Chinese University of Hong Kong(香港中文大学);Columbia University(哥伦比亚大学)
本文提出SensorPersona系统,通过多模态长期传感器流持续提取稳定用户人设,提升LLM代理的个性化响应质量。系统通过上下文编码、分层人设推理和自适应更新,实现对物理行为、心理特质和生活经验的全面分析。
2026-03-15 cs.AI cs.CL cs.HC
Beyond Endpoint Scores: Time- and Capacity-Conditioned Evaluation of Continual Knowledge Updating
Yonsei University(延世大学);Sooil Development;NCreate
该研究指出持续知识更新方法的排名受评估时间和重放适应容量共同影响,提出需报告轨迹与容量扫描以确定稳健胜者,发现周期性层次结构是更新成本更低的操作点。
2026-09-04 cs.LG
Efficient Continual Pre-training by Mitigating the Stability Gap
Peking University(北京大学);HKUST(香港科技大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文研究持续预训练中的稳定性差距现象,提出子集多轮训练、高质量语料和相似数据混合三种策略,有效提升LLM在新领域的性能并减少遗忘,基于此开发的Llama-3-Physician在医学任务上表现媲美GPT-4。
2024-06-27 cs.CL
Continual Visual Learning under Evolving Semantic Concept Shift
Mohammed Premier University(穆罕默德一世大学);Sultan Moulay Slimane University(苏丹穆莱·斯利曼大学)
针对演化语义概念偏移问题,本文提出SemReWrite框架,结合低秩重写机制与结构化语义记忆等,构建EvoShift-Bench基准并引入多评价指标,在视觉持续学习中实现了修订语义与保留知识的更优平衡。
2026-08-26 cs.CL cs.CV
ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems
Nanyang Technological University(南洋理工大学);SenseTime Group Limited(商汤集团有限公司);Singapore Management University(新加坡管理大学)
MLOps是关于将实验性的ML模型投入生产,即,将模型提供给实际用户。不幸的是,现有的ML服务系统不能充分处理在线数据与离线训练数据偏离的动态环境,导致繁琐的模型更新和部署工作。本文实现了一个轻量级的MLOps插件,称为ModelCI-e(持续集成和进化),以解决这个问题。具体来说,它包含持续学习(CL)和ML部署技术,为模型更新和验证提供端到端支持,而无需提供引擎定制。ModelCI-e包括1)一个模型工厂,允许CL研究人员轻松地对CL模型进行原型和基准测试,2)一个CL后端,可以有效地自动化和协调模型更新,以及3)一个ML团队协作管理CL服务的Web界面。我们的初步结果证明了ModelCI-e的可用性,并表明消除模型更新和推理工作负载之间的干扰对于提高系统效率至关重要。
2021-06-06 cs.DC cs.LG
Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
提出LT-Gate神经元模型,通过双时间常数与自适应门控结合方差正则化,在持续学习中实现快速适应与长期记忆,显著提升准确率并兼容神经形态硬件。
2026-10-09 cs.LG
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院);Xiamen University(厦门大学);Harbin Institute of Technology(哈尔滨工业大学);University College London(伦敦大学学院);Huawei Noah’s Ark Lab, UK(华为诺亚方舟实验室(英国));MemoraX AI
SafeCoEvo提出测试时护栏与守卫协同进化框架,通过短期显式知识更新和长期参数化风险判断,同时降低不安全结果率10.05%并提升任务成功率12.15%。
2026-10-05 cs.AI
A Continual Validation, Updating, and Decision-Making Framework for Self-Adaptive Digital Twins: A Case Study in Additive Manufacturing
Northwestern University(西北大学)
研究针对数字孪生中概念漂移致模型退化问题,提出集成Fisher分数漂移检测器、LoRA及Mann-Whitney U检验的自适应框架,能监测模型置信度、触发微调并统计验证性能提升,经案例研究成功检测变化并恢复相关性能,维持数字孪生可信度。
2026-11-10 cs.AI cs.LG math.ST
Continual Learning Under Language Shift
RISE Research Institutes of Sweden(瑞典RISE研究所);KTH Royal Institute of Technology(瑞典皇家理工学院);Université de Montréal(蒙特利尔大学);MILA-Quebec AI Institute(魁北克MILA人工智能研究所);Karolinska Institutet(卡罗林斯卡学院);MedTechLabs(医疗技术实验室);Uppsala University(乌普萨拉大学)
研究语言变迁下持续更新语言模型的利弊,发现前向迁移普遍积极,后向迁移取决于语言顺序与特征,语言污染与句法相似性共同解释结果。
2024-06-27 cs.CL cs.LG
Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation of Predictive Models
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);University of Pisa(比萨大学)
如今,预测性机器学习模型通常以无状态和昂贵的方式更新。对于希望构建基于机器学习的应用程序和系统的公司来说,未来的两个主要趋势是实时推理和持续更新。不幸的是,这两种趋势都需要一个成熟的基础设施,而这一基础设施很难在本地实现,而且成本高昂。本文定义了一种新的软件服务和模型交付基础设施称为持续学习-即-服务(CLaaS),以解决这些问题。具体而言,它包含持续的机器学习和持续集成技术。它为数据科学家提供了模型更新和验证工具的支持,而无需内部部署解决方案,并且以高效,有状态和易于使用的方式。最后,这个CL模型服务很容易封装在任何机器学习基础设施或云系统中。本文介绍了名为LiquidBrain的CLaaS实例化的设计和实现,并在两个真实场景中进行了评估。前者是使用CORe 50数据集的机器人对象识别设置,而后者是使用时尚领域的DeepFashion-C数据集的命名类别和属性预测。我们的初步结果表明了持续学习模型服务的可用性和效率,以及解决方案在解决实际用例方面的有效性,无论计算发生在连续体边缘云中的何处。
2022-07-21 cs.AI cs.DC cs.LG
Continual Reinforcement Learning with Complex Synapses
Imperial College London(帝国理工学院);Google DeepMind(谷歌DeepMind)
与能够在一生中持续学习的人类不同,人工神经网络长期以来一直被称为灾难性遗忘,即新的学习可能导致先前获得的知识突然消失。而在神经网络中,参数通常被建模为标量值,大脑中的单个突触包括在不同时间尺度上进化的相互作用的生化成分的复杂网络。在本文中,我们表明,通过为表格和深度强化学习代理配备包含这种生物复杂性的突触模型(Benna & Fusi,2016),可以在多个时间尺度上减轻灾难性遗忘。特别是,我们发现,除了在两个简单任务的顺序训练中实现持续学习之外,它还可以通过减少对经验重放数据库的需求来克服任务内遗忘。
2018-06-19 cs.AI cs.LG cs.NE
DSI++: Updating Transformer Memory with New Documents
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Google Brain(谷歌大脑);Google DeepMind(谷歌DeepMind);Google(谷歌)
本文提出 DSI++持续文档索引挑战,通过平坦极小值优化与生成式伪查询记忆缓解旧文档遗忘,在 NQ 和 MS MARCO 上显著提升 Hits@10 并降低更新成本。
2023-12-08 cs.AI cs.CL cs.IR
Online Continual Learning for Anomaly Detection in IoT under Data Distribution Shifts
Faculty of Electrical Engineering and Information Technologies(电气工程与信息科技学院);Ss. Cyril and Methodius University in Skopje(斯·西里尔和梅瑟斯大学)
OCLADS通过智能样本选择和分布偏移检测机制,在物联网中实现高效异常检测,减少模型更新次数的同时保持高推理准确性。
2026-03-08 cs.LG
Policy Consolidation for Continual Reinforcement Learning
Imperial College London(帝国理工学院);DeepMind(深度思维)
我们提出了一种在深度强化学习中解决灾难性遗忘的方法,即\textit{agnostic}到经验分布变化的时间尺度,不需要任务边界的知识,并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中,策略网络与隐藏网络的级联进行交互,这些隐藏网络同时记住代理在一系列时间尺度上的策略,并通过自己的历史来规范当前策略,从而提高其学习而不忘记的能力。我们发现,该模型提高了持续学习相对于基线的一些连续控制任务,在单任务,交替两个任务,和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
ISM:Self-Improving Strategy Memory for Continual Mathematical Reasoning
提出智能模式记忆(ISM),一种自我演进的记忆增强系统,通过从成功和失败案例中学习并维护策略模式库,在不更新模型参数的情况下提升冻结LLM在持续学习中的数学推理能力。
2026-07-03 cs.LG
Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出ReGrad范式,将梯度作为可检索知识单元,通过元学习重塑文档梯度为通用适应信号,实现无权重漂移的可扩展参数知识注入。
2026-10-14 cs.AI cs.CL cs.IR
MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
Beihang University(北京航空航天大学);Microsoft Corporation(微软公司)
针对 LoRA 低秩更新限制 LLM 学习与记忆新知识的问题,本文提出 MoRA,利用方阵和无参数降维、升维算子在同等可训练参数量下实现高秩更新,并支持权重合并部署。
2024-05-20 cs.CL cs.LG
Adiabatic replay for continual learning
University of Applied Sciences Fulda(富尔达应用科学大学)
传统的基于重放的持续学习(CL)方法对于具有新数据的每个学习阶段需要重放代表所有先前学习的知识的样本,以便避免灾难性遗忘。由于在CL问题中学习的知识量随着时间的推移而增长,因此生成重放花费越来越多的时间重新学习已经知道的内容。在这个概念验证研究中,我们提出了一种基于重放的CL策略,我们称之为绝热重放(AR),它的效率来自于每个新学习阶段是绝热的(合理)假设,即,这只是对现有知识的一个小小的补充。每一个新的学习阶段都会触发一个采样过程,从现有的知识中选择性地重放与新数据相似的样本,而不是重放所有的样本。不需要完全重放,因为AR代表了GARCH的数据分布,GARCH只有在数据统计发生变化时才能选择性地更新其内部表示。只要加法是绝热的,则要重放的样本的量根本不需要取决于先前获取的知识的量。我们通过实验验证了AR优于使用VAE的最先进的深度生成重放。
2023-03-23 cs.AI cs.LG
Continual Learning via Bit-Level Information Preserving
National University of Singapore(新加坡国立大学);YITU Technology(依图科技)
持续学习解决了按顺序学习不同任务的设置问题。尽管有很多以前的解决方案,他们中的大多数仍然遭受严重的遗忘或昂贵的内存成本。在这项工作中,针对这些问题,我们首先研究了持续学习过程中,通过信息论的镜头,并观察到遗忘的模型源于\emph{information gain}的参数从以前的任务时,学习一个新的任务。从这个角度来看,我们然后提出了一种新的持续学习的方法,称为比特级信息保持(BLIP),保持信息增益的模型参数,通过更新的参数在比特级,这可以方便地实现参数量化。更具体地说,BLIP首先对新输入的任务训练具有权重量化的神经网络,然后估计由任务数据提供的每个参数的信息增益,以确定要冻结以防止遗忘的位。我们进行了广泛的实验,从分类任务到强化学习任务,结果表明,我们的方法产生更好的或与以前的国家的最先进的结果相比。事实上,BLIP实现了接近零遗忘,而在整个持续学习过程中只需要恒定的内存开销。
2022-03-16 cs.LG
Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer
Arizona State University(亚利桑那州立大学);University of California, Davis(加利福尼亚大学戴维斯分校)
通过不断地学习一系列任务,持续学习(CL)中的智能体可以分别利用前向知识转移和后向知识转移来提高新任务和“旧”任务的学习性能。然而,大多数现有的CL方法专注于解决神经网络中的灾难性遗忘,通过最小化旧任务的学习模型的修改。这不可避免地限制了从新任务到旧任务的向后知识转移,因为明智的模型更新也可能提高旧任务的学习性能。为了解决这个问题,我们首先从理论上分析的条件下,更新旧任务的学习模型可能是有益的CL,也导致向后知识转移,基于梯度投影到旧任务的输入子空间。在理论分析的基础上,我们提出了一种具有反向知识转移(CUBER)的持续学习方法,用于固定容量的神经网络,无需数据重放。特别是,CUBER首先表征的任务相关性,以确定正相关的老任务,在一个分层的方式,然后有选择地修改旧任务的学习模型时,学习新的任务。实验研究表明,CUBER甚至可以实现积极的向后知识转移的几个现有的CL基准上的第一次没有数据重放,其中相关的基线仍然遭受灾难性遗忘(负向后知识转移)。CUBER在后向知识转移方面的优越性能也相应地导致了更高的准确性。
2022-11-01 cs.AI cs.LG
FoCTTA: Low-Memory Continual Test-Time Adaptation with Focus
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Swiss Data Science Center(瑞士数据科学中心);City University of Hong Kong(香港城市大学)
针对持续测试时自适应中更新所有BN层导致的高内存问题,提出FoCTTA,通过自动聚焦更新少数漂移敏感表征层,降低内存并提升准确率,在多个基准上优于现有方法。
2025-02-28 cs.LG
Towards Macro-AUC oriented Imbalanced Multi-Label Continual Learning
School of Software, Shandong University(山东大学软件学院)
本文针对多标签持续学习(MLCL)中的类别不平衡问题,首次提出基于记忆重放的方法,结合重新加权的标签分布感知边界(RLDAM)损失和权重保留更新(WRU)策略,以优化Macro-AUC,并提供了首个理论泛化分析及实验验证。
2024-12-24 cs.LG
Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor
Sun Yat-sen University(中山大学)
深度学习已经在各种应用中显示出了人类水平的性能。然而,当前的深度学习模型的特点是在学习新类时对旧知识的灾难性遗忘。这尤其在智能诊断系统中提出了挑战,在智能诊断系统中,最初只有有限数量的疾病的训练数据可用。在这种情况下,用新疾病的数据更新智能系统将不可避免地降低其对先前学习的疾病的性能。受人类大脑学习新知识过程的启发,我们提出了一种基于固定预训练特征提取器的持续学习贝叶斯生成模型。在该模型中,每个旧类的知识可以由统计分布的集合来复杂地表示,例如利用高斯混合模型,并且自然地防止随着时间的推移在持续学习中遗忘。与现有的类增量学习方法不同,所提出的方法对持续学习过程不敏感,并且可以很好地应用于数据增量学习场景。在多个医学和自然图像分类任务上的实验表明,该方法的性能优于最先进的方法,即使在新类的持续学习过程中保留一些旧类的图像。
2022-04-28 cs.CV cs.LG
CoMemNet: A Continual Memory Network with Drift-Aware Sampling for Traffic Prediction
College of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院)
CoMemNet提出一种双分支持续学习框架,通过动态对比采样和轻量级记忆缓冲器解决持续交通预测中的灾难性遗忘问题,实验证明其在三大真实世界数据集上达到SOTA性能。
2026-10-05 cs.AI cs.LG
Design of Explainability Module with Experts in the Loop for Visualization and Dynamic Adjustment of Continual Learning
University of Kassel(卡塞尔大学)
持续学习可以使神经网络通过在任务变化的场景中顺序地学习新任务来进化。然而,在我们将这种技术应用于现实世界的应用之前,在进一步的研究中应该克服两个普遍和相关的挑战。首先,从应用程序中的数据流中新收集的新奇内容可能包含对持续学习没有意义的异常。我们不应将其视为更新的新任务,而是必须过滤掉这些异常,以减少极高熵数据对收敛进程的干扰。其次,较少的努力已经投入到持续学习的可解释性的研究,这导致了缺乏透明度和可信度的更新神经网络。对持续学习的过程和结果进行详尽的解释,可以帮助专家进行判断和决策。因此,我们提出了一个可解释性模块的概念设计与专家在回路的基础上的技术,如降维,可视化和评价策略。这项工作旨在通过充分解释和可视化所识别的异常和更新的神经网络来克服上述挑战。通过该模块,专家可以在异常过滤、超参数动态调整、数据备份等方面更有信心地进行决策。
2022-02-14 cs.LG
CaT: Balanced Continual Graph Learning with Graph Condensation
The University of Queensland(昆士兰大学)
本文提出CaT框架,通过将新到达图压缩为小型合成回放图并存入压缩图记忆,结合记忆内训练方案,缓解持续图学习中的灾难性遗忘和数据不平衡问题,在多个基准数据集上验证了其有效性与效率。
2023-09-19 cs.LG
Theories of synaptic memory consolidation and intelligent plasticity for continual learning
Friedrich Miescher Institute of Biomedical Research(弗里德里希·米歇尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院)
本章综述了基于突触内部状态演化和智能调控单个突触可塑性的元可塑性理论,阐明其对实现神经网络持续学习的关键作用,并总结了在深度神经网络中的应用及未来研究方向。
2024-10-18 cs.AI cs.LG cs.NE
The Bayesian Approach to Continual Learning: An Overview
NPL, Maxwell Centre, University of Cambridge(NPL、麦克斯韦中心、剑桥大学)
探讨持续学习问题,利用贝叶斯推理方法,避免遗忘旧知识,无需从头重训,总结其不同设置、算法分类、现状及与其他领域联系,分析挑战并展望未来研究方向。
2026-07-07 cs.LG stat.ML
BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning
Indian Institute of Technology Mandi(印度理工学院曼迪)
本文提出BID-LoRA框架,通过双向低秩适应和逃逸去学习技术,解决持续学习与去学习中的知识泄露问题,实验表明其在多个适应周期中优于基线方法。
2026-04-14 cs.AI cs.LG
ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy
Tsinghua University(清华大学);ShanghaiTech University(上海科技大学)
本文提出ATLAS,一种基于适配器的多模态持续学习两阶段范式,通过经验学习与新知识扩展缓解灾难性遗忘,提升下游任务泛化能力。
2024-10-14 cs.AI cs.CV cs.LG
Multi-Timescale Primal Dual Hybrid Gradient with Application to Distributed Optimization
Operations Research Center, MIT(麻省理工学院运筹学研究中心);Department of Electrical Engineering and Computer Science, MIT(麻省理工学院电气工程与计算机科学系)
本文提出多时间尺度PDHG方法及其加速变体,通过混合Bregman散度和多时间尺度外推实现不同对偶块的任意更新率收敛,提升异构优化和通信成本下的效率。
2026-04-02 cs.LG math.OC
Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization
提出一种基于知识图谱模式与已有嵌入的信息初始化策略,提升持续学习中新知识的获取并减少灾难性遗忘,同时加速训练。
2025-11-14 cs.LG
COLA: Continual Learning via Autoencoder Retrieval of Adapters
Microsoft(微软)
本文提出COLA框架,利用自编码器检索任务适配器嵌入,实现LLM高效持续学习,防止灾难性遗忘,无需数据回放,显著减少参数与内存,并在多数据集上超越现有方法。
2025-10-22 cs.LG
Exploring Open-world Continual Learning with Knowns-Unknowns Knowledge Transfer
Southwestern University of Finance and Economics(西南财经大学);Leiden University(莱顿大学);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对开放世界持续学习中将开放检测与增量分类分离且忽视未知样本知识的问题,提出HoliTrans框架,通过非线性随机投影和分布感知原型实现已知-未知知识迁移,在22个基线上取得最优性能。
2025-02-27 cs.AI cs.LG
Position: Modular Memory is the Key to Continual Learning Agents
University of Bremen(不莱梅大学);Seoul National University(首尔国立大学);Computer Vision Center Barcelona(巴塞罗那计算机视觉中心);University of Florence(佛罗伦萨大学);Microsoft Research(微软研究院);HEC Montreal, Mila--Quebec AI Institute, Canada CIFAR AI Chair(蒙特利尔HEC学院、魁北克人工智能研究所、加拿大CIFAR人工智能 chair);Bielefeld University(比勒海姆大学);Georgia Institute of Technology(佐治亚理工学院);University of Rochester(罗切斯特大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Nankai University(南开大学);LUISS University(卢西亚诺大学);Stony Brook University(石溪大学);University of Tübingen(图宾根大学);University of Trento, FBK(特伦托大学,FBK);Tsinghua University(清华大学);University of Groningen(Groningen大学)
本文提出通过模块化记忆结合权重内学习与上下文学习,解决持续学习中的灾难性遗忘问题,实现大规模持续适应。
2026-06-17 cs.AI cs.LG