Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks
Alfred University(阿尔弗雷德大学)
本研究评估了100亿参数以下的开源LLMs在GLUE基准测试上的持续微调,发现Phi-3.5-mini等模型在持续学习中表现出最小的遗忘和强大的学习能力,并强调了提示工程在优化模型性能中的作用。
2025-04-01 cs.CL
InfoCL: Alleviating Catastrophic Forgetting in Continual Text Classification from An Information Theoretic Perspective
Peking University(北京大学);Tencent Cloud AI(腾讯云人工智能)
InfoCL通过互信息最大化和对抗性记忆增强,在类增量持续文本分类中缓解信息瓶颈导致的相似类混淆,实现最先进性能。
2023-10-10 cs.CL
An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
本文实证研究 1b–7b 大型语言模型在持续指令微调中的灾难性遗忘,发现更大模型遗忘更严重、BLOOMZ 优于 mT0,且通用指令微调可缓解遗忘。
2025-01-05 cs.CL
Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models
提出Model-Dowser,一种基于重要性评分的稀疏微调方法,通过联合考虑权重幅度、输入激活和输出敏感性来缓解多模态大语言模型微调中的灾难性遗忘,在LLaVA和NVILA上优于现有方法。
2026-06-01 cs.CL
AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院);School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院);Graduate School of Information Science, Hokkaido University(北海道大学信息科学研究院)
针对多模态大语言模型微调时的灾难性遗忘问题,提出无需修改架构的AWARe方法,通过激活加权控制参数更新,在保留上游能力的同时提升下游性能。
2026-08-13 cs.CL
Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models
Zhejiang University(浙江大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出Model Tailor方法,通过保留预训练参数并替换少量微调参数,结合稀疏掩码与补偿机制,有效缓解多模态大语言模型微调中的灾难性遗忘,在保持原始任务性能的同时适应新任务。
2024-02-19 cs.CL
Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
Department of Computer Science, National Centre for Text Mining(计算机科学系、文本挖掘国家中心)
提出Locate-then-Merge训练无关参数融合框架及Neuron-Fusion神经元级策略,通过定位并选择性融合重要参数,在13个基准上缓解多模态大语言模型灾难性遗忘并减少幻觉。
2025-05-22 cs.CL
Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation
York University(约克大学)
本文针对非英语开放域对话生成中少样本跨语言迁移与多任务学习的灾难性遗忘问题,提出基于固定提示语言模型调优和手工提示的提示学习方法,在6种语言上验证了其有效性。
2023-05-29 cs.CL
Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在本文中,我们探讨了具有挑战性的问题,执行生成任务的目标语言时,标记的数据是唯一可用的英语,摘要作为一个案例研究。我们假设一个严格的设置,无法访问并行数据或机器翻译,并发现常见的迁移学习方法在这种设置中很难,因为纯粹在英语上微调的生成多语言模型灾难性地忘记了如何生成非英语。考虑到最近参数有效的自适应技术的兴起,我们对一种这样的方法提示微调(Lester等人,2021),可以克服灾难性遗忘以实现zero-shot跨语言生成。我们的实验表明,当在不太相关的语言之间传输时,参数有效的提示微调提供了优于标准微调的增益,例如,从英语到泰语然而,在这些方法与全面监督的基线之间仍然存在着重大差距。为了进一步改进跨语言迁移,我们探索了几种方法,包括:(1)混合未标记的多语言数据,(2)显式地将提示分解为可重组的语言和任务组件。我们的方法可以提供进一步的质量增益,这表明强大的zero-shot跨语言生成是触手可及的。
2022-10-23 cs.CL
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
神经网络在从动态数据分布中顺序学习多个任务时,往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting},这是神经网络的持续学习中的一个基本挑战。在这项工作中,我们观察到灾难性遗忘不仅发生在持续学习中,而且也影响了传统的静态训练。神经网络,特别是神经机器翻译模型,即使从静态训练集学习,也会遭受灾难性遗忘。具体来说,最终模型对训练样本的关注不平衡,最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练,因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题,我们提出了补充在线知识蒸馏(COKD),它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明,我们的方法成功地解决了不平衡的训练问题,并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
Revisiting Catastrophic Forgetting in Large Language Model Tuning
Wuhan University(武汉大学);The University of Sydney(悉尼大学);University of Liverpool(利物浦大学);Nanyang Technological University(南洋理工大学)
本文首次揭示大语言模型损失景观平坦性与灾难性遗忘的直接关联,并提出用锐度感知最小化平坦化损失景观以缓解遗忘,实验证明其有效且能与现有抗遗忘策略互补。
2024-06-07 cs.AI cs.CL
When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting
MPI for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Jinesis Lab, University of Toronto & Vector Institute(Jinesis实验室,多伦多大学与向量研究所);EuroSafeAI;Hector Foundation(赫克托基金会);Stanford University(斯坦福大学);ELLIS Institute Tübingen(ELLIS研究所(蒂宾根))
研究微调中语言模型的虚假遗忘机制,发现遗忘包含可逆的共享访问丧失与不可逆的个体事实侵蚀,后者才是灾难性的,其主导性取决于新数据对旧记忆的移动方式。
2026-10-07 cs.CL cs.LG
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学)
神经机器翻译(NMT)模型通常在连续训练期间遭受灾难性遗忘,其中模型倾向于逐渐忘记先前学习的知识并摆动以拟合可能具有不同分布(例如,不同域)的新添加的数据。虽然已经提出了许多方法来解决这个问题,但我们还不能知道是什么导致了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度探讨了灾难性遗忘的成因。通过对NMT模型中各模块的研究发现,有些模块与通用领域知识有着紧密的联系,而有些模块则是领域自适应中更为重要的模块。对参数的研究表明,某些参数对一般域和域内翻译都很重要,在连续训练过程中参数的较大变化会导致一般域的翻译性能下降。我们在不同的语言对和领域进行实验,以确保我们的研究结果的有效性和可靠性。
2020-11-30 cs.AI cs.CL
SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment
University of Science and Technology of China(中国科学技术大学);Xiaohongshu Inc.(小红书公司)
针对检索增强生成(RAG)场景下监督微调易引发大语言模型灾难性遗忘的问题,提出自分布对齐方法SelfAug,通过对齐输入序列logits保留语义分布,实现下游学习与通用能力保留的更优平衡,并揭示分布偏移与遗忘程度的关联。
2025-09-04 cs.AI cs.CL
Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension
IBM Research Australia(IBM澳大利亚研究院);University of Melbourne(墨尔本大学)
近年来,大规模开放域阅读理解数据集的创建使得端到端神经理解模型的开发具有良好的效果。为了将这些模型用于具有有限训练数据的领域,最有效的方法之一是首先在大的域外源数据上预训练它们,然后用有限的目标数据对它们进行微调。需要注意的是,经过微调后,理解模型在源域中的表现往往很差,这种现象被称为灾难性遗忘。在本文中,我们探讨的方法,克服灾难性遗忘在微调,而不假设访问数据的源域。我们引入了新的辅助惩罚项,并观察到最佳性能时,辅助惩罚项的组合被用来调整适应理解模型的微调过程。为了测试我们的方法,我们开发并发布了6个窄域数据集,这些数据集可能被用作阅读理解基准。
2020-11-20 cs.CL cs.LG
Intelligent Learning Rate Distribution to reduce Catastrophic Forgetting in Transformers
Bielefeld University(比勒费尔德大学)
本文针对Transformer微调中的灾难性遗忘问题,通过超参数优化寻找并组合优于平坦学习率的学习率分布,并在GLUE基准上验证其有效性。
2024-03-27 cs.AI cs.CL cs.LG
Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting
提出一种无需原始SFT数据即可缓解大模型灾难性遗忘的微调方法,通过重建指令分布并合成通用数据集与领域数据混合微调,在保留通用能力的同时提升特定任务性能。
2025-06-28 cs.AI cs.CL
Mitigating Catastrophic Forgetting in Mathematical Reasoning Finetuning through Mixed Training
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出混合训练策略,通过交错数学和NLI任务来缓解微调中的灾难性遗忘,同时保持数学性能和NLI准确性。
2025-12-05 cs.CL cs.LG
Controlling Conditional Language Models without Catastrophic Forgetting
University of Sussex(萨塞克斯大学);Naver Labs Europe(Naver欧洲实验室)
机器学习正在转向通用的预训练生成模型,这些模型以自我监督的方式在大量数据上进行训练,然后可以应用于解决大量任务。然而,由于它们的通用训练方法,这些模型通常不能满足一些下游要求(例如,抽象概括中的幻觉或代码生成中的风格冲突)。这就提出了一个重要的问题,即如何在不破坏其一般能力(“灾难性遗忘“)的情况下调整预训练的生成模型以满足所有要求。最近的工作提出了解决这个问题,通过代表任务特定的要求,通过基于能量的模型(EBM)和近似这些EBM使用分布式策略梯度(DPG)。尽管其有效性,但这种方法仅限于无条件分配。在本文中,我们扩展了DPG的条件任务,提出了条件DPG(CDPG)。我们在三个任务(翻译,摘要和代码生成)和两个预训练模型(T5和GPT-Neo)的四个不同的控制目标上评估CDPG。我们的研究结果表明,使用CDPG进行微调可以使这些预训练模型更接近于满足控制目标,并且与基线方法相比,不会导致灾难性遗忘。
2022-06-20 cs.CL cs.LG
Kronecker Factorization for Preventing Catastrophic Forgetting in Large-scale Medical Entity Linking
Northeastern University(东北大学);Amazon AI(亚马逊AI);Qualtrics;Northeastern(东北大学)
多任务学习在NLP中很有用,因为实际上通常希望有一个跨一系列任务的单一模型。在医学领域,任务的顺序训练有时可能是训练模型的唯一方法,因为不再可以访问原始(潜在敏感)数据,或者仅仅是由于联合再训练固有的计算成本。然而,顺序学习固有的一个主要问题是灾难性遗忘,即,当为新任务更新模型时,先前任务的准确性大幅下降。弹性权重合并是最近提出的解决这个问题的方法,但将这种方法扩展到实际使用的现代大型模型需要对模型参数进行强独立性假设,从而限制了其有效性。在这项工作中,我们应用Kronecker分解-一种放松独立性假设的最新方法-来防止大规模卷积和基于transformer的神经网络中的灾难性遗忘。我们展示了这种技术在跨三个数据集的医学实体链接的重要和说明性任务上的有效性,展示了该技术在新的医学数据可用时用于对现有方法进行有效更新的能力。平均而言,该方法使用基于BERT的模型时,将灾难性遗忘减少了51%,而使用标准弹性权重合并时减少了27%,同时保持空间复杂度与模型参数的数量成比例。
2021-11-11 cs.CL cs.LG
Preventing Catastrophic Forgetting: Behavior-Aware Sampling for Safer Language Model Fine-Tuning
针对微调中的灾难性遗忘,提出行为感知采样框架,基于指令响应行为与语义多样性选择安全示例,仅用0.5%额外数据将有害性降低41%。
2025-10-23 cs.AI cs.CL
Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition
KU Leuven(鲁汶大学)
本文提出权重平均方法,通过简单平均旧模型和新模型以克服ASR中的灾难性遗忘,实验证明其在单语和多语任务中均优于现有基线。
2023-03-09 cs.CL cs.SD eess.AS
Can Similarity-Based Domain-Ordering Reduce Catastrophic Forgetting for Intent Recognition?
University of Florida(佛罗里达大学)
本文研究领域排序对意图识别模型持续学习中灾难性遗忘的影响,比较min-sum path、max-sum path和random三种策略,发现min-sum path在T5-Base上最优,但在T5-Large上优势减弱,表明领域排序可作为资源受限场景下的补充缓解策略。
2024-02-21 cs.AI cs.CL
Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
针对预训练语言模型性别偏见缓解中的灾难性遗忘问题,提出冻结预训练模型并学习性别相关提示的新方法GEEP,在提升性别公平性的同时大幅保持了下游任务性能。
2023-06-30 cs.CL cs.CY cs.LG
A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
Seoul National University of Science and Technology(首尔科学技术大学);Korea Institute of Land & Infrastructure Safety Technology(韩国国土与基础设施安全技术研究院)
本研究揭示LLM灾难性遗忘集中于罕见令牌的输出嵌入,提出仅提高输出投影Adam epsilon的干预,在多种设置下消除39.4%-67.9%遗忘,且不损害目标学习。
2026-10-08 cs.AI cs.CL
Utilizing Priming to Identify Optimal Class Ordering to Alleviate Catastrophic Forgetting
Lewis & Clark College(路易斯与克拉克学院);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
为了让人工神经网络开始准确地模仿生物网络,它们必须能够适应新的紧急情况,而不会忘记它们从以前的训练中学到的东西。人工神经网络的终身学习方法试图努力实现这一目标,但还没有取得足够的进展,以实际部署的自然语言处理任务。众所周知的灾难性遗忘仍然是研究人员建立终身学习模型的障碍。虽然人们正在努力平息灾难性遗忘,但缺乏研究来探讨在新课程上进行增量学习时课程排序的重要性。这是令人惊讶的,因为人类学习的“类”的排序受到严格监控,并且非常重要。虽然开发一个理想的类顺序的策略已经研究,本文探讨类排序,因为它涉及到启动作为一个计划,增量类学习。通过研究人类中发现的各种启动方法之间的联系,以及这些方法如何在终身机器学习中被模仿但仍然无法解释,本文提供了对我们的生物系统和合成系统之间相似性的更好理解,同时改进了当前的实践,以对抗灾难性遗忘。通过将心理启动实践与类排序相结合,本文能够确定一种可推广的方法,用于NLP增量学习任务中的类排序,该方法始终优于随机类排序。
2022-12-24 cs.AI cs.CL cs.LG
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
本文提出CURLoRA方法,通过在LoRA中引入改进的CUR矩阵分解作为隐式正则化并仅微调零初始化的$U$矩阵,有效缓解了LLM持续微调中的灾难性遗忘,显著减少了可训练参数,并在数据有限时保持模型稳定性和准确率。
2024-08-26 cs.AI cs.CL cs.LG
Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models
National Taiwan University(国立台湾大学);Graduate Institute of Communication Engineering(通讯工程研究所)
本文提出Speech-IFEval基准,用于评估语音感知语言模型的指令遵循能力并量化灾难性遗忘,发现多数模型在基本指令上表现远逊于文本模型且对提示变化敏感,强调需超越任务级指标进行评估。
2025-05-25 cs.CL eess.AS
Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting
Shanghai Jiao Tong University(上海交通大学);Ant Security Lab, Ant Group(蚂蚁集团安全实验室)
针对大型视觉语言模型注入专业知识时易引发灾难性遗忘的困境,提出结构化对话微调(SDFT)方法,通过基础保持、对比消歧和知识专业化三阶段对话结构,在注入领域知识的同时有效保持通用能力。
2025-04-27 cs.AI cs.CL
How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization
NUDT(中国人民解放军国防科技大学);CCNU(华中师范大学)
针对LLM领域微调导致的灾难性遗忘,本文提出结合逐元素参数重要性正则化、交叉熵损失与逐层系数的双目标优化方法,在GPT-J和LLaMA-3上实现更好的知识保持与适应能力,并显著降低计算和存储开销。
2025-02-17 cs.AI cs.CL
Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
University of Sheffield(谢菲尔德大学);Hitachi, Ltd.(日立株式会社);University of Exeter(埃克塞特大学);Federal University of Rio Grande do Norte(里奥格兰德杜纳粹大学)
本文提出源保护更新策略,利用少量源数据和参数重要性评分,在低资源条件下有效缓解LLM在目标语言适应中的灾难性遗忘问题,实验表明其在保持源语言能力的同时提升了目标语言性能。
2026-04-15 cs.AI cs.CL
Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出DES-MoE框架,通过自适应路由器蒸馏、实时专家-领域关联映射和三阶段自适应微调,实现多领域MoE适配中的动态专家特化,在六个领域上显著减少灾难性遗忘并加快收敛。
2025-09-21 cs.AI cs.CL cs.LG
Model Editing at Scale leads to Gradual and Catastrophic Forgetting
UC Berkeley(加州大学伯克利分校)
本文大规模评估了ROME和MEMIT两种模型编辑方法,发现多次顺序编辑会导致渐进性和灾难性遗忘,从而限制模型编辑的实用性和可扩展性,并呼吁在评估中重视可扩展性。
2024-06-10 cs.AI cs.CL cs.IR
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
National Taiwan University(国立台湾大学)
本文针对口语语言模型端到端多阶段训练中的灾难性遗忘问题,评估模型合并、折扣LoRA缩放因子和经历重放三种缓解策略,发现经历重放最有效,且与其他方法结合可进一步提升性能。
2025-05-23 cs.AI cs.CL cs.LG
Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
通过引入差异电路脆弱性指标,研究比较了强化学习与监督微调在大型语言模型微调中对内部计算电路的保留程度,发现RL虽任务适应较慢但能更好保留电路,从而减轻灾难性遗忘。
2026-06-06 cs.AI cs.CL cs.CR
Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
Peking University(北京大学)
针对 LLM 持续微调中的灾难性遗忘,论文提出 DOC,通过动态跟踪历史功能方向并令新任务梯度与其正交来减少新旧任务干扰,实验证明其优于现有方法。
2025-09-28 cs.AI cs.CL cs.CR
Mitigating Catastrophic Forgetting for Few-Shot Spoken Word Classification Through Meta-Learning
ByteFuse;Stellenbosch University(斯泰伦博斯大学)
本文提出一种基于MAML的扩展方法,通过在内部学习循环末尾利用已见类别的存储模板进行单次梯度更新,有效缓解少样本口语词分类中的灾难性遗忘,并在多个实验设置下优于OML。
2023-05-22 cs.AI cs.CL eess.AS
History Repeats: Overcoming Catastrophic Forgetting For Event-Centric Temporal Knowledge Graph Completion
针对事件中心时序知识图谱补全中的灾难性遗忘问题,本文提出一种通用持续训练框架,结合时序正则化与聚类经验回放,在适应新事件的同时有效保留旧知识。
2023-05-30 cs.AI cs.CL cs.LG