Small Languages, Big Models: A Study of Continual Training on Languages of Norway
University of Oslo(奥斯陆大学)
针对低资源语言训练数据匮乏的问题,提出三阶段持续训练方法显著提升下游性能与推理效率,并发布114亿参数的挪威语生成模型NorMistral-11B。
2025-02-02 cs.CL
Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs
Nanyang Technological University(南洋理工大学);Salesforce AI;Huawei Noah's Ark Lab(华为诺亚方舟实验室)
提出一种从稠密检查点构建通道稀疏大语言模型的持续训练方法,通过预测器门控稀疏SwiGLU FFN和银行级top-k规则实现4倍稀疏性,并修复长上下文失败模式。
2026-06-09 cs.CL
QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);East China University of Science and Technology(华东理工大学)
该研究提出面向旅游领域搜索查询理解的持续预训练模型QUERT,通过四项定制预训练任务联合训练,在下游任务及飞猪APP线上A/B测试中均实现性能提升。
2023-06-11 cs.CL
Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training
Preferred Networks, Inc.(Preferred Networks公司)
本研究针对日语金融专用大语言模型的空白,构建日语金融领域预训练数据集,以100亿参数级最优日语金融大语言模型为基础开展持续预训练,所得模型在金融基准测试及输出质量长度上均优于原模型,且已公开发布。
2024-04-16 cs.CL q-fin.CP
Learning Beyond the Surface: How Far Can Continual Pre-Training with LoRA Enhance LLMs' Domain-Specific Insight Learning?
Megagon Labs(美佳工室)
本研究探讨使用 LoRA 的持续预训练如何增强 LLM 在医学和金融领域的深层洞察学习能力,发现修改文档仅保留核心信息可显著提升模型效果。
2025-01-29 cs.CL cs.LG
Recyclable Tuning for Continual Pre-training
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Tencent Inc.(腾讯公司)
针对持续预训练中过时适配权重被丢弃的问题,提出可回收调优任务,基于模式连通性和功能相似性分析,提出初始化与蒸馏两种方法,提升升级版PLM调优的收敛性和性能。
2023-05-15 cs.AI cs.CL
Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
研究通过自蒸馏策略优化(SDPO)发现,同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃,而GRPO等强化学习方法更保守地保留先前能力,表明密集自蒸馏并非默认的稳定器。
2026-10-05 cs.CL cs.LG
Beyond Static Models: An Evolving Framework for Continual Learning in Large Language Models across Training Stages
Research Center for Scientific Data Hub, Zhejiang Lab(科学数据枢纽研究中心,浙江实验室)
本文综述了针对大型语言模型的持续学习方法,分析了持续预训练、微调和对齐的核心阶段,探讨了传统方法在持续学习中的适应性与改进,并指出在跨任务和时间尺度的知识整合中仍存在挑战。
2026-08-11 cs.AI cs.CL
Continual Training of Language Models for Few-Shot Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);Google Research(谷歌研究院)
最近的工作应用大语言模型(LM)在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库来适应或后训练LM可以为领域中的最终任务产生更好的性能。本文提出了一个不断扩展LM的问题,通过增量后训练LM与一系列未标记的领域语料库,以扩大其知识,而不会忘记它以前的技能。我们的目标是改善这些领域的Few-Shot最终任务学习。由此产生的系统被称为CPT(持续后培训),据我们所知,这是第一个持续后培训系统。实验结果验证了该方法的有效性。
2022-10-11 cs.AI cs.CL cs.LG
DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization
Dialpad Inc.(Dialpad公司)
本文提出域自适应持续预训练方法,利用大规模无标注商业对话数据增强大型语言模型的电话对话摘要能力,在域内外基准上均获显著提升。
2025-10-09 cs.AI cs.CL cs.LG
Towards Anytime Fine-tuning: Continually Pre-trained Language Models with Hypernetwork Prompt
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
针对持续预训练模型在未见领域性能下降的问题,提出利用超网络生成领域特定提示的提示引导持续预训练方法,有效缓解领域身份并促进知识迁移,在真实数据集上取得显著提升。
2023-10-19 cs.AI cs.CL cs.LG
Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对比提示学习框架和记忆增强策略,利用预训练语言模型的隐式能力,有效缓解持续少样本关系抽取中的灾难性遗忘和过拟合问题,并在低资源场景下显著超越现有方法。
2024-02-24 cs.AI cs.CL
Knowledge-Instruct: Effective Continual Pre-training from Limited Data using Instructions
Microsoft(微软)
本文提出Knowledge-Instruct方法,通过纯指令微调从有限数据中高效注入新知识,在保持通用推理能力的同时减少灾难性遗忘,并发布新数据集Companies验证知识注入效果。
2025-04-08 cs.AI cs.CL
Continual Learning of Large Language Models: A Comprehensive Survey
Rutgers University(罗格斯大学);Google Cloud AI Research(谷歌云人工智能研究)
该综述系统梳理了大型语言模型持续学习的研究进展,提出垂直与水平连续性框架,总结持续预训练、领域自适应预训练和持续微调三个阶段,并概述评估协议与数据源。
2024-11-25 cs.AI cs.CL cs.LG
Alchemist: Towards the Design of Efficient Online Continual Learning System
The University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
针对在线持续学习中训练与服务分离导致的重复计算问题,提出Alchemist系统,通过复用服务激活、选择性存储及智能卸载,最高提升1.72倍训练吞吐并降低47%内存。
2025-03-14 cs.CL cs.DC cs.LG
Learning to Learn for Few-shot Continual Active Learning
Deakin University(迪肯大学);The University of Melbourne(墨尔本大学);Qilu University of Technology(齐鲁工业大学)
针对标注数据不足且预算有限的少样本持续主动学习问题,提出Meta-Continual Active Learning方法,结合元学习、经验回放与文本增强解决灾难性遗忘并确保泛化能力。
2024-05-31 cs.CL cs.LG
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
Baidu Inc.(百度公司)
近年来,预训练模型在各种语言理解任务中取得了令人瞩目的成绩,这表明大规模语料库的预训练在自然语言处理中具有重要作用。目前的预训练程序通常集中在训练模型几个简单的任务,以掌握单词或句子的共现。然而,训练语料中除了共现信息外,还存在着其他有价值的词汇、句法和语义信息,如命名实体、语义接近度和语篇关系等。为了最大限度地提取训练语料中的词汇、句法和语义信息,我们提出了一个持续的预训练框架ERNIE 2.0,它通过不断的多任务学习,逐步建立和学习预训练任务。实验结果表明,ERNIE 2.0在16个任务上的性能优于BERT和XLNet,其中包括GLUE基准上的英语任务和几个常见的中文任务。源代码和预训练模型已在https://github.com/PaddlePaddle/ERNIE上发布。
2019-11-21 cs.CL
ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning
University of Southern California(南加利福尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
虽然预训练的语言模型(PTLM)在许多NLP任务上取得了显著的成功,但它们仍然难以处理需要事件时间推理的任务,这对于以事件为中心的应用程序至关重要。我们提出了一个持续的预训练方法,装备PTLM有针对性的知识事件的时间关系。我们设计了自监督学习目标来恢复屏蔽的事件和时间指标,并将句子与其损坏的对应物(事件或时间指标被替换)区分开来。通过进一步的预训练PTLM与这些目标联合,我们加强了它的注意事件和时间信息,产生增强的能力,事件的时间推理。这种有效的事件时间推理(ECONET)的连续预训练框架提高了PTLM在五个关系抽取和问答任务中的微调性能,并在我们的大多数下游任务中实现了新的或同等水平的最先进的性能。
2021-09-16 cs.CL
Scaling few-shot spoken word classification with generative meta-continual learning
University of Cape Town(开普敦大学)
本文研究了在仅获得每个类别五个样本的情况下,通过生成性元持续学习(GeMCL)算法对1000个类别进行少样本语音词分类的潜力,并展示了其在性能稳定性及适应速度上的优势。
2026-06-04 cs.AI cs.CL
Curriculum-Meta Learning for Order-Robust Continual Relation Extraction
Monash University(莫纳什大学);Gamma Lab, Ping An OneConnect(平安壹账通伽马实验室)
连续关系抽取是从非结构化文本中增量式抽取新事实的一项重要任务。由于关系的顺序到达顺序,这个任务容易受到两个严重的挑战,即灾难性遗忘和顺序敏感性。我们提出了一种新的元学习方法,以解决上述两个挑战,在连续关系抽取。我们结合Meta学习和课程学习来快速调整模型参数以适应新任务,并减少先前看到的任务对当前任务的干扰。我们设计了一种新的关系表示学习方法,通过域和范围类型的关系的分布。这些表征被用来量化课程建设任务的难度。此外,我们还提出了新的难度为基础的指标,定量衡量的程度,一个给定的模型的顺序敏感性,提出了新的方法来评估模型的鲁棒性。我们在三个基准数据集上的综合实验表明,我们提出的方法优于最先进的技术。代码可以在匿名GitHub存储库中找到:https://github.com/wutong8023/AAAI_CML。
2021-01-08 cs.AI cs.CL cs.LG
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Tokyo Institute of Technology(东京工业大学);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心)
本研究通过扩展Llama 2词汇表并进行大规模日语网络语料库持续预训练,构建了增强日语能力的LLM——Swallow,其性能优于从头训练的模型,并验证了词汇扩展与平行语料库的有效性。
2024-04-27 cs.AI cs.CL
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
神经网络在从动态数据分布中顺序学习多个任务时,往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting},这是神经网络的持续学习中的一个基本挑战。在这项工作中,我们观察到灾难性遗忘不仅发生在持续学习中,而且也影响了传统的静态训练。神经网络,特别是神经机器翻译模型,即使从静态训练集学习,也会遭受灾难性遗忘。具体来说,最终模型对训练样本的关注不平衡,最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练,因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题,我们提出了补充在线知识蒸馏(COKD),它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明,我们的方法成功地解决了不平衡的训练问题,并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学)
神经机器翻译(NMT)模型通常在连续训练期间遭受灾难性遗忘,其中模型倾向于逐渐忘记先前学习的知识并摆动以拟合可能具有不同分布(例如,不同域)的新添加的数据。虽然已经提出了许多方法来解决这个问题,但我们还不能知道是什么导致了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度探讨了灾难性遗忘的成因。通过对NMT模型中各模块的研究发现,有些模块与通用领域知识有着紧密的联系,而有些模块则是领域自适应中更为重要的模块。对参数的研究表明,某些参数对一般域和域内翻译都很重要,在连续训练过程中参数的较大变化会导致一般域的翻译性能下降。我们在不同的语言对和领域进行实验,以确保我们的研究结果的有效性和可靠性。
2020-11-30 cs.AI cs.CL
Towards Continual Entity Learning in Language Models for Conversational Agents
Amazon(亚马逊)
已知在不同语料库上训练的神经语言模型(LM)在先前看到的实体上工作良好,然而,用动态变化的实体(例如地名、歌曲标题和购物项目)更新这些模型需要从头开始重新训练并收集包含这些实体的完整句子。我们的目标是解决这个问题,通过引入实体感知的语言模型(EALM),在那里我们集成的实体模型训练的目录实体到预先训练的LM。我们的组合语言模型根据句子上下文自适应地将来自实体模型的信息添加到预训练的LM中。我们的实体模型可以独立于预训练的LM进行更新,使我们能够影响最终LM输出的实体分布,而无需对预训练的LM进行任何进一步的训练。我们在面向任务的对话数据集上显示出显着的困惑改善,特别是在长尾话语上,具有不断适应新实体的能力(在一定程度上)。
2021-09-15 cs.AI cs.CL
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services(亚马逊云科技)
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来,阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体,但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据,这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题,有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先,我们表明,与我们的自定义单语阿拉伯语模型相比,在阿拉伯语单语数据上增量预训练的多语言BERT(mBERT)需要更少的训练时间,并产生相当的准确性,并击败现有模型(平均指标为+ $6.41$)。然后,我们探索了两种连续的预训练方法-(1)使用少量的辩证数据进行连续的微调,(2)并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明,这两种方法有助于提高方言分类任务($+4.64$平均。gain),用于单语模型时。
2022-11-08 cs.CL cs.LG
Continual Pre-training of Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);KDDI Research(KDDI综合研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文针对语言模型持续领域自适应预训练中的灾难性遗忘问题,提出基于软掩码机制、通用知识保留代理和表示对比知识整合的新方法,在多个无标注领域语料上实现知识迁移并提升下游任务性能。
2023-04-12 cs.AI cs.CL cs.LG
TiC-CLIP: Continual Training of CLIP Models
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
该研究提出了首批网络规模的时间持续学习基准TiC-DataComp等,用于训练视觉-语言模型,并发现基于重演的持续训练方法可将计算量减少2.5倍。
2024-03-21 cs.CL cs.CV cs.LG
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab(交互系统实验室)
针对语音识别模型持续学习中的灾难性遗忘问题,提出分解与集中化两阶段方法,通过低秩适配器累积知识,实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
MetaAgent: Toward Self-Evolving Agent via Tool Meta-Learning
BAAI(北京人工智能研究院)
本研究提出受“做中学”启发的MetaAgent智能体范式,通过元工具学习实现无需调参的自进化,在多个知识发现基准上性能优于传统工作流基线,匹配或超越端到端训练智能体。
2025-09-01 cs.AI cs.CL cs.IR