Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
研究通过自蒸馏策略优化(SDPO)发现,同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃,而GRPO等强化学习方法更保守地保留先前能力,表明密集自蒸馏并非默认的稳定器。
2026-10-05 cs.CL cs.LG
Efficient Continual Pre-training for Building Domain Specific Large Language Models
Amazon Services LLC(亚马逊公司)
本研究提出通过持续预训练在现有开放领域LLM上构建领域特定LLM,采用数据选择策略提升效果,降低训练成本。
2026-01-09 cs.CL
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
神经网络在从动态数据分布中顺序学习多个任务时,往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting},这是神经网络的持续学习中的一个基本挑战。在这项工作中,我们观察到灾难性遗忘不仅发生在持续学习中,而且也影响了传统的静态训练。神经网络,特别是神经机器翻译模型,即使从静态训练集学习,也会遭受灾难性遗忘。具体来说,最终模型对训练样本的关注不平衡,最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练,因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题,我们提出了补充在线知识蒸馏(COKD),它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明,我们的方法成功地解决了不平衡的训练问题,并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
Beyond Static Models: An Evolving Framework for Continual Learning in Large Language Models across Training Stages
Research Center for Scientific Data Hub, Zhejiang Lab(科学数据枢纽研究中心,浙江实验室)
本文综述了针对大型语言模型的持续学习方法,分析了持续预训练、微调和对齐的核心阶段,探讨了传统方法在持续学习中的适应性与改进,并指出在跨任务和时间尺度的知识整合中仍存在挑战。
2026-08-11 cs.AI cs.CL
Examining Forgetting in Continual Pre-training of Aligned Large Language Models
National Taiwan University(国立台湾大学);ASUS Open Cloud Infrastructure Software Center(华硕开放云基础设施软件中心)
本文研究了在已微调的大型语言模型上进行持续预训练时发生的灾难性遗忘现象,从输出格式、知识和可靠性等维度评估其影响,发现解决该遗忘问题尤其是重复问题具有重大挑战。
2024-01-06 cs.CL
Recyclable Tuning for Continual Pre-training
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Tencent Inc.(腾讯公司)
针对持续预训练中过时适配权重被丢弃的问题,提出可回收调优任务,基于模式连通性和功能相似性分析,提出初始化与蒸馏两种方法,提升升级版PLM调优的收敛性和性能。
2023-05-15 cs.AI cs.CL
Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究院);Chandar Research Lab(Chandar研究实验室);IBM Research(IBM研究院);Fujitsu Research(富士通研究院);Polytechnique Montréal(蒙特利尔理工学院)
本研究在Llama模型大规模多语言持续预训练中验证经验回放与梯度对齐可防遗忘,提出高效MER实现,并发现低回放率比增大模型更优,但增大模型比高回放率更划算。
2025-08-03 cs.AI cs.CL cs.LG
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学)
神经机器翻译(NMT)模型通常在连续训练期间遭受灾难性遗忘,其中模型倾向于逐渐忘记先前学习的知识并摆动以拟合可能具有不同分布(例如,不同域)的新添加的数据。虽然已经提出了许多方法来解决这个问题,但我们还不能知道是什么导致了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度探讨了灾难性遗忘的成因。通过对NMT模型中各模块的研究发现,有些模块与通用领域知识有着紧密的联系,而有些模块则是领域自适应中更为重要的模块。对参数的研究表明,某些参数对一般域和域内翻译都很重要,在连续训练过程中参数的较大变化会导致一般域的翻译性能下降。我们在不同的语言对和领域进行实验,以确保我们的研究结果的有效性和可靠性。
2020-11-30 cs.AI cs.CL
Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models
Jilin University(吉林大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);University of Warwick(华威大学);University of Tokyo(东京大学)
针对持续微调中的灾难性遗忘,提出EoupCT框架,通过动态生成伪数据估计未知预训练梯度,并利用Pareto优化器强制正交性,在多个LLM上有效保留任务能力与通用知识。
2026-09-28 cs.AI cs.CL cs.LG
Enhancing Translation Accuracy of Large Language Models through Continual Pre-Training on Parallel Data
University of Tsukuba(筑波大学);NTT Corporation(NTT公司)
本文提出先在大规模平行数据上持续预训练、再用少量高质量平行数据微调大语言模型的两阶段翻译方法,并证明交替排列源目标句、保持预训练与推理语序一致及为源句加标签可显著提升日英互译准确性。
2024-07-03 cs.CL
Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司)
针对面向智能体的预训练数据稀缺问题,提出首个大规模语料库Hephaestus-Forge(含103B智能体专用数据),通过持续预训练提升LLM智能体的API调用、推理规划等基础能力,在三个基准上优于中小开源LLM且媲美商业LLM。
2025-02-10 cs.AI cs.CL cs.LG
Data Mixing Agent: Learning to Re-weight Domains for Continual Pre-training
The University of Manchester(曼彻斯特大学);Microsoft Research(微软研究院);Imperial College London(伦敦帝国学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出数据混合代理,通过强化学习学习重新加权领域,实现持续预训练中的平衡性能,优于现有基线方法,并在未见过的领域中表现良好。
2026-04-12 cs.AI cs.CL cs.LG
Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models
KU Leuven(鲁汶大学)
针对预训练语言模型持续学习中PEFT模块训练干扰与路由组合不佳的问题,提出L2R方法,通过隔离新模块训练、基于小型记忆库训练路由器网络组合模块,在多种基准上实现更优的泛化与性能。
2024-10-30 cs.AI cs.CL cs.LG
Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training
本文比较了监督微调与强化微调在持续训练中的影响,发现强化微调能有效保留先验知识,优于监督微调和多任务训练,且在标准基准上提升模型通用知识。
2026-06-29 cs.AI cs.CL cs.LG
Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training
Preferred Networks, Inc.(Preferred Networks公司)
本研究针对日语金融专用大语言模型的空白,构建日语金融领域预训练数据集,以100亿参数级最优日语金融大语言模型为基础开展持续预训练,所得模型在金融基准测试及输出质量长度上均优于原模型,且已公开发布。
2024-04-16 cs.CL q-fin.CP
Towards Anytime Fine-tuning: Continually Pre-trained Language Models with Hypernetwork Prompt
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
针对持续预训练模型在未见领域性能下降的问题,提出利用超网络生成领域特定提示的提示引导持续预训练方法,有效缓解领域身份并促进知识迁移,在真实数据集上取得显著提升。
2023-10-19 cs.AI cs.CL cs.LG
Alchemist: Towards the Design of Efficient Online Continual Learning System
The University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
针对在线持续学习中训练与服务分离导致的重复计算问题,提出Alchemist系统,通过复用服务激活、选择性存储及智能卸载,最高提升1.72倍训练吞吐并降低47%内存。
2025-03-14 cs.CL cs.DC cs.LG
Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation
Arcee
本研究针对Meta-Llama-3-70B-Instruct模型,通过持续预训练与模型融合开展SEC金融领域自适应研究,评估了领域数据融入及融合技术对模型能力的影响,发布了已训练20B tokens的中间检查点。
2024-06-21 cs.AI cs.CL cs.LG
Knowledge-Instruct: Effective Continual Pre-training from Limited Data using Instructions
Microsoft(微软)
本文提出Knowledge-Instruct方法,通过纯指令微调从有限数据中高效注入新知识,在保持通用推理能力的同时减少灾难性遗忘,并发布新数据集Companies验证知识注入效果。
2025-04-08 cs.AI cs.CL
Continual Pre-training of MoEs: How robust is your router?
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Concordia University(康科迪亚大学);University of Chicago(芝加哥大学);Capital One(Capital One公司)
本文通过大规模实验研究 MoE 大语言模型在持续预训练中的路由器稳健性,发现即使不进行重放,MoE 也能保持样本效率并接近完全重训性能。
2025-11-10 cs.AI cs.CL cs.LG
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services(亚马逊云科技)
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来,阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体,但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据,这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题,有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先,我们表明,与我们的自定义单语阿拉伯语模型相比,在阿拉伯语单语数据上增量预训练的多语言BERT(mBERT)需要更少的训练时间,并产生相当的准确性,并击败现有模型(平均指标为+ $6.41$)。然后,我们探索了两种连续的预训练方法-(1)使用少量的辩证数据进行连续的微调,(2)并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明,这两种方法有助于提高方言分类任务($+4.64$平均。gain),用于单语模型时。
2022-11-08 cs.CL cs.LG
CONCUR: A Framework for Continual Constrained and Unconstrained Routing
MIT(麻省理工学院);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学)
CONCUR提出了一种支持连续和无约束路由的框架,通过模块化设计和多表示学习提升路由效率与准确性。
2025-12-10 cs.AI cs.CL cs.LG
CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
本文提出法语生物医学模型 CamemBERT-bio,通过在新公开法语生物医学数据集上持续预训练 CamemBERT,以更低计算成本在多类 NER 任务上平均提升 F1 2.54 分。
2024-04-03 cs.AI cs.CL
Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
本文提出感知度意识的数据扩展定律,通过感知度景观预测持续预训练的表现,有效提升数据利用效率和训练效果。
2025-12-25 cs.CL cs.LG
How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training
Zhejiang University(浙江大学);Huawei Noah’s Ark Lab(华为诺亚实验室);National University of Singapore(新加坡国立大学);NUS-NCS Joint Lab(新加坡国立大学-南洋理工大学联合实验室)
本文从知识电路演化视角研究LLMs在持续预训练中获取新知识的机制,发现知识获取受已有知识相关性影响,电路演化呈现从形成到优化的相变及从深到浅的模式,为改进预训练策略提供了理论依据。
2025-06-01 cs.AI cs.CL cs.CV
$FastDoc$: Domain-Specific Fast Continual Pre-training Technique using Document-Level Metadata and Taxonomy
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Carnegie Mellon University(卡内基梅隆大学)
该研究提出计算高效的$FastDoc$框架,通过文档元数据与领域分类体系监督、句子级嵌入输入的预训练搭配词元级嵌入微调的模式,在多领域大幅降低预训练算力的同时保持或超越基线性能,还能缓解灾难性遗忘。
2024-11-01 cs.CL cs.LG
Total Recall: a Customized Continual Learning Method for Neural Semantic Parsers
Monash University(莫纳什大学)
本文研究了语义解析的持续学习。在这种设置中,神经语义解析器顺序地学习任务,而不访问来自先前任务的完整训练数据。直接应用SOTA持续学习算法来解决这个问题,无法实现与所有可见任务的再训练模型相当的性能,因为它们没有考虑语义解析器产生的结构化输出的特殊属性。因此,我们提出了TotalRecall,一种面向神经语义解析器的持续学习方法,从两个方面进行设计:i)一种记忆回放的采样方法,使逻辑形式模板多样化,并平衡解析动作在记忆中的分布; ii)一种两阶段的训练方法,显著提高了解析器跨任务的泛化能力。我们进行了大量的实验,研究涉及的研究问题,在持续的语义解析,并证明了一个神经语义分析器训练与TotalRecall实现优于一个直接训练的SOTA持续学习算法,并实现了3-6倍的加速比从头开始重新训练。代码和数据集可在https://github.com/zhuang-li/cl_nsp上获得。
2021-09-15 cs.CL
Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training
The Hong Kong Polytechnic University(香港理工大学);Fano Labs(范诺实验室)
该研究针对少样本意图分类任务,发现直接微调PLMs效果接近持续预训练方法,还提出上下文增强与序列自蒸馏策略,在每类仅2个以上标注样本时性能超越多种依赖外部数据的强基线。
2024-09-15 cs.CL
EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Alibaba Group(阿里巴巴集团);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型在电商领域缺乏领域知识等问题,提出利用无标注通用与电商语料进行持续预训练,并设计数据混合策略,实验验证了其有效性与少样本及零样本性能提升。
2023-12-25 cs.CL
CPRM: A LLM-based Continual Pre-training Framework for Relevance Modeling in Commercial Search
Ant Group(蚂蚁集团);Hithink RoyalFlush AI Research Institute(同花顺人工智能研究院);Westlake University(西湖大学);Soochow University(苏州大学)
针对商业搜索中基础LLMs领域知识不足、上下文学习潜力未充分挖掘等问题,提出CPRM持续预训练框架,通过三个模块强化模型,离线实验和在线A/B测试显示其性能优于强基线。
2025-02-18 cs.AI cs.CL cs.IR
Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出ReGrad范式,将梯度作为可检索知识单元,通过元学习重塑文档梯度为通用适应信号,实现无权重漂移的可扩展参数知识注入。
2026-10-14 cs.AI cs.CL cs.IR
Small Languages, Big Models: A Study of Continual Training on Languages of Norway
University of Oslo(奥斯陆大学)
针对低资源语言训练数据匮乏的问题,提出三阶段持续训练方法显著提升下游性能与推理效率,并发布114亿参数的挪威语生成模型NorMistral-11B。
2025-02-02 cs.CL
Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
低资源语言中的数据稀缺已经成为构建强大的神经机器翻译系统的瓶颈。微调多语言预训练模型(例如,mBART(Liu等人,2020年))是一个很好的方法,用于低资源语言;然而,当翻译对中有看不见的语言时,它的性能将受到极大的限制。在本文中,我们提出了一个mBART的持续预训练(CPT)框架,以有效地适应看不见的语言。我们首先从翻译对中目标语言的单语语料库中构建噪声混合语言文本,以覆盖源语言和目标语言,然后,我们继续预训练mBART来重建原始单语文本。结果表明,我们的方法可以在mBART基线以及其他强基线上,在所有测试的包含未见过语言的低资源翻译对中持续提高微调性能。此外,我们的方法还提高了翻译对的性能,其中两种语言都可以在原始mBART的预训练中看到。该代码可在https://github.com/zliucr/cpt-nmt上获得。
2021-05-09 cs.AI cs.CL
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
Baidu Inc.(百度公司)
近年来,预训练模型在各种语言理解任务中取得了令人瞩目的成绩,这表明大规模语料库的预训练在自然语言处理中具有重要作用。目前的预训练程序通常集中在训练模型几个简单的任务,以掌握单词或句子的共现。然而,训练语料中除了共现信息外,还存在着其他有价值的词汇、句法和语义信息,如命名实体、语义接近度和语篇关系等。为了最大限度地提取训练语料中的词汇、句法和语义信息,我们提出了一个持续的预训练框架ERNIE 2.0,它通过不断的多任务学习,逐步建立和学习预训练任务。实验结果表明,ERNIE 2.0在16个任务上的性能优于BERT和XLNet,其中包括GLUE基准上的英语任务和几个常见的中文任务。源代码和预训练模型已在https://github.com/PaddlePaddle/ERNIE上发布。
2019-11-21 cs.CL
DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations
Dialpad Inc.(Dialpad公司)
针对小型语言模型在商业对话任务中零样本能力不足及微调导致灾难性遗忘的问题,提出DACIP-RC持续预训练方法,通过阅读理解生成指令,显著提升会议摘要等任务的泛化性能。
2025-10-09 cs.AI cs.CL
TiC-CLIP: Continual Training of CLIP Models
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
该研究提出了首批网络规模的时间持续学习基准TiC-DataComp等,用于训练视觉-语言模型,并发现基于重演的持续训练方法可将计算量减少2.5倍。
2024-03-21 cs.CL cs.CV cs.LG
Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs
Nanyang Technological University(南洋理工大学);Salesforce AI;Huawei Noah's Ark Lab(华为诺亚方舟实验室)
提出一种从稠密检查点构建通道稀疏大语言模型的持续训练方法,通过预测器门控稀疏SwiGLU FFN和银行级top-k规则实现4倍稀疏性,并修复长上下文失败模式。
2026-06-09 cs.CL
Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation
Concordia University(康科迪亚大学)
提出KILO框架,结合动态知识图谱与指令微调,在四个领域上优于基线,有效缓解LLM持续学习中的分布偏移与灾难性遗忘。
2025-08-05 cs.CL cs.LG
Continual Pre-Training of Large Language Models: How to (re)warm your model?
Université de Montréal(蒙特利尔大学);Mila(米拉人工智能研究所);Eleuther AI;Concordia University(康考迪亚大学)
本文研究大语言模型的持续预训练,通过在Pythia 410M模型上实验不同的预热策略、学习率和预热长度,发现重新预热模型虽短期增加损失,但长期显著提升下游性能,甚至优于从头训练的模型。
2023-09-06 cs.CL cs.LG
Can a Language Model Learn Facts Continually in Its Weights?
Baseten(巴斯滕)
研究语言模型能否在权重中持续学习事实,通过追踪写入Qwen3模型的虚构事实及实验发现,训练数据广度决定知识类型,事实可行为遗忘但不擦除,广泛数据能创建可用知识,可靠通道是上下文而非权重。
2026-10-06 cs.CL cs.LG
MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Stanford University(斯坦福大学);Microsoft Corporation(微软公司)
提出两阶段框架MoCa,通过模态感知持续预训练引入双向注意力与联合重建目标,并结合异构对比微调利用多样化多模态数据,将预训练VLM转化为高效双向多模态嵌入模型,在MMEB和ViDoRe-v2基准上达到SOTA且具强可扩展性。
2025-06-29 cs.AI cs.CL cs.CV
Continual Learning for Large Language Models: A Survey
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
本文综述了大型语言模型的持续学习技术,提出多阶段分类方案,涵盖持续预训练、指令微调与对齐,并对比其他方法,指出挑战与未来方向。
2024-02-07 cs.CL cs.LG
Improving Continual Pre-training Through Seamless Data Packing
School of Computer Science, Fudan University(复旦大学计算机学院)
针对持续预训练中传统数据打包导致的过度截断与上下文不连续问题,提出无缝打包(SP)策略,结合滑动窗口与 First-Fit-Decreasing 算法保留上下文并减少填充,在 99% 的设置中优于基线方法。
2025-05-29 cs.CL
Efficient Continual Pre-training of LLMs for Low-resource Languages
IIT Kharagpur(印度理工学院卡拉格普尔分校);IIT Bombay(印度理工学院孟买分校)
针对低资源语言LLM性能差、持续预训练成本高的问题,提出文本子集选择与词元选择算法,用Llama-3在9种印度语言上验证了低数据量下的效果并给出跨语系洞见。
2024-12-13 cs.CL cs.LG
AIMMerging: Adaptive Iterative Model Merging Using Training Trajectories for Language Model Continual Learning
Al Technology Center of OVB, Tencent, China(腾讯奥比大学技术中心);The Hong Kong Polytechnic University, Hong Kong S.A.R.(香港理工大学);Peking University, China(北京大学)
本文提出AimMerging框架,利用训练轨迹中的学习与遗忘信号动态监控训练状态,自适应控制模型合并时机与频率,在三个持续学习基准上显著提升了前向迁移和后向迁移性能。
2025-09-22 cs.AI cs.CL
Efficient Continual Pre-training by Mitigating the Stability Gap
Peking University(北京大学);HKUST(香港科技大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文研究持续预训练中的稳定性差距现象,提出子集多轮训练、高质量语料和相似数据混合三种策略,有效提升LLM在新领域的性能并减少遗忘,基于此开发的Llama-3-Physician在医学任务上表现媲美GPT-4。
2024-06-27 cs.CL
Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Tencent(腾讯);Shandong University(山东大学);City, University London(伦敦城市大学)
针对LLM赋能推荐中通用语言表示与领域偏好不匹配、多领域适应性有限的问题,提出全领域持续预训练框架CPRec,通过统一提示模板和定制学习率调度对齐LLM与通用用户行为,提升推荐性能。
2025-04-11 cs.CL cs.IR
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab(交互系统实验室)
针对语音识别模型持续学习中的灾难性遗忘问题,提出分解与集中化两阶段方法,通过低秩适配器累积知识,实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);East China University of Science and Technology(华东理工大学)
该研究提出面向旅游领域搜索查询理解的持续预训练模型QUERT,通过四项定制预训练任务联合训练,在下游任务及飞猪APP线上A/B测试中均实现性能提升。
2023-06-11 cs.CL
ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning
University of Southern California(南加利福尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
虽然预训练的语言模型(PTLM)在许多NLP任务上取得了显著的成功,但它们仍然难以处理需要事件时间推理的任务,这对于以事件为中心的应用程序至关重要。我们提出了一个持续的预训练方法,装备PTLM有针对性的知识事件的时间关系。我们设计了自监督学习目标来恢复屏蔽的事件和时间指标,并将句子与其损坏的对应物(事件或时间指标被替换)区分开来。通过进一步的预训练PTLM与这些目标联合,我们加强了它的注意事件和时间信息,产生增强的能力,事件的时间推理。这种有效的事件时间推理(ECONET)的连续预训练框架提高了PTLM在五个关系抽取和问答任务中的微调性能,并在我们的大多数下游任务中实现了新的或同等水平的最先进的性能。
2021-09-16 cs.CL
Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training
AgileSoDA Inc.(敏捷索达公司)
本文提出专为越南语设计的语言模型vi-mistral-x,基于Mistral架构采用分组查询与滑动窗口注意力进行持续预训练,在文本分类、问答及生成等基准上显著优于现有越南语模型。
2024-03-20 cs.CL
Velocitune: A Velocity-based Dynamic Domain Reweighting Method for Continual Pre-training
The University of Manchester(曼彻斯特大学);Microsoft(微软);Tsinghua University(清华大学)
针对领域自适应持续预训练的复杂性问题,提出Velocitune框架,通过动态评估学习速度、按缩放定律调整域数据比例,在多个推理及命令生成任务上实现性能提升。
2025-05-20 cs.CL
LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training
Soochow University(苏州大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
针对从零训练MoE大模型数据需求高、不稳定的问题,研究基于LLaMA-2 7B通过专家划分与持续预训练构建LLaMA-MoE,在激活参数量相近的情况下性能显著优于稠密模型。
2024-06-24 cs.CL
Fine-tuned Language Models are Continual Learners
Meta AI;Columbia University(哥伦比亚大学)
最近的大语言模型的工作依赖于直觉,大多数自然语言处理任务可以通过自然语言指令来描述。在这些指令上训练的语言模型在几个标准数据集上显示出强大的zero-shot性能。然而,这些模型尽管令人印象深刻,但在其各自的训练和评估集之外的广泛任务上仍然表现不佳。为了解决这个问题,我们认为模型应该能够不断扩展其知识和能力,而不会忘记以前的技能。尽管持续学习取得了有限的成功,但我们证明了语言模型可以是持续学习者。我们从经验上研究了这种成功的原因,并得出结论,持续学习来自自我监督的预训练。我们得到的模型Continual-T0(CT 0)能够学习各种新任务,同时在以前的任务上仍然保持良好的性能,总共跨越了70个数据集。最后,我们证明了CT 0能够以从未受过训练的方式组合指令,展示了一些组合性。
2022-10-29 cs.CL