Scalable Language Model with Generalized Continual Learning
The Chinese University of Hong Kong(香港中文大学);SMartMore
针对现有持续学习方法依赖经验回放、需推理任务ID等局限,提出结合动态任务相关知识检索的联合自适应重参数化方法,构建可扩展语言模型,在多骨干、多基准及全/少样本场景下实现低遗忘的最优性能,并拓展至多领域多任务类型应用。
2024-04-11 cs.CL
Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora
AWS AI Labs(AWS人工智能实验室);University of Southern California(南加州大学)
预训练的语言模型(PTLM)通常在大型静态语料库上学习,并针对各种下游任务进行进一步微调。然而,当部署在现实世界中,一个基于PTLM的模型必须处理的数据分布偏离什么PTLM最初trainedon.In本文中,我们研究了终身语言模型预训练的挑战,PTLM不断更新,以适应新出现的数据。在一个领域增量的研究论文流和一个按时间顺序排序的推文流上,我们用不同的持续学习算法增量地预训练PTLM,并跟踪下游任务的性能(微调后)。我们评估PTLM的能力,以适应新的语料库,同时保留学到的知识,在早期的语料库。我们的实验表明,蒸馏为基础的方法是最有效的保留下游性能在早期领域。这些算法还改善了知识转移,使模型能够在最新数据上实现更好的下游性能,并在训练和评估之间由于时间而存在分布差距时改善时间泛化。我们相信,我们的问题制定,方法和分析将激发未来的研究对持续预训练的语言模型。
2022-07-19 cs.CL
Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training
AgileSoDA Inc.(敏捷索达公司)
本文提出专为越南语设计的语言模型vi-mistral-x,基于Mistral架构采用分组查询与滑动窗口注意力进行持续预训练,在文本分类、问答及生成等基准上显著优于现有越南语模型。
2024-03-20 cs.CL
Orthogonal Low-rank Adaptation in Lie Groups for Continual Learning of Large Language Models
Yingcai Honor College, University of Electronic Science and Technology of China(电子科技大学荣誉学院)
OLieRA通过基于李群的乘法更新和任务子空间正交性,有效解决大语言模型在持续学习中的灾难性遗忘问题,实现性能和鲁棒性的提升。
2026-01-23 cs.CL
Investigating Continual Pretraining in Large Language Models: Insights and Implications
University of Tübingen(蒂宾根大学);Cohere for AI;Tübingen AI Center, University of Tübingen(蒂宾根人工智能中心,蒂宾根大学)
针对现有工作多聚焦有限下游任务或领域的持续微调问题,该研究引入新基准衡量LLMs对预训练数据变化的适应性,探究模型规模等因素的影响,发现持续预训练对小模型提升显著等关键见解,为LLMs持续学习提供新基准与评估方法。
2025-02-12 cs.CL
ConPET: Continual Parameter-Efficient Tuning for Large Language Models
Tsinghua University(清华大学);Tencent(腾讯)
本文提出ConPET持续参数高效微调范式,通过Static与Dynamic两种版本降低LLM持续适应成本、缓解遗忘,并在多个基准上验证参数效率与性能优势。
2023-09-26 cs.CL
EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Alibaba Group(阿里巴巴集团);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型在电商领域缺乏领域知识等问题,提出利用无标注通用与电商语料进行持续预训练,并设计数据混合策略,实验验证了其有效性与少样本及零样本性能提升。
2023-12-25 cs.CL
Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources
University of Helsinki(赫尔辛基大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学)
本研究系统评估36种多语言持续预训练配置,发现双语CPT改善分类但致语言混合,代码数据提升低资源语言分类但略降生成质量,且语言分类与跨语言迁移影响存在显著偏差。
2025-10-08 cs.CL
InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions
OPPO AI Center(OPPO人工智能中心);Tsinghua University(清华大学)
本文提出InsCL范式,利用指令的Wasserstein距离和InsInfo度量动态重放高质量数据,在16个任务上显著提升LLM持续学习性能。
2024-03-18 cs.CL
Recent Advances of Foundation Language Models-based Continual Learning: A Survey
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
本文针对基础语言模型因灾难性遗忘无法模拟人类持续学习的问题,对其持续学习方法进行系统分类(离线/在线及子类)、性能比较,填补领域空白并分析挑战与未来方向。
2024-11-29 cs.CL
Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model
Microsoft(微软);Microsoft Research India(微软印度研究院)
本文研究了连续微调对大语言模型语言适应性的影响,发现相同比例数据集可保持任务能力,而数据不相似时会导致性能下降,通过层冻结和生成重放方法提升语言能力。
2026-04-22 cs.CL
QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);East China University of Science and Technology(华东理工大学)
该研究提出面向旅游领域搜索查询理解的持续预训练模型QUERT,通过四项定制预训练任务联合训练,在下游任务及飞猪APP线上A/B测试中均实现性能提升。
2023-06-11 cs.CL
From Curated Data to Scalable Models: Continual Pre-training of Dense and MoE Large Language Models for Tibetan
TJUNLP Lab(TJUNLP实验室);School of Computer Science and Technology(计算机科学与技术学院);Tianjin University(天津大学)
本文提出了一种全面的管道,通过大规模数据整理和持续预训练推进藏语语言模型。构建了72GB高质量藏语语料库,并通过平衡多语言持续预训练和多语言指令微调改进Qwen2.5-7B模型,最终扩展为50B-A10B的MoE架构,实验结果显示模型在多种任务中优于现有开源和藏语专用模型。
2026-05-13 cs.CL
An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
本文实证研究 1b–7b 大型语言模型在持续指令微调中的灾难性遗忘,发现更大模型遗忘更严重、BLOOMZ 优于 mT0,且通用指令微调可缓解遗忘。
2025-01-05 cs.CL
Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis
East China Normal University(华东师范大学);Xiao-i Research(小-i研究院)
针对ABSA持续学习中的跨域知识保持问题,提出LLM-CL,通过知识解耦、正交约束、预热对齐与领域定位实现免域ID适配,并在19个数据集上达到SOTA。
2024-05-09 cs.CL
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
KAIST AI(韩国科学技术院人工智能研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google(谷歌公司);KRAFTON(KRAFTON公司);Adobe Research(Adobe研究院);New York University(纽约大学)
本文提出OAKS基准测试,用于评估大语言模型在动态连续知识流中的在线适应能力,发现现有模型在持续更新知识时存在显著局限性。
2026-03-08 cs.CL
SCALE: Upscaled Continual Learning of Large Language Models
SCALE通过宽度扩展架构在持续学习中平衡稳定性与可塑性,减少遗忘并提升多语言性能。
2025-12-11 cs.CL
Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine-Tuning Study
本研究通过两阶段方法将Qwen2.5-3B适应到藏语,通过持续预训练和监督微调提升翻译质量,实现低资源语言的模型适应。
2026-11-17 cs.CL
TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models
Fudan University(复旦大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Shanghai AI Laboratory(上海人工智能实验室)
本文提出TRACE基准,含8个挑战性数据集评估LLM持续学习,发现训练后模型能力显著下降,并引入推理增强持续学习(RCL)方法以减少灾难性遗忘。
2023-10-10 cs.CL
Continual-learning for Modelling Low-Resource Languages from Large Language Models
Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Sciences, Pilani, India(机器智能组,计算机科学与信息系,比拉理工学院和科学学院,印度帕利尼)
本文提出利用基于词性的代码切换和重放适配器策略,解决从大语言模型构建小语言模型时的灾难性遗忘问题,并在视觉语言任务中验证了方法的有效性。
2026-01-09 cs.AI cs.CL
Efficient Domain-adaptive Continual Pretraining for the Process Industry in the German Language
eschbach GmbH(eschbach公司)
本文提出ICL-APT方法,利用上下文学习和k近邻增强目标数据,在德语过程工业领域实现高效持续预训练,性能提升28.7%且GPU计算时间减少近4倍,为低资源行业提供高性价比NLP解决方案。
2025-07-01 cs.CL
Lius: Translation Model Based Instructional Lingustic Using Continual Instruction Tuning In Kupang Malay
Universitas Gadjah Mada(加札马达大学)
针对低资源语言库邦马来语,提出利用双语词典的词汇和语义特征设计指令,并采用持续指令调优(CIT)范式微调大语言模型,在多个指标上超越基线4-6分,优于NMT和多语言LLM 10-13分。
2026-06-11 cs.CL
Continually Adding New Languages to Multilingual Language Models
Department of Computer Science and Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
本文研究向多语言模型持续添加新语言的问题,提出 Layer-Selective LoRA (LayRA) 方法,通过在选定的初始和最终层添加 LoRA 并冻结其余层,在保留旧语言能力的同时有效习得新语言,并结合模型算术实现零数据指令遵循。
2025-09-14 cs.CL
Can Continual Pre-training Bridge the Performance Gap between General-purpose and Specialized Language Models in the Medical Domain?
Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);Lamarr Institute(拉马尔研究所)
本文通过持续预训练和融合技术,缩小专用模型与大通用模型的性能差距,构建了DeFineMed模型家族,证明专用模型在医疗任务中具有竞争力。
2026-04-21 cs.CL
SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Du Xiaoman (Beijing) Science Technology Co., Ltd.(度小满(北京)科技有限公司)
本文提出共享注意力框架SAPT,通过对齐参数高效微调学习模块与任务选择模块,同时缓解大语言模型持续学习中的灾难性遗忘和知识迁移问题,并在多个模型规模、架构及未见任务上验证了其优越性。
2024-06-06 cs.CL
How Do Large Language Models Learn Concepts During Continual Pre-Training?
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);UCLA(加州大学洛杉矶分校);Meta AI
本研究揭示了大型语言模型在持续预训练中概念学习的动态机制,通过分析概念电路揭示了概念获取、遗忘及相互作用的规律,为设计更可解释的训练策略提供依据。
2026-08-19 cs.CL
Continual Learning for Large Language Models: A Survey
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
本文综述了大型语言模型的持续学习技术,提出多阶段分类方案,涵盖持续预训练、指令微调与对齐,并对比其他方法,指出挑战与未来方向。
2024-02-07 cs.CL cs.LG
Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training
Preferred Networks, Inc.(Preferred Networks公司)
本研究针对日语金融专用大语言模型的空白,构建日语金融领域预训练数据集,以100亿参数级最优日语金融大语言模型为基础开展持续预训练,所得模型在金融基准测试及输出质量长度上均优于原模型,且已公开发布。
2024-04-16 cs.CL q-fin.CP
InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning
Hong Kong University of Science and Technology(香港科技大学)
本文提出InstructAlign框架,通过持续跨语言指令微调使大型语言模型在有限平行数据下学习低资源语言,有效防止灾难性遗忘并保持多任务能力。
2023-10-24 cs.AI cs.CL
COPAL: Continual Pruning in Large Language Generative Models
Samsung Semiconductor(三星半导体)
本文提出COPAL持续剪枝算法,通过敏感性分析在持续适配场景下剪枝大型语言生成模型,无需微调或重训练即可高效适配新领域并优于基线模型。
2024-06-14 cs.AI cs.CL cs.LG
Continual Learning Using Only Large Language Model Prompting
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce AI Research(Salesforce AI研究院)
提出CLOB持续学习范式,将大语言模型视为黑盒,仅通过提示进行增量学习,并设计基于增量摘要的CIS技术克服输入长度限制,实验表明其大幅优于基线。
2024-12-20 cs.AI cs.CL
AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model
Shanghai AI Lab.(上海人工智能实验室)
提出Attention-FFN Adapter持续预训练方法,仅训练17%参数,在中文生物医学下游任务上平均提升0.6%-2%,并将灾难性遗忘缓解11%。
2023-10-20 cs.CL cs.LG
Online Continual Knowledge Learning for Language Models
Singapore University of Technology and Design(新加坡科技设计大学);University of Sri Jayewardenepura(斯里贾亚瓦德纳普拉大学);Nanyang Technological University(南洋理工大学)
本文提出在线持续知识学习(OCKL)问题,构建基准与评估指标,发现现有持续学习方法不足,并识别影响知识获取与保留权衡的关键因素。
2023-11-16 cs.AI cs.CL
Continual Training of Language Models for Few-Shot Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);Google Research(谷歌研究院)
最近的工作应用大语言模型(LM)在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库来适应或后训练LM可以为领域中的最终任务产生更好的性能。本文提出了一个不断扩展LM的问题,通过增量后训练LM与一系列未标记的领域语料库,以扩大其知识,而不会忘记它以前的技能。我们的目标是改善这些领域的Few-Shot最终任务学习。由此产生的系统被称为CPT(持续后培训),据我们所知,这是第一个持续后培训系统。实验结果验证了该方法的有效性。
2022-10-11 cs.AI cs.CL cs.LG
Orthogonal Subspace Learning for Language Model Continual Learning
Fudan University(复旦大学);International Human Phenome Institutes (Shanghai)(上海国际人类表型组研究院)
本文提出O-LoRA方法,通过在相互正交的低秩子空间中学习不同任务,有效缓解了语言模型持续学习中的灾难性遗忘,且无需存储数据,在保持泛化能力上优于现有方法。
2023-10-22 cs.CL cs.LG
Rationale-Enhanced Language Models are Better Continual Relation Learners
Peking University(北京大学)
本文提出将大语言模型生成的关系分类解释(理性)引入持续关系抽取,通过多任务理性调优和对比性理性回放,增强模型对类似关系的鲁棒性,缓解灾难性遗忘,并在两个标准基准上超越现有最先进模型。
2023-10-10 cs.AI cs.CL
SwitchCIT: Switching for Continual Instruction Tuning
Coordinated Science Laboratory(协调科学实验室);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Mathematics(数学系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出SwitchCIT方法,通过一种将计算路由到参数高效微调模型的切换机制,有效解决大型模型在持续指令微调中的灾难性遗忘问题,并在多任务实验中展现出高效、可扩展和隐私保护等优势。
2024-12-18 cs.AI cs.CL
Improving Multimodal Large Language Models Using Continual Learning
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究将视觉模型集成至LLM视为持续学习问题,评估五种方法缓解遗忘,提出在保持多模态准确率的同时将语言性能退化降低高达15%的技术。
2025-08-13 cs.CL cs.CV cs.LG
Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对比提示学习框架和记忆增强策略,利用预训练语言模型的隐式能力,有效缓解持续少样本关系抽取中的灾难性遗忘和过拟合问题,并在低资源场景下显著超越现有方法。
2024-02-24 cs.AI cs.CL
DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization
Dialpad Inc.(Dialpad公司)
本文提出域自适应持续预训练方法,利用大规模无标注商业对话数据增强大型语言模型的电话对话摘要能力,在域内外基准上均获显著提升。
2025-10-09 cs.AI cs.CL cs.LG
Continual Learning of Large Language Models: A Comprehensive Survey
Rutgers University(罗格斯大学);Google Cloud AI Research(谷歌云人工智能研究)
该综述系统梳理了大型语言模型持续学习的研究进展,提出垂直与水平连续性框架,总结持续预训练、领域自适应预训练和持续微调三个阶段,并概述评估协议与数据源。
2024-11-25 cs.AI cs.CL cs.LG
Towards Continual Knowledge Learning of Language Models
KAIST(韩国科学技术院);LG AI Research(LG人工智能研究院)
已知大语言模型(LM)在它们对大量web语料库进行预训练时将世界知识编码在它们的参数中,这些web语料库通常用于执行知识依赖的下游任务,例如问答、事实检查和开放对话。在现实世界的场景中,存储在LM中的世界知识可能会随着世界的变化而迅速过时,但是避免灾难性遗忘并在保持不变知识的同时可靠地获取新知识是非常重要的。为了推动社区更好地维护不断变化的LM,我们制定了一个新的持续学习(CL)问题,称为持续知识学习(CKL)。我们构建了一个新的基准和度量来量化时不变世界知识的保留,过时知识的更新和新知识的获取。我们采用文献中的最新方法来创建几个强基线。通过大量的实验,我们发现,CKL表现出独特的挑战,没有解决在以前的CL设置,参数扩展是必要的,可靠地保留和学习知识的同时。通过强调知识遗忘的关键原因,我们表明,CKL是一个具有挑战性的和重要的问题,帮助我们更好地理解和训练不断变化的LM。基准数据集、评估脚本和基线代码可以在https://github.com/joeljang/continual-knowledge-learning上获得。
2022-05-24 cs.CL cs.LG
MLLM-CL: Continual Learning for Multimodal Large Language Models
UCAS(中国科学院自动化研究所);CASIA(中国科学院自动化研究所);HKISI, CAS(中国科学院香港研究所);HKU(香港大学)
针对多模态大语言模型在动态场景下持续学习新知识技能的难题,本文提出包含领域与能力两类持续学习的MLLM-CL基准,以及基于参数隔离和MLLM路由的抗遗忘方法,实验证明其性能显著优于现有方法。
2025-10-01 cs.AI cs.CL cs.CV
SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Chongqing University(重庆大学);Peng Cheng Laboratory(鹏城实验室);Wuhan AI Research(武汉人工智能研究院)
针对持续学习中的灾难性遗忘问题,提出SEEKR方法,通过选择性注意力蒸馏保留先前知识,仅需1/10重放数据即实现更优性能。
2024-11-09 cs.CL cs.LG
Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Tencent(腾讯);Shandong University(山东大学);City, University London(伦敦城市大学)
针对LLM赋能推荐中通用语言表示与领域偏好不匹配、多领域适应性有限的问题,提出全领域持续预训练框架CPRec,通过统一提示模板和定制学习率调度对齐LLM与通用用户行为,提升推荐性能。
2025-04-11 cs.CL cs.IR
Continual Domain-Tuning for Pretrained Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
预训练语言模型(LM),例如BERT、DistilBERT和RoBERTa,可以通过在新的目标领域语料库上继续预训练阶段来针对不同的领域进行调整(领域调整)。这种简单的域调优(SDT)技术已被广泛用于创建域调优模型,如BioBERT,SciBERT和ClinicalBERT。然而,在目标域上的预训练阶段,LM模型可能会灾难性地忘记从其源域学习的模式。在这项工作中,我们研究了灾难性遗忘对域调整LM模型的影响,并研究了减轻其负面影响的方法。我们提出了基于持续学习(CL)的SDT替代方案,旨在减少灾难性遗忘。我们表明,这些方法可以提高LM模型对下游目标域任务的性能。此外,我们还表明,限制LM模型忘记源域导致下游的任务模型,更强大的域转移。我们分析了使用我们提出的CL方法的计算成本,并提供计算轻量级和有效的CL域调整程序的建议。
2021-03-19 cs.CL cs.LG
Towards Automatic Continual Learning: A Self-Adaptive Framework for Continual Instruction Tuning
National Supercomputer Center in Tianjin(国家超级计算天津中心);School of Science, Tianjin University of Technology and Education(天津职业技术师范大学理学院)
针对现有持续指令调优方法侧重旧知识保留、忽视新知识选择及领域部署难题,提出带代理模型动态过滤的自适应框架,可降本提效并实现自主更新。
2025-03-20 cs.AI cs.CL
Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models
提出LAPS方法,通过自蒸馏对齐历史提示并构建锚定提示空间学习任务间关系,在TRACE基准上提升大型语言模型持续适应性能并减少遗忘。
2026-10-28 cs.AI cs.CL
Empowering Large Language Model for Continual Video Question Answering with Collaborative Prompting
Nanyang Technological University(南洋理工大学)
针对持续学习场景下微调大语言模型易出现灾难性遗忘的问题,提出整合三类提示的协作提示方法ColPro,在两个视频问答数据集上取得了优于现有方法的性能。
2025-01-17 cs.CL cs.CV
JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
Bitdefender(Bitdefender公司);ETH Zurich(苏黎世联邦理工学院);University of Bucharest(布加勒斯特大学)
JumpLoRA通过JumpReLU门控在LoRA块中诱导稀疏性,实现动态参数隔离,提升IncLoRA性能并超越ELLA方法。
2026-04-28 cs.AI cs.CL cs.LG
Towards Anytime Fine-tuning: Continually Pre-trained Language Models with Hypernetwork Prompt
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
针对持续预训练模型在未见领域性能下降的问题,提出利用超网络生成领域特定提示的提示引导持续预训练方法,有效缓解领域身份并促进知识迁移,在真实数据集上取得显著提升。
2023-10-19 cs.AI cs.CL cs.LG
Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models
KU Leuven(鲁汶大学)
针对预训练语言模型持续学习中PEFT模块训练干扰与路由组合不佳的问题,提出L2R方法,通过隔离新模块训练、基于小型记忆库训练路由器网络组合模块,在多种基准上实现更优的泛化与性能。
2024-10-30 cs.AI cs.CL cs.LG
Modality-Inconsistent Continual Learning of Multimodal Large Language Models
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治·梅森大学)
本文提出MICL,一种针对多模态大语言模型的持续学习场景,涉及不一致的模态和变化的任务类型。通过伪目标生成模块和基于指令的知识蒸馏,解决任务类型转移导致的遗忘问题,实验验证了方法的有效性。
2026-05-12 cs.AI cs.CL cs.CV
Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model
South China University of Technology(华南理工大学);Xiaomi Corporation(小米公司);The Hong Kong Polytechnic University(香港理工大学)
本文提出解析子空间路由(ASR)方法,通过低秩适应隔离任务子空间,并利用递归最小二乘训练路由器,实现大语言模型持续学习中的知识保留与新任务适应,克服干扰与遗忘问题。
2025-07-08 cs.AI cs.CL cs.LG