Adaptive Joint Learning of Compositional and Non-Compositional Phrase Embeddings
The University of Tokyo(东京大学)
我们提出了一种新的方法,通过自适应加权这两种类型的嵌入,使用组合性评分函数的组合和非组合短语嵌入联合学习。评分函数用于量化每个短语的组合性水平,并与学习短语嵌入的目标联合优化函数的参数。在实验中,我们应用自适应联合学习方法学习及物动词短语的嵌入任务,并表明组合性得分与人类对动词-宾语组合性的评价具有很强的相关性,大大优于以前的最新技术水平。此外,我们的嵌入改进了以前的最佳模型对及物动词消歧任务。我们还表明,一个简单的集成技术进一步提高了这两项任务的结果。
2016-06-08 cs.CL
AIMMerging: Adaptive Iterative Model Merging Using Training Trajectories for Language Model Continual Learning
Al Technology Center of OVB, Tencent, China(腾讯奥比大学技术中心);The Hong Kong Polytechnic University, Hong Kong S.A.R.(香港理工大学);Peking University, China(北京大学)
本文提出AimMerging框架,利用训练轨迹中的学习与遗忘信号动态监控训练状态,自适应控制模型合并时机与频率,在三个持续学习基准上显著提升了前向迁移和后向迁移性能。
2025-09-22 cs.AI cs.CL
DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations
Dialpad Inc.(Dialpad公司)
针对小型语言模型在商业对话任务中零样本能力不足及微调导致灾难性遗忘的问题,提出DACIP-RC持续预训练方法,通过阅读理解生成指令,显著提升会议摘要等任务的泛化性能。
2025-10-09 cs.AI cs.CL
Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models
Intology AI
提出CS-ReFT方法,通过轻量级路由器组合隐藏状态中的多个正交子空间变换,有效解决多任务适配中的跨技能干扰,以极低参数开销显著提升多任务指令遵循能力。
2025-04-26 cs.AI cs.CL
Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature
Deerfield Academy(迪尔菲尔德学院)
科学界每天继续发表大量与COVID-19相关的新研究,导致许多文献几乎没有引起关注。为了帮助社区了解快速流动的COVID-19文献,我们提出了一种新颖的BERT架构,为冗长的论文提供简短而原始的摘要。该模型以在线方式不断学习新数据,同时最大限度地减少灾难性遗忘,从而适应社区的需求。基准测试和手动检查其性能表明,该模型提供了一个新的科学文献的声音总结。
2020-09-27 cs.CL cs.LG
DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization
Dialpad Inc.(Dialpad公司)
本文提出域自适应持续预训练方法,利用大规模无标注商业对话数据增强大型语言模型的电话对话摘要能力,在域内外基准上均获显著提升。
2025-10-09 cs.AI cs.CL cs.LG
ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining
LG Uplus(LG U+)
针对企业部署大型语言模型基础设施不足的问题,提出基于领域自适应持续预训练的ixi-GEN小型语言模型,在提升目标领域性能的同时保持通用能力,实现成本高效且可扩展的企业级部署。
2025-10-23 cs.AI cs.CL cs.LG
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
MSSR通过估计样本级别的记忆强度并自适应地安排复习,有效缓解持续LLM微调中的灾难性遗忘问题,同时保持快速适应能力。
2026-03-10 cs.AI cs.CL cs.LG
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
UC Berkeley(加州大学伯克利分校)
COMPASS通过自适应语义采样策略,利用参数高效微调方法,在多语言任务中提升模型性能,减少跨语言干扰,实现持续学习框架以适应动态环境。
2026-04-22 cs.AI cs.CL cs.LG
Grounded Compositional Outputs for Adaptive Language Modeling
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语言模型已经成为NLP的核心组件,并且大量的进展取决于廉价地适应它们的能力(例如,通过微调)到新的域和任务。语言模型的词汇表$-$通常在训练前选择,并在以后永久固定$-$,这会影响其大小,并且是使其抵抗这种适应的部分原因。先前的工作已经使用基于表面形式的合成输入嵌入来改善这个问题。在这项工作中,我们更进一步,并提出了一个完全组成的输出嵌入层的语言模型,这是进一步接地从结构化词典(WordNet)的信息,即语义相关的单词和自由文本的定义。据我们所知,结果是第一个单词级语言模型,其大小不依赖于训练词汇表。我们对传统语言建模以及具有开放词汇的跨域设置进行了评估,发现它匹配或优于以前最先进的输出嵌入方法和自适应方法。我们的分析将改进归因于样本效率:我们的模型对低频词更准确。
2020-10-05 cs.CL
CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);State Key Laboratory of Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室)
提出CRAM方法,通过将任务特定模式隔离到独立模块、自适应秩实例化动态分配参数、质心路由激活现有专家以及正交惩罚约束更新方向,解决了多模态持续指令调优中任务竞争导致遗忘和参数效率低下的问题。
2026-08-31 cs.CL
Efficient Domain-adaptive Continual Pretraining for the Process Industry in the German Language
eschbach GmbH(eschbach公司)
本文提出ICL-APT方法,利用上下文学习和k近邻增强目标数据,在德语过程工业领域实现高效持续预训练,性能提升28.7%且GPU计算时间减少近4倍,为低资源行业提供高性价比NLP解决方案。
2025-07-01 cs.CL
Two-Stage Bengali Sentiment Classification: Domain Adaptation Through Continual Learning and Parameter-Efficient Fine-Tuning
针对低资源语言情感分析难题,提出结合领域自适应持续预训练与LoRA参数高效微调的SentiBanglaBERT框架,集成SHAP可解释性,实现高效且可解释的孟加拉语情感分类,性能可媲美强基准。
2026-08-04 cs.CL
Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective
Hanoi University of Science and Technology(河内理工大学)
针对持续关系抽取中的灾难性遗忘,提出基于任务内方差视角的自适应提示方法,利用提示池和生成模型,无需存储数据,性能优于现有方法。
2025-01-18 cs.CL cs.LG
AIM: Asymmetric Information Masking for Visual Question Answering Continual Learning
Sun Yat-Sen University(中山大学);National Supercomputing Center in Shenzhen(深圳国家超算中心);Tsinghua University(清华大学)
针对视觉问答持续学习中因模型结构不对称导致的灾难性遗忘问题,提出AIM方法,通过模态特定敏感性指导的针对性掩码平衡稳定性与可塑性,提升在VQA v2和GQA任务中的平均性能和平均遗忘度。
2026-04-16 cs.CL cs.CV
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems
EPFL(洛桑联邦理工学院);LMU(慕尼黑大学);Tsinghua University(清华大学)
自然语言生成是面向任务的对话系统的重要组成部分。尽管NLG的神经方法最近取得了成功,但它们通常是以离线方式为特定领域开发的。为了更好地适应新数据不断涌现的现实应用,我们在“持续学习“环境中研究NLG,以逐步将其知识扩展到新的领域或功能。实现这一目标的主要挑战是灾难性遗忘,这意味着一个不断训练的模型往往会忘记它以前学到的知识。为此,我们提出了一种称为ARPER(Adaptively Regularized Prioritized Exemplar Replay)的方法,通过重播优先级历史样本,以及基于ElasticWeight Consolidation的自适应正则化技术。在MultiWoZ-2.0上进行了大量的实验,以不断学习新的领域和意图,并使用各种技术对ARPER进行基准测试。实验结果表明,ARPER有效地减轻了有害的灾难性遗忘问题,显着优于其他方法。
2020-10-02 cs.CL cs.LG
WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting
Hanoi University of Science and Technology(河内科学技术大学)
WAVE++通过自适应提示捕捉任务内方差,提升连续关系抽取的鲁棒性与准确性。
2026-02-11 cs.CL
Adaptive Memory Replay for Continual Learning
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Georgia Institute of Technology(佐治亚理工学院)
针对计算资源有限但记忆充足场景下的持续学习,提出基于多臂老虎机和玻尔兹曼采样的自适应记忆重放框架,动态选择过去数据训练,在视觉与语言预训练任务中减少高达10%的遗忘且不损失训练效率。
2024-04-18 cs.CL cs.CV cs.LG
Adaptive Prompt Structure Factorization: A Framework for Self-Discovering and Optimizing Compositional Prompt Programs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Taobao and Tmall Group(淘宝天猫集团)
本文提出aPSF框架,通过语义因素发现和单因素更新优化提示程序,提升大语言模型的推理可靠性,实验显示在多个基准上准确率提升2.16个百分点,优化成本降低45-87%。
2026-04-08 cs.CL cs.LG