CALM: Continuous Adaptive Learning for Language Modeling
Amazon（亚马逊）
训练大型语言表示模型已经成为自然语言处理社区的标准。这允许对任何数量的特定任务进行微调，然而，这些大的高容量模型可以继续对特定于域的未标记数据进行训练，以使初始化对于监督任务更加鲁棒。我们证明，在实践中，这些预先训练的模型表现出性能恶化的灾难性遗忘的形式时，从一个一般的域，如GLUE的任务进行评估。在这项工作中，我们提出了CALM，持续自适应学习语言建模：技术来渲染模型，保留跨多个领域的知识。通过这些方法，我们能够减少由任务特定模型引入的监督任务之间的性能差距，我们使用生物医学和临床领域中的持续学习设置来证明这一点。
2020-04-08 cs.CL
AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts
School of Computational Science and Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）；University of Macau（澳门大学）
该研究提出AdaMoLE微调方法，通过专用阈值网络动态调整LoRA专家激活阈值，结合门控机制自适应选专家，在多类任务上性能优于基线，且不增加专家数量，为LLM优化提供新方向。
2024-08-10 cs.CL
NLNDE at SemEval-2023 Task 12: Adaptive Pretraining and Source Language Selection for Low-Resource Multilingual Sentiment Analysis
Bosch Center for Artificial Intelligence（博世人工智能中心）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学语言信息处理中心）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
本文针对低资源非洲语言情感分析，提出利用语言与任务自适应预训练及源语言选择策略，显著提升了跨语言迁移效果，在SemEval-2023任务中赢得15个赛道中的8个并取得多语言评估最佳。
2023-04-28 cs.CL
Zero-Shot Adaptive Transfer for Conversational Language Understanding
Microsoft Corporation（微软公司）
像Alexa和Google Assistant这样的会话代理需要不断通过添加新的域来提高其语言理解能力。训练每个新领域需要大量的标记数据。虽然领域自适应方法减轻了注释成本，但是现有方法受到增加的训练时间和次优概念对齐的影响。为了解决这个问题，我们引入了一种新的Zero-Shot自适应传输方法槽标记，利用槽描述跨域传输可重用的概念，并享有有效的训练，没有任何明确的概念对齐。在与我们的商业个人数字助理相关的10个域的数据集上进行的广泛实验表明，我们的模型在很大程度上优于以前的最先进的系统，并且在低数据状态下实现了更高的改进。
2018-08-29 cs.CL
Lightweight Adaptive Mixture of Neural and N-gram Language Models
Facebook AI Research（脸书人工智能研究院）
通常情况下，性能最好的语言模型是神经语言模型与n-gram的集成。在这项工作中，我们提出了一种方法来改善这两个模型相结合。通过使用一个小的网络来预测两个模型之间的混合权重，我们在每个时间步调整它们的相对重要性。由于门控网络很小，它可以快速地对少量的数据进行训练，并且不会在评分时增加开销。我们在十亿字基准上进行的实验表明，在没有重新训练基本模块的情况下，与最先进的合奏相比，有了显着的改进。
2018-10-26 cs.CL
LangMAP: A Language-Adaptive Approach to Tokenization
EPFL（瑞士联邦理工学院洛桑）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
提出LangMAP分词方案，扩展UnigramLM到多语言设置，从共享词汇表生成语言特定分词，无需改变词汇表即可适配预训练模型，在14个分词器、9种自然语言和9种编程语言上提升了形态边界对齐和AST叶边界对齐。
2026-10-27 cs.CL
LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室）；Meituan Inc.（美团公司）；NiuTrans Research, Shenyang, China（牛译研所）
本文提出LANG框架，通过语言条件提示引导非英语推理任务的探索，解决了多语言环境下强化学习在输入语言一致性与推理质量之间的权衡问题，提升了推理性能而不影响语言一致性。
2026-05-21 cs.CL
Low-Resource Cross-Lingual Adaptive Training for Nigerian Pidgin
Saarland Informatics Campus（萨尔兰信息学园区）；Saarland University（萨尔大学）；Meta Inc.（Meta公司）；Utrecht University（乌得勒支大学）
本文通过构建大规模英语-皮钦语平行语料库并提出包含持续与任务自适应训练的跨语言框架，提升了尼日利亚皮钦语的文本分类和翻译性能。
2023-07-01 cs.CL
MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；The Ohio State University（俄亥俄州立大学）；Charles University（查理大学）
本文提出MAGNET，一种基于自适应梯度的多语言分词方法，通过语言文字特定的边界预测器模块化架构减少非拉丁文字的过度分割，在降低分割差异的同时加快语言建模并提升下游任务实用性。
2024-11-17 cs.CL
Task-adaptive Pre-training and Self-training are Complementary for Natural Language Understanding
UC Santa Barbara（加州大学圣巴巴拉分校）；Salesforce Research（赛富时研究院）
任务自适应预训练（Task-adaptive pre-training，TAPT）和自训练（Self-training，ST）是提高具有大量未标记数据的自然语言理解（natural language understanding，NLU）任务的主要半监督方法。然而，目前还不清楚它们是否学习类似的表示，或者它们是否可以有效地结合起来。在本文中，我们表明，TAPT和ST可以通过遵循TAPT -> Finetuning -> Self-training（TFS）过程与简单的TFS协议互补。实验结果表明，TFS协议能够有效利用未标记数据，在情感分类、释义识别、自然语言推理、命名实体识别和对话槽分类等6个数据集上实现一致的强组合增益。我们研究了各种半监督设置，并一致表明，从TAPT和ST的收益可以通过以下TFS程序强加性。我们希望TFS可以作为未来NLP研究的重要半监督基线。
2023-02-19 cs.CL
Task-adaptive Pre-training of Language Models with Word Embedding Regularization
NTT Media Intelligence Laboratories, NTT Corporation（NTT媒体智能实验室，NTT公司）
预训练的语言模型（PTLM）通过对大量文本资源的预训练来获取与领域无关的语言知识。额外的预训练是有效的，在适应PTLM的领域，没有很好地覆盖的预训练语料库。在这里，我们专注于静态词嵌入的PTLM的领域自适应教PTLM领域特定意义的话。我们提出了一种新的微调过程：任务自适应预训练与词嵌入正则化（TAPTER）。TAPTER通过使PTLM的静态词嵌入接近使用fastText在目标域中获得的词嵌入来运行额外的预训练。除了下游任务的训练数据之外，TAPTER不需要额外的语料库。我们证实，TAPTER提高了BioASQ（生物医学领域的问答）和SQuAD（维基百科领域）的标准微调和任务自适应预训练的性能，当它们的预训练语料库不受域内数据的支配时。
2021-09-17 cs.CL
Efficient Domain Adaptation of Language Models via Adaptive Tokenization
Stanford University（斯坦福大学）；Amazon（亚马逊）；AWS AI HLT（AWS 人工智能人类语言技术）
在大型数据集上训练的基于上下文嵌入的语言模型，如BERT和RoBERTa，在广泛的任务中提供了强大的性能，在现代NLP中无处不在。已经观察到，在涉及来自与它们被预训练的域不同的域的数据的任务上微调这些模型可能导致次优性能。最近的工作已经探索了通过使用特定领域的语料库和任务数据结合额外的预训练来使预训练的语言模型适应新领域的方法。我们提出了一种替代方法，通过调整其标记器将预训练的语言模型转移到新的域。我们表明，特定领域的子词序列可以有效地确定直接从分歧的基础和特定领域的语料库的条件令牌分布。在来自四个不同领域的数据集中，我们发现预训练的RoBERTa模型上的自适应标记化提供了超过97%的特定领域预训练的性能优势。我们的方法比其他使用标记器增强的方法产生更小的模型和更少的训练和推理时间。虽然自适应标记化在我们的实验中导致模型参数增加了6%，但由于引入了10k个新的特定于领域的标记，我们的方法使用64个vCPU，比在8个TPU上对特定于领域的语料库进一步预训练语言模型快72倍。
2021-09-15 cs.CL
Single-Pass, Adaptive Natural Language Filtering: Measuring Value in User Generated Comments on Large-Scale, Social Media News Forums
Northwestern University（西北大学）
在挖掘流行的新闻论坛上留下的众包评论中有大量的洞察力和社会发现潜力，如Reddit.com，Tumblr.com，Facebook.com和Hacker News。不幸的是，由于大量的参与及其不同质量的评论，从这些数据中提取价值并不总是显而易见的，也不总是及时的。通过设计高效、单通道和自适应的自然语言过滤器来快速删除垃圾邮件、噪音、模仿者、营销转移和脱离上下文的帖子，我们可以删除超过三分之一的条目，并返回与原始文章相关的概率更高的评论。这里提出的方法使用自适应的两步滤波过程。它首先利用线程中发布的原始文章作为起始语料库，通过匹配交叉单词和每个句子的术语比率平衡来解析评论，然后通过添加从高匹配评论中收获的新词来增加语料库，以随着时间的推移提高过滤准确性。
2017-01-12 cs.CL
Stop Jostling: Adaptive Negative Sampling Reduces the Marginalization of Low-Resource Language Tokens by Cross-Entropy Loss
本文提出自适应负采样技术，通过减少交叉熵损失对低资源语言标记的边缘化影响，提升模型对低资源语言的表示能力。
2026-01-30 cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本，近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量，更深和更广泛的体系结构被应用到多语言建模，以获得更大的模型容量，这同时也增加了推理成本。近年来的研究指出，语言之间的共同参数是干扰的原因，但它们也可能促进正迁移。基于这些见解，我们提出了一种自适应和稀疏的多语言建模架构，并训练模型学习共享和语言特定的参数，以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络，自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上，与标准Transformer相比，在不增加推理成本的情况下，分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen（哥本哈根大学）；PricewaterhouseCoopers (PwC)（普华永道）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
领域自适应预训练，即在领域特定文本上对语言模型进行持续的无监督预训练，改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本，例如处理金融或生物医学文档，这些应用程序通常需要支持多种语言。然而，由于法规、立法或仅仅是缺乏特定于语言和领域的文本，很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型，利用尽可能多语言的可用数据。在这项工作中，我们探索了领域自适应预训练的好处，重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库，使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言，表明一个单一的多语言特定领域的模型可以优于一般的多语言模型，并执行接近其单语言对应。这一发现适用于两种不同的预训练方法，基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
ALBA: Adaptive Language-based Assessments for Mental Health
Stony Brook University（石溪大学）；Lund University（隆德大学）
本研究提出心理健康自适应语言评估任务ALBA，基于经典测验理论和项目反应理论开发ALIRT等两种自适应方法，实验证明ALIRT仅需3题即可达到约0.93的皮尔逊相关系数，在更少样本下保证评估有效性与低计算成本。
2024-05-16 cs.AI cs.CL
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department（计算机科学系）；School of Computer Science（计算机科学学院）；Bina Nusantara University（宾厄斯大学）
本研究将自适应RAG系统应用于印度尼西亚语问答，通过机器翻译增强数据，利用复杂度分类器选择回答策略，实验发现多检索策略存在不一致性，揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University（名古屋大学）
当在现实世界的面向任务的对话系统中实现自然语言生成（NLG）组件时，不仅需要生成如在训练数据上学习的自然话语，而且需要生成适于对话环境的话语（例如，来自环境声音的噪声）和用户（例如，具有低水平理解能力的用户）。受语言生成任务的强化学习（RL）的最新进展的启发，我们提出了ANTOR，一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中，一个自然语言理解（NLU）模块，它对应于用户对系统话语的理解，被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU，则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验，我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
AMTSS: An Adaptive Multi-Teacher Single-Student Knowledge Distillation Framework For Multilingual Language Inference
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent（腾讯）
提出AMTSS自适应多教师单学生知识蒸馏框架，通过自适应学习策略和共享编码器，在多语言推理任务中实现高效知识迁移，并在XNLI和阿里电商数据集上取得有竞争力的结果。
2023-05-13 cs.AI cs.CL
Adaptive Engram Memory System for Indonesian Language Model: Generative AI Based on TOBA LM for Batak and Minang Language
TOBA-LM通过自适应恩格拉姆记忆机制，在有限资源下高效训练多语语言模型，实现快速收敛和降低计算成本。
2026-02-17 cs.CL cs.CY
Towards Autonomous Agents: Adaptive-planning, Reasoning, and Acting in Language Models
University of Connecticut（康涅狄格大学）
提出一种基于上下文学习的自适应规划算法，使语言智能体通过自我纠正反复尝试任务，在文本游戏中成功完成六项任务中的两项，增强了单模型的问题解决能力。
2024-11-04 cs.AI cs.CL
VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）
预训练的语言模型在一般基准测试中取得了令人满意的性能，但在迁移到特定领域时表现不佳。最近的作品执行预训练从零开始或持续预训练领域语料库。然而，在许多特定的领域，有限的语料库很难支持获得精确的表示。为了解决这个问题，我们提出了一种新的基于transformer的语言模型VarMAE域自适应语言理解。在屏蔽自动编码的目标下，我们设计了一个上下文不确定性学习模块，将令牌的上下文编码为平滑的潜在分布。该模块可以产生多样的和良好的形式的上下文表示。在科学和金融领域的NLU任务上的实验表明，VarMAE可以有效地适应资源有限的新领域。
2022-11-01 cs.AI cs.CL
AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection
Zhejiang University（浙江大学）；Stony Brook University（石溪大学）
针对跨语言代码克隆检测标注数据不足的问题，提出AdaCCD方法，通过自适应精炼对比学习框架迁移预训练模型的语言无关表示，在5语言基准上优于基线且性能接近有监督微调。
2024-03-06 cs.CL cs.SE
A Joint and Domain-Adaptive Approach to Spoken Language Understanding
Peking University（北京大学）；Microsoft（微软）
口语语言理解（SLU）由两个子任务组成：意图检测（ID）和槽填充（SF）。关于SLU的研究有两条路线。一个联合处理这两个子任务，以提高其预测精度，另一个侧重于其中一个子任务的域适应能力。在本文中，我们试图弥合这两条线的研究，并提出了一个联合和域自适应的方法SLU。我们制定SLU作为一个受约束的生成任务，并利用基于特定领域的本体的动态词汇。我们在ASMixed和MTOD数据集上进行了实验，并与以前最先进的联合模型实现了竞争性能。此外，结果表明，我们的联合模型可以有效地适应一个新的领域。
2021-07-25 cs.AI cs.CL
Dialogue-adaptive Language Model Pre-training From Quality Estimation
Shanghai Jiao Tong University（上海交通大学）
预训练语言模型（Pre-trained language models，PrLM）凭借其在大规模语料库上通过自监督学习获得的通用语言表示能力，在广泛的自然语言处理任务中取得了巨大的成功。这些模型是在具有一般语言模型（LM）训练目标的标准纯文本上预训练的，这将不足以对这些任务中反映的对话专有属性（如特异性和信息性）进行建模，这些对话专有属性未被预训练的通用语言表示明确捕获。在这项工作中，我们提出了对话自适应预训练目标（DAPO）来自质量估计模拟对话特定的功能，即连贯性，特异性和信息量。作为模型预训练的基础，我们合成了一个新的对话语料库，并使用两种无监督的方法来建立我们的训练集：1）面向连贯性的语境破坏，包括话语排序，插入和替换，以帮助模型捕获对话语境中的连贯性; 2）面向特异性的自动重评分，这鼓励模型通过考虑特异性和信息量来测量用于对话自适应预训练的合成数据的质量。在广泛使用的开放域响应选择和质量估计基准上的实验结果表明，DAPO显著改善了基线模型，并在Mutual排行榜上实现了最先进的性能，验证了将质量评估因素估计到预训练中的有效性。
2022-10-20 cs.CL cs.LG
AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab（湖畔实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
针对跨语言迁移中任务能力与语言能力难以完全解耦的问题，本文提出 AdaMergeX，利用参考任务和自适应适配器合并由三个适配器构造目标适配器，在所有设置下优于现有方法。
2024-02-29 cs.AI cs.CL
Enhancing Idiomatic Representation in Multiple Languages via an Adaptive Contrastive Triplet Loss
University of Sheffield（谢菲尔德大学）；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）；University of Exeter（埃克塞特大学）
本文提出一种基于自适应对比三元组损失的方法，通过建模组成词对习语含义的非对称贡献来增强多语言习语表征，并在SemEval挑战上显著超越先前方法。
2024-06-21 cs.AI cs.CL
AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought
本文提出AdaMCOT框架，通过动态路由中间'思考语言'中的推理过程提升多语言事实推理能力，实验表明在低资源语言中表现显著提升。
2026-04-14 cs.AI cs.CL
ARS: Adaptive Reasoning Suppression for Efficient Large Reasoning Language Models
Independent Researcher（独立研究者）
针对大型推理语言模型过度思考导致的计算低效问题，提出免训练的自适应推理抑制方法，通过多检查点确定性监控动态抑制冗余步骤，在数学推理基准上实现高达53%令牌、46.1%延迟和57.9%能耗的降低，同时保持或提升准确性。
2025-10-10 cs.AI cs.CL
DA-Net: A Disentangled and Adaptive Network for Multi-Source Cross-Lingual Transfer Learning
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；National Computer Network Emergency Response Technical Team / Coordination Center of China（国家计算机网络应急技术处理协调中心）
针对多源跨语言迁移学习中编码器表征混杂干扰分类器、语言鸿沟导致预测不准的问题，提出DA-Net，通过反馈引导协同解耦和类别感知并行适配优化，在38种语言的三类任务上验证了有效性。
2024-03-07 cs.AI cs.CL
From Prediction to Application: Language Model-based Code Knowledge Tracing with Domain Adaptive Pre-Training and Automatic Feedback System with Pedagogical Prompting for Comprehensive Programming Education
Enuma Inc（Enuma公司）；University of Memphis（孟菲斯大学）；Daegu National University of Education（大邱教育大学）；Seoul National University（首尔大学）；Seoul Metropolitan Office of Education（首尔市教育厅）；Korea University（高丽大学）
本文提出基于语言模型的代码知识追踪方法CodeLKT，结合领域与任务自适应预训练提升编程教育中的知识追踪性能，并集成大语言模型自动生成个性化反馈，推动编程教育从预测走向应用。
2024-08-31 cs.CL cs.SE
EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning
Beihang University（北京航空航天大学）；ETH Zurich（苏黎世联邦理工学院）；Bytedance AI Lab（字节跳动人工智能实验室）
预训练的视觉语言模型（VLM）在一系列视觉语言任务中取得了令人印象深刻的结果。然而，流行的VLM通常由数亿个参数组成，由于空间，内存和延迟限制，这给实际应用中的微调和部署带来了挑战。在这项工作中，我们引入了一个提取，然后修剪框架压缩大型视觉语言模型到更小，更快，更准确的。我们首先缩小预训练的大型VLM的大小，并在视觉语言预训练阶段应用知识蒸馏以获得与任务无关的紧凑VLM。然后，我们提出了一种模态自适应修剪算法，自动推断视觉和语言模态的重要性，为不同的下游任务，并自适应地删除冗余结构和神经元在不同的编码器与可控的目标稀疏。我们将我们的框架应用于训练EfficientVLM，这是一个快速准确的视觉语言模型，由6个视觉层，3个文本层和3个跨模态融合层组成，总共只有9300万个参数，占教师模型的44.3%。EfficientVLM保留了教师模型98.4%的性能，并将其推理速度加快了2.2倍。EfficientVLM在各种视觉语言任务上，包括VQAv2（+4.9%），NLVR2（+5.6%），ITR（TR上的R@1 +17.2%，IR上的R@1 +15.6%）和COCO字幕生成（CIDEr +6.5），与之前类似大小的SoTA高效VLM相比，实现了很大的绝对改进，展示了训练轻量级VLM的巨大潜力。
2022-10-14 cs.CL cs.CV
Efficient Language Adaptive Pre-training: Extending State-of-the-Art Large Language Models for Polish
Apostroph Group（Apostroph集团）
本研究通过LAPT方法微调英语基础LLM以生成波兰语文本，训练的Curie-7B-v1模型在KLEJ基准上表现优异且资源消耗极低，证明仅训练1.2%参数即可高效为现有LLM添加新语言。
2024-02-15 cs.AI cs.CL
Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models
North Carolina State University（北卡罗来纳州立大学）；New York University（纽约大学）；NEC-Labs（NEC实验室）
本文提出一种训练后自适应知识保留剪枝策略，通过复现稠密模型的嵌入与特征空间并校正累积误差，在BERT和多个数据集上实现了准确率、稀疏性、鲁棒性与剪枝成本的更优平衡。
2024-01-11 cs.AI cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST（韩国科学技术院）；AITRICS（艾崔克斯）
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本，这样我们就可以有效地适应特定的目标任务（例如问答）的语言模型。具体而言，我们提出了一种新的基于强化学习的框架，该框架学习掩蔽策略，使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习，并提出了一个基于transformer的策略网络，可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型，通过自动学习最佳自适应掩码，在几个问答和文本分类数据集上验证了我们的神经掩码生成器（NMG），在这些数据集上，它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
AdaMame: A Training Recipe for Adaptive Multilingual Reasoning
University of Maryland（马里兰大学）；Johns Hopkins University（约翰霍普金斯大学）
针对多语言推理中的语言崩溃问题，提出两阶段训练方案AdaMame，通过SFT建立多语言能力，再以自适应GRPO优化推理语言对齐，在准确率、语言保真度和令牌效率上达到帕累托最优。
2026-09-22 cs.AI cs.CL
Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation
ByteDance（字节跳动）
ASR模型部署环境是不断变化的，并且传入的语音可以在会话期间跨不同域切换。这就给只有目标域文本数据时有效的领域自适应带来了挑战，我们的目标是在目标域上获得明显提高的性能，而在一般域上的性能受到较少的损害。在本文中，我们提出了一种自适应LM融合方法称为内部语言模型估计为基础的自适应领域自适应（ILME-ADA）。为了实现这样的ILME-ADA，基于分别来自内部LM和外部LM（ELM）的分数的最大值来计算内插对数似然分数。我们证明了所提出的ILME-ADA方法与RNN-T和LAS建模框架的有效性，分别采用神经网络和n-gram LM作为ELMs在两个特定领域（目标）测试集上。该方法可以实现显着更好的性能目标测试集上，而它得到最小的性能下降的一般测试集上，相比浅和ILME基于LM融合方法。
2023-03-02 cs.CL cs.SD eess.AS
Language Alignment via Nash-learning and Adaptive feedback
该研究提出LANA算法，将大语言模型对齐建模为针对自适应反馈的镜像下降博弈，无需人工标注偏好数据集即可实现自对齐，并通过实验和数学分析验证了有效性。
2024-06-22 cs.AI cs.CL cs.GT
Adaptive Elicitation of Latent Information Using Natural Language
Columbia University（哥伦比亚大学）
本文提出一种自适应引示框架，利用元学习语言模型模拟未来观察以量化不确定性，从而在自然语言环境中策略性地选择最具信息量的查询，减少潜在实体不确定性，并在多个任务中优于基线。
2025-07-09 cs.AI cs.CL cs.LG
AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model
Fudan University（复旦大学）；Donghua University（东华大学）
提出AdaptiveLog框架，协同大语言模型与小语言模型，通过基于SLM不确定性的自适应选择策略和错误案例检索提示，在保证日志分析性能的同时降低推理成本。
2025-01-19 cs.AI cs.CL cs.SE
Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Naming Game on Adaptive Weighted Networks
Adam Mickiewicz University（亚当·密茨凯维奇大学）
我们研究了一个自适应加权网络上的命名游戏。一对给定的代理的连接的权重取决于它们的通信成功率，并确定代理通信的概率。在某些情况下，根据模型的参数，对成功沟通的代理的偏好基本上可以忽略不计，模型的行为类似于完全图上的命名游戏。特别是，它很快就达到了单语言状态，尽管动态的一些细节与完整图版本不同。在其他一些情况下，对成功沟通代理的偏好变得更加相关，模型陷入了多语言制度。在这种情况下，语言的逐渐粗化和消亡导致了一种占主导地位的语言的出现，尽管其他一些语言仍然存在。在我们的模型和人口中的语言分布的比较进行了讨论。
2012-03-25 cond-mat.stat-mech cs.CL physics.soc-ph
Adaptive Multi-Corpora Language Model Training for Speech Recognition
Meta AI
神经网络语言模型（NNLM）在自动语音识别（ASR）系统中起着至关重要的作用，特别是在纯文本数据的自适应任务中。在实践中，NNLM通常是在从多个语料库中采样的数据的组合上训练的。因此，数据采样策略是重要的自适应性能。现有的大多数工作集中在设计静态采样策略。然而，每个语料库可能会在不同的NNLM训练阶段表现出不同的影响。在本文中，我们介绍了一种新的自适应多语料库训练算法，动态学习和调整采样概率的每个语料库沿训练过程。该算法对语料库大小和领域相关性具有鲁棒性。与静态采样策略基线相比，所提出的方法分别在域内和域外适应任务上实现了相对7%和9%的字错误率（WER）降低，从而产生了显着的改善。
2022-11-09 cs.CL cs.LG eess.AS
CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models
Mistyoz AI Hyderabad, India（Mistyoz AI 德里, 印度）
提出一种紧凑语言模型CosmicFish-HRM，通过层次推理模块动态分配推理深度，在保持较小参数量的同时实现适应性推理。
2026-05-27 cs.AI cs.CL cs.LG
Sample-aware Adaptive Structured Pruning for Large Language Models
本文提出AdaPruner框架，通过贝叶斯优化自适应选择校准数据与重要性估计指标，在多种剪枝比例下优于现有结构化剪枝方法，并在20%剪枝时保持97%性能。
2025-03-08 cs.AI cs.CL cs.LG
Calibrating Language Models with Adaptive Temperature Scaling
Stanford University（斯坦福大学）
本文提出自适应温度缩放（ATS）方法，通过为每个token预测温度参数来修复RLHF微调后LLMs的校准退化问题，在三个自然语言基准上提升校准性能10-50%且不影响RLHF性能收益。
2024-09-29 cs.AI cs.CL cs.LG
Adaptive Large Language Models By Layerwise Attention Shortcuts
Stanford University（斯坦福大学）
本文提出通过注意力机制为类似LLM的架构引入自适应计算捷径，允许最终层关注所有中间层，使架构深度和上下文具有自适应性，在声学token、自然语言和符号音乐数据集上实现了卓越性能。
2024-09-17 cs.AI cs.CL cs.LG
Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；China University of Geosciences, Wuhan（中国地质大学（武汉））；Nanyang Technological University（南洋理工大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
针对多模态情感分析中模态间无关与冲突信息阻碍性能提升的问题，提出自适应语言引导多模态Transformer，通过自适应超模态学习模块在语言引导下抑制无关冲突信息，在多个数据集上取得最优性能。
2023-12-14 cs.AI cs.CL cs.CV
Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling
Microsoft Research（微软研究院）
训练深度神经网络需要大量的单任务数据，并且涉及到耗时较长的优化阶段。这无法扩展到具有新的意外更改的复杂、现实环境。人类可以在飞行中进行快速增量学习，大脑中的记忆系统起着关键作用。我们介绍稀疏Meta网络--一种元学习方法，通过使用深度神经网络来学习深度神经网络的在线顺序自适应算法。我们用特定于层的快速权重记忆来增强深度神经网络。快速权重在每个时间步稀疏地生成，并通过时间增量地累积，为在线连续适应提供有用的归纳偏差。我们在各种顺序适应场景中表现出强大的性能，从简单的在线强化学习到大规模自适应语言建模。
2020-09-03 cs.AI cs.CL cs.LG
