Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
EPFL University(洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所);DeepMind(深度思维);Google Brain(谷歌大脑)
最先进的参数高效微调方法依赖于在预训练的语言模型的层之间引入适配器模块。然而,这些模块针对每个任务单独训练,因此不能跨任务共享信息。在本文中,我们表明,我们可以学习适配器参数的所有层和任务,通过使用共享的超网络,条件任务,适配器的位置,和层ID在一个Transformer模型生成它们。这种参数高效的多任务学习框架使我们能够通过超网络在任务之间共享知识,同时使模型能够通过特定于任务的适配器适应每个单独的任务,从而实现两全其美。在著名的GLUE基准测试上的实验表明,在每个任务仅添加0.29%的参数的情况下,多任务学习的性能得到了改善。我们还证明了大量的性能改进,在Few-Shot领域泛化在各种任务。我们的代码可在https://github.com/rabeehk/hyperformer上公开获取。
2021-06-08 cs.CL
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
Shandong University(山东大学);Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学);Centrum Wiskunde & Informatica(数学与信息学研究中心)
MELoRA通过冻结预训练权重并训练一组迷你低秩适配器,以更少参数保持高秩,在自然语言理解和指令跟随任务上分别以8倍和36倍更少的可训练参数超越LoRA,实现参数高效微调。
2025-05-26 cs.CL
Adapter-state Sharing CLIP for Parameter-efficient Multimodal Sarcasm Detection
Department of Computer Science(计算机科学系);Engineering, Indian Institute of Technology Guwahati, India(工程系、印度理工学院瓜哇提学院、印度)
针对多模态讽刺检测中全量微调资源消耗高、现成PEFT方法效果不佳的问题,提出仅在上层插入适配器且引入适配器状态共享机制的AdS-CLIP框架,在两个基准上以更少参数取得更优效果。
2025-10-29 cs.CL
$k$NN-Adapter: Efficient Domain Adaptation for Black-Box Language Models
Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
在新领域上微调语言模型是领域自适应的标准实践。然而,当涉及到现代大规模语言模型(如GPT-3)时,它可能是不可行的,因为它只能通过API访问,因此很难访问模型的内部参数。在本文中,我们提出了$k$ NN适配器,一种方法,有效地适应这些黑盒大语言模型(LLM)到一个新的领域。$k$ NN适配器建立在检索增强的语言模型之上,并自适应地学习用来自由目标域数据组成的查询的检索结果来内插语言模型的输出。我们在四个不同领域的实验表明,$k$ NN适配器显着改善困惑,并在有限的LLM访问设置特别好。此外,我们表明,$k$ NN适配器是更有效的比微调时,训练数据的量是有限的。我们还发布了一个数据集,以鼓励进一步的研究。
2023-02-21 cs.CL
QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models
Seoul National University(首尔国立大学);Sungkyunkwan University(全北国立大学)
本文提出QWHA方法,通过将基于傅里叶变换的适配器与沃尔什-哈达玛变换结合,改进量化感知参数高效微调,有效减少量化误差并降低计算成本。
2026-01-27 cs.CL
ACE: Adapter Consolidation across Experts for Parameter-Efficient Fine-Tuning of MoE LLMs
Ulsan National Institute of Science and Technology (UNIST)(蔚山国立科学技术院)
ACE通过整合冗余专家适配器为组共享高秩LoRA模块,在相同参数预算下提升MoE模型微调精度,并实现1.31-1.48倍训练加速。
2026-09-09 cs.AI cs.CL cs.LG
Parameter-Efficient Fine-Tuning With Adapters
Georgia Institute of Technology(佐治亚理工学院)
本文提出在 UniPELT 框架中加入 PromptTuning Layer 的适配器微调方法,以更少或相当的参数量在 GLUE、领域数据集和 SQuAD 上达到接近全量微调的性能。
2024-05-09 cs.AI cs.CL
A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA
Tenyx(Tenyx公司)
针对 LoRA 按秩缩放导致高秩适配器学习受限的问题,本文证明应除以秩的平方根,提出 rsLoRA,在不增加推理成本的前提下实现更高秩带来的性能提升。
2023-11-28 cs.CL cs.LG
X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
Seoul National University(首尔大学)
针对多配置场景下适配器微调的额外参数量随配置数线性增长的问题,提出X-PEFT方法,通过极小的二值掩码张量自适应选择已有适配器,在内存需求降低万倍的前提下,性能达到或超过传统适配器微调。
2024-01-29 cs.AI cs.CL cs.LG
Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
Islamic University of Technology(伊斯兰理工大学);York University(约克大学);Dialpad Inc.(Dialpad公司)
该研究针对MoE+LoRA微调中路由分离无法防止负迁移的问题,提出SpawnLoRA方法,通过在MoE专家内动态添加门控子适配器减少负迁移,在Phi-tiny-MoE-instruct等模型上验证了其有效性。
2026-09-04 cs.CL cs.LG
MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models
Zhejiang University(浙江大学)
MoA通过异构适配器混合提升大语言模型的参数高效微调性能,采用软和稀疏变体实现细粒度整合与稀疏激活,增强预训练知识向下游任务的转移效果。
2026-01-19 cs.AI cs.CL
Efficient Domain Adaptation of Sentence Embeddings Using Adapters
Technical University of Munich(慕尼黑工业大学)
本文提出用轻量级领域特定适配器替代对整个句子嵌入模型的微调,在仅训练约3.6%参数的情况下取得与完全微调相差1%以内的竞争性能,实现参数高效的领域自适应。
2023-09-24 cs.AI cs.CL
FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization
School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);Manning College of Information & Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
FedMCP通过在冻结的预训练语言模型上引入全局适配器和私有适配器,并结合模型对比正则化,在降低通信与计算开销的同时实现客户端个性化微调,显著提升了异构联邦学习场景下的性能。
2024-08-28 cs.CL cs.LG
AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters
BITS Pilani(比斯·皮兰大学);University of Adelaide(阿德莱德大学)
AutoRAG-LoRA框架通过轻量级LoRA适配器、KL正则化训练与幻觉检测反馈循环,有效减少大模型事实漂移并保持模块化与效率。
2025-07-11 cs.AI cs.CL
Learning Fine-Grained Controllability on Speech Generation via Efficient Fine-Tuning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);AI at Meta(元人工智能部门)
本文提出Voicebox Adapter,通过交叉注意力模块和LoRA偏置调优高效微调预训练Voicebox模型,在三个细粒度条件生成任务上实现了不损失语音质量的可控性提升,并验证了其资源效率与鲁棒性。
2024-06-10 cs.CL eess.AS
Vision Transformer Adapters for Generalizable Multitask Learning
EPFL(洛桑联邦理工学院)
该研究提出首个多任务视觉Transformer适配器,通过任务适配注意力机制学习可泛化任务亲和性,在参数高效的同时实现新任务新领域的零样本迁移等泛化能力,性能优于现有卷积和视觉Transformer多任务方法。
2023-08-23 cs.CL cs.CV
HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
Upper-Secondary Schools of Communications in Cracow(克拉科夫通信高级中学)
本文提出HypeLoRA,通过超网络生成LoRA适配器,实现高效校准语言模型微调,提升参数效率与校准性能,揭示参数效率与概率可靠性之间的关系。
2026-03-29 cs.AI cs.CL
On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于适配器的调优最近作为微调的替代方案出现。它的工作原理是将轻量级适配器模块添加到预训练的语言模型(PrLM)中,并且仅在学习下游任务时更新适配器模块的参数。因此,它只为每个新任务添加了一些可训练的参数,允许高度的参数共享。先前的研究表明,基于适配器的调整通常可以实现与微调相当的结果。然而,现有的工作只集中在基于适配器的调整的参数效率方面,而缺乏对其有效性的进一步调查。在本文中,我们研究后者。我们首先表明,基于适配器的调整比微调更好地缓解了遗忘问题,因为它产生的表示与初始PrLM产生的偏差较小。然后,我们在几个下游NLP任务和设置上实证比较了这两种调优方法。我们证明了1)基于适配器的调整优于微调低资源和跨语言的任务; 2)它是更强大的过拟合和不敏感的变化学习率。
2021-06-06 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Microsoft(微软)
通过自我监督训练的大型多语言模型在广泛的自然语言处理任务中实现了最先进的结果。自我监督的预训练模型通常在来自一个或多个语言对的并行数据上进行微调,以用于机器翻译。多语言微调提高了低资源语言的性能,但需要修改整个模型,并且可能非常昂贵。在每个语言对上训练一个新的适配器,或者在所有语言对上训练一个适配器,而不更新预训练模型,已经被提出作为一种参数有效的替代方案。然而,前者不允许语文之间的任何共享,而后者则共享所有语文的参数,容易受到负面干扰。在本文中,我们提出了在mBART-50之上训练语言族适配器,以促进跨语言迁移。我们的方法优于相关基线,从英语翻译到17种不同的低资源语言时,平均翻译分数更高。我们还表明,语言族适配器提供了一种有效的方法来翻译到语言看不见的预训练。
2023-03-29 cs.CL
MerA: Merging Pretrained Adapters For Few-Shot Learning
University of Maryland, College Park(马里兰大学帕克分校);The University of Sydney(悉尼大学);University of Chinese Academy of Sciences(中国科学院大学);JD Explore Academy(京东探索研究院)
针对少样本学习中适配器调优效果欠佳的问题,提出MerA方法,通过模型融合将预训练适配器整合为单一模型,并引入“同轨”设置,显著超越全量微调与AdapterFusion。
2023-08-30 cs.CL
KronA: Parameter Efficient Tuning with Kronecker Adapter
McGill University(麦吉尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在特定的下游任务上微调预训练语言模型(PLM)已经是自然语言处理中众所周知的范例。然而,随着PLM规模的不断增长,在多个下游任务上训练整个模型变得非常昂贵和资源匮乏。最近,提出了不同的参数有效调整(PET)技术,以提高微调PLM的效率。PET方法的一个流行类别是低秩适应方法,该方法将可学习的截短SVD模块顺序或并行插入到原始模型中。然而,低秩分解受到有限的表示能力的影响。在这项工作中,我们解决这个问题,使用克罗内克产品,而不是低秩表示。我们介绍KronA,这是一种基于Kronecker产品的适配器模块,用于对基于Transformer的PLM进行有效的微调。我们将所提出的方法应用于GLUE基准测试中的T5微调,以表明结合基于Kronecker的模块可以优于最先进的PET方法。
2022-12-20 cs.CL
SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters
JD Explore Academy(京东探索研究院);Aalborg University(奥尔堡大学);The University of Sydney(悉尼大学);University of Electronic Science and Technology of China(电子科技大学)
适配器调整,冻结预训练的语言模型(PLM),只微调一些额外的模块,成为一个有吸引力的有效替代全面的模型微调。虽然计算效率高,最近的适配器经常增加参数(例如瓶颈尺寸),以匹配全模型微调的性能,我们认为这违背了他们的初衷。在这项工作中,我们通过网络修剪的镜头重新检查适配器的参数效率(我们命名为\texttt{SparseAdapter}这样的插件概念),并发现SparseAdapter可以达到可比或更好的性能比标准适配器的稀疏率达到80\%。基于我们的研究结果,我们引入了一个简单但有效的设置"\textit{Large-Sparse}",以提高在相同的参数预算下的适配器的模型容量。在三种先进的PLM上对五种竞争适配器进行的实验表明,通过适当的稀疏方法(如SNIP)和比率(如40\%),SparseAdapter可以始终优于相应的对手。令人鼓舞的是,通过\textit{Large-Sparse}设置,我们可以获得更有吸引力的增益,甚至大幅优于完全微调。我们的代码将在https://github.com/Shwai-He/SparseAdapter上发布。
2022-11-10 cs.CL
Incremental Multilingual Text2Cypher with Adapter Combination
Neo4j London UK(Neo4j伦敦英国)
本文提出一种可扩展的多语言文本到图结构方法,通过训练语言特定的LoRA适配器并结合统一线性融合或学习融合MLP,实现无需全量微调即可支持新语言,提升数据效率和性能。
2026-05-11 cs.CL
To Adapt or to Fine-tune: A Case Study on Abstractive Summarization
University of Edinburgh(爱丁堡大学)
摘要领域的最新进展利用预训练的语言模型,而不是从头开始训练模型。然而,这样的模型是缓慢的训练,并伴随着大量的开销。研究人员已经提出了一些轻量级的替代方案,如较小的适配器,以减轻缺点。尽管如此,仍然不确定使用适配器是否有利于总结任务,在提高效率而不牺牲性能方面。在这项工作中,我们进行了多方面的调查微调和适配器的摘要任务具有不同的复杂性:语言,域和任务转移。在我们的实验中,微调预训练的语言模型通常比使用适配器获得更好的性能;性能差距与所使用的训练数据的量呈正相关。值得注意的是,适配器在资源非常少的情况下超过了微调。我们进一步提供了对多语言性,模型收敛性和鲁棒性的见解,希望能够阐明抽象摘要中微调或适配器的务实选择。
2022-08-30 cs.CL
Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models
本研究对比了三种Transformer模型结合九种前沿适配器架构与传统微调在分类任务上的表现,发现适配器能用更少训练时间达到相当或更优性能,为NLP应用中适配器的选型与部署提供参考。
2025-01-14 cs.AI cs.CL
Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
Fudan University(复旦大学);Microsoft(微软);Tencent(腾讯)
本文提出Hadamard适配器,一种仅作用于自注意力输出的参数高效微调方法,通过Hadamard乘积实现逐元素线性变换,在GLUE基准上以0.033%参数达到竞争性能,并可进一步移除冗余层降至0.022%参数。
2024-07-04 cs.CL cs.LG
Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校);Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
针对大语言模型微调的参数冗余、结构僵化等问题,提出结构可学习的适配器微调方法,通过可微门控与结构搜索动态构建任务子结构,在多任务自然语言理解上实现了准确率、压缩率与鲁棒性的更优平衡。
2025-09-03 cs.CL
AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity Matching using Adapter-tuning
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science & Technology (AIST)(产业技术综合研究所)
本文提出AdapterEM,通过冻结预训练语言模型参数、仅微调适配器和分类器,结合预训练适配器与可逆适配器实现广义实体匹配,在仅用约13%参数的情况下达到与全量微调和提示微调相当或更优的性能。
2023-05-30 cs.CL cs.DB
Composable Sparse Fine-Tuning for Cross-Lingual Transfer
University of Cambridge(剑桥大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
微调大型预训练模型的整个参数集已成为迁移学习的主流方法。为了提高其效率并防止灾难性遗忘和干扰,开发了适配器和稀疏微调等技术。适配器是模块化的,因为它们可以组合以使模型适应知识的不同方面(例如,专用语言和/或任务适配器)。稀疏微调是富有表现力的,因为它控制所有模型组件的行为。在这项工作中,我们引入了一个新的微调方法,这两个理想的属性。特别是,我们学习稀疏,实值掩码的基础上彩票假说的一个简单的变体。任务特定掩码从源语言的注释数据获得,语言特定掩码从目标语言的掩码语言建模获得。然后,这两个掩码都可以与预训练的模型组合。与基于适配器的微调不同,该方法既不增加推理时的参数数量,也不改变原始模型结构。最重要的是,在一系列多语言基准测试中,它在zero-shot跨语言迁移方面的性能大大优于适配器,包括Universal Mendencies、MasakhaNER和AmericasNLI。基于深入的分析,我们还发现稀疏性对于防止1)要组合的微调之间的干扰和2)过拟合至关重要。我们在https://github.com/cambridgeltl/composable-sft上发布代码和模型。
2023-02-09 cs.CL
FUN with Fisher: Improving Generalization of Adapter-Based Cross-lingual Transfer with Scheduled Unfreezing
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
本文研究基于适配器的跨语言迁移中的计划解冻算法,发现其能缩小与全量微调的差距并提升跨语言泛化性能,同时利用 Fisher Information 揭示其学习动态与泛化性能相关,并提出通用算法在四个数据集上平均提升 2 个点。
2024-04-04 cs.CL
AdapterFusion: Non-Destructive Task Composition for Transfer Learning
Technical University of Darmstadt(达姆施塔特工业大学);New York University(纽约大学)
顺序微调和多任务学习是旨在整合来自多个任务的知识的方法;然而,它们遭受灾难性遗忘和数据集平衡的困难。为了解决这些缺点,我们提出了AdapterFusion,一个新的两阶段学习算法,利用多个任务的知识。首先,在知识提取阶段,我们学习任务特定的参数,称为适配器,封装任务特定的信息。然后,我们在一个单独的知识组成步骤中组合适配器。我们表明,通过分离两个阶段,即,知识提取和知识组合,分类器可以有效地利用从多个任务中学习到的表示,以非破坏性的方式。我们对16个不同的NLU任务进行了经验评估,发现它有效地结合了模型不同层的各种类型的知识。我们表明,我们的方法优于传统的策略,如全微调以及多任务学习。我们的代码和适配器可以在AdapterHub.ml上找到。
2021-01-26 cs.CL
Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
前缀调整,或更一般地连续提示微调,已成为参数有效的迁移学习的基本范例。使用大型预训练语言模型(PLM),前缀调整可以通过仅训练一小部分参数来获得强大的性能。在本文中,我们建议通过内核透镜来理解和进一步发展前缀调谐。具体而言,我们在内核方法中的\textit{prefixes}和\textit{inducing variables}之间进行类比,并假设\textit{prefixes}作为\textit{inducing variables}将改善其整体机制。从核估计器的角度来看,我们提出了一个新的变体前缀调整-- \textit{inducer-tuning},它共享前缀调整的确切机制,同时利用在适配器调整中发现的残差形式。这缓解了前缀调优中的初始化问题。通过对自然语言理解和生成任务的综合实验,我们证明了诱导器调整可以缩小前缀调整和微调之间的性能差距。
2022-10-26 cs.CL cs.LG
Prompting and Adapter Tuning for Self-supervised Encoder-Decoder Speech Model
National Taiwan University(台湾大学);Meta AI
本研究针对自监督编码器-解码器语音模型Wav2Seq,提出提示和适配器调优方法,在序列生成任务上显著优于传统微调,并在跨语言和低资源场景下展现优势。
2023-11-14 cs.CL eess.AS eess.SP
UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection
University of Birmingham(伯明翰大学)
本文提出利用适配器微调多语言预训练模型进行多语言与跨语言情感检测,目标语言就绪任务适配器在低资源非洲语言上表现最佳,并在多项 SemEval-2025 任务中取得领先排名。
2025-04-11 cs.CL
Inference-Time Policy Adapters (IPA): Tailoring Extreme-Scale LMs without Fine-tuning
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);University of Southern California(南加州大学)
本文提出推理时策略适配器 IPA,通过强化学习训练的轻量适配器在解码阶段引导大模型,无需微调即可在五项文本生成任务上显著提升性能。
2023-12-06 cs.CL
SemiAdapt-Instruct: Extensible Instruction Tuning via Latent Domain-Specialised Adapters
University of Limerick(利默里克大学)
SemiAdapt-Instruct是一种模块化指令微调框架,可发现潜在指令领域并训练对应LoRA适配器,无需全模型微调即可扩展,性能优于全模型微调且具备整体方法无法实现的可扩展性。
2026-08-07 cs.CL cs.LG
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
适配器模块,附加的可训练参数,使预训练的Transformers的有效微调,最近已被用于语言专业化的多语言Transformers,改善下游zero-shot跨语言迁移。在这项工作中,我们提出了正交的语言和任务适配器(称为orthoadapters)的跨语言迁移。他们被训练编码语言和任务特定的信息,这是互补的(即,正交)到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验,涉及三个任务(POS标记,NER,NLI)和一组10种不同的语言,1)指出了orthoadapters在跨语言迁移中的有用性,特别是对于最复杂的NLI任务,但也2)表明,最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
Robust Transfer Learning with Pretrained Language Models through Adapters
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
使用像BERT这样的大型预训练的基于transformer的语言模型进行迁移学习已经成为大多数NLP任务的主要方法。简单地在下游任务上微调这些大语言模型或将其与特定于任务的预训练相结合通常并不健壮。特别地,性能随着随机种子的变化或预训练和/或微调迭代的数量的变化而显著变化,并且微调的模型容易受到对抗攻击。我们提出了一种简单而有效的基于适配器的方法来缓解这些问题。具体来说,我们插入小瓶颈层(即,适配器),然后固定预训练层并在下游任务数据上训练适配器层,其中(1)任务特定的无监督预训练,然后(2)任务特定的监督训练(例如,分类、序列标记)。我们的实验表明,这样的训练方案导致改善的稳定性和对抗鲁棒性的迁移学习到各种下游任务。
2021-08-05 cs.CL
How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters
Linköping University(林雪平大学)
本文比较 mDeBERTa 在德语、瑞典语和冰岛语任务上的全量微调与 LoRA、Pfeiffer 适配器等 PEFT 方法,并评估文本训练适配器模块,揭示语言资源和任务类型对最优策略的影响。
2025-01-10 cs.AI cs.CL
Limited-Resource Adapters Are Regularizers, Not Linguists
Aalborg University(奥胡斯大学);Johns Hopkins University(约翰·霍普金斯大学);University of Ottawa(渥太华大学);IIT Madras(印度理工学院马德拉斯分校)
本研究探究适配器融合与交叉注意力微调以提升三种低资源克里奥尔语的机器翻译性能,发现适配器的作用主要是参数正则化而非语言信息迁移。
2025-05-30 cs.CL
Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers
Indiana University(印第安纳大学)
针对参数高效微调的预训练文本分类器对抗训练存在的干净样本性能下降、需频繁重训的问题,提出AdpMixup方法,通过混合多适配器实现鲁棒推理,在训练效率与鲁棒性间取得最优平衡。
2024-06-17 cs.CL
Typologically Informed Parameter Aggregation
KU Leuven(鲁汶大学)
TIPA通过聚合现有适配器实现无需训练的跨语言迁移,有效提升低资源语言性能。
2026-01-23 cs.CL
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan(美团)
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法,分别提升语言可配置与语言无关场景下的识别性能,并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs
Department of Electrical and Computer Engineering University of California Los Angeles(加利福尼亚大学洛杉矶分校电气与计算机工程系)
针对语音大语言模型在域偏移语音(如儿童和方言)上适应困难的问题,提出EAVA方法,通过在编码器层插入适配器并联合微调,显著提升ASR性能并达到新最优。
2026-10-12 cs.CL eess.AS
VL-Adapter: Parameter-Efficient Transfer Learning for Vision-and-Language Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近,在大型文本语料库上预训练的微调语言模型在视觉和语言(V&L)任务以及纯语言任务上提供了巨大的改进。然而,微调预训练模型的整个参数集变得不切实际,因为模型大小正在快速增长。因此,在本文中,我们将基于适配器的参数有效的迁移学习技术引入到V&L模型,如VL-BART和VLT 5。我们评估我们的方法在一个统一的多任务设置上的图像-文本和视频-文本基准。对于图像-文本任务,我们使用四个不同的V&L数据集:VQAv 2,GQA,NLVR 2和MSCOCO图像描述。对于视频文本任务,我们使用TVQA,How2 QA,TVC和YC 2C。通过仔细的训练和彻底的实验,我们对三种流行的基于适配器的方法(适配器,Hyperformer,Compacter)进行了基准测试,以对抗标准的完全微调和最近提出的快速调整方法。我们还通过共享适配器的权重来获得跨任务的知识,从而提高适配器的效率和性能。我们的研究结果表明,使用权重共享技术(图像-文本任务占总参数的4.18%,视频-文本任务占3.39%)训练适配器可以匹配微调整个模型的性能。最后,我们提出了一个全面的分析,包括适配器和特定任务的提示相结合,V&L预训练的适配器的影响。我们的代码可在https://github.com/ylsung/VL_adapter上获得。
2022-03-24 cs.AI cs.CL cs.CV
Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
University of Chicago(芝加哥大学);Adobe Research(奥多比研究中心);TTI-Chicago(芝加哥丰田技术研究所)
适配器调优是通过添加和调优少量新参数将预训练的语言模型转移到下游任务的范例。以前提出的适配器架构都是前馈神经网络。在本文中,我们研究了使用微小注意力的有效性,即,注意,每个头的尺寸非常小-作为适配器。我们的tiny-attention适配器学习修改隐藏状态在每个位置直接条件的隐藏状态在所有其他位置,这是错过了以前提出的适配器。此外,我们认为它的多个注意头作为一个混合专家模型,并建议平均他们的权重在部署过程中,这进一步降低了其推理计算成本。在GLUE基准测试中,我们的tiny-attention适配器优于其他参数高效的迁移学习方法以及完全微调,同时只更新0.05%的参数。在FewGLUE基准测试中,其性能与GPT-3和PET相当。
2022-10-18 cs.AI cs.CL cs.LG
Towards Efficient Post-Training via Fourier-Driven Adapter Architectures
Konkuk University(韩国康 kuk 大学)
FAA通过傅里叶驱动的适配架构实现大型语言模型的高效后训练,通过频率感知调节提升性能并降低计算开销。
2025-12-26 cs.AI cs.CL
CLIP-Adapter: Better Vision-Language Models with Feature Adapters
Shanghai AI Laboratory(上海人工智能实验室);CUHK MMLab(香港中文大学多媒体实验室);Rutgers University(罗格斯大学);Centre for Perceptual and Interactive Intelligence (CPII)(感知与交互智能中心)
本文提出CLIP-Adapter,通过特征适配器在视觉或语言分支进行微调,采用瓶颈层学习新特征并与预训练特征残差融合,超越提示调优,在视觉分类任务上验证有效性。
2025-03-25 cs.CL cs.CV
Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning
Technical University of Darmstadt(达姆施塔特工业大学);Cohere;University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文介绍了开源库Adapters,它通过统一接口集成10种适配器方法,支持大型语言模型中参数高效且模块化的迁移学习,允许通过组合块设计复杂设置,并在NLP任务中验证了其有效性。
2023-11-18 cs.AI cs.CL cs.LG
READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling
本文提出READ框架,通过递归计算和部分最优传输对齐,提升低资源视频-语言建模任务的性能,优于现有迁移学习方法。
2026-05-12 cs.CL cs.CV
Unsupervised Prototype Adapter for Vision-Language Models
Southern University of Science and Technology(南方科技大学);Pengcheng Laboratory(鹏城实验室)
针对视觉-语言模型有监督微调依赖标注样本、扩展性受限的问题,提出无监督原型适配器UP-Adapter,利用CLIP选高置信样本生成原型初始化可学习模型,残差融合原模型预测,性能显著优于多种少监督及现有无监督方法。
2023-08-25 cs.CL cs.CV
An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks
National University of Singapore(新加坡国立大学);Naver Labs Europe(Naver欧洲实验室)
针对自监督语音模型多任务微调计算成本高的问题,提出基于adapter的统一口语处理模型,在SUPERB基准的5项任务上平均提升18.4%且参数更新高效。
2024-06-20 cs.AI cs.CL
Using Bottleneck Adapters to Identify Cancer in Clinical Notes under Low-Resource Constraints
University of Oxford(牛津大学);NLPie Research(NLPie研究院);Infectious Diseases Data Observatory (IDDO)(传染病数据观测站(IDDO));Sharif University of Technology(谢里夫理工大学);ISARIC(国际严重急性呼吸道感染联盟);Pandemic Sciences Institute(大流行科学研究所);Oxford-Suzhou Centre for Advanced Research(牛津-苏州高等研究中心)
该研究在癌症相关临床笔记分类任务上比较 RNN、BioBERT 及高效微调方法,发现冻结 BERT 配合瓶颈适配器效果最佳,为低资源生物医学文本挖掘提供可行方案。
2023-06-07 cs.AI cs.CL