Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models
本研究对比了三种Transformer模型结合九种前沿适配器架构与传统微调在分类任务上的表现,发现适配器能用更少训练时间达到相当或更优性能,为NLP应用中适配器的选型与部署提供参考。
2025-01-14 cs.AI cs.CL
MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters
RMIT University(皇家墨尔本理工大学);The University of Melbourne(墨尔本大学)
国家支持的巨魔是社交媒体上影响力运动的主要参与者,自动巨魔检测对于大规模打击错误信息非常重要。现有的巨魔检测模型是基于已知活动的训练数据开发的(例如,俄罗斯互联网研究机构对2016年美国大选的影响力运动),并且在处理具有新目标的{ \em novel}运动时,它们不足。我们提出了MetaTroll,一个基于文本的巨魔检测模型的基础上的元学习框架,使高的可移植性和参数有效的适应新的活动,只使用少量的标记样本的Few-Shot传输。我们将\textit{campaign-specific} Transformer适配器引入MetaTroll,以“记忆”特定于巨魔的知识,从而解决灾难性遗忘,其中模型由于不断适应而“忘记”如何从旧活动中检测巨魔。我们的实验表明,MetaTroll大大优于基线和最先进的Few-Shot文本分类模型。最后,我们探索简单的方法来扩展MetaTroll到多语言和多模式检测。MetaTroll的源代码可在https://github.com/ltian678/metatroll-code.git获得。
2023-03-13 cs.CL
Vision Transformer Adapters for Generalizable Multitask Learning
EPFL(洛桑联邦理工学院)
该研究提出首个多任务视觉Transformer适配器,通过任务适配注意力机制学习可泛化任务亲和性,在参数高效的同时实现新任务新领域的零样本迁移等泛化能力,性能优于现有卷积和视觉Transformer多任务方法。
2023-08-23 cs.CL cs.CV
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);Wluper;Ubiquitous Knowledge Processing (UKP) Lab, TU Darmstadt(达姆施塔特工业大学普适知识处理(UKP)实验室)
继神经语言模型(LM)(如BERT或GPT-2)在各种语言理解任务上取得重大成功之后,最近的工作集中在将来自外部资源的(结构化)知识注入这些模型中。一方面,联合预训练(即,从头开始训练,将基于外部知识的目标添加到主要LM目标)可能在计算上昂贵得令人望而却步,另一方面,对外部知识的事后微调可能导致分布式知识的灾难性遗忘。在这项工作中,我们调查模型补充BERT的分布知识与概念知识从ConceptNet及其相应的开放式思维常识(OMCS)语料库,分别使用适配器训练。虽然GLUE基准测试的总体结果并不确定,但更深入的分析表明,我们基于适配器的模型在推理任务中的表现大大优于BERT(高达15-20个性能点),这些推理任务需要ConceptNet和OMCS中明确存在的概念知识类型。所有代码和实验都是开源的:https://github.com/wluper/retrograph。
2020-10-11 cs.CL
Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
EPFL University(洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所);DeepMind(深度思维);Google Brain(谷歌大脑)
最先进的参数高效微调方法依赖于在预训练的语言模型的层之间引入适配器模块。然而,这些模块针对每个任务单独训练,因此不能跨任务共享信息。在本文中,我们表明,我们可以学习适配器参数的所有层和任务,通过使用共享的超网络,条件任务,适配器的位置,和层ID在一个Transformer模型生成它们。这种参数高效的多任务学习框架使我们能够通过超网络在任务之间共享知识,同时使模型能够通过特定于任务的适配器适应每个单独的任务,从而实现两全其美。在著名的GLUE基准测试上的实验表明,在每个任务仅添加0.29%的参数的情况下,多任务学习的性能得到了改善。我们还证明了大量的性能改进,在Few-Shot领域泛化在各种任务。我们的代码可在https://github.com/rabeehk/hyperformer上公开获取。
2021-06-08 cs.CL
Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters
Apple MLX(苹果MLX)
研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率,展示适配器在不同规模模型上的泛化能力及生成一致性改进。
2026-04-17 cs.CL cs.LG
DiffLoRA: Differential Low-Rank Adapters for Large Language Models
EPFL(瑞士联邦理工学院);NAVER LABS Europe(NAVER LABS欧洲)
本研究提出适配差分注意力的参数高效微调方法DiffLoRA,在正负注意力项上均设置低秩适配器,实验显示其多数任务表现不及同类方法,但在HumanEval上较LoRA提升11个百分点,并通过注意力模式分析探究成因。
2025-07-31 cs.CL
Legal Transformer Models May Not Always Help
EPFL(洛桑联邦理工学院)
基于深度学习的自然语言处理方法,尤其是Transformers,在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动,以自动化或简化一些简单的工作,具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能,我们表明领域自适应预训练仅对低资源下游任务有帮助,因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试,并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果,我们发布了LegalRoBERTA,这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
University of Chicago(芝加哥大学);Adobe Research(奥多比研究中心);TTI-Chicago(芝加哥丰田技术研究所)
适配器调优是通过添加和调优少量新参数将预训练的语言模型转移到下游任务的范例。以前提出的适配器架构都是前馈神经网络。在本文中,我们研究了使用微小注意力的有效性,即,注意,每个头的尺寸非常小-作为适配器。我们的tiny-attention适配器学习修改隐藏状态在每个位置直接条件的隐藏状态在所有其他位置,这是错过了以前提出的适配器。此外,我们认为它的多个注意头作为一个混合专家模型,并建议平均他们的权重在部署过程中,这进一步降低了其推理计算成本。在GLUE基准测试中,我们的tiny-attention适配器优于其他参数高效的迁移学习方法以及完全微调,同时只更新0.05%的参数。在FewGLUE基准测试中,其性能与GPT-3和PET相当。
2022-10-18 cs.AI cs.CL cs.LG
Adaptable Multi-Domain Language Model for Transformer ASR
Samsung Electronics(三星电子);Samsung Advanced Institute of Technology, Samsung Electronics(三星电子三星高级技术研究院)
我们提出了一个基于适配器的多域Transformer语言模型(LM)的Transformer ASR。该模型包括一个大尺寸的普通LM和小尺寸的适配器。该模型仅使用较小的适配器及其相关层就可以实现多域适配。所提出的模型可以重用完整的微调LM,这是微调使用原始模型的所有层。所提出的LM可以扩展到新的域,增加约2%的参数的第一个域和13%的参数后,第二个域。所提出的模型也是有效的,在减少模型维护成本,因为它可以省略昂贵和耗时的共同LM预训练过程。使用建议的适配器为基础的方法,我们观察到,一个通用的LM与适配器可以胜过一个专用的音乐领域LM的字错误率(WER)。
2021-02-11 cs.CL cs.SD eess.AS
Verb Knowledge Injection for Multilingual Event Processing
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
在NLP任务取得压倒性成功的同时,通过语言建模(LM)目标预训练的深度Transformer网络的语言能力也经历了广泛的审查。虽然研究表明,这些模型编码了一种语言的一系列句法和语义属性,但它们仍然倾向于依靠表面线索和简单的推理来解决下游任务,而不是利用更深层次的语言知识。在本文中,我们的目标之一,他们的不足之处,言语推理。我们调查是否注入明确的信息动词的语义句法行为,提高LM预训练的Transformers在事件提取任务的性能-下游任务,准确的动词处理是至关重要的。具体地说,我们将来自策划词汇资源的动词知识传授给专用适配器模块(称为动词适配器),使其能够在下游任务中补充LM预训练期间获得的语言知识。我们首先证明,注入动词知识导致英语事件提取的性能增益。然后,我们探讨了在其他语言中的事件提取的动词适配器的效用:我们调查(1)zero-shot语言传输与多语言Transformers以及(2)通过(嘈杂的自动)翻译英语动词为基础的词汇约束。我们的研究结果表明,动词知识注入的好处确实扩展到其他语言,即使动词适配器训练噪音翻译的约束。
2020-12-31 cs.CL
Robust Transfer Learning with Pretrained Language Models through Adapters
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
使用像BERT这样的大型预训练的基于transformer的语言模型进行迁移学习已经成为大多数NLP任务的主要方法。简单地在下游任务上微调这些大语言模型或将其与特定于任务的预训练相结合通常并不健壮。特别地,性能随着随机种子的变化或预训练和/或微调迭代的数量的变化而显著变化,并且微调的模型容易受到对抗攻击。我们提出了一种简单而有效的基于适配器的方法来缓解这些问题。具体来说,我们插入小瓶颈层(即,适配器),然后固定预训练层并在下游任务数据上训练适配器层,其中(1)任务特定的无监督预训练,然后(2)任务特定的监督训练(例如,分类、序列标记)。我们的实验表明,这样的训练方案导致改善的稳定性和对抗鲁棒性的迁移学习到各种下游任务。
2021-08-05 cs.CL
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters
University of Edinburgh(爱丁堡大学);NAVER LABS Europe(NAVER LABS 欧洲)
适配器层是插入在Transformer层之间的轻量级、可学习的单元。最近的工作探索将这些层用于神经机器翻译(NMT),以使预训练模型适应新的领域或语言对,仅为每个新设置(语言对或领域)训练一小部分参数。在这项工作中,我们研究的组合性的语言和领域适配器的背景下,机器翻译。我们的目标是研究,1)参数有效的适应多个领域和语言同时(全资源的情况下)和2)跨语言迁移的领域,并行数据是不可用的某些语言对(部分资源的情况下)。我们发现,在部分资源的情况下,一个天真的特定于域和特定于语言的适配器的组合往往会导致“灾难性遗忘”的失踪的语言。我们研究其他方法来结合适配器,以减轻这个问题,并最大限度地提高跨语言迁移。使用我们最好的适配器组合,对于没有域内数据的源语言,我们平均获得3-4个BLEU的改进。对于没有域内数据的目标语言,我们通过将适配器与反向翻译相结合来实现类似的改进。补充材料可在https://tinyurl.com/r66stbxj上获得
2021-10-18 cs.CL
CLaC at DISRPT 2025: Hierarchical Adapters for Cross-Framework Multi-lingual Discourse Relation Classification
Computational Linguistics at Concordia (CLaC) Lab(康科迪亚大学计算语言学实验室);Dept. of Computer Science and Software Engineering(计算机科学与软件工程系);Concordia University(康科迪亚大学)
本文针对DISRPT 2025任务3的跨框架多语言语篇关系分类,提出分层双适配器对比学习模型HiDAC,在16种语言39个语料库上以67.5%准确率超越微调Transformer和提示式大语言模型,且参数效率更高。
2025-09-21 cs.CL
Revealing Hidden Model Behaviors with Task-Specific Self-Reports
Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学系);Jagiellonian University, Doctoral School of Exact and Natural Sciences(雅盖隆大学精确与自然科学研究博士学院)
研究针对微调语言模型的隐藏行为问题,提出稳定适配器进行自我报告(SAR),能让模型用自然语言描述隐藏行为,相比现有基线方法检测更准确,减少幻觉,便于从业者审计模型。
2026-07-30 cs.AI cs.CL cs.LG
Hidden Markov Transformer for Simultaneous Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
同步机器翻译(SiMT)在接收源序列的同时输出目标序列,因此学习何时开始翻译每个目标令牌是SiMT任务的核心挑战。然而,在许多可能的开始翻译的时刻中学习最佳时刻是不平凡的,因为开始翻译的时刻总是隐藏在模型中,并且只能用观察到的目标序列来监督。在本文中,我们提出了一个隐马尔可夫Transformer(HMT),它把开始翻译的时刻作为隐藏事件和目标序列作为相应的观察事件,从而组织它们作为一个隐马尔可夫模型。HMT显式地将开始翻译的多个时刻建模为候选隐藏事件,然后选择一个来生成目标令牌。在训练期间,通过在开始翻译的多个时刻最大化目标序列的边际似然,HMT学习在可以更准确地生成目标标记的时刻开始翻译。在多个SiMT基准测试上的实验表明,HMT的性能优于强基线,达到了最先进的性能。
2023-03-01 cs.CL
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models
National Taiwan University(台湾大学)
自监督学习(SSL)是一种从未标记数据中学习表示的强大技术。基于Transformer的模型,如HuBERT,由特征提取器和Transformer层组成,在语音领域处于领先地位。SSL模型在广泛的下游任务上进行了微调,这涉及到为每个任务重新训练大部分模型。以前的研究已经引入了应用适配器,这是自然语言处理(NLP)中常用的小型轻量级模块,用于使预训练模型适应新任务。然而,这种高效的调谐技术仅在Transformer层提供自适应,而未能在特征提取器处执行自适应。在本文中,我们提出了CHAPTER,一个有效的调整方法,专门为SSL语音模型设计,通过在特征提取器应用CNN适配器。使用这种方法,与完全微调相比,我们只能微调每个任务不到5%的参数,并实现更好,更稳定的性能。我们经验性地发现,将CNN适配器添加到特征提取器可以帮助情感和说话人任务的适应。例如,SID的准确度从87.71提高到91.56,ER的准确度提高了5%。
2023-01-20 cs.CL cs.LG cs.SD
Suppressing Final Layer Hidden State Jumps in Transformer Pretraining
Tohoku University(东京东京大学);RIKEN(日本研究机构);NII LLMC(国家信息基础设施(NII)语言大模型中心)
本文提出JREG正则化器,通过抑制变换器预训练中的最终层隐藏状态跳跃,提升模型任务性能。
2026-01-26 cs.CL
ConceptNet infused DialoGPT for Underlying Commonsense Understanding and Reasoning in Dialogue Response Generation
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
预先训练的会话模型仍然无法捕获隐藏在对话交互中的隐含常识(CS)知识,即使它们是用巨大的数据集预先训练的。为了构建具有CS能力的对话代理,我们首先将外部知识注入到预先训练好的对话模型中,通过高效的适配器调优建立基本常识(第4节)。其次,我们提出了“双向学习”的方法,使CS知识和句子对之间的双向关系,使模型可以生成一个句子给定的CS三元组,也生成潜在的CS知识给定一个句子(第5节)。最后,我们利用这种集成的CS功能来提高开放域对话响应生成,使对话代理能够理解隐藏在对话历史中的CS知识,并推断相关的其他知识,以进一步指导响应生成(第6节)。实验结果表明,CS适配器融合有助于DialoGPT生成系列CS知识。从CommonGen训练中改编的DialoGPT+CS\_Adapter响应模型可以生成更适合对话上下文的底层CS三元组。
2022-09-29 cs.CL
Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models Memories
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学)
针对预训练语言模型领域适配成本高的问题,提出MixDA方法,通过解耦Transformer前馈网络并引入两阶段适配器调优,仅微调少量参数就在多类任务上取得更优性能,兼具可靠性与高效性。
2023-06-08 cs.CL
Mixture of Hidden-Dimensions Transformer
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Baidu Inc(百度公司)
针对 Transformer 均匀扩展隐藏维度效率低的问题,提出 MoHD 稀疏条件激活架构,利用共享与路由激活子维度,在减少激活参数的同时提升性能,为模型扩展提供新视角。
2024-12-16 cs.CL
HyPe: Better Pre-trained Language Model Fine-tuning with Hidden Representation Perturbation
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
HyPe通过扰动Transformer层隐藏表示来缓解预训练语言模型微调中的过拟合和表示坍缩问题,在GLUE等数据集上优于普通微调,且计算开销极小。
2023-05-11 cs.CL
The Impact of LoRA Adapters on LLMs for Clinical Text Classification Under Computational and Data Constraints
Biomedical Information Processing Lab, \' E cole de Technologie Sup\' e rieure, Montr\' e al, Qu\' e bec, Canada;The Interdisciplinary Centre for Security, Reliability;Trust (SnT), University of Luxembourg, Luxembourg;CHU Sainte-Justine Research Center, CHU Sainte-Justine Hospital, University of Montreal, Montr\' e al, Qu\' e bec, Canada
本文在低数据、2GB GPU 约束下比较临床文本分类中的 LoRA 类适配器,发现轻量级从头训练 Transformer 优于适配器增强生物医学 LLM,GRN 表现最佳。
2025-07-28 cs.CL eess.SP
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学信息学院)
针对Transformer自注意力二次复杂度导致的推理效率低下问题,提出ChunkLLM框架,通过QK适配器和块适配器实现块选择与压缩,在保持性能的同时显著加速推理。
2026-05-25 cs.AI cs.CL
Learning to Generate Task-Specific Adapters from Task Description
University of Southern California(南加州大学)
预先训练的文本到文本Transformers,如BART,在一系列NLP任务中取得了令人印象深刻的性能。最近的研究进一步表明,他们可以通过将任务描述作为源序列的一部分并使用(源,目标)示例训练模型来学习推广到新任务。在测试时,这些微调的模型可以使用新的任务描述作为输入的一部分来推断新的任务。然而,这种方法具有潜在的局限性,因为模型学习解决单个(源,目标)示例(即,在实例级),而不是通过将任务内的所有示例作为一个整体来学习解决任务(即,在任务层面)。为此,我们引入Hypter,一个框架,提高文本到文本的Transformer的泛化能力,看不见的任务,通过训练超网络生成特定于任务的,轻量级的适配器从任务描述。在ZEST数据集和合成SQuAD数据集上的实验表明,Hypter在微调基线时有所改进。值得注意的是,当使用BART-Large作为主要网络时,Hypter在ZEST数据集上带来了11.3%的相对改进。
2021-06-15 cs.CL cs.LG
When to Adapt: Conditional Memory Adapters for Retention-Preserving Domain Specialization
University of Electronic Science and Technology of China(电子科技大学)
针对大语言模型参数高效微调导致域外性能下降的问题,提出Engram Adapter框架,通过条件激活实现领域专业化,在提升领域内准确率的同时保留绝大多数域外性能。
2026-09-01 cs.CL
VisBERT: Hidden-State Visualizations for Transformers
Beuth University of Applied Sciences Berlin(柏林贝uth应用科学大学)
可解释性和可解释性是两个重要的概念,缺乏这两个概念可能并且应该阻碍性能良好的神经网络应用于现实世界的问题。与此同时,它们很难被纳入大型的黑盒模型中,这些模型在众多的NLP任务中实现了最先进的结果。来自Transformers的双向编码器表示(BERT)就是这样一种黑盒模型。它已经成为解决许多不同NLP任务的主要架构,并启发了许多相关的Transformer模型。了解这些模型如何得出结论对于它们的改进和应用至关重要。我们提出VisBERT,一个可视化的上下文令牌表示在BERT的任务(多跳)问答的工具,这一挑战作出贡献。而不是分析注意力权重,我们专注于隐藏的状态,从每个编码器块内的BERT模型。通过这种方式,我们可以观察语义表示在模型的各个层中是如何转换的。VisBERT使用户能够深入了解模型的内部状态,并探索其推理步骤或潜在的缺点。该工具允许我们识别BERT转换中的不同阶段,这些阶段类似于传统的NLP管道,并在预测失败时提供见解。
2020-11-09 cs.CL
Parameter-Efficient Sparse Retrievers and Rerankers using Adapters
University of Amsterdam(阿姆斯特丹大学);Naver Labs Europe(Naver欧洲实验室)
带有适配器的参数高效迁移学习已经在自然语言处理(NLP)中被研究作为完全微调的替代方案。适配器是内存高效的,并且通过训练在Transformer层之间添加的小瓶颈层,同时保持大型预训练的语言模型(PLM)冻结,可以很好地扩展下游任务。尽管这些方法在自然语言处理中取得了很好的效果,但在信息检索中还没有得到充分的研究。虽然以前的研究只进行了密集检索或在跨语言检索的情况下,在本文中,我们的目标是完成图片上使用适配器在IR。首先,我们研究适配器SPLADE,稀疏检索器,适配器不仅保留了效率和有效性,否则通过微调实现,但内存效率和数量级更轻的训练。我们观察到,Adapters-SPLADE不仅优化了2%的训练参数,而且在IR基准数据集上的性能优于完全微调的对应模型和现有的参数有效的密集IR模型。其次,我们解决领域自适应的神经检索由于适配器跨域BEIR数据集和TripClick。最后,我们还考虑了知识共享之间的rankers和第一阶段的rankers。总之,我们的研究完成了神经IR适配器的检查
2023-03-23 cs.CL cs.IR
Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages
Dharmsinh Desai University(达尔明辛德赛大学)
本文研究利用预训练多语言模型提升低资源语言问答性能,通过级联语言与任务适配器并采用零样本迁移学习,在七种语言上验证了该方法能显著改善模型表现。
2021-12-18 cs.AI cs.CL cs.HC
What's Hidden in a One-layer Randomly Weighted Transformer?
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook AI研究院)
我们证明,隐藏在一层随机加权神经网络,存在子网络,可以实现令人印象深刻的性能,而无需修改的权重初始化,在机器翻译任务。为了找到单层随机加权神经网络的子网络,我们将不同的二进制掩码应用于相同的权重矩阵以生成不同的层。隐藏在一层随机加权的Transformer中,我们发现可以在IWSLT 14/WMT 14上实现29.45/17.29 BLEU的子网络。使用固定的预训练嵌入层,之前找到的子网络比IWSLT 14/WMT 14上训练的Transformer small/base小,但可以匹配98%/92%(34.14/25.24 BLEU)的性能。此外,我们证明了在这种情况下更大更深的Transformers的有效性,以及不同初始化方法的影响。我们在https://github.com/sIncerass/one_layer_lottery_ticket上发布了源代码。
2021-09-08 cs.AI cs.CL
Block-Skim: Efficient Question Answering for Transformer
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);University of Rochester(罗切斯特大学)
Transformer模型在自然语言处理(NLP)任务(包括抽取式问答(QA))上取得了令人满意的结果。NLP任务中使用的常见Transformer编码器处理所有层中上下文段落中所有输入标记的隐藏状态。然而,与序列分类等其他任务不同,回答提出的问题并不一定需要上下文段落中的所有标记。基于这个动机,我们提出了Block-skim,它学习在更高的隐藏层中跳过不必要的上下文,以提高和加速Transformer的性能。Block-Skim的关键思想是识别必须进一步处理的上下文和那些可以在推理过程中早期安全丢弃的上下文。重要的是,我们发现,这样的信息可以充分地从Transformer模型内部的自我注意力权重。我们进一步修剪隐藏状态对应的不必要的位置早在较低的层,实现显着的推理时间加速。令我们惊讶的是,我们观察到,以这种方式修剪的模型优于其全尺寸的同行。Block-Skim提高了QA模型在不同数据集上的准确性,并实现了基于BERT模型的3倍加速。
2022-05-15 cs.CL
Reconsidering the Past: Optimizing Hidden States in Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们提出了隐藏状态优化(HSO),一种基于梯度的方法,用于提高Transformer语言模型在推理时的性能。类似于动态评估(Krause等人,2018),HSO计算语言模型分配给评估文本的对数概率的梯度,但使用它来更新缓存的隐藏状态,而不是模型参数。我们使用预训练的Transformer-XL和GPT-2语言模型测试HSO,发现WikiText 103和PG-19数据集在困惑方面有所改进,特别是在评估其训练分布之外的模型时。我们还展示了下游的适用性,显示在最近开发的基于小的Few-Shot评估设置的收益,再次没有额外的参数或训练数据。
2021-12-16 cs.CL
AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model
Shanghai AI Lab.(上海人工智能实验室)
提出Attention-FFN Adapter持续预训练方法,仅训练17%参数,在中文生物医学下游任务上平均提升0.6%-2%,并将灾难性遗忘缓解11%。
2023-10-20 cs.CL cs.LG
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型(例如多语言BERT)替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据(如英语MS MARCO)的检索任务,使用与所使用的单语言检索模型相同的训练配方。然而,这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中,我们提出了使用适配器,一个参数有效的组件,一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器,先前的工作表明,在各种NLP任务中跨语言传输时,适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型,我们表明,当转移到跨语言信息检索(CLIR)设置时,用单语数据训练的模型比微调整个模型更有效。然而,我们发现,先前的建议,更换语言适配器,以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
Hidden State Variability of Pretrained Language Models Can Guide Computation Reduction for Transfer Learning
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Michigan(密歇根大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在传输预训练的语言模型时,常见的方法通常将其特定于任务的分类器附加到顶层并适应所有预训练的层。我们研究是否可以进行特定于任务的选择,以适应层的子集,并在哪里放置分类。目标是在不牺牲性能的情况下降低迁移学习方法(例如微调或自适应调整)的计算成本。我们建议选择层的基础上的变化,其隐藏状态给定的特定任务的语料库。如果一个层的隐藏状态的类内可变性相对于类间可变性来说是低的,那么我们说这个层在任务中已经是"良好专用化的"。我们的可变性度量计算起来很便宜,不需要任何训练或超参数调整。它对数据不平衡和数据稀缺具有鲁棒性。在GLUE基准测试上进行的大量实验表明,根据我们的指标选择层可以产生比使用相同数量的顶层更强的性能,并且通常与微调或适配器调整整个语言模型的性能相匹配。
2022-10-19 cs.AI cs.CL cs.LG
LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes
Michigan Technological University(密歇根理工大学);Miami University(迈阿密大学);Lehigh University(理海大学)
LoRAScan是首个无需修改适配器参数、在推理时检测并拒绝含触发词输入的适配器感知防御方法,在LLM后门基准测试中拒98.49%恶意输入,性能优于现有方法。
2026-10-27 cs.AI cs.CL cs.CR
Counter-Interference Adapter for Multilingual Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
开发统一的多语言模型一直是机器翻译的追求。然而,现有的方法存在性能下降的问题--单一的多语言模型不如在资源丰富的语言上单独训练的双语模型。我们推测这种现象是由于多种语言联合训练造成的干扰。为了适应这个问题,我们提出了CIAT,一个适应Transformer模型,多语言机器翻译的小参数开销。我们在多个基准数据集上评估了CIAT,包括IWITRA,OPUS-100和WMT。实验表明,CIAT在66个语言方向中的64个方向上始终优于强大的多语言基线,其中42个方向的BLEU改进超过0.5。我们的代码可在\url{https://github.com/Yaoming95/CIAT} ~获得。
2021-09-12 cs.AI cs.CL
Predictive Geometry of Hidden Trajectories in Transformers
University of Luxembourg(卢森堡大学);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文通过逐层损失几何和拉回Fisher算子揭示Transformer隐藏轨迹的预测结构,提出逐词曲率分数,支持剪枝、秩分配和蒸馏,提升模型压缩效果。
2026-09-30 cs.CL cs.LG
Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition
Huawei R&D UK(华为英国研发中心)
自监督学习(SSL)是一个强大的工具,它允许从未标记的数据中学习底层表示。基于Transformer的模型,如wav2vec 2.0和HuBERT,在语音领域处于领先地位。一般来说,这些模型在少量标记数据上进行微调,用于下游任务,例如自动语音识别(ASR)。这涉及到为每个任务重新训练模型的大部分。适配器是小型轻量级模块,通常用于自然语言处理(NLP)中,以使预训练模型适应新任务。在本文中,我们建议将适配器应用于wav2vec 2.0,以减少下游ASR任务所需的参数数量,并增加模型对多个任务或语言的可扩展性。使用适配器,我们可以执行ASR,同时每个任务训练不到10%的参数,而完全微调几乎没有性能下降。烧蚀表明,将适配器应用到预训练网络的顶部几层中可以提供与完全传输相似的性能,支持较高的预训练层编码更多的音素信息的理论,并进一步优化效率。
2022-02-07 cs.CL cs.SD eess.AS
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University(莫纳什大学)
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙,这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中,我们的目标是弥合语音和文本之间的模态差距,以提高翻译质量。我们提出了M-Adapter,一个新的基于transformer的模块,以适应语音表示文本。在缩小语音序列的同时,M-Adapter通过对语音序列的全局和局部依赖关系进行建模,产生语音到文本翻译所需的特征。我们的实验结果表明,我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线,最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
Korea University(韩国大学);Arizona State University(亚利桑那州立大学);Soongsil University(顺天大学)
针对 adapter-tuning 资源开销较大的问题,本文提出 SAFE,依据适配器重要性提前逐步冻结不重要适配器,在保持或提升性能的同时显著降低显存、计算与训练时间。
2025-05-15 cs.AI cs.CL cs.LG
TADA: Efficient Task-Agnostic Domain Adaptation for Transformers
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司);University of Mannheim(曼海姆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
提出TADA,一种模块化、参数高效的任务无关领域自适应方法,通过仅重训嵌入和分词器并冻结其余参数,在多领域任务中表现优异且无需额外参数。
2023-05-22 cs.CL cs.LG
HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
Upper-Secondary Schools of Communications in Cracow(克拉科夫通信高级中学)
本文提出HypeLoRA,通过超网络生成LoRA适配器,实现高效校准语言模型微调,提升参数效率与校准性能,揭示参数效率与概率可靠性之间的关系。
2026-03-29 cs.AI cs.CL
Memory Efficient Continual Learning with Transformers
Amazon Web Services(亚马逊云科技)
在许多现实场景中,用于训练机器学习模型的数据随着时间的推移变得可用。不幸的是,这些模型很难在不忘记过去所学知识的情况下不断学习新概念。这种现象被称为灾难性遗忘,由于实际的限制,很难预防。例如,可以存储的数据量或可以使用的计算资源可能是有限的。此外,应用程序越来越依赖于大型预训练神经网络,例如预训练的Transformers,因为资源或数据可能不足以大量地供从业者从头开始训练模型。在本文中,我们设计了一种方法,增量训练一系列的任务,使用预先训练的Transformers和扩展它们与适配器的模型。与现有的方法不同,我们的方法能够扩展到大量的任务,而没有显着的开销,并允许跨任务共享信息。在图像和文本分类任务中,我们根据经验证明,我们的方法保持了良好的预测性能,而无需随着时间的推移重新训练模型或增加模型参数的数量。与基于适配器的最先进方法相比,所产生的模型在推理时间上也明显更快。
2023-01-13 cs.AI cs.CL stat.ML
READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling
本文提出READ框架,通过递归计算和部分最优传输对齐,提升低资源视频-语言建模任务的性能,优于现有迁移学习方法。
2026-05-12 cs.CL cs.CV
Exploiting Adapters for Cross-lingual Low-resource Speech Recognition
Tokyo Institute of Technology(东京工业大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Zhejiang University(浙江大学)
跨语言语音自适应旨在解决利用多个资源丰富的语言来为低资源的目标语言构建模型的问题。由于低资源语言的训练数据有限,语音识别模型很容易过拟合。在本文中,我们建议使用适配器来研究多个适配器的性能参数有效的跨语言语音适应。基于我们以前的MetaAdapter,隐式地利用适配器,我们提出了一种新的算法称为SimAdapter显式地学习知识适配器。我们的算法利用适配器,可以很容易地集成到Transformer结构。MetaAdapter利用元学习将一般知识从训练数据转移到测试语言。SimAdapter的目标是在使用适配器进行微调的过程中了解源语言和目标语言之间的相似性。我们对Common Voice数据集中的五种低资源语言进行了广泛的实验。结果表明,与强大的全模型微调基线相比,我们的MetaAdapter和SimAdapter方法可以将WER降低2.98%和2.55%,仅需2.5%和15.5%的可训练参数。此外,我们还表明,这两种新的算法可以集成到更好的性能与高达3.55%的相对WER减少。
2021-12-18 cs.CL cs.SD eess.AS
Making Small Language Models Better Multi-task Learners with Mixture-of-Task-Adapters
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学)
本文提出 ALTER 系统,通过 Mixture-of-Task-Adapters 模块和两阶段训练方法,在小于 10 亿参数的小型语言模型上高效实现多任务学习,以较低计算成本捕捉任务内与任务间知识并取得良好性能。
2023-09-20 cs.AI cs.CL
Loop Dropout: Regularizing Shared Updates in Looped Language Models
针对循环语言模型中LoRA共享更新的后循环偏差,提出Loop Dropout方法,通过随机掩蔽与逆生存重缩放保持期望更新强度,提升跨循环适配,增强数学推理、指令调优和代码生成性能。
2026-10-06 cs.CL cs.LG
SPARTAN: Sparse Hierarchical Memory for Parameter-Efficient Transformers
Princeton University(普林斯顿大学);IBM Research AI(IBM研究院AI);Amazon AWS AI(亚马逊AWS AI);The Allen Institute for AI(艾伦人工智能研究所)
微调预训练的语言模型(PLM)在一系列下游任务上实现了令人印象深刻的性能,因此它们的规模越来越大。由于每个任务都需要模型的不同副本,因此这种范例对于移动电话等存储受限的边缘设备是不可行的。在本文中,我们提出了SPARTAN,一个参数高效(PE)和计算速度快的边缘设备,每个Transformer层后增加分层组织的稀疏内存架构。SPARTAN冻结PLM参数并仅微调其内存,从而通过为不同任务重复使用PLM主干来显著降低存储成本。SPARTAN包含两个级别的内存,在第一级中为每个输入仅选择父节点的稀疏子集,并且与这些父节点对应的子单元用于计算输出表示。与PE基线(适配器)相比,这种稀疏性与其他架构优化相结合,在Raspberry Pi 4上进行推理时,SPARTAN的吞吐量提高了90%以上,同时在GLUE基准测试中也超过后者0.1个点。此外,它可以在Few-Shot设置中训练速度快34%,同时在适配器的0.9点内执行。定性分析表明,SPARTAN中不同的父细胞专注于不同的主题,从而有效地划分责任。
2022-11-29 cs.AI cs.CL cs.LG
Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
Center for Data Science(数据科学中心);New York University(纽约大学)
本文研究了语言模型思维链性能提升是否源于额外计算量,发现Transformer可利用无意义填充词元解决复杂算法任务,但需密集监督,并揭示了中间词元可能引发无法审计的隐藏计算风险。
2024-04-24 cs.AI cs.CL
VLSM-Adapter: Finetuning Vision-Language Segmentation Efficiently with Lightweight Blocks
Nepal Applied Mathematics and Informatics Institute (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
提出VLSM-Adapter,通过在冻结的预训练模型上仅训练轻量级模块,以仅300万参数高效微调医学图像视觉-语言分割模型,性能超越SOTA并媲美端到端微调。
2024-06-27 cs.AI cs.CL cs.CV
Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
该研究针对运动Transformer隐藏状态难解释的问题,通过线性探测发现潜在空间规律,拟合并经稀疏自编码器优化控制向量,实现推理时可控预测与零样本泛化,兼具可解释性与低开销优势。
2025-05-16 cs.CL cs.CV cs.LG
Vision Transformers are Parameter-Efficient Audio-Visual Learners
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出LAVISH适配器,通过向冻结的预训练ViTs注入少量可训练参数并利用潜在token形成注意力瓶颈,高效融合音视频线索,在减少参数和无需音频预训练的情况下实现优异的音视频学习性能。
2023-04-05 cs.CL cs.CV cs.LG
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
AIRI;Skoltech(斯科尔泰克理工学院);HSE University(高等经济大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文提出量化LLM上下文编码的方法,发现标点等次要标记承载高上下文信息,移除会降低性能,并推出开源工具包LLM-Microscope以评估非线性、记忆和表征维度。
2026-09-15 cs.AI cs.CL