Shears: Unstructured Sparsity with Neural Low-rank Adapter Search
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
该研究提出Shears方法,结合低成本稀疏化与神经低秩适配器搜索算法,在单GPU数小时训练下实现大语言模型参数高效微调的高稀疏度,同时保持精度基本不降甚至提升。
2024-04-16 cs.AI cs.CL cs.LG
MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models
Zhejiang University(浙江大学)
MoA通过异构适配器混合提升大语言模型的参数高效微调性能,采用软和稀疏变体实现细粒度整合与稀疏激活,增强预训练知识向下游任务的转移效果。
2026-01-19 cs.AI cs.CL
Parameter-Efficient Fine-Tuning With Adapters
Georgia Institute of Technology(佐治亚理工学院)
本文提出在 UniPELT 框架中加入 PromptTuning Layer 的适配器微调方法,以更少或相当的参数量在 GLUE、领域数据集和 SQuAD 上达到接近全量微调的性能。
2024-05-09 cs.AI cs.CL
LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters
HSE University(俄罗斯高等经济大学)
本研究提出一种完全黎曼框架的LoRA方法,通过在固定秩流形上直接优化低秩适配器消除参数化歧义,整合新型黎曼优化器Riemannion、黎曼梯度初始化及高效实现方案,在LLM和扩散模型上实现了收敛速度与任务性能的双重提升。
2025-10-01 cs.CL cs.LG cs.NA
HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
Upper-Secondary Schools of Communications in Cracow(克拉科夫通信高级中学)
本文提出HypeLoRA,通过超网络生成LoRA适配器,实现高效校准语言模型微调,提升参数效率与校准性能,揭示参数效率与概率可靠性之间的关系。
2026-03-29 cs.AI cs.CL
X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
Seoul National University(首尔大学)
针对多配置场景下适配器微调的额外参数量随配置数线性增长的问题,提出X-PEFT方法,通过极小的二值掩码张量自适应选择已有适配器,在内存需求降低万倍的前提下,性能达到或超过传统适配器微调。
2024-01-29 cs.AI cs.CL cs.LG
SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters
JD Explore Academy(京东探索研究院);Aalborg University(奥尔堡大学);The University of Sydney(悉尼大学);University of Electronic Science and Technology of China(电子科技大学)
适配器调整,冻结预训练的语言模型(PLM),只微调一些额外的模块,成为一个有吸引力的有效替代全面的模型微调。虽然计算效率高,最近的适配器经常增加参数(例如瓶颈尺寸),以匹配全模型微调的性能,我们认为这违背了他们的初衷。在这项工作中,我们通过网络修剪的镜头重新检查适配器的参数效率(我们命名为\texttt{SparseAdapter}这样的插件概念),并发现SparseAdapter可以达到可比或更好的性能比标准适配器的稀疏率达到80\%。基于我们的研究结果,我们引入了一个简单但有效的设置"\textit{Large-Sparse}",以提高在相同的参数预算下的适配器的模型容量。在三种先进的PLM上对五种竞争适配器进行的实验表明,通过适当的稀疏方法(如SNIP)和比率(如40\%),SparseAdapter可以始终优于相应的对手。令人鼓舞的是,通过\textit{Large-Sparse}设置,我们可以获得更有吸引力的增益,甚至大幅优于完全微调。我们的代码将在https://github.com/Shwai-He/SparseAdapter上发布。
2022-11-10 cs.CL
AdapterDrop: On the Efficiency of Adapters in Transformers
Amazon(亚马逊);Technische Universität Darmstadt(达姆施塔特工业大学)
大规模预训练的Transformer模型在计算上对于微调是昂贵的,推理缓慢,并且具有大的存储需求。最近的方法通过训练较小的模型,动态地减小模型大小,以及通过训练轻量级适配器来解决这些缺点。在本文中,我们提出了AdapterDrop,在训练和推理过程中从较低的Transformer层中删除适配器,它包含了所有三个方向的概念。我们表明,AdapterDrop可以动态地减少计算开销时,同时执行多个任务的推理,任务性能的下降最小。我们进一步从AdapterFusion中修剪适配器,这提高了推理效率,同时完全保持了任务性能。
2021-10-05 cs.CL cs.LG
SEQR: Secure and Efficient QR-based LoRA Routing
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出无监督LoRA路由算法SEQR,通过激活范数最大化实现安全高效的适配器选择,并提供严格路由保证,显著提升多任务性能与效率。
2025-09-22 cs.AI cs.CL cs.LG
The Trade-off between Performance, Efficiency, and Fairness in Adapter Modules for Text Classification
Johannes Gutenberg University Mainz(美因茨约翰内斯古腾堡大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文通过在三个文本分类数据集上对比全参数微调与适配器模块,发现适配器模块在保持准确率的同时显著降低训练时间,但对不同敏感群体的公平性影响不一致,需逐案例评估。
2024-05-03 cs.CL
Small Is Enough: Per-User Style Rewriting of AI-Edited Text via LoRA Adapters
University of Stavanger(斯塔万格大学)
InMyStyle是注重隐私的单用户系统,用多本地辅助LLM构建配对训练示例,微调0.5B-7B参数模型的LoRA适配器,可将AI编辑文本重写为用户风格,小模型即可完成重写任务,其输出感知AI性低于辅助AI生成内容
2026-09-28 cs.AI cs.CL cs.CY
Conditional Adapters: Parameter-efficient Transfer Learning with Fast Inference
Google(谷歌)
提出Conditional Adapter(CoDA),一种结合条件计算与稀疏激活的参数高效迁移学习方法,在保持参数效率的同时实现2至8倍推理加速且几乎无精度损失。
2023-11-26 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers
Indiana University(印第安纳大学)
针对参数高效微调的预训练文本分类器对抗训练存在的干净样本性能下降、需频繁重训的问题,提出AdpMixup方法,通过混合多适配器实现鲁棒推理,在训练效率与鲁棒性间取得最优平衡。
2024-06-17 cs.CL
Task-oriented Memory-efficient Pruning-Adapter
Tongji University(同济大学)
针对大型语言模型中Adapters和Pruning无法兼顾训练与推理效率的问题,提出面向任务的Pruning-Adapter方法,在保证GLUE任务准确率的同时实现高效的训练与推理。
2023-04-06 cs.CL cs.LG
To Adapt or to Fine-tune: A Case Study on Abstractive Summarization
University of Edinburgh(爱丁堡大学)
摘要领域的最新进展利用预训练的语言模型,而不是从头开始训练模型。然而,这样的模型是缓慢的训练,并伴随着大量的开销。研究人员已经提出了一些轻量级的替代方案,如较小的适配器,以减轻缺点。尽管如此,仍然不确定使用适配器是否有利于总结任务,在提高效率而不牺牲性能方面。在这项工作中,我们进行了多方面的调查微调和适配器的摘要任务具有不同的复杂性:语言,域和任务转移。在我们的实验中,微调预训练的语言模型通常比使用适配器获得更好的性能;性能差距与所使用的训练数据的量呈正相关。值得注意的是,适配器在资源非常少的情况下超过了微调。我们进一步提供了对多语言性,模型收敛性和鲁棒性的见解,希望能够阐明抽象摘要中微调或适配器的务实选择。
2022-08-30 cs.CL
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
Incremental Multilingual Text2Cypher with Adapter Combination
Neo4j London UK(Neo4j伦敦英国)
本文提出一种可扩展的多语言文本到图结构方法,通过训练语言特定的LoRA适配器并结合统一线性融合或学习融合MLP,实现无需全量微调即可支持新语言,提升数据效率和性能。
2026-05-11 cs.CL
MoKA: Mixture of Kronecker Adapters
MoKA通过将权重更新建模为克罗内克积的混合并引入门控机制,提升了低秩适配器的表达能力,在指令微调和常识推理任务上超越基线,并将可训练参数减少高达27倍。
2025-08-05 cs.AI cs.CL cs.LG
DiffLoRA: Differential Low-Rank Adapters for Large Language Models
EPFL(瑞士联邦理工学院);NAVER LABS Europe(NAVER LABS欧洲)
本研究提出适配差分注意力的参数高效微调方法DiffLoRA,在正负注意力项上均设置低秩适配器,实验显示其多数任务表现不及同类方法,但在HumanEval上较LoRA提升11个百分点,并通过注意力模式分析探究成因。
2025-07-31 cs.CL
KronA: Parameter Efficient Tuning with Kronecker Adapter
McGill University(麦吉尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在特定的下游任务上微调预训练语言模型(PLM)已经是自然语言处理中众所周知的范例。然而,随着PLM规模的不断增长,在多个下游任务上训练整个模型变得非常昂贵和资源匮乏。最近,提出了不同的参数有效调整(PET)技术,以提高微调PLM的效率。PET方法的一个流行类别是低秩适应方法,该方法将可学习的截短SVD模块顺序或并行插入到原始模型中。然而,低秩分解受到有限的表示能力的影响。在这项工作中,我们解决这个问题,使用克罗内克产品,而不是低秩表示。我们介绍KronA,这是一种基于Kronecker产品的适配器模块,用于对基于Transformer的PLM进行有效的微调。我们将所提出的方法应用于GLUE基准测试中的T5微调,以表明结合基于Kronecker的模块可以优于最先进的PET方法。
2022-12-20 cs.CL
Parameter-Efficient Sparse Retrievers and Rerankers using Adapters
University of Amsterdam(阿姆斯特丹大学);Naver Labs Europe(Naver欧洲实验室)
带有适配器的参数高效迁移学习已经在自然语言处理(NLP)中被研究作为完全微调的替代方案。适配器是内存高效的,并且通过训练在Transformer层之间添加的小瓶颈层,同时保持大型预训练的语言模型(PLM)冻结,可以很好地扩展下游任务。尽管这些方法在自然语言处理中取得了很好的效果,但在信息检索中还没有得到充分的研究。虽然以前的研究只进行了密集检索或在跨语言检索的情况下,在本文中,我们的目标是完成图片上使用适配器在IR。首先,我们研究适配器SPLADE,稀疏检索器,适配器不仅保留了效率和有效性,否则通过微调实现,但内存效率和数量级更轻的训练。我们观察到,Adapters-SPLADE不仅优化了2%的训练参数,而且在IR基准数据集上的性能优于完全微调的对应模型和现有的参数有效的密集IR模型。其次,我们解决领域自适应的神经检索由于适配器跨域BEIR数据集和TripClick。最后,我们还考虑了知识共享之间的rankers和第一阶段的rankers。总之,我们的研究完成了神经IR适配器的检查
2023-03-23 cs.CL cs.IR
Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
Fudan University(复旦大学);Microsoft(微软);Tencent(腾讯)
本文提出Hadamard适配器,一种仅作用于自注意力输出的参数高效微调方法,通过Hadamard乘积实现逐元素线性变换,在GLUE基准上以0.033%参数达到竞争性能,并可进一步移除冗余层降至0.022%参数。
2024-07-04 cs.CL cs.LG
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
VL-Adapter: Parameter-Efficient Transfer Learning for Vision-and-Language Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近,在大型文本语料库上预训练的微调语言模型在视觉和语言(V&L)任务以及纯语言任务上提供了巨大的改进。然而,微调预训练模型的整个参数集变得不切实际,因为模型大小正在快速增长。因此,在本文中,我们将基于适配器的参数有效的迁移学习技术引入到V&L模型,如VL-BART和VLT 5。我们评估我们的方法在一个统一的多任务设置上的图像-文本和视频-文本基准。对于图像-文本任务,我们使用四个不同的V&L数据集:VQAv 2,GQA,NLVR 2和MSCOCO图像描述。对于视频文本任务,我们使用TVQA,How2 QA,TVC和YC 2C。通过仔细的训练和彻底的实验,我们对三种流行的基于适配器的方法(适配器,Hyperformer,Compacter)进行了基准测试,以对抗标准的完全微调和最近提出的快速调整方法。我们还通过共享适配器的权重来获得跨任务的知识,从而提高适配器的效率和性能。我们的研究结果表明,使用权重共享技术(图像-文本任务占总参数的4.18%,视频-文本任务占3.39%)训练适配器可以匹配微调整个模型的性能。最后,我们提出了一个全面的分析,包括适配器和特定任务的提示相结合,V&L预训练的适配器的影响。我们的代码可在https://github.com/ylsung/VL_adapter上获得。
2022-03-24 cs.AI cs.CL cs.CV
Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
前缀调整,或更一般地连续提示微调,已成为参数有效的迁移学习的基本范例。使用大型预训练语言模型(PLM),前缀调整可以通过仅训练一小部分参数来获得强大的性能。在本文中,我们建议通过内核透镜来理解和进一步发展前缀调谐。具体而言,我们在内核方法中的\textit{prefixes}和\textit{inducing variables}之间进行类比,并假设\textit{prefixes}作为\textit{inducing variables}将改善其整体机制。从核估计器的角度来看,我们提出了一个新的变体前缀调整-- \textit{inducer-tuning},它共享前缀调整的确切机制,同时利用在适配器调整中发现的残差形式。这缓解了前缀调优中的初始化问题。通过对自然语言理解和生成任务的综合实验,我们证明了诱导器调整可以缩小前缀调整和微调之间的性能差距。
2022-10-26 cs.CL cs.LG
Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition
Huawei R&D UK(华为英国研发中心)
自监督学习(SSL)是一个强大的工具,它允许从未标记的数据中学习底层表示。基于Transformer的模型,如wav2vec 2.0和HuBERT,在语音领域处于领先地位。一般来说,这些模型在少量标记数据上进行微调,用于下游任务,例如自动语音识别(ASR)。这涉及到为每个任务重新训练模型的大部分。适配器是小型轻量级模块,通常用于自然语言处理(NLP)中,以使预训练模型适应新任务。在本文中,我们建议将适配器应用于wav2vec 2.0,以减少下游ASR任务所需的参数数量,并增加模型对多个任务或语言的可扩展性。使用适配器,我们可以执行ASR,同时每个任务训练不到10%的参数,而完全微调几乎没有性能下降。烧蚀表明,将适配器应用到预训练网络的顶部几层中可以提供与完全传输相似的性能,支持较高的预训练层编码更多的音素信息的理论,并进一步优化效率。
2022-02-07 cs.CL cs.SD eess.AS
PromptTA: Prompt-driven Text Adapter for Source-free Domain Generalization
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人学院)
本文提出PromptTA方法,通过提示驱动文本适配器更好地捕捉风格特征分布并采用重采样确保域知识全面覆盖,在无源域泛化任务中实现了最先进的性能。
2024-09-21 cs.CL cs.CV cs.LG
Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文回顾了将低秩适配器与神经架构搜索(NAS)技术结合用于大型语言模型压缩与参数高效微调的方法,通过权重共享超网络等策略降低内存占用并加快推理,使模型在资源受限环境中更易部署。
2025-01-23 cs.AI cs.CL cs.LG
Ensembles of Low-Rank Expert Adapters
Amazon Web Service(亚马逊网络服务)
提出ELREA框架,通过梯度方向聚类训练低秩专家适配器并在推理时动态选择,有效解决多源数据微调中的梯度冲突问题,提升LLMs在多样化任务上的性能。
2025-01-31 cs.AI cs.CL cs.LG
CROME: Cross-Modal Adapters for Efficient Multimodal LLM
Google Cloud AI Research(谷歌云人工智能研究部门)
针对多模态大语言模型训练适配成本高、任务调优指导不足的问题,提出带门控跨模态适配器的CROME框架,在冻结LLM前融合图文表示,实现更优零样本性能与高效参数微调。
2024-08-13 cs.CL cs.CV cs.LG
Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter
Peking University(北京大学)
提出通信高效的Fed-MNMT框架,通过冻结PLMs并仅传输轻量级适配器模块,结合聚类策略解决语言分布差异导致的参数冲突,在保持或提升性能的同时将通信成本降低98%以上。
2023-05-21 cs.AI cs.CL
Exploring BERT Parameter Efficiency on the Stanford Question Answering Dataset v2.0
UC Berkeley(加州大学伯克利分校);School of Information(信息学院)
在本文中,我们探讨了BERT arXiv:1810.04805的斯坦福问答数据集(SQuAD 2.0)的2.0版本的参数效率。我们在冻结不同数量的最终Transformer层以及包括arXiv:1902.00751中提出的适配器层的同时评估BERT的参数效率。此外,我们尝试使用上下文感知卷积(CACNN)过滤器,如arXiv:1709.08294v3中所述,作为SQuAD2.0任务的最终增强层。这种探索的部分动机是arXiv:1907.10597,它为扩大人工智能模型的评估标准以包括各种资源效率的度量提供了令人信服的理由。虽然我们没有根据arXiv:1907.10597中提出的浮点运算效率来评估这些模型,但我们检查了训练时间,推理时间和模型参数总数的效率。我们的结果在很大程度上证实了arXiv:1902.00751的适配器模块,同时也证明了由于训练和推理时间的增加,通过添加上下文感知卷积滤波器获得的F1分数是不实际的。
2020-03-03 cs.CL cs.LG stat.ML
BLIP-Adapter: Parameter-Efficient Transfer Learning for Mobile Screenshot Captioning
National Taiwan University(台湾大学)
针对移动屏幕截图描述生成中全量微调成本高的问题,本文提出BLIP-Adapter,通过冻结主干并训练组合适配器实现参数高效迁移,性能可比全量微调且显著减少参数量。
2023-09-26 cs.CL cs.CV cs.HC
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学信息学院)
针对Transformer自注意力二次复杂度导致的推理效率低下问题,提出ChunkLLM框架,通过QK适配器和块适配器实现块选择与压缩,在保持性能的同时显著加速推理。
2026-05-25 cs.AI cs.CL
Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
Rutgers University(新泽西罗格斯大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Red Hat AI Innovation(红帽AI创新)
本文提出免训练贝叶斯化(TFB)框架,无需额外训练即可将低秩适配器转为贝叶斯形式,通过搜索最优方差实现不确定性估计与泛化提升。
2025-09-26 cs.AI cs.CL cs.LG
EffEval: A Comprehensive Evaluation of Efficiency for MT Evaluation Metrics
Bielefeld University(比勒费尔德大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文提出 EffEval 框架,通过轻量级 transformer、对齐算法近似和适配器等方法,系统评估机器翻译评估指标在推理与训练中的效率与质量权衡,为高效 NLG 评估提供依据。
2023-10-31 cs.CL cs.LG
MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models
Nanjing University(南京大学)
针对多LoRA适配器嵌入大语言模型时推理阶段任务自主感知切换难的问题,提出基于全模式MoE架构的MeteoRA框架及前向加速策略,性能与传统PEFT相当且复合任务表现更优。
2024-10-09 cs.AI cs.CL