Efficient Domain Adaptation of Sentence Embeddings Using Adapters
Technical University of Munich(慕尼黑工业大学)
本文提出用轻量级领域特定适配器替代对整个句子嵌入模型的微调,在仅训练约3.6%参数的情况下取得与完全微调相差1%以内的竞争性能,实现参数高效的领域自适应。
2023-09-24 cs.AI cs.CL
SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization
University of Nevada, Reno(内华达大学里诺分校);Argonne National Laboratory(阿贡国家实验室);University of Houston(休斯顿大学);University of California, Davis(加利福尼亚大学戴维斯分校)
SOLAR通过子空间导向的潜在适配器重参数化方法,减少PEFT适配器的通信和存储成本,提升模型适应效率。
2026-04-09 cs.CL cs.CV cs.LG
MoEGen: Mixture-of-Experts for Instance-Adaptive LoRA Generation
MoEGen是一种将MoE-based PEFT从专家选择转向专家条件参数生成的框架,通过将专家表示为可学习向量,解耦专家容量与适配器存储,在8个常识推理基准及医学、法律领域适配中均优于现有方法。
2026-09-30 cs.CL
HyperTTS: Parameter Efficient Adaptation in Text to Speech using Hypernetworks
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出HyperTTS,利用超网络根据说话人表示动态生成Adapter参数,以参数高效方式提升TTS的域外说话人适配性能,并在两种设置下达到最先进水平。
2024-04-06 cs.CL cs.LG cs.SD
Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation
Sharif University of Technology(谢里夫理工大学)
针对波斯语低资源多领域 NER,本文提出单核心 BERT 结合多组适配器、提示调优参数与领域检测流程,在节省训练存储资源的同时达到并部分超越独立模型及 SOTA。
2024-04-02 cs.AI cs.CL
AuthorMix: Modular Authorship Style Transfer via Layer-wise Adapter Mixing
Saarland University(萨尔兰大学)
提出AuthorMix框架,通过训练特定风格的LoRA适配器并利用逐层适配器混合,仅需少量目标风格样本即可实现轻量级、模块化的作者风格迁移,在低资源场景下优于现有方法并显著提升语义保留。
2026-09-17 cs.AI cs.CL
Neutral Residues: Revisiting Adapters for Model Extension
针对预训练大语言模型领域扩展存在的新旧领域性能权衡问题,提出从数据、架构、训练流程联合改进适配器的中性残差方法,使残差块在原域输出近零值,在跨语言适配任务上显著优于微调、LoRA等方法。
2025-07-31 cs.AI cs.CL cs.LG
HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
Upper-Secondary Schools of Communications in Cracow(克拉科夫通信高级中学)
本文提出HypeLoRA,通过超网络生成LoRA适配器,实现高效校准语言模型微调,提升参数效率与校准性能,揭示参数效率与概率可靠性之间的关系。
2026-03-29 cs.AI cs.CL
Parameter-Efficient Fine-Tuning With Adapters
Georgia Institute of Technology(佐治亚理工学院)
本文提出在 UniPELT 框架中加入 PromptTuning Layer 的适配器微调方法,以更少或相当的参数量在 GLUE、领域数据集和 SQuAD 上达到接近全量微调的性能。
2024-05-09 cs.AI cs.CL
Learning Adapter Rank via Symmetry Breaking
Commonwealth Bank of Australia(澳大利亚联邦银行)
本文通过破除LoRA的旋转规范对称性,提出Low-Rank Variational Dropout框架,实现低秩适应空间的贝叶斯推断,有效学习适配器秩并提升预测不确定性。
2026-05-12 cs.AI cs.CL cs.LG
LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
University of Maryland(马里兰大学);Tsinghua University(清华大学)
LoRI通过冻结随机投影矩阵A和稀疏化矩阵B,减少多任务LoRA的跨任务干扰,降低95%可训练参数,在多项任务上超越全量微调和现有PEFT方法。
2025-08-02 cs.AI cs.CL cs.LG
EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
Univeristy of California, Berkeley(加州大学伯克利分校);San Francisco State University(旧金山州立大学)
EfficientXpert通过传播感知剪枝方法,实现大语言模型在领域适应中的高效压缩,达到接近密集性能的稀疏效果,同时保持训练时间和内存效率。
2026-10-06 cs.CL cs.LG
LoRA Provides Differential Privacy by Design via Random Sketching
Mila - Quebec AI Institute, Montreal, Canada(魁北克人工智能研究所);School of Computer Science, McGill University(麦吉尔大学计算机学院)
LoRA通过随机草图机制在设计上实现差分隐私,其低秩适应等效于使用噪声梯度微调适配器,隐私水平受适应秩和批量大小影响。
2026-02-10 cs.AI cs.CL cs.LG
FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
Zhejiang University(浙江大学)
提出FLoE框架,通过Fisher信息引导的层选择实现稀疏适配器部署,并利用贝叶斯优化自动确定LoRA秩,在资源受限环境中实现高效的效率-精度权衡。
2025-05-31 cs.CL cs.LG stat.ML
CeRA: Breaking the Linear Ceiling of Low-Rank Adaptation with Non-linearity Retained at Inference
Computer Science and Information Engineering National Central University(计算机科学与信息工程国立中央大学)
CeRA通过引入SiLU门控和dropout,在推理时引入非线性,提升参数效率,在GSM8K和MATH基准中表现优异,使用更少参数达到更高性能。
2026-07-09 cs.AI cs.CL cs.LG
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters
University of Edinburgh(爱丁堡大学);NAVER LABS Europe(NAVER LABS 欧洲)
适配器层是插入在Transformer层之间的轻量级、可学习的单元。最近的工作探索将这些层用于神经机器翻译(NMT),以使预训练模型适应新的领域或语言对,仅为每个新设置(语言对或领域)训练一小部分参数。在这项工作中,我们研究的组合性的语言和领域适配器的背景下,机器翻译。我们的目标是研究,1)参数有效的适应多个领域和语言同时(全资源的情况下)和2)跨语言迁移的领域,并行数据是不可用的某些语言对(部分资源的情况下)。我们发现,在部分资源的情况下,一个天真的特定于域和特定于语言的适配器的组合往往会导致“灾难性遗忘”的失踪的语言。我们研究其他方法来结合适配器,以减轻这个问题,并最大限度地提高跨语言迁移。使用我们最好的适配器组合,对于没有域内数据的源语言,我们平均获得3-4个BLEU的改进。对于没有域内数据的目标语言,我们通过将适配器与反向翻译相结合来实现类似的改进。补充材料可在https://tinyurl.com/r66stbxj上获得
2021-10-18 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
多语言神经机器翻译模型(MNMT)在对来自训练时看到的领域和语言对的数据进行评估时,会产生最先进的性能。然而,当MNMT模型用于在域转移下翻译或翻译到新的语言对时,性能急剧下降。我们认为一个非常具有挑战性的情况下:适应MNMT模型,以一个新的领域和一个新的语言对在同一时间。在本文中,我们提出了$m^4Adapter$(多语言多领域自适应机器翻译与元适配器),它结合领域和语言知识,使用元学习与适配器。我们目前的结果表明,我们的方法是一个参数有效的解决方案,有效地适应一个新的语言对和一个新的域的模型,同时优于其他适配器的方法。消融研究还表明,我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于适配器的调优最近作为微调的替代方案出现。它的工作原理是将轻量级适配器模块添加到预训练的语言模型(PrLM)中,并且仅在学习下游任务时更新适配器模块的参数。因此,它只为每个新任务添加了一些可训练的参数,允许高度的参数共享。先前的研究表明,基于适配器的调整通常可以实现与微调相当的结果。然而,现有的工作只集中在基于适配器的调整的参数效率方面,而缺乏对其有效性的进一步调查。在本文中,我们研究后者。我们首先表明,基于适配器的调整比微调更好地缓解了遗忘问题,因为它产生的表示与初始PrLM产生的偏差较小。然后,我们在几个下游NLP任务和设置上实证比较了这两种调优方法。我们证明了1)基于适配器的调整优于微调低资源和跨语言的任务; 2)它是更强大的过拟合和不敏感的变化学习率。
2021-06-06 cs.CL
Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery
The University of Melbourne(墨尔本大学);Google(谷歌公司)
针对LLMs低资源语言能力不足问题,提出Franken-Adapter模块化适配方法,通过嵌入手术定制目标语言词汇并调优嵌入,结合英语指令调优模型实现零样本跨语言迁移,在多语言任务中显著提升性能且英语退化小,还能迁移推理能力。
2025-02-12 cs.CL
The Hidden Space of Transformer Language Adapters
Mila, McGill University(米拉-麦吉尔大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Saarland University(萨尔大学)
本文通过分析 transformer 语言适配器在冻结模型上的运行机制,发现适配过程主要依赖源语言表示、仅在最后几层显现目标语言且可跳过部分适配器,从而揭示了底层模型对适配的约束并提出了效率优化方向。
2024-06-10 cs.CL
PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter
Ping An Technology (Shenzhen) Co., Ltd., China(平安科技(深圳)有限公司);New York University(纽约大学);University of Maryland(马里兰大学)
本文提出可插拔奖励驱动上下文适配器PRCA,以黑盒方式将大语言模型适配到检索式问答框架中,通过强化学习精炼检索信息,在三个数据集上实现最高20%的性能提升。
2023-10-23 cs.CL
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
ADAPTERMIX: Exploring the Efficacy of Mixture of Adapters for Low-Resource TTS Adaptation
Singapore University of Technology and Design(新加坡科技设计大学);ASUS Intelligent Cloud Services (AICS)(华硕智能云服务);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出ADAPTERMIX方法,通过在骨干模型层中混合多个适配器实现低资源语音合成的说话人自适应,仅需一分钟数据即带来5%的偏好提升,且只需微调11%的模型参数。
2023-05-29 cs.AI cs.CL cs.SD
Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging
研究针对阿拉伯语脚本低资源语言生物医学翻译稀缺问题,利用阿拉伯语和波斯语作枢纽,通过LoRA微调训练特定领域适配器,评估少样本学习、最小监督适应及零数据LoRA适配器合并三种策略,展现不同策略效果及跨语言转移局限性。
2026-07-27 cs.CL
Adapters for Altering LLM Vocabularies: What Languages Benefit the Most?
University of Maryland(马里兰大学);Microsoft(微软公司);Amazon(亚马逊公司)
本文提出 VocADT,用固定模型权重下的适配器学习现有嵌入的最优线性组合以扩展 LLM 词汇表;11 种语言实验表明其在多语言理解和翻译任务上优于 Mistral 等基线。
2025-03-16 cs.CL
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity Matching using Adapter-tuning
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science & Technology (AIST)(产业技术综合研究所)
本文提出AdapterEM,通过冻结预训练语言模型参数、仅微调适配器和分类器,结合预训练适配器与可逆适配器实现广义实体匹配,在仅用约13%参数的情况下达到与全量微调和提示微调相当或更优的性能。
2023-05-30 cs.CL cs.DB
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen(格罗宁根大学)
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而,跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题,我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器,同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器,UDBACK,优于强大的单语和多语言的基线上的大多数高资源和低资源(zero-shot)的语言,显示出成功的建议的适应方法。我们的深入分析表明,通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters
本文针对轻量级文本转语音系统,通过适配器实现未见说话人和语言的跨语言适配,避免灾难性遗忘,提出口音母语程度的客观指标,并分析适配器配置等因素的影响。
2025-08-25 cs.CL cs.LG cs.SD
BBox-Adapter: Lightweight Adapting for Black-Box Large Language Models
Georgia Tech(佐治亚理工学院);Accenture(埃森哲公司)
针对黑盒大语言模型无法微调的问题,提出轻量级适配器BBox-Adapter,通过排序NCE损失和在线反馈机制提升性能,最高提升6.77%,并大幅降低成本。
2024-05-28 cs.AI cs.CL cs.LG
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research(谷歌研究院)
使神经文本到语音(TTS)模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数(如果不是全部)参数。然而,服务数百个微调的神经TTS模型是昂贵的,因为它们中的每一个都需要显著的占地面积和单独的计算资源(例如,加速器、存储器)。为了将说话人自适应神经TTS语音扩展到数百个说话人,同时保持自然度和说话人相似性,本文提出了一种参数有效的Few-Shot说话人自适应,其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明,与完全微调方法相比,所提方法能够获得有竞争力的自然度和说话人相似度,而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages
University of Saarland(萨尔大学);Brno University of Technology(布尔诺理工大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Kempelen Institute of Intelligent Technologies (KInIT)(肯佩伦智能技术研究所)
本文系统比较三种参数高效适配器架构,结合GlotCC文本与ConceptNet图谱使小型多语言模型适配低资源语言,证明其可在少参数下超越全量微调和大型LLM。
2025-02-14 cs.CL
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University(莫纳什大学)
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙,这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中,我们的目标是弥合语音和文本之间的模态差距,以提高翻译质量。我们提出了M-Adapter,一个新的基于transformer的模块,以适应语音表示文本。在缩小语音序列的同时,M-Adapter通过对语音序列的全局和局部依赖关系进行建模,产生语音到文本翻译所需的特征。我们的实验结果表明,我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线,最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
Don't Stop Self-Supervision: Accent Adaptation of Speech Representations via Residual Adapters
AWS AI Labs(AWS人工智能实验室);University of Virginia(弗吉尼亚大学)
针对自监督语音表示在非母语口音上表现不佳的问题,提出通过训练口音特定残差适配器进行参数高效的自监督适应,在ASR任务中显著降低了词错误率,且方法与模型和任务无关。
2023-07-02 cs.CL cs.SD eess.AS
MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters
RMIT University(皇家墨尔本理工大学);The University of Melbourne(墨尔本大学)
国家支持的巨魔是社交媒体上影响力运动的主要参与者,自动巨魔检测对于大规模打击错误信息非常重要。现有的巨魔检测模型是基于已知活动的训练数据开发的(例如,俄罗斯互联网研究机构对2016年美国大选的影响力运动),并且在处理具有新目标的{ \em novel}运动时,它们不足。我们提出了MetaTroll,一个基于文本的巨魔检测模型的基础上的元学习框架,使高的可移植性和参数有效的适应新的活动,只使用少量的标记样本的Few-Shot传输。我们将\textit{campaign-specific} Transformer适配器引入MetaTroll,以“记忆”特定于巨魔的知识,从而解决灾难性遗忘,其中模型由于不断适应而“忘记”如何从旧活动中检测巨魔。我们的实验表明,MetaTroll大大优于基线和最先进的Few-Shot文本分类模型。最后,我们探索简单的方法来扩展MetaTroll到多语言和多模式检测。MetaTroll的源代码可在https://github.com/ltian678/metatroll-code.git获得。
2023-03-13 cs.CL
TADA: Task-Agnostic Dialect Adapters for English
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文提出任务无关方言适配器(TADA),通过对齐非标准英语方言并组合任务特定适配器,提升GLUE基准上4个方言变体的鲁棒性,无需任务特定监督。
2023-05-26 cs.CL
Closing the Gap at CRAC 2026: Two-Stage Adaptation for LLM-Based Multilingual Coreference Resolution
Lattice (CNRS UMR 8094 & ENS-PSL & Université Sorbonne Nouvelle)(Lattice(CNRS UMR 8094 和 ENS-PSL 和 索邦学院新欧))
本文提出了一种基于LLM的多语言核心指代解析方法,通过两阶段适应策略,在CRAC 2026共享任务中取得了74.32的平均CoNLL F1分数,排名第一。
2026-05-21 cs.CL
AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
预训练的语言模型(PLM)是在大量语料库上训练的,但通常需要专门针对特定领域。一个参数有效的适应方法建议训练适配器的语言建模任务的每个领域。这导致了良好的域内得分,但对于域或资源受限的设置可能是不切实际的。一种解决方案是在测试时为新域使用相关域适配器。在本文中,我们介绍了AdapterSoup,这是一种对在不同域上训练的适配器进行权重空间平均的方法。我们的方法是并行的:首先,我们训练一组特定于域的适配器;然后,对于每个新的域,我们确定哪些适配器应该在测试时进行平均。我们提出了大量的实验表明,AdapterSoup一贯提高性能的新领域,而无需额外的训练。我们还探索了在具有不同超参数的相同域上训练的适配器的权重平均,并表明它在获得强大的域内结果的同时保留了PLM在新域上的性能。我们探讨了选择哪些适配器相结合,如文本聚类和语义相似性的各种方法。我们发现使用集群可以在新领域上产生最具竞争力的结果。
2023-03-28 cs.CL
Loop Dropout: Regularizing Shared Updates in Looped Language Models
针对循环语言模型中LoRA共享更新的后循环偏差,提出Loop Dropout方法,通过随机掩蔽与逆生存重缩放保持期望更新强度,提升跨循环适配,增强数学推理、指令调优和代码生成性能。
2026-10-06 cs.CL cs.LG
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models
National Taiwan University(台湾大学)
自监督学习(SSL)是一种从未标记数据中学习表示的强大技术。基于Transformer的模型,如HuBERT,由特征提取器和Transformer层组成,在语音领域处于领先地位。SSL模型在广泛的下游任务上进行了微调,这涉及到为每个任务重新训练大部分模型。以前的研究已经引入了应用适配器,这是自然语言处理(NLP)中常用的小型轻量级模块,用于使预训练模型适应新任务。然而,这种高效的调谐技术仅在Transformer层提供自适应,而未能在特征提取器处执行自适应。在本文中,我们提出了CHAPTER,一个有效的调整方法,专门为SSL语音模型设计,通过在特征提取器应用CNN适配器。使用这种方法,与完全微调相比,我们只能微调每个任务不到5%的参数,并实现更好,更稳定的性能。我们经验性地发现,将CNN适配器添加到特征提取器可以帮助情感和说话人任务的适应。例如,SID的准确度从87.71提高到91.56,ER的准确度提高了5%。
2023-01-20 cs.CL cs.LG cs.SD
Simple, Scalable Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
微调预训练的神经机器翻译(NMT)模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器,只有原始模型大小的一小部分,使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域自适应和(ii)大规模多语言NMT。领域自适应的实验表明,我们提出的方法是与各种领域,数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Exploiting Adapters for Cross-lingual Low-resource Speech Recognition
Tokyo Institute of Technology(东京工业大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Zhejiang University(浙江大学)
跨语言语音自适应旨在解决利用多个资源丰富的语言来为低资源的目标语言构建模型的问题。由于低资源语言的训练数据有限,语音识别模型很容易过拟合。在本文中,我们建议使用适配器来研究多个适配器的性能参数有效的跨语言语音适应。基于我们以前的MetaAdapter,隐式地利用适配器,我们提出了一种新的算法称为SimAdapter显式地学习知识适配器。我们的算法利用适配器,可以很容易地集成到Transformer结构。MetaAdapter利用元学习将一般知识从训练数据转移到测试语言。SimAdapter的目标是在使用适配器进行微调的过程中了解源语言和目标语言之间的相似性。我们对Common Voice数据集中的五种低资源语言进行了广泛的实验。结果表明,与强大的全模型微调基线相比,我们的MetaAdapter和SimAdapter方法可以将WER降低2.98%和2.55%,仅需2.5%和15.5%的可训练参数。此外,我们还表明,这两种新的算法可以集成到更好的性能与高达3.55%的相对WER减少。
2021-12-18 cs.CL cs.SD eess.AS
RE-Adapt: Reverse Engineered Adaptation of Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
RE-Adapt通过反向工程适配器,在不损害指令调整的前提下微调LLM新领域,其低秩变体LoRE-Adapt在多种模型和数据集上优于其他方法,且兼容RAG。
2024-05-23 cs.AI cs.CL cs.LG
Parameter-Efficient Sparse Retrievers and Rerankers using Adapters
University of Amsterdam(阿姆斯特丹大学);Naver Labs Europe(Naver欧洲实验室)
带有适配器的参数高效迁移学习已经在自然语言处理(NLP)中被研究作为完全微调的替代方案。适配器是内存高效的,并且通过训练在Transformer层之间添加的小瓶颈层,同时保持大型预训练的语言模型(PLM)冻结,可以很好地扩展下游任务。尽管这些方法在自然语言处理中取得了很好的效果,但在信息检索中还没有得到充分的研究。虽然以前的研究只进行了密集检索或在跨语言检索的情况下,在本文中,我们的目标是完成图片上使用适配器在IR。首先,我们研究适配器SPLADE,稀疏检索器,适配器不仅保留了效率和有效性,否则通过微调实现,但内存效率和数量级更轻的训练。我们观察到,Adapters-SPLADE不仅优化了2%的训练参数,而且在IR基准数据集上的性能优于完全微调的对应模型和现有的参数有效的密集IR模型。其次,我们解决领域自适应的神经检索由于适配器跨域BEIR数据集和TripClick。最后,我们还考虑了知识共享之间的rankers和第一阶段的rankers。总之,我们的研究完成了神经IR适配器的检查
2023-03-23 cs.CL cs.IR
3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
University of Amsterdam(阿姆斯特丹大学);eBay Inc.(eBay公司)
本文提出RoAd方法,用二维旋转适配LLM,以少于0.1%参数实现高效微调、批处理及可解释性,兼顾性能与效率。
2024-11-04 cs.AI cs.CL cs.LG