AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks
National Taiwan University（台湾大学）
具有数百万参数的基于transformer的预训练模型需要大量存储。最近的方法通过训练适配器来解决这个缺点，但是这些方法仍然需要相对大量的参数。在这项研究中，AdapterBias，一个令人惊讶的简单而有效的适配器架构，提出。AdapterBias为Transformer层的隐藏输出添加了一个依赖于令牌的移位，以适应仅具有向量和线性层的下游任务。进行了大量的实验，以证明AdapterBias的有效性。实验表明，我们所提出的方法可以显着减少可训练的参数相比，以前的作品与微调预训练模型相比，任务性能下降最小。我们进一步发现，AdapterBias自动学习分配更显着的表示转移到与所考虑的任务相关的标记。
2023-01-30 cs.CL
HyperLoader: Integrating Hypernetwork-Based LoRA and Adapter Layers into Multi-Task Transformers for Sequence Labelling
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；IIMAS（墨西哥国立自治大学应用数学与系统研究所）
提出HyperLoader，利用超网络基于任务和层位置生成LoRA与Adapter权重，有效缓解多任务干扰，在高低资源场景下超越全量微调并取得最佳平均性能。
2024-08-25 cs.CL
A Comparative Study on Code Generation with Transformers
Tribhuvan University（特里布文大学）；Thapathali Campus（塔帕塔利校区）
针对当前代码生成研究仅聚焦大语言模型、缺乏不同复杂度Transformer架构性能对比的问题，本文提出基于Transformer和NLP方法的C++代码生成模型，并通过比较研究评估不同架构复杂度的Transformer模型处理各类问题的鲁棒性。
2024-12-07 cs.AI cs.CL
Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters
Apple MLX（苹果MLX）
研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率，展示适配器在不同规模模型上的泛化能力及生成一致性改进。
2026-04-17 cs.CL cs.LG
MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters
RMIT University（皇家墨尔本理工大学）；The University of Melbourne（墨尔本大学）
国家支持的巨魔是社交媒体上影响力运动的主要参与者，自动巨魔检测对于大规模打击错误信息非常重要。现有的巨魔检测模型是基于已知活动的训练数据开发的（例如，俄罗斯互联网研究机构对2016年美国大选的影响力运动），并且在处理具有新目标的{ \em novel}运动时，它们不足。我们提出了MetaTroll，一个基于文本的巨魔检测模型的基础上的元学习框架，使高的可移植性和参数有效的适应新的活动，只使用少量的标记样本的Few-Shot传输。我们将\textit{campaign-specific} Transformer适配器引入MetaTroll，以“记忆”特定于巨魔的知识，从而解决灾难性遗忘，其中模型由于不断适应而“忘记”如何从旧活动中检测巨魔。我们的实验表明，MetaTroll大大优于基线和最先进的Few-Shot文本分类模型。最后，我们探索简单的方法来扩展MetaTroll到多语言和多模式检测。MetaTroll的源代码可在https://github.com/ltian678/metatroll-code.git获得。
2023-03-13 cs.CL
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Wluper；Ubiquitous Knowledge Processing (UKP) Lab, TU Darmstadt（达姆施塔特工业大学普适知识处理（UKP）实验室）
继神经语言模型（LM）（如BERT或GPT-2）在各种语言理解任务上取得重大成功之后，最近的工作集中在将来自外部资源的（结构化）知识注入这些模型中。一方面，联合预训练（即，从头开始训练，将基于外部知识的目标添加到主要LM目标）可能在计算上昂贵得令人望而却步，另一方面，对外部知识的事后微调可能导致分布式知识的灾难性遗忘。在这项工作中，我们调查模型补充BERT的分布知识与概念知识从ConceptNet及其相应的开放式思维常识（OMCS）语料库，分别使用适配器训练。虽然GLUE基准测试的总体结果并不确定，但更深入的分析表明，我们基于适配器的模型在推理任务中的表现大大优于BERT（高达15-20个性能点），这些推理任务需要ConceptNet和OMCS中明确存在的概念知识类型。所有代码和实验都是开源的：https://github.com/wluper/retrograph。
2020-10-11 cs.CL
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学信息学院）
针对Transformer自注意力二次复杂度导致的推理效率低下问题，提出ChunkLLM框架，通过QK适配器和块适配器实现块选择与压缩，在保持性能的同时显著加速推理。
2026-05-25 cs.AI cs.CL
Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
EPFL University（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）；DeepMind（深度思维）；Google Brain（谷歌大脑）
最先进的参数高效微调方法依赖于在预训练的语言模型的层之间引入适配器模块。然而，这些模块针对每个任务单独训练，因此不能跨任务共享信息。在本文中，我们表明，我们可以学习适配器参数的所有层和任务，通过使用共享的超网络，条件任务，适配器的位置，和层ID在一个Transformer模型生成它们。这种参数高效的多任务学习框架使我们能够通过超网络在任务之间共享知识，同时使模型能够通过特定于任务的适配器适应每个单独的任务，从而实现两全其美。在著名的GLUE基准测试上的实验表明，在每个任务仅添加0.29%的参数的情况下，多任务学习的性能得到了改善。我们还证明了大量的性能改进，在Few-Shot领域泛化在各种任务。我们的代码可在https://github.com/rabeehk/hyperformer上公开获取。
2021-06-08 cs.CL
Adaptable Multi-Domain Language Model for Transformer ASR
Samsung Electronics（三星电子）；Samsung Advanced Institute of Technology, Samsung Electronics（三星电子三星高级技术研究院）
我们提出了一个基于适配器的多域Transformer语言模型（LM）的Transformer ASR。该模型包括一个大尺寸的普通LM和小尺寸的适配器。该模型仅使用较小的适配器及其相关层就可以实现多域适配。所提出的模型可以重用完整的微调LM，这是微调使用原始模型的所有层。所提出的LM可以扩展到新的域，增加约2%的参数的第一个域和13%的参数后，第二个域。所提出的模型也是有效的，在减少模型维护成本，因为它可以省略昂贵和耗时的共同LM预训练过程。使用建议的适配器为基础的方法，我们观察到，一个通用的LM与适配器可以胜过一个专用的音乐领域LM的字错误率（WER）。
2021-02-11 cs.CL cs.SD eess.AS
BUSTED at AraGenEval Shared Task: A Comparative Study of Transformer-Based Models for Arabic AI-Generated Text Detection
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）；FAST Karachi（卡拉奇快速大学）
本研究在AraGenEval共享任务中比较三种Transformer模型检测阿拉伯语AI生成文本，发现多语言XLM-RoBERTa以F1=0.7701超越专用阿拉伯语模型，凸显多语言模型的泛化优势。
2025-10-25 cs.AI cs.CL
Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa
该研究针对文本摘要任务，对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性，为相关应用提供参考。
2026-08-21 cs.AI cs.CL
Learning to Prioritize IT Tickets: A Comparative Evaluation of Embedding-based Approaches and Fine-Tuned Transformer Models
Global AI Lab（全球人工智能实验室）
本文比较了基于嵌入的方法和微调的Transformer模型在IT工单优先级排序中的性能，发现后者在F1分数和Cohen's kappa值上表现更优，凸显了定制化Transformer架构在处理ITSM数据中的有效性。
2025-11-28 cs.AI cs.CL
Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Faculty of Computer Science MSA Univeristy（计算机科学学院 MSA大学）
本研究针对QADI数据集中18种阿拉伯语推文方言分类问题，比较了RNN、Transformer和LLM模型，发现MARBERTv2表现最佳（65%准确率），并揭示了方言识别的语言学挑战及应用潜力。
2025-06-28 cs.AI cs.CL
Efficient Toxicity Detection in Gaming Chats: A Comparative Study of Embeddings, Fine-Tuned Transformers and LLMs
Metropolia University of Applied Sciences（Metropolia应用科学大学）
本文比较传统机器学习、LLM、微调 transformer 与 RAG 在游戏聊天毒性检测中的准确率、速度和成本，并提出混合持续学习审核架构，证明微调 DistilBERT 具有最优准确率—成本权衡。
2025-10-20 cs.AI cs.CL
Transformer Enhanced Relation Classification: A Comparative Analysis of Contextuality, Data Efficiency and Sequence Complexity
University of Manchester（曼彻斯特大学）
本文对比了Transformer与非Transformer架构在关系分类中的性能，发现Transformer模型在micro F1等指标上显著优于非Transformer模型，并回顾了监督关系分类的研究历程及大语言模型的作用。
2025-09-14 cs.AI cs.CL
DiffLoRA: Differential Low-Rank Adapters for Large Language Models
EPFL（瑞士联邦理工学院）；NAVER LABS Europe（NAVER LABS欧洲）
本研究提出适配差分注意力的参数高效微调方法DiffLoRA，在正负注意力项上均设置低秩适配器，实验显示其多数任务表现不及同类方法，但在HumanEval上较LoRA提升11个百分点，并通过注意力模式分析探究成因。
2025-07-31 cs.CL
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models
National Taiwan University（台湾大学）
自监督学习（SSL）是一种从未标记数据中学习表示的强大技术。基于Transformer的模型，如HuBERT，由特征提取器和Transformer层组成，在语音领域处于领先地位。SSL模型在广泛的下游任务上进行了微调，这涉及到为每个任务重新训练大部分模型。以前的研究已经引入了应用适配器，这是自然语言处理（NLP）中常用的小型轻量级模块，用于使预训练模型适应新任务。然而，这种高效的调谐技术仅在Transformer层提供自适应，而未能在特征提取器处执行自适应。在本文中，我们提出了CHAPTER，一个有效的调整方法，专门为SSL语音模型设计，通过在特征提取器应用CNN适配器。使用这种方法，与完全微调相比，我们只能微调每个任务不到5%的参数，并实现更好，更稳定的性能。我们经验性地发现，将CNN适配器添加到特征提取器可以帮助情感和说话人任务的适应。例如，SID的准确度从87.71提高到91.56，ER的准确度提高了5%。
2023-01-20 cs.CL cs.LG cs.SD
Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages
Dharmsinh Desai University（达尔明辛德赛大学）
本文研究利用预训练多语言模型提升低资源语言问答性能，通过级联语言与任务适配器并采用零样本迁移学习，在七种语言上验证了该方法能显著改善模型表现。
2021-12-18 cs.AI cs.CL cs.HC
Comparative Analysis of Transformer Models in Disaster Tweet Classification for Public Safety
Department of Computer Science（计算机科学系）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文比较了BERT、DistilBERT、RoBERTa和DeBERTa等Transformer模型在灾难推文分类中的性能，发现BERT准确率最高，显著优于传统机器学习模型，展示了Transformer在公共安全应用中的优势。
2025-09-08 cs.AI cs.CL
Legal Transformer Models May Not Always Help
EPFL（洛桑联邦理工学院）
基于深度学习的自然语言处理方法，尤其是Transformers，在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动，以自动化或简化一些简单的工作，具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能，我们表明领域自适应预训练仅对低资源下游任务有帮助，因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试，并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果，我们发布了LegalRoBERTA，这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
A comparative study of transformer-based embeddings for topic coherence
Worcester Academy Stanford Online High School（沃斯特学院斯坦福在线高中）；Stanford Online High School（斯坦福在线高中）；Lexington High School（莱克星顿高中）
本研究系统比较了七种不同规模的Transformer语言模型（从MiniLM到LLaMA-2）在BERTopic流程中对主题质量的影响，发现模型大小（从2200万到130亿参数）对主题连贯性影响可忽略。
2026-04-10 cs.AI cs.CL
HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
Upper-Secondary Schools of Communications in Cracow（克拉科夫通信高级中学）
本文提出HypeLoRA，通过超网络生成LoRA适配器，实现高效校准语言模型微调，提升参数效率与校准性能，揭示参数效率与概率可靠性之间的关系。
2026-03-29 cs.AI cs.CL
Detecting AI-Generated Paraphrases in Bengali: A Comparative Study of Zero-Shot and Fine-Tuned Transformers
Department of CSE, Ahsanullah University of Science and Technology, Bangladesh（阿沙努拉科技大学计算机科学与工程系）；Department of CSE, BRAC University, Bangladesh（布拉克大学计算机科学与工程系）；Department of CSE, Southeast University, Bangladesh（东南大学计算机科学与工程系）；Enosis Solutions, Bangladesh（恩osis解决方案）
本研究比较了零样本和微调变换器模型在检测孟加拉语AI生成文本中的性能，发现微调显著提升检测准确率，其中XLM-RoBERTa、mDeBERTa和MultilingualBERT表现最佳。
2025-12-25 cs.AI cs.CL
Comparative study on Judgment Text Classification for Transformer Based Models
School of Electronics Engineering, VIT Chennai（维韦卡南达理工大学钦奈分校电子工程学院）
本文比较 6 种自注意力 Transformer 模型在 4 种激活函数下的裁判文书分类与胜诉方预测性能，模型经 200 个裁判上下文训练，预测置信度最高达 99%。
2023-04-18 cs.AI cs.CL
Using Bottleneck Adapters to Identify Cancer in Clinical Notes under Low-Resource Constraints
University of Oxford（牛津大学）；NLPie Research（NLPie研究院）；Infectious Diseases Data Observatory (IDDO)（传染病数据观测站（IDDO））；Sharif University of Technology（谢里夫理工大学）；ISARIC（国际严重急性呼吸道感染联盟）；Pandemic Sciences Institute（大流行科学研究所）；Oxford-Suzhou Centre for Advanced Research（牛津-苏州高等研究中心）
该研究在癌症相关临床笔记分类任务上比较 RNN、BioBERT 及高效微调方法，发现冻结 BERT 配合瓶颈适配器效果最佳，为低资源生物医学文本挖掘提供可行方案。
2023-06-07 cs.AI cs.CL
Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
Korea University（韩国大学）；Arizona State University（亚利桑那州立大学）；Soongsil University（顺天大学）
针对 adapter-tuning 资源开销较大的问题，本文提出 SAFE，依据适配器重要性提前逐步冻结不重要适配器，在保持或提升性能的同时显著降低显存、计算与训练时间。
2025-05-15 cs.AI cs.CL cs.LG
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Emotion Detection with Transformers: A Comparative Study
本研究探讨了基于Transformer的模型在文本情感分类中的应用，分析了微调、层可训练性和文本预处理对模型性能的影响，发现去除标点和停用词等常用技术会因破坏上下文关系而阻碍模型性能。
2024-07-27 cs.CL stat.AP
Memory Efficient Continual Learning with Transformers
Amazon Web Services（亚马逊云科技）
在许多现实场景中，用于训练机器学习模型的数据随着时间的推移变得可用。不幸的是，这些模型很难在不忘记过去所学知识的情况下不断学习新概念。这种现象被称为灾难性遗忘，由于实际的限制，很难预防。例如，可以存储的数据量或可以使用的计算资源可能是有限的。此外，应用程序越来越依赖于大型预训练神经网络，例如预训练的Transformers，因为资源或数据可能不足以大量地供从业者从头开始训练模型。在本文中，我们设计了一种方法，增量训练一系列的任务，使用预先训练的Transformers和扩展它们与适配器的模型。与现有的方法不同，我们的方法能够扩展到大量的任务，而没有显着的开销，并允许跨任务共享信息。在图像和文本分类任务中，我们根据经验证明，我们的方法保持了良好的预测性能，而无需随着时间的推移重新训练模型或增加模型参数的数量。与基于适配器的最先进方法相比，所产生的模型在推理时间上也明显更快。
2023-01-13 cs.AI cs.CL stat.ML
Verb Knowledge Injection for Multilingual Event Processing
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
在NLP任务取得压倒性成功的同时，通过语言建模（LM）目标预训练的深度Transformer网络的语言能力也经历了广泛的审查。虽然研究表明，这些模型编码了一种语言的一系列句法和语义属性，但它们仍然倾向于依靠表面线索和简单的推理来解决下游任务，而不是利用更深层次的语言知识。在本文中，我们的目标之一，他们的不足之处，言语推理。我们调查是否注入明确的信息动词的语义句法行为，提高LM预训练的Transformers在事件提取任务的性能-下游任务，准确的动词处理是至关重要的。具体地说，我们将来自策划词汇资源的动词知识传授给专用适配器模块（称为动词适配器），使其能够在下游任务中补充LM预训练期间获得的语言知识。我们首先证明，注入动词知识导致英语事件提取的性能增益。然后，我们探讨了在其他语言中的事件提取的动词适配器的效用：我们调查（1）zero-shot语言传输与多语言Transformers以及（2）通过（嘈杂的自动）翻译英语动词为基础的词汇约束。我们的研究结果表明，动词知识注入的好处确实扩展到其他语言，即使动词适配器训练噪音翻译的约束。
2020-12-31 cs.CL
Robust Transfer Learning with Pretrained Language Models through Adapters
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
使用像BERT这样的大型预训练的基于transformer的语言模型进行迁移学习已经成为大多数NLP任务的主要方法。简单地在下游任务上微调这些大语言模型或将其与特定于任务的预训练相结合通常并不健壮。特别地，性能随着随机种子的变化或预训练和/或微调迭代的数量的变化而显著变化，并且微调的模型容易受到对抗攻击。我们提出了一种简单而有效的基于适配器的方法来缓解这些问题。具体来说，我们插入小瓶颈层（即，适配器），然后固定预训练层并在下游任务数据上训练适配器层，其中（1）任务特定的无监督预训练，然后（2）任务特定的监督训练（例如，分类、序列标记）。我们的实验表明，这样的训练方案导致改善的稳定性和对抗鲁棒性的迁移学习到各种下游任务。
2021-08-05 cs.CL
The Impact of LoRA Adapters on LLMs for Clinical Text Classification Under Computational and Data Constraints
Biomedical Information Processing Lab, \' E cole de Technologie Sup\' e rieure, Montr\' e al, Qu\' e bec, Canada；The Interdisciplinary Centre for Security, Reliability；Trust (SnT), University of Luxembourg, Luxembourg；CHU Sainte-Justine Research Center, CHU Sainte-Justine Hospital, University of Montreal, Montr\' e al, Qu\' e bec, Canada
本文在低数据、2GB GPU 约束下比较临床文本分类中的 LoRA 类适配器，发现轻量级从头训练 Transformer 优于适配器增强生物医学 LLM，GRN 表现最佳。
2025-07-28 cs.CL eess.SP
ELP-Adapters: Parameter Efficient Adapter Tuning for Various Speech Processing Tasks
Tokyo Institute of Technology（东京工业大学）
本文提出ELP适配器微调方法，通过编码器适配器、层适配器和提示适配器三类轻量模块，在仅需全量微调10%可学习参数的条件下，使WavLM等骨干模型在语音识别、说话人验证和情感识别等任务上达到相当或更优性能。
2024-07-28 cs.AI cs.CL cs.LG
Learning to Generate Task-Specific Adapters from Task Description
University of Southern California（南加州大学）
预先训练的文本到文本Transformers，如BART，在一系列NLP任务中取得了令人印象深刻的性能。最近的研究进一步表明，他们可以通过将任务描述作为源序列的一部分并使用（源，目标）示例训练模型来学习推广到新任务。在测试时，这些微调的模型可以使用新的任务描述作为输入的一部分来推断新的任务。然而，这种方法具有潜在的局限性，因为模型学习解决单个（源，目标）示例（即，在实例级），而不是通过将任务内的所有示例作为一个整体来学习解决任务（即，在任务层面）。为此，我们引入Hypter，一个框架，提高文本到文本的Transformer的泛化能力，看不见的任务，通过训练超网络生成特定于任务的，轻量级的适配器从任务描述。在ZEST数据集和合成SQuAD数据集上的实验表明，Hypter在微调基线时有所改进。值得注意的是，当使用BART-Large作为主要网络时，Hypter在ZEST数据集上带来了11.3%的相对改进。
2021-06-15 cs.CL cs.LG
A Comparative Study of Transformers on Word Sense Disambiguation
Mastercard AI（万事达卡人工智能部门）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
本文比较研究了九种Transformer模型在词义消歧任务中的上下文化能力，通过在上下文词嵌入上使用kNN分类方法，在SensEval-2和SensEval-3上取得了优于现有最优方法的结果。
2021-11-30 cs.CL
Exploring Machine Learning and Transformer-based Approaches for Deceptive Text Classification: A Comparative Analysis
College of Information Technology, United Arab Emirates University（阿联酋大学信息技术学院）
本文比较了传统机器学习与BERT、XLNET、DistilBERT、RoBERTa等Transformer模型在欺骗性文本分类上的性能，通过准确率、精确率、召回率和F1分数揭示各方法的优劣，为相关研究和实践提供选择依据。
2023-08-11 cs.CL cs.LG
From Scratch to Fine-Tuned: A Comparative Study of Transformer Training Strategies for Legal Machine Translation
Jadavpur University（贾瓦浦尔大学）
本文通过比较Transformer训练策略，展示了微调预训练模型在法律机器翻译中的有效性，实现了更高的翻译准确率。
2025-12-21 cs.AI cs.CL cs.HC
CLaC at DISRPT 2025: Hierarchical Adapters for Cross-Framework Multi-lingual Discourse Relation Classification
Computational Linguistics at Concordia (CLaC) Lab（康科迪亚大学计算语言学实验室）；Dept. of Computer Science and Software Engineering（计算机科学与软件工程系）；Concordia University（康科迪亚大学）
本文针对DISRPT 2025任务3的跨框架多语言语篇关系分类，提出分层双适配器对比学习模型HiDAC，在16种语言39个语料库上以67.5%准确率超越微调Transformer和提示式大语言模型，且参数效率更高。
2025-09-21 cs.CL
Parameter-Efficient Sparse Retrievers and Rerankers using Adapters
University of Amsterdam（阿姆斯特丹大学）；Naver Labs Europe（Naver欧洲实验室）
带有适配器的参数高效迁移学习已经在自然语言处理（NLP）中被研究作为完全微调的替代方案。适配器是内存高效的，并且通过训练在Transformer层之间添加的小瓶颈层，同时保持大型预训练的语言模型（PLM）冻结，可以很好地扩展下游任务。尽管这些方法在自然语言处理中取得了很好的效果，但在信息检索中还没有得到充分的研究。虽然以前的研究只进行了密集检索或在跨语言检索的情况下，在本文中，我们的目标是完成图片上使用适配器在IR。首先，我们研究适配器SPLADE，稀疏检索器，适配器不仅保留了效率和有效性，否则通过微调实现，但内存效率和数量级更轻的训练。我们观察到，Adapters-SPLADE不仅优化了2%的训练参数，而且在IR基准数据集上的性能优于完全微调的对应模型和现有的参数有效的密集IR模型。其次，我们解决领域自适应的神经检索由于适配器跨域BEIR数据集和TripClick。最后，我们还考虑了知识共享之间的rankers和第一阶段的rankers。总之，我们的研究完成了神经IR适配器的检查
2023-03-23 cs.CL cs.IR
SPARTAN: Sparse Hierarchical Memory for Parameter-Efficient Transformers
Princeton University（普林斯顿大学）；IBM Research AI（IBM研究院AI）；Amazon AWS AI（亚马逊AWS AI）；The Allen Institute for AI（艾伦人工智能研究所）
微调预训练的语言模型（PLM）在一系列下游任务上实现了令人印象深刻的性能，因此它们的规模越来越大。由于每个任务都需要模型的不同副本，因此这种范例对于移动电话等存储受限的边缘设备是不可行的。在本文中，我们提出了SPARTAN，一个参数高效（PE）和计算速度快的边缘设备，每个Transformer层后增加分层组织的稀疏内存架构。SPARTAN冻结PLM参数并仅微调其内存，从而通过为不同任务重复使用PLM主干来显著降低存储成本。SPARTAN包含两个级别的内存，在第一级中为每个输入仅选择父节点的稀疏子集，并且与这些父节点对应的子单元用于计算输出表示。与PE基线（适配器）相比，这种稀疏性与其他架构优化相结合，在Raspberry Pi 4上进行推理时，SPARTAN的吞吐量提高了90%以上，同时在GLUE基准测试中也超过后者0.1个点。此外，它可以在Few-Shot设置中训练速度快34%，同时在适配器的0.9点内执行。定性分析表明，SPARTAN中不同的父细胞专注于不同的主题，从而有效地划分责任。
2022-11-29 cs.AI cs.CL cs.LG
KronA: Parameter Efficient Tuning with Kronecker Adapter
McGill University（麦吉尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在特定的下游任务上微调预训练语言模型（PLM）已经是自然语言处理中众所周知的范例。然而，随着PLM规模的不断增长，在多个下游任务上训练整个模型变得非常昂贵和资源匮乏。最近，提出了不同的参数有效调整（PET）技术，以提高微调PLM的效率。PET方法的一个流行类别是低秩适应方法，该方法将可学习的截短SVD模块顺序或并行插入到原始模型中。然而，低秩分解受到有限的表示能力的影响。在这项工作中，我们解决这个问题，使用克罗内克产品，而不是低秩表示。我们介绍KronA，这是一种基于Kronecker产品的适配器模块，用于对基于Transformer的PLM进行有效的微调。我们将所提出的方法应用于GLUE基准测试中的T5微调，以表明结合基于Kronecker的模块可以优于最先进的PET方法。
2022-12-20 cs.CL
A Comparative Study of Transformer-Based Language Models on Extractive Question Answering
University of Arkansas（阿肯色大学）；Army Educational Outreach Program UNITE（陆军教育拓展计划联合项目）
问答（QA）是自然语言处理中的一项任务，在Transformers出现后得到了相当大的发展。QA数据集的数量激增，这些数据集被提出来挑战自然语言处理模型，以提高人类和现有模型的性能。许多预先训练的语言模型已被证明在提取问答任务中非常有效。然而，普遍性仍然是大多数这些模型的一个挑战。也就是说，一些数据集需要模型比其他数据集更多地进行推理。在本文中，我们训练各种预先训练的语言模型，并在不同难度的多个问答数据集上对其进行微调，以确定哪些模型能够在不同数据集上最全面地推广。此外，我们提出了一种新的架构BERT-BiLSTM，并将其与其他语言模型进行比较，以确定增加更多的双向性是否可以提高模型性能。使用F1分数作为我们的度量标准，我们发现RoBERTa和BART预训练模型在所有数据集上表现最好，并且我们的BERT-BiLSTM模型优于基线BERT模型。
2021-10-07 cs.CL
A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures
Institute of Computational Mathematics and Information Technologies（计算数学与信息科技学院）；Kazan Federal University（卡兹安联邦大学）
本文通过构建多源平行语料库，系统比较了从基于规则到Transformer的六类模型，发现字节级ByT5在塔吉克-波斯语音译任务中表现最优（chrF++ 87.4/80.1），而基于子词的分词模型完全失败。
2026-06-01 cs.CL
VLSM-Adapter: Finetuning Vision-Language Segmentation Efficiently with Lightweight Blocks
Nepal Applied Mathematics and Informatics Institute (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
提出VLSM-Adapter，通过在冻结的预训练模型上仅训练轻量级模块，以仅300万参数高效微调医学图像视觉-语言分割模型，性能超越SOTA并媲美端到端微调。
2024-06-27 cs.AI cs.CL cs.CV
Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
School of Computing and Mathematics（计算与数学学院）
本文比较了DistilBERT、MiniLM和ALBERT三种轻量级Transformer模型在多领域任务中的效率与准确率，发现MiniLM在推理速度最佳，DistilBERT在任务准确性最均衡，ALBERT在资源受限环境下表现最优。
2026-01-01 cs.CL
Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition
Huawei R&D UK（华为英国研发中心）
自监督学习（SSL）是一个强大的工具，它允许从未标记的数据中学习底层表示。基于Transformer的模型，如wav2vec 2.0和HuBERT，在语音领域处于领先地位。一般来说，这些模型在少量标记数据上进行微调，用于下游任务，例如自动语音识别（ASR）。这涉及到为每个任务重新训练模型的大部分。适配器是小型轻量级模块，通常用于自然语言处理（NLP）中，以使预训练模型适应新任务。在本文中，我们建议将适配器应用于wav2vec 2.0，以减少下游ASR任务所需的参数数量，并增加模型对多个任务或语言的可扩展性。使用适配器，我们可以执行ASR，同时每个任务训练不到10%的参数，而完全微调几乎没有性能下降。烧蚀表明，将适配器应用到预训练网络的顶部几层中可以提供与完全传输相似的性能，支持较高的预训练层编码更多的音素信息的理论，并进一步优化效率。
2022-02-07 cs.CL cs.SD eess.AS
A Comparative Study on COVID-19 Fake News Detection Using Different Transformer Based Models
Ahsanullah University of Science and Technology（阿赫桑努拉科技大学）；Brac University（BRAC大学）
本研究比较了BERT、ALBERT、RoBERTa等五种基于Transformer的模型在COVID-19假新闻数据集上的检测性能，发现RoBERTa在真实和虚假类别中均达到0.98的F1分数，表现最佳。
2022-08-02 cs.CL cs.LG
Towards Resilient and Efficient LLMs: A Comparative Study of Efficiency, Performance, and Adversarial Robustness
New York University（纽约大学）
本研究针对注意力高效型大语言模型的对抗鲁棒性研究不足的问题，构建框架对比三类不同架构LLM的效率、性能与鲁棒性，发现简化架构模型可在三者间实现更优平衡，为资源受限且需抗对抗攻击的场景提供参考。
2024-09-14 cs.CL
A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers
Lancaster University（兰卡斯特大学）
本研究针对伦敦证券交易所上市公司年度报告的长文档摘要任务，比较了多种预训练Transformer模型和提取技术，提出BRUGEscore指标（ROUGE-2与BERTscore的调和平均）以改进评估，并通过统计检验和对抗性分析验证了其稳健性。
2026-10-08 cs.CL
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
A Comparative Study on Transformer vs RNN in Speech Applications
NTT Communication Science Laboratories（NTT通信科学实验室）；Waseda University（早稻田大学）；Johns Hopkins University（约翰霍普金斯大学）；LINE Corporation（LINE公司）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（Human Dataware 实验室有限公司）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Kyoto University（京都大学）；Shanghai Jiao Tong University（上海交通大学）
序列到序列模型已广泛用于端到端语音处理，例如，自动语音识别（ASR）、语音翻译（ST）和文本到语音（TTS）。本文重点介绍了一种称为Transformer的紧急序列到序列模型，该模型在神经机器翻译和其他自然语言处理应用中具有最先进的性能。我们进行了深入的研究，在总共15个ASR，一个多语言ASR，一个ST和两个TTS基准测试中，我们实验性地比较和分析了Transformer和传统的递归神经网络（RNN）。我们的实验揭示了Transformer在每个任务中获得的各种训练技巧和显着的性能优势，包括与RNN相比，Transformer在13/15 ASR基准测试中的惊人优势。我们正准备使用开源和公开可用的数据集发布Kaldi风格的可重复配方，用于所有ASR，ST和TTS任务，以便社区成功实现我们令人兴奋的成果。
2019-09-28 cs.CL cs.SD eess.AS
A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data
University of Toronto（多伦多大学）
目的：旨在比较评估几种Transformer模型架构在i2 b2/UTHealth 2014临床文本去识别挑战语料库中识别受保护健康信息（PHI）的能力。方法：i2 b2/UTHealth 2014语料库包含从N=296名患者中获得的N=1304份临床记录。使用迁移学习框架，我们在语料库上微调了几个Transformer模型架构，包括：BERT-base，BERT-large，ROBERTA-base，ROBERTA-large，ALBERT-base和ALBERT-xxlarge。在微调过程中，我们改变了以下模型超参数：批量大小，训练次数，学习率和权重衰减。我们在一个训练数据集上微调模型，在一个独立的验证数据集上评估和选择性能最佳的模型，最后在一个支持的测试数据集上评估泛化性能。我们从准确度、精确度（阳性预测值）、召回率（灵敏度）和F1评分（精确度和召回率的调和平均值）方面评估模型性能。我们感兴趣的是整体模型性能（已识别的PHI与未识别的PHI），以及特定于PHI的模型性能。结果如下：我们观察到，ROBERTA大型模型在识别i2 b2/UTHealth 2014语料库中的PHI方面表现最好，在heldout测试语料库中实现了>99%的总体准确率和96.7%的召回率/精确率。在许多PHI类的性能是好的，但是，准确性/精确度/召回率下降识别以下实体类：职业，组织，年龄和某些位置。结论…
2022-03-25 cs.CL stat.AP stat.CO
Exploring Adapter Design Tradeoffs for Low Resource Music Generation
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文研究了MusicGen和Mustango在低资源音乐生成中的适配器设计权衡，发现卷积适配器擅长局部细节、transformer适配器利于长程依赖，中等规模适配器效果最佳，且Mustango多样性好但训练慢，MusicGen高效但略冗余。
2025-08-11 cs.AI cs.CL cs.LG
Advancing Mental Disorder Detection: A Comparative Evaluation of Transformer and LSTM Architectures on Social Media
Dept. of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
该研究在Reddit精神健康分类任务上比较多种Transformer与LSTM模型，验证大型标注数据集后发现RoBERTa表现最佳，BERT嵌入增强的LSTM则以更低资源取得较强性能。
2025-07-17 cs.CL cs.LG
