Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford（牛津大学）
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近，且单个注意力头即可逼近任意连续函数，并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型，但由于自注意机制，在每个令牌生成期间会产生O（T）复杂度。最近的工作提出了基于核的方法来近似因果自我注意，通过使用具有各种更新规则和特征映射的递归公式来替换它，以实现O（1）的时间和内存复杂度。我们探索了这些方法，发现它们不必要地复杂，并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快，优于以前的方法，并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
Self-Tuning Sparse Attention: Multi-Fidelity Hyperparameter Optimization for Transformer Acceleration
Department of Computer Science University of Cincinnati（计算机科学系 哥伦比亚大学）
本文提出AFBS-BO框架，通过结合贝叶斯优化和二分搜索，自动优化Transformer各层和头的超参数，显著提升稀疏注意力机制的效率和性能。
2026-03-19 cs.AI cs.LG
Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer's Disease Detection
大规模人群的神经影像学检查对于识别促进或抵抗脑部疾病的因素，以及辅助诊断、分型和预后是有价值的。卷积神经网络（CNN）等数据驱动模型越来越多地应用于大脑图像，通过学习鲁棒特征来执行诊断和预测任务。Vision Transformers（ViT）是一种新的深度学习架构，近年来已经成为CNN在几个计算机视觉应用中的替代品。在这里，我们测试了ViT架构的变体，用于一系列基于难度的所需神经成像下游任务，在这种情况下，用于基于3D脑MRI的性别和阿尔茨海默病（AD）分类。在我们的实验中，两个Vision Transformer架构变体分别实现了0.987的性别AUC和0.892的AD分类AUC。我们独立地评估了我们的模型，数据来自两个基准AD数据集。我们分别在合成（由潜在扩散模型生成）和真实MRI扫描上预训练的微调Vision Transformer模型后，实现了5%和9-10%的性能提升。我们的主要贡献包括测试不同ViT训练策略的效果，包括预训练，数据增强和学习率预热，然后退火，与神经成像领域有关。这些技术对于训练用于神经成像应用的类ViT模型是必不可少的，其中训练数据通常是有限的。我们还通过数据模型缩放曲线分析了训练数据量对ViT测试时间性能的影响。
2023-03-14 cs.AI cs.CV cs.LG
Transformers, parallel computation, and logarithmic depth
Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文证明常数个自注意力层与Massively Parallel Computation的常数个通信轮次可相互高效模拟，由此得出对数深度足以让transformers解决其他神经序列模型及次二次近似无法高效求解的计算任务，确立了并行性为其关键区分属性。
2024-02-14 cs.LG
Provable Knowledge Acquisition and Extraction in One-Layer Transformers
本文研究了单层变换器中知识获取与提取的机制，通过理论分析和实验验证，揭示了预训练和微调过程中知识存储与提取的关系，以及低秩微调如何恢复预训练的事实知识。
2026-05-18 cs.CL cs.LG
Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
研究如何优化Transformer神经网络推理时间用于金融时间序列实时异常检测，探索不同架构在FPGA板上的高效实现，以最小化延迟进行时间序列异常检测。
2026-07-28 cs.AI cs.AR cs.DC
Fine-Tuning Dynamics of In-Context Factual Recall in Transformers
Duke University（杜克大学）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
研究Transformer在上下文学习中如何利用存储的参数化事实知识，通过引入上下文事实回忆任务并分析单层Transformer的微调动力学，证明模型收敛到特定的成对注意力模式，且所需样本量极少。
2026-05-26 cs.LG
CrudeBERT: Applying Economic Theory towards fine-tuning Transformer-based Sentiment Analysis Models to the Crude Oil Market
Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Applied Sciences of the Grisons（格劳宾登应用科学大学）
本文提出CrudeBERT，利用经济理论识别原油市场供需事件，微调FinBERT以提升原油期货新闻情感分类性能，并超越现有专有及开源方案。
2023-05-10 cs.IR cs.LG
Atleus: Accelerating Transformers on the Edge Enabled by 3D Heterogeneous Manycore Architectures
Washington State University（华盛顿州立大学）
本文提出3D异构众核架构Atleus，通过非易失性存储器、脉动阵列、NoC与量化协同支持边缘端Transformer微调和推理，性能与能效最高提升56倍和64.5倍。
2025-01-16 cs.AR cs.LG
Generalization Analysis of Transformers in Distribution Regression
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）
提出基于分布回归的Transformer学习框架，通过注意力算子实现分布到函数表示的无损压缩，并证明其在学习复杂结构泛函上优于CNN和全连接网络，最后给出泛化界并解释大模型技术原理。
2026-06-28 cs.LG stat.ML
xPerT: Extended Persistence Transformer
Seoul National University（首尔大学）
本文提出新型架构xPerT，通过减少GPU内存使用并提升准确率，解决了将持久性图作为特征纳入机器学习框架的挑战，且无需复杂预处理和超参数调优。
2024-11-14 cs.LG math.AT
Fine-Tuning Transformers: Vocabulary Transfer
Yandex；Higher School of Economics（高等经济大学）；Facebook UK（英国脸书）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）；University of Lisbon（里斯本大学）；CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响，提出结合词汇token初始化与微调策略的词汇迁移方法，可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
FL-Tuning: Layer Tuning for Feed-Forward Network in Transformer
East China University of Science and Technology（华东理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
提示微调是一种使预训练的语言模型适应下游任务的新兴方式。然而，现有的研究主要是在输入序列中添加提示。这种方法由于中间的多头自注意和前馈网络计算，使模型优化不是很顺利，不能达到预期的效果。因此，我们提出了一种新的调优方式称为层调优，旨在增加可学习的参数在Transformer层。具体而言，我们专注于前馈网络的层调谐在Transformer，即FL调谐。它在每个前馈网络的隐藏层中引入了额外的单元。我们在公共CLUE基准上进行了广泛的实验。结果表明：1）在几乎所有情况下，无论是全数据还是Few-Shot设置下，我们的FL-调谐都优于提示微调方法。特别是，与P-tuning v2相比，它在WSC 1.0上将精度提高了17.93%（全数据设置），在CLUENER上将精度提高了16.142%（Few-Shot设置）。2)我们的FL调谐更稳定，收敛速度比P调谐v2快1.17倍。3)由于只有大约3%的Transformer参数要训练，FL调整与大多数数据集上的微调相当，并且显著优于微调（例如，在WSC 1.1上的准确性提高了12.9%）。源代码可在https://github.com/genggui001/FL-Tuning上获得。
2022-06-30 cs.CL cs.LG
Progtuning: Progressive Fine-tuning Framework for Transformer-based Language Models
Institute of Information Engineering,Chinese Academy of Sciences（信息工程研究所，中国科学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Key Laboratory of Cyberspace Security Defense, Beijing, China（网络安全防御重点实验室，中国）
针对Transformer模型微调时计算资源分配低效的问题，提出结合渐进式学习的微调框架Progtuning，根据各Transformer块的贡献逐步减少更新参数量约25%，在保持竞争力的同时优化资源分配并展现高度适应性。
2025-06-26 cs.AI cs.CL
FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers
The Hong Kong Polytechnic University（香港理工大学）；Huazhong University of Science and Technology（华中科技大学）
联邦学习（FL）是一种新兴的范例，它使分布式用户能够协作和迭代地训练机器学习模型，而无需共享他们的私有数据。受基于自我注意力的架构的有效性和鲁棒性的激励，研究人员正在转向使用预先训练的Transformers（即，基础模型），而不是FL中的传统卷积神经网络，以利用其出色的迁移学习能力。尽管最近取得了进展，但预训练的Transformer模型如何在FL中发挥作用仍然不清楚，即如何在FL中有效地微调这些预训练模型以及FL用户如何从这种新范式中受益。在本文中，我们探讨了这个问题，并证明了微调Transformers实现FL非凡的性能，轻量级的微调方法有利于快速收敛速度和低通信成本。具体地，我们对三种调谐方法进行了严格的实证研究（即，修改输入、添加额外模块、以及调整主干）使用两种类型的预训练模型（即，视觉语言模型和视觉模型）。我们的实验表明：1）当依赖于强的预训练模型时，骨干的偏置项的微调表现最好; 2）视觉语言模型（例如，CLIP）优于纯视觉模型（例如，ViT），并且对Few-Shot设置更鲁棒; 3）与纯局部训练相比，使用预训练模型的FL具有更高的准确性，因为它消除了过拟合问题。我们将发布我们的代码，并鼓励进一步探索预先训练的Transformers和FL。
2022-11-15 cs.CL cs.CV cs.LG
Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）
本文提出Transformer Copilot框架，通过记录微调过程中的错误日志，设计副模型联合训练并校正主模型输出logits，在12个基准上最高提升性能34.5%，额外开销极低且扩展性强。
2025-11-14 cs.AI cs.CL cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG（拜耳股份公司）
生物医学领域的数据到文本（D2T）生成是一个很有前途的研究领域，但大多数尚未开发。在这里，我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明，微调Transformers能够产生现实的，多句文字的数据在生物医学领域，但有重要的限制。我们还发布了一个新的数据集（BioLeaflets），用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
Microsoft Research（微软研究院）
预训练的双向Transformers，例如BERT，在各种各样的语言理解任务中已经实现了显著的改进，而直接将它们应用于自然语言生成并不简单。在本文中，我们提出了一个序列到序列的微调工具包s2 s-ft，它采用预训练的Transformers的条件生成任务。受UniLM的启发，我们实现了三种序列到序列的微调算法，即因果微调、掩蔽微调和伪掩蔽微调。通过利用现有的预训练的双向Transformers，实验结果表明，s2 s-ft在抽象摘要和问题生成的几个基准上实现了强大的性能。此外，我们证明了包s2 s-ft支持单语和多语言NLG任务。s2 s-ft工具包可以在https://github.com/microsoft/unilm/tree/master/s2s-ft上找到。
2021-10-26 cs.CL
Training Optimus Prime, M.D.: Generating Medical Certification Items by Fine-Tuning OpenAI's gpt2 Transformer Model
National Board of Medical Examiners（美国国家医学考试委员会）
本文介绍了新的结果的应用程序使用基于transformer的语言模型自动生成项目（AIG），一个领域的认证测试领域的持续兴趣，以及在教育测量和心理测试。OpenAI的gpt 2预训练的345 M参数语言模型使用PubMed文章的公共领域文本挖掘集进行重新训练，随后用于生成项目词干（案例插图）以及多项选择项目的干扰项建议。这个案例研究展示了promise，并生成了可供人工项目编写者用作创作输入的草案文本。使用现有项目库对最近的Transformer模型（如Grover、TransformerXL）进行的未来实验预计将进一步改善结果，并促进评估材料的开发。
2019-08-29 cs.AI cs.CL
Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models
本研究对比了三种Transformer模型结合九种前沿适配器架构与传统微调在分类任务上的表现，发现适配器能用更少训练时间达到相当或更优性能，为NLP应用中适配器的选型与部署提供参考。
2025-01-14 cs.AI cs.CL
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen（瑞典公共就业服务局）；(Swedish Public Employment Service)（瑞典公共就业服务局（注：括号内为英文机构名的中文翻译补充，实际机构名以英文为准））
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型，通常需要在优化超参数空间中进行搜索。特别是，需要根据数据集大小调整训练epoch的数量。在本文中，我们介绍了自适应微调，这是一种替代方法，使用提前停止和自定义学习率调度来动态调整训练时期的数量，以数据集的大小。对于命名实体识别的示例用例，我们表明，我们的方法不仅使超参数搜索相对于训练时期的数量冗余，而且还导致性能，稳定性和效率方面的改进结果。这尤其适用于小数据集，在这种情况下，我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg（汉堡大学）
对预训练的Transformer网络（如BERT）进行微调，可为文本分类任务产生最先进的结果。通常，微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模（MLM）任务来预先以无监督的方式进行微调。因此，类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中，我们比较了当前预训练的Transformer网络，以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一，英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法，通过仅对部分输入 token 反向传播并缓存其中间激活值，大幅降低 Transformer 模型微调的内存开销，且可与 LoRA 等方法结合，在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba
Sony Group Corporation（索尼集团公司）
本文探索了Mamba模型的参数高效微调（PEFT）方法，通过改进现有方法并提出利用Mamba独特结构的新方法，实验证明PEFT在Mamba上比Transformer更有效，并提供了一个优于以往工作的组合框架。
2025-04-01 cs.AI cs.CL cs.CV
DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
Alexa AI（亚马逊Alexa人工智能部门）
虽然Transformers在许多知识密集型（KI）任务上表现出令人印象深刻的性能，但它们作为隐式知识库（KB）的能力仍然有限，如几个插槽填充，问答（QA），事实验证和实体链接任务所示。在本文中，我们实现了一个高效的，数据编程技术，丰富的训练数据与知识库派生的上下文，并提高Transformer利用编码的知识时，微调一个特定的QA任务，即答案句子选择（AS2）。我们的方法优于最先进的Transformer方法在WikiQA和TrecQA，两个广泛研究的AS2基准测试中，分别增加了2.0%p@1，1.3%MAP，1.1%MRR和4.4%p@1，0.9%MAP，2.4%MRR。为了证明我们在行业环境中的改进，我们还在Alexa QA对的专有数据集上评估了我们的方法，并显示F1增加了2.3%，MAP增加了2.0%。我们还发现，即使在推理时省略KB上下文，这些改进仍然存在，允许在现有的Transformer工作流中使用我们的模型，而不会产生额外的延迟或部署成本。
2022-03-17 cs.CL cs.LG
Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders
本文通过激活相似性分析、稀疏自编码器训练和token级激活可视化，揭示了BERT微调中表征的逐层演化：早期层保留通用特征，中间层过渡，后期层专精于任务，为理解微调机制提供了关键见解。
2025-02-23 cs.AI cs.CL
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University（清华大学）
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而，目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中，我们发现，在针对特定任务进行提示微调后，预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元，并通过以下发现证实它们编码特定于任务的技能：（1）技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时，预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外，我们证明了技能神经元最有可能在预训练而不是微调中生成，通过显示提示微调发现的技能神经元对于其他微调方法（冻结神经元权重）也至关重要，例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用，包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究，了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Transformers for Patronizing and Condescending Language Detection
Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）
Patronizing and Condensing Language（PCL）具有很大的有害影响，并且对于人类法官和现有的NLP系统都难以检测。在SemEval-2022任务4中，我们提出了一种新的基于transformer的模型及其集成，以准确理解PCL检测的语言上下文。为了促进对PCL的微妙和主观性质的理解，两个微调策略被应用于捕捉不同的语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显著的成绩，包括子任务1的第一名和子任务2的第五名。大量的实验任务证明了我们的系统和策略的有效性。
2022-07-16 cs.AI cs.CL
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University（高等经济大学）；Naver Labs Europe（Naver欧洲实验室）
预训练的Transformers在各种代码处理任务中实现了最先进的性能，但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块，这些模块可能潜在地使用预训练模型的单个实例，因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中，我们测试了两种广泛使用的方法，适配器和LoRA，这是最初测试的NLP任务，四个代码处理任务。我们发现，虽然有效的微调方法可能会实现可比或更高的性能比标准的，完整的，微调的代码理解任务，他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性，并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University（南京大学）；Saarland Informatics Campus（萨尔兰信息学园区）
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的，并且遵循严格的程序设计语言语法，因此通常利用其抽象树（AST）来通知编码器有关结构信息。然而，AST通常比源代码长得多。目前的方法忽略了大小限制，并简单地将整个线性化AST馈送到编码器中。为了解决这个问题，我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明，AST-变压器优于国家的艺术由一个相当大的保证金，同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
BitFit是一种针对Transformer掩码语言模型的简单参数高效微调方法，通过仅修改模型的偏置项来实现与完整微调相当甚至更优的性能。
2022-09-05 cs.CL cs.LG
A Million Tweets Are Worth a Few Points: Tuning Transformers for Customer Service Tasks
Ghent University（根特大学）
在特定于在线领域的客户服务应用程序中，许多公司都很难成功部署高级NLP模型，这是由于其数据集的可用性和噪声有限。虽然先前的研究表明，将大型开放域预训练模型迁移到特定领域任务的潜力，但在这种社交媒体客户服务环境中，特别是在多语言条件下，尚未对适当的（预）训练策略进行严格评估。我们通过收集包含客户服务对话（86.5万条推文）的多语言社交媒体语料库来解决这一差距，比较各种预训练和微调方法的管道，并将其应用于5个不同的最终任务。我们表明，在对特定的最终任务进行微调之前，在我们的域内数据集上预训练通用的多语言Transformer模型，可以持续提高性能，特别是在非英语设置中。
2021-04-16 cs.AI cs.CL
Investigating Efficiently Extending Transformers for Long Input Summarization
New York University（纽约大学）；Google Research（谷歌研究院）
虽然大型预训练的Transformer模型已被证明在处理自然语言任务方面具有很强的能力，但处理长序列输入仍然是一个重大挑战。一个这样的任务是长输入摘要，其中输入长于大多数预训练模型的最大输入上下文。通过一组广泛的实验，我们研究了什么样的模型架构变化和预训练范式可以最有效地适应预训练的Transformer长输入摘要。我们发现，交错的，块本地Transformer与全球编码器令牌罢工的性能和效率的良好平衡，以及一个额外的预训练阶段长序列有意义地提高下游汇总性能。基于我们的发现，我们引入了PEGASUS-X，这是PEGASUS模型的扩展，具有额外的长输入预训练，可处理多达16 K个令牌的输入。PEGASUS-X在长输入摘要任务上实现了与大得多的模型相当的强大性能，同时添加了很少的额外参数，并且不需要模型并行性来进行训练。
2022-08-08 cs.CL
The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model
Université Lumière Lyon 2（里昂第二大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工学院）；INSA Lyon（里昂国立应用科学学院）；Universite Claude Bernard Lyon 1（克洛德·贝尔纳里昂第一大学）；LIRIS, UMR5205（里昂信息图像与科学计算实验室，UMR5205）
提出一个框架建模Transformer在多GPU上训练的能耗，通过BERT架构扫描关联能耗与计算、内存流量和硬件效率，推导出跨异构配置准确预测训练能耗的缩放定律模型。
2026-06-23 cs.AI cs.AR cs.CL
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Efficiently Representing Algorithms With Chain-of-Thought Transformers
Allen Institute for AI（艾伦人工智能研究所）；ETH Zürich（苏黎世联邦理工学院）
本文证明链式思维Transformer能以多对数开销高效模拟Word RAM算法，包括排序和Dijkstra算法，优于模拟图灵机的二次开销。
2026-06-19 cs.AI cs.CL cs.LG
Understanding Transformers for Bot Detection in Twitter
Expert.ai Research Lab（Expert.ai研究实验室）
在本文中，我们阐明了微调对社交媒体数据在神经语言模型内部表示中的影响。我们专注于Twitter中的机器人检测，这是减轻和抵消社交媒体中虚假信息和偏见自动传播的一项关键任务。我们研究了使用预先训练的语言模型来解决检测由机器人或人类帐户完全基于其内容生成的推文。与GLUE等基准测试的一般趋势不同，BERT在常规文本的大多数分类任务中通常优于GPT和GPT-2等生成Transformers，我们观察到，在机器人检测任务中微调生成Transformers会产生更高的准确性。我们分析了每个Transformer的架构组件，并研究了微调对它们的隐藏状态和输出表示的影响。在我们的研究结果中，我们表明，BERT在预训练过程中捕获的部分语法信息和分布特性在微调时丢失，而生成式预训练方法设法保留这些特性。
2021-04-13 cs.CL cs.LG
Universality and Limitations of Prompt Tuning
UCLA（加州大学洛杉矶分校）；Google（谷歌）
本研究首次从普适近似与局限性两个角度，理论分析软提示调优在Transformer架构中的作用，证明其普适性并揭示有限深度下的记忆限制，给出参数下界并与LoRA对比，且获实证支持。
2023-11-16 cs.CL cs.LG
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University（阿尔托大学）
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而，关于这个主题的现有研究主要利用卷积和递归神经网络，它们通常比新型Transformers的性能要差。另一方面，应用Transformers的系统只关注目标文档，忽略了标签描述所包含的丰富语义信息。为了解决这个问题，我们开发了一个基于transformer的生物医学文本分类器，考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型（PTM）。我们在两个公共医疗数据集上的结果表明，所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University（伊斯坦布尔比尔基大学）
本研究针对土耳其语自然语言理解任务，微调基础版土耳其语BERT模型BERTurk，在命名实体识别等四项任务上超越现有基线，公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur（印度理工学院坎普尔分校管理科学系）；Department of Civil Engineering, Indian Institute of Technology Kanpur（印度理工学院坎普尔分校土木工程系）；Operations and Decision Sciences, Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校运营与决策科学系）；Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心）
提出基于线性规划的局部搜索框架，通过双层优化联合更新模型参数和正则化超参数，利用验证梯度和Hessian信息构造局部下降方向，在保持训练最优性的同时减少过拟合，实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi
University of Tyumen（秋明大学）；Thales Canada（泰雷兹加拿大公司）
本文描述了为英语和印度-雅利安语言共享任务2021中的仇恨语音和攻击性内容识别开发的神经模型。我们的团队neuro-utmn-thales参与了两项任务，对包含仇恨，攻击和亵渎内容的英语推文进行二进制和细粒度分类（英语子任务A和B），以及一项关于识别马拉地语中有问题的内容的任务（马拉地语子任务A）。对于英语子任务，我们研究了用于仇恨言论检测的额外语料库对微调Transformer模型的影响。我们还采用了基于Twitter-RoberTa的一对多的方法来区分仇恨，亵渎和攻击性帖子。我们的模型在英语子任务A中排名第三，F1得分为81.99%，在英语子任务B中排名第二，F1得分为65.77%。对于马拉地语的任务，我们提出了一个系统的基础上，不可知的BERT句子嵌入（LaBSE）。该模型在马拉地语子任务A中获得了第二个结果，获得了88.08%的F1。
2021-10-25 cs.AI cs.CL cs.LG
Fine-Tuning Transformers for Identifying Self-Reporting Potential Cases and Symptoms of COVID-19 in Tweets
Johns Hopkins University（约翰斯·霍普金斯大学）；Barnard College（巴纳德学院）；Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）
我们描述了我们对2021年健康应用社交媒体挖掘（SMM 4 H）共享任务的任务5和6的直接方法。我们的系统基于对每个任务的Distill- BERT进行微调，以及首先对其他任务的模型进行微调。我们探讨了需要进行多少微调才能准确地将推文分类为包含自我报告的COVID-19症状（任务5），或者与COVID-19相关的推文是自我报告、非个人报告还是病毒的文献/新闻提及（任务6）。
2021-04-12 cs.CL cs.SI
On the Interplay Between Fine-tuning and Composition in Transformers
University of Chicago（芝加哥大学）
预训练的Transformer语言模型在各种NLP任务上表现出卓越的性能。然而，最近的研究表明，这些模型中的短语级表征反映了词汇内容的严重影响，但缺乏证据的复杂，成分短语信息。在这里，我们调查的影响微调的上下文嵌入捕捉词汇内容以外的短语含义信息的能力。具体来说，我们微调了具有高词汇重叠的对抗性释义分类任务和情感分类任务的模型。微调后，我们分析了短语表示在控制设置之前的工作。我们发现，微调在很大程度上未能使这些表示中的组合性受益，尽管对情绪的训练对某些模型产生了较小的局部益处。在后续分析中，我们确定了释义数据集中的混淆线索，这可能解释了该任务缺乏组合物的好处，我们讨论了情感训练的本地化好处的潜在因素。
2021-06-01 cs.CL
An Empirical Study on the Transferability of Transformer Modules in Parameter-Efficient Fine-Tuning
Sharif University of Technology（谢里夫理工大学）；University of Amsterdam（阿姆斯特丹大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
参数高效微调方法最近引起了很多关注。这些方法具有相当低的可训练权重数，可以带来可扩展性和计算效率。在本文中，我们寻找最佳的子网络，并研究不同的Transformer模块在将知识从预先训练的模型转移到下游任务中的能力。我们的实证结果表明，BERT中的每个Transformer模块都可以作为获胜的门票：微调每个特定模块，同时保持网络的其余部分冻结，可以导致与完全微调相当的性能。在不同的模块中，LayerNorms在有限的可训练权重下表现出最好的知识转移能力，在某种程度上，在分层分析中只有0.003%的所有参数，它们在各种目标任务上表现出可接受的性能。关于其有效性背后的原因，我们认为，与预训练的BERT中的其他模块相比，其显着的性能可以归因于其高量级的权重。
2023-02-22 cs.CL
Fine-tuning ClimateBert transformer with ClimaText for the disclosure analysis of climate-related financial risks
Universidad Pontificia Comillas（卡米亚斯大主教大学）
近年来，金融代理人，特别是特定投资者和机构投资者越来越多地要求公司报告与气候相关的金融风险。公司为了在财务和非财务报告中确定这些类型的风险，预计将在短期内披露大量文本格式的信息，特别是为了应对正在通过的关于这一问题的越来越多的法规。为此，本文采用最先进的自然语言处理技术来实现文本语料库中的气候变化检测。我们使用迁移学习来微调两个Transformer模型，BERT和ClimateBert -一个最近发布的基于DistillRoBERTA的模型，专门为气候文本分类量身定制。这两个算法是基于Transformer架构，使学习文本中的单词之间的上下文关系。我们在新的Clima-Text数据库上对这两种模型进行了微调，该数据库包括从维基百科，10 K文件报告和基于网络的索赔中收集的数据。我们的文本分类模型从ClimateBert对ClimaText的微调过程中获得，在这个特定的问题上优于使用BERT和当前最先进的Transformer创建的模型。我们的研究是第一个在ClimaText数据库上实现最近发表的ClimateBert算法的研究。根据我们的研究结果，可以说ClimateBert在ClimaText上微调是NLP预训练Transformer模型中的一个出色工具，投资者，机构代理人和公司本身可以并且应该使用它来监控财务报告中的气候风险披露。此外，我们的迁移学习方法在计算方面是便宜的，因…
2023-03-21 cs.AI cs.CL
Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models
McGill University（麦吉尔大学）
本研究提出一种基于训练样本分类成功率的微调数据集自动剪枝方法，可自动生成适配不同模型与任务的多个剪枝子集，在5项下游任务上验证了剪枝后训练集更小且性能略有提升的效果。
2024-07-11 cs.CL cs.LG
Efficiently Scaling Transformer Inference
Google（谷歌）
我们研究了Transformer模型的高效生成推理问题，在其最具挑战性的设置之一：大型深度模型，具有紧密的延迟目标和长序列长度。更好地理解大型基于transformer的模型的推理的工程权衡非常重要，因为这些模型的用例在整个应用领域中快速增长。我们开发了一个简单的推理效率分析模型，根据应用需求选择最佳的TPU v4切片优化多维分区技术。我们将这些与一套低级优化相结合，以在500 B+参数模型上实现延迟和模型FLOPS利用率（MFU）权衡的新Pareto前沿，该模型优于FasterTransformer基准测试套件。我们进一步表明，通过适当的分区，多查询注意力（即多个查询头共享单个键/值头）的内存需求较低，可以扩展到32倍更大的上下文长度。最后，我们在生成过程中实现了每个令牌29 ms的低批量延迟（使用int 8权重量化），在输入令牌的大批量处理过程中实现了76%的MFU，同时在PaLM 540 B参数模型上支持长2048令牌上下文长度。
2022-11-09 cs.CL cs.LG
STF: Sentence Transformer Fine-Tuning For Topic Categorization With Limited Data
Laboratory of Vision and Artificial Intelligence (LAVIA)（视觉与人工智能实验室（LAVIA））；Echahid Cheikh Larbi Tebessi University（沙希德·谢赫·拉比·特贝西大学）
本文提出句子变换器微调（STF）方法，利用预训练句子变换器模型在有限标注数据下实现高准确率的推文主题分类，并通过参数敏感性分析优化性能，在两个基准数据集上优于现有最先进方法。
2024-07-03 cs.CL
T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
University of British Columbia（不列颠哥伦比亚大学）；Huawei Cananda Technologies Co. Ltd.（华为加拿大技术有限公司）
Transformers是NLP中的主导架构，但它们的训练和微调仍然非常具有挑战性。在本文中，我们提出了一个视觉分析框架的设计和实现，以帮助研究人员在这样的过程中，通过为他们提供有价值的见解模型的内在属性和行为。我们的框架提供了一个直观的概述，允许用户探索模型的不同方面（例如，隐藏状态、注意力），并允许一套内置算法来计算模型组件和输入序列不同部分的重要性。案例研究和用户焦点小组的反馈表明，该框架是有用的，并提出了几项改进建议。
2021-08-31 cs.CL cs.HC
TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks
Humboldt-Universität zu Berlin（柏林洪堡大学）；Science Of Intelligence（科学智能研究院）
本文提出开源轻量库TransformerRanker，通过LogME、H-Score、kNN可迁移性估计与层聚合，在无需微调的情况下为下游分类任务高效排序并选择最合适的PLM。
2024-09-09 cs.CL
Towards Infinite-Long Prefix in Transformer
The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；University of California, Berkeley（加州大学伯克利分校）；Sun Yat-sen University（中山大学）
针对 Prefix Learning 理论理解有限的问题，本文基于 NTK 框架为超长前缀训练提供收敛保证，并设计仅需少量额外参数即可近似无限长前缀注意力的算法，在多领域实验中表现优异。
2024-10-16 cs.AI cs.CL cs.LG
What Would Elsa Do? Freezing Layers During Transformer Fine-Tuning
University of Waterloo（滑铁卢大学）
预训练的基于transformer的语言模型已经在自然语言处理的无数任务中达到了最先进的水平。这些模型具有高度的表现力，至少包含一亿个参数和十几个层。最近的证据表明，只有少数最终层需要进行微调，以实现下游任务的高质量。自然，随后的研究问题是，“我们需要微调最后几层？“在本文中，我们确切地回答了这个问题。我们研究了两个最近的预训练语言模型，BERT和RoBERTa，在文本蕴涵，语义相似性，情感分析和语言可接受性的标准任务。我们改变微调的最终层的数量，然后研究特定任务有效性的变化。我们发现，只有四分之一的最终层需要微调，以实现90%的原始质量。令人惊讶的是，我们还发现微调所有层并不总是有帮助。
2019-11-08 cs.CL
