Efficient Adaptive Transformer: An Empirical Study and Reproducible Framework
OPSWAT
EAT框架统一三种自适应效率技术，提供开源可复现基准测试流水线，实证显示在SST-2上准确率略高于DistilBERT，主要贡献是开放框架供社区研究。
2025-10-14 cs.AI cs.CL
Transformer-F: A Transformer network with effective methods for learning universal sentence representation
Beijing University of Posts and Telecommunications（北京邮电大学）
Transformer模型广泛用于自然语言处理中的句子表示。然而，以前的基于transformer的模型集中在功能词，在大多数情况下，具有有限的意义，只能提取高层次的语义抽象特征。本文介绍了两种提高Transformers性能的方法。我们通过将词性权重向量与相关系数相乘来计算注意力得分，这有助于提取更实际意义的单词。权值向量由输入文本序列根据词性的重要性得到。此外，我们融合了每一层的特征，使句子表示结果更加全面和准确。在实验中，我们证明了我们的模型Transformer-F在三个标准文本分类数据集上的有效性。实验结果表明，我们提出的模型显着提高文本分类的性能相比，基线模型。具体来说，我们在简单任务上获得了比普通Transformer 5.28%的相对改进。
2021-07-02 cs.CL cs.LG
Faster Depth-Adaptive Transformers
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
深度自适应神经网络可以根据输入词的难易程度动态调整深度，从而提高效率。主要的挑战是如何测量这种硬度并决定所需的深度（即，层）进行。以前的工作一般建立一个暂停单元，以决定是否计算应该继续或停止在每一层。由于没有对深度选择的具体监督，因此停止单元可能是欠优化的和不准确的，这导致在建模句子时的次优和不稳定的性能。在本文中，我们摆脱了停顿单元，并提前估计所需的深度，这产生了一个更快的深度自适应模型。具体地，提出了两种方法来显式地测量输入词的硬度并估计相应的自适应深度，即1）基于互信息（MI）的估计和2）基于重构损失的估计。我们对文本分类任务进行了实验，使用了24个不同大小和领域的数据集。结果证实，我们的方法可以加快香草Transformer（高达7倍），同时保持高精度。此外，效率和鲁棒性显着提高时，与其他深度自适应方法相比。
2020-12-16 cs.CL
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.（NAVER公司Clova AI）；New York University（纽约大学）
尽管Transformers具有令人印象深刻的精度，但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法，以提高推理效率需要一个单独的模型，为每一个可能的计算预算。在本文中，我们扩展了POWER-BERT（Goyal等人，2020），并提出了长度自适应Transformer，可用于各种推理场景后，一次性训练。我们用LengthDrop（dropout的一种结构变体）训练一个Transformer，它随机确定每一层的序列长度。然后，我们进行多目标的进化搜索，找到一个长度配置，最大限度地提高精度，并在任何给定的计算预算的效率指标最小化。此外，我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程，暂时丢弃字向量在中间层和恢复在最后一层，如果必要的。我们实证验证所提出的方法的效用，通过展示优越的准确性和效率的权衡下，各种设置，包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining
Iran University of Science and Technology（伊朗科技大学）
本研究针对 SemEval-2023 任务 10，提出基于 Transformer 的预训练模型，结合任务自适应预训练与集成学习，用于在线性别歧视检测，在子任务 A、B、C 上分别获得 83%、64%、47% 的 F1 分数。
2023-05-11 cs.CL
Depth-Adaptive Transformer
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Facebook AI Research（Facebook人工智能研究）
用于大规模任务的现有技术的序列到序列模型对每个输入序列执行固定数量的计算，而不管它是容易还是难以处理。在本文中，我们训练Transformer模型，它可以在网络的不同阶段进行输出预测，我们研究了不同的方法来预测一个特定的序列需要多少计算。与Universal Transformers中迭代应用同一组层的动态计算不同，我们在每一步应用不同的层来调整计算量和模型容量。在IWITOS德语-英语翻译上，我们的方法与调好的基线Transformer的准确性相匹配，同时使用不到四分之一的解码器层。
2020-02-14 cs.CL cs.LG
Universal Approximation of Visual Autoregressive Transformers
The University of Chicago（芝加哥大学）；University of New South Wales（新南威尔士大学）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
该研究扩展对Transformer基础模型基本限制的分析至视觉自回归（VAR）Transformer，证明单头单自注意力层单插值层的VAR Transformer是图像到图像Lipschitz函数的通用逼近器，为高效VAR策略提供设计原则。
2025-02-10 cs.AI cs.CL cs.CV
Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Baidu Inc.（百度公司）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
提出内在思考Transformer（ITT），通过动态深度缩放和隐式思考路径优化，在减少参数和训练数据的同时提升关键词元推理性能。
2025-02-23 cs.CL
Adaptive Loops and Memory in Transformers: Think Harder or Know More?
Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫 IAIS 研究所）；University of Bonn（波恩大学）
本研究提出结合自适应循环和门控记忆的变换器模型，提升数学推理和常识任务性能。
2026-03-11 cs.CL
Consistent Accelerated Inference via Confident Adaptive Transformers
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们开发了一种新的方法，自信地加速推理的大型和昂贵的多层Transformers，现在无处不在的自然语言处理（NLP）。摊销或近似计算方法提高了效率，但可能带来不可预测的性能成本。在这项工作中，我们提出了CAT-自信的自适应Transformers -在其中，我们同时提高计算效率，同时保证与原始模型的一致性与高置信度的指定程度。我们的方法在中间层之上训练额外的预测头，并使用Meta一致性分类器动态决定何时停止向每个输入分配计算工作。为了校准我们的早期预测停止规则，我们制定了一个独特的扩展共形预测。我们证明了这种方法在四个分类和回归任务的有效性。
2021-09-09 cs.AI cs.CL cs.LG
Sparse Universal Transformer
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Mila, University of Montreal（蒙特利尔大学米拉研究所）
针对通用 Transformer 扩展参数计算和内存开销大的问题，提出稀疏通用 Transformer，结合稀疏专家混合与基于 stick-breaking 的动态停止机制，在保持参数效率和泛化能力的同时降低计算复杂度，实验证明性能相当且推理计算减半。
2023-10-11 cs.AI cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本，近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量，更深和更广泛的体系结构被应用到多语言建模，以获得更大的模型容量，这同时也增加了推理成本。近年来的研究指出，语言之间的共同参数是干扰的原因，但它们也可能促进正迁移。基于这些见解，我们提出了一种自适应和稀疏的多语言建模架构，并训练模型学习共享和语言特定的参数，以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络，自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上，与标准Transformer相比，在不增加推理成本的情况下，分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge（微软研究院剑桥分部）
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度，发现预训练模型在简单任务中使用较少层，而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Transformers perform adaptive partial pooling
University of Oregon（俄勒冈大学）
本文研究了Transformer模型在训练过程中自适应部分池化特性，发现其下一个词预测随着训练进行逐渐减少对外部观察的依赖，且受情境频率、数量和变化影响。
2026-08-04 cs.AI cs.CL
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen（瑞典公共就业服务局）；(Swedish Public Employment Service)（瑞典公共就业服务局（注：括号内为英文机构名的中文翻译补充，实际机构名以英文为准））
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型，通常需要在优化超参数空间中进行搜索。特别是，需要根据数据集大小调整训练epoch的数量。在本文中，我们介绍了自适应微调，这是一种替代方法，使用提前停止和自定义学习率调度来动态调整训练时期的数量，以数据集的大小。对于命名实体识别的示例用例，我们表明，我们的方法不仅使超参数搜索相对于训练时期的数量冗余，而且还导致性能，稳定性和效率方面的改进结果。这尤其适用于小数据集，在这种情况下，我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
Transformer-Squared: Self-adaptive LLMs
Sakana AI（萨卡纳人工智能公司）；Institute of Science Tokyo（东京科学大学）
本文提出Transformer-Squared，一种通过选择性调整权重奇异分量并利用强化学习训练专家向量动态混合的自适应框架，以高效实时适应新任务，优于LoRA并支持多模态。
2025-01-24 cs.AI cs.CL cs.LG
Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
该研究针对Transformer类大语言模型的理论基础缺失问题，引入通用逼近理论（UAT）作为理论框架，旨在解释Transformer的有效性、ICL能力、LoRA微调增强及模型剪枝实用性等核心问题。
2024-12-11 cs.AI cs.CL cs.LG
Universal Transformers
University of Amsterdam（阿姆斯特丹大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
递归神经网络（RNN）通过使用每个新数据点更新其状态来顺序处理数据，并且长期以来一直是序列建模任务的事实上的选择。然而，它们固有的顺序计算使它们训练缓慢。前馈和卷积架构最近已被证明在某些序列建模任务（如机器翻译）上取得了优异的结果，其附加优势是它们同时处理序列中的所有输入，从而易于并行化和更快的训练时间。然而，尽管取得了这些成功，但流行的前馈序列模型（如Transformer）在许多递归模型轻松处理的简单任务中无法泛化，例如，当字符串或公式长度超过训练时观察到的长度时，复制字符串或甚至简单的逻辑推理。我们提出了通用的Transformer（UT），一个并行的时间自我关注的经常性序列模型，它可以被铸造作为一个概括的Transformer模型，并解决了这些问题。UT将前馈序列模型（如Transformer）的并行性和全局感受野与RNN的经常性感应偏置相结合。我们还增加了一个动态的每位置停止机制，并发现它提高了几个任务的准确性。与标准的Transformer相比，在某些假设下，UT可以被证明是图灵完备的。我们的实验表明，UT在广泛的算法和语言理解任务上优于标准Transformers，包括具有挑战性的LAMBADA语言建模任务，其中UT实现了最新的技术水平，以及机器翻译，其中UT在WMT 14 En-De数据集上实现了比Transformers 0.9 BLEU的改进。
2019-03-05 cs.CL cs.LG stat.ML
An Evolved Universal Transformer Memory
Sakana AI
针对现代基础模型成本与性能的权衡问题，提出可进化的神经注意力记忆模型（NAMMs），通过学习记忆管理网络提升Transformer性能与效率，实现跨模态零样本迁移及多任务显著优化。
2025-02-13 cs.AI cs.CL cs.LG
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU（挪威科技大学）；KU Leuven（鲁汶大学）；National Institute of Informatics（国立信息学研究所）；Zhejiang University（浙江大学）
针对边缘设备ASR模型参数量大的问题，提出块重用策略BRST与适配器模块ADM，在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER，有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；Microsoft Azure AI（微软Azure人工智能）；Microsoft Research（微软研究院）
最近的研究表明，在大型Transformer模型中存在显著的冗余。可以修剪冗余参数，而不会显着牺牲泛化性能。然而，我们质疑，如果这些冗余参数经过适当的训练，它们是否可以做出更大的贡献。为了回答这个问题，我们提出了一种新的训练策略，鼓励所有参数进行充分的训练。具体来说，我们自适应地调整学习率为每个参数根据其灵敏度，一个强大的基于梯度的措施，反映了这个参数的模型性能的贡献。敏感度低的参数是多余的，我们通过提高它的学习率来改进它的拟合。相比之下，具有高灵敏度的参数是经过良好训练的，我们通过降低其学习率来正则化它，以防止进一步的过拟合。我们在自然语言理解、神经机器翻译和图像分类上进行了大量的实验，以证明所提出的时间表的有效性。分析表明，该调度确实减少了冗余，提高了泛化性能。
2022-02-14 cs.CL cs.LG
Task Adaptive Pretraining of Transformers for Hostility Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
近年来，识别网络上，尤其是社交媒体上的不利和敌对内容已成为人们最感兴趣的问题。随着其日益普及，使用分类器头对预训练的基于transformer的编码器模型进行微调正逐渐成为自然语言分类任务的新基线。在我们的工作中，我们在对基于transformer的架构进行微调之前，探索了任务自适应预训练（tap）的收益。我们专门研究两个问题，即（a）粗二进制分类的印地语推文到敌意或不，和（b）细粒度的多标签分类的推文到四个类别：仇恨，虚假，进攻，诽谤。在将表情符号和分段主题标签纳入分类考虑的架构基础上，我们能够通过实验展示TAPT带来的性能升级。我们的系统（团队名称为“iREL IIIT”）在“印地语中的敌意后检测”共享任务中排名第一，粗粒度检测的F1得分为97.16%，细粒度多标签分类的加权F1得分为62.96%。
2021-01-09 cs.CL cs.IR cs.LG
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
