Run LoRA Run: Faster and Lighter LoRA Implementations
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出 RunLoRA 框架，依据线性层维度、输入维度和秩，并结合 FLOPs 与时间估计选择前向、反向计算图，以在不损失准确率的前提下加速 LoRA 训练与微调，最高提速 28%。
2024-06-14 cs.LG
TeamFormer: Shallow Parallel Transformers with Progressive Approximation
Dept. of Computing, Hong Kong Polytechnic University, Hong Kong（计算机系，香港理工大学，香港）
TeamFormer通过浅层并行结构与渐进近似方法，在保持性能的同时实现模型压缩和加速。
2026-02-24 cs.LG
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
ShanghaiTech University（上海科技大学）；BIGAI（北京智源人工智能研究院）
针对自回归Transformer长序列处理的计算与内存瓶颈，提出结合评分网络与可微SPARSEK算子的稀疏注意力机制，实现生成阶段线性复杂度与恒定内存，性能与速度优于现有方法且易集成到预训练LLMs。
2024-06-24 cs.CL cs.LG
Simplifying Transformer Blocks
ETH Zurich（苏黎世联邦理工学院）
本研究基于信号传播理论简化标准Transformer块，移除跳跃连接、归一化层等组件，在保持训练速度和性能的同时实现15%的训练加速和参数减少。
2024-05-31 cs.LG
Pattern Attention Transformer with Doughnut Kernel
Undergraduate Student of Information Technology, Beijing University of Tehcnology, Beijing, China
本文提出模式注意力Transformer（PAT），用正八边形甜甜圈核替代方形块，以感知区和更新区取代直线边界，在ImageNet 1K上以更轻架构实现比Swin Transformer更高的吞吐量和准确率。
2023-09-17 cs.CV cs.LG
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文揭示了状态空间模型与注意力变体间的理论联系，提出状态空间对偶性框架，并据此设计了比Mamba快2-8倍且在语言建模上保持竞争力的新架构Mamba-2。
2024-05-31 cs.LG
FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
Beijing Value Simplex Technology Co. Ltd（北京值数科技有限公司）
在自然语言处理（NLP）中，最先进的（SOTA）半监督学习（SSL）框架在深度预训练的语言模型（如BERT）上表现出出色的性能，预计将大大减少对手动标记的需求。然而，我们的实证研究表明，这些框架不适合轻量级模型，如TextCNN，LSTM等。在这项工作中，我们开发了一个新的SSL框架，称为FLiText，它代表更快，更轻的半监督文本分类。FLiText引入了一个鼓舞人心的网络以及一致性正则化框架，该框架利用轻量级模型上的广义正则约束来实现高效的SSL。因此，FLiText在文本分类的多个SSL基准测试中为轻量级模型获得了新的SOTA性能。与TextCNN上现有的SOTA SSL方法相比，FLiText将轻量级模型TextCNN在IMDb上的准确率从51.00%提高到90.49%，在Yelp-5上从39.8%提高到58.06%，在Yahoo上从55.3%提高到65.08%。此外，与全数据集上的全监督方法相比，FLiText仅使用不到1%的标记数据，在IMDb，Yelp-5和Yahoo的数据集上分别提高了6.59%，3.94%和3.22%的准确率。
2021-09-12 cs.CL cs.LG
ProFormer: Towards On-Device LSH Projection Based Transformers
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Amazon Alexa（亚马逊Alexa）；Google（谷歌）
基于文本的神经模型的核心是单词表示，它功能强大，但占用大量内存，这使得部署到具有内存限制的设备（如手机，手表和物联网）具有挑战性。为了克服这些挑战，我们引入了ProFormer --一种基于投影的Transformer架构，它更快、更轻，适合部署到内存受限的设备上，并保护用户隐私。我们使用LSH投影层动态地动态生成单词表示，而不嵌入查找表，从而将内存占用从O（V.d）显著减少到O（T），其中V是词汇大小，d是嵌入维度大小，T是LSH投影表示的维度。我们还提出了一个局部投影注意（LPA）层，它使用自注意将N个LSH单词投影的输入序列转换为N/K个表示的序列，从而使计算量二次减少O（K^2）。我们评估了ProFormer在多个文本分类任务上的表现，并观察到其在短文本分类方面优于现有最先进的设备上方法，而在长文本分类任务上的表现则与之相当。与2层BERT模型相比，ProFormer将嵌入内存占用从92.16 MB减少到1.3 KB，计算开销减少了16倍，这是非常令人印象深刻的，使其成为最快和最小的设备模型。
2021-04-24 cs.CL cs.LG
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Tricks and Plug-ins for Gradient Boosting with Transformers
Northwestern University（西北大学）；Allstate（Allstate公司）
本文提出BoostTransformer框架，通过子网格token选择和重要性加权采样将提升原理引入transformer，实现更高效训练和更优性能。
2025-11-01 cs.LG stat.ML
Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward
Nyun AI；Khalifa University of Science and Technology（哈利法科技大学）
本综述探讨了LLM推理的计算与内存挑战，概述了模型压缩与系统级优化方法，并在LLaMA(/2)-7B上评估了各种压缩技术，为高效部署LLM提供了实用见解和未来方向。
2024-04-24 cs.AI cs.CL cs.LG
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks for Lighter, Faster and Robust Models
UpGrad Education Pvt Limited（UpGrad教育私人有限公司）；Salesforce（赛富时）
深度学习彻底改变了计算机视觉、自然语言理解、语音识别、信息检索等领域。在过去的十年中，许多技术已经发展，使模型更轻，更快，更强大，更好的泛化。然而，许多深度学习从业者坚持使用预先训练的模型和架构，这些模型和架构主要是在Imagenet、MS-COCO、IMDB-Wiki Dataset和Kinetics-700等标准数据集上训练的，他们要么犹豫不决，要么不知道从头开始重新设计架构，以获得更好的性能。这种情况会导致模型效率低下，不适合移动、边缘和雾等各种设备。此外，这些传统的训练方法是值得关注的，因为它们消耗了大量的计算能力。在本文中，我们重新审视了各种SOTA技术，这些技术处理架构效率（全局平均池化，深度卷积和挤压和激励，Blurpool），学习率（循环学习率），数据增强（Mixup，Cutout），标签操作（标签平滑），权重空间操作（随机权重平均）和优化器（锐度感知最小化）。我们演示了如何通过顺序减少训练参数的数量并使用上述技术以分阶段的方式构建高效的深度卷积网络。我们在MNIST数据上实现了99.2%的SOTA准确率，只有1500个参数，在CIFAR-10数据集上实现了86.01%的准确率，只有140 K多个参数。
2022-05-23 cs.AI cs.CV cs.LG
SDBERT: SparseDistilBERT, a faster and smaller BERT model
Indian Institute of Science（印度科学学院）
在这项工作中，我们介绍了一个新的Transformer架构称为稀疏DistilBERT（SDBERT），这是一个稀疏注意和知识的解释（KD）的组合。我们实现了稀疏注意力机制，以减少对输入长度的二次依赖线性。除了降低模型的计算复杂性外，我们还使用了知识蒸馏（KD）。我们能够将BERT模型的大小减少60%，同时保持97%的性能，并且只需要40%的时间来进行训练。
2022-07-28 cs.CL cs.IT cs.LG
Fundamental Limitations on Subquadratic Alternatives to Transformers
Columbia University（哥伦比亚大学）
本文证明，在细粒度复杂性理论猜想下，任何亚二次时间的Transformer替代方案（如Mamba）都无法执行文档相似性任务，而Transformer可完成该任务，其二次时间不可避免。
2025-05-23 cs.CC cs.CL cs.LG
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
Lighter, Better, Faster Multi-Source Domain Adaptation with Gaussian Mixture Models and Optimal Transport
CEA, List（CEA LIST）；Université Paris-Saclay（巴黎-萨克雷大学）
本文提出基于高斯混合模型与最优传输的多源域自适应框架，通过高效求解GMM间最优传输及重心计算，提出WBT和DaDiL两种策略，在四个基准上实现更快、参数更少且性能更优的结果。
2024-08-21 cs.LG stat.ML
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题，通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT，在ImageNet-1K上实现准确率与效率的更优平衡，适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
Fast Transformer Decoding: One Write-Head is All You Need
Google（谷歌）
在Transformer神经序列模型中使用的多头注意力层是RNN的一个强大的替代方案，用于在序列之间移动信息。虽然训练这些层通常是快速和简单的，由于跨序列长度的并行化，增量推理（这种并行化是不可能的）通常是缓慢的，由于重复加载大的“键”和“值”张量的内存带宽成本。我们提出了一种称为多查询注意力的变体，其中键和值在所有不同的注意力“头”之间共享，大大减少了这些张量的大小，从而减少了增量解码的内存带宽要求。我们通过实验验证，由此产生的模型确实可以更快地解码，并且只会导致基线的轻微质量下降。
2019-11-06 cs.CL cs.LG cs.NE
Fast Vision Transformers with HiLo Attention
Monash University（莫纳什大学）
本文提出LITv2视觉Transformer，其核心是HiLo自注意力机制，通过将注意力头分为高频局部窗口组和低频全局池化组来解耦频率模式，在保持精度的同时显著提升GPU和CPU上的推理速度，可作为图像分类、检测和分割任务的强大骨干网络。
2023-04-19 cs.AI cs.CV cs.LG
Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter
University College London（伦敦大学学院）；JPMorganChase（摩根大通）；University of Oxford（牛津大学）；AIML Global Markets, Barclays（巴克莱证券AIML全球市场）
针对扩散模型推理计算量大的问题，提出Sig-DEG（基于签名的微分方程生成器），通过部分签名和循环结构逼近反向扩散过程，在粗时间网格蒸馏模型，推理步骤减一个数量级且生成质量具竞争力。
2026-10-15 cs.LG math.PR stat.ML
Faster, Lighter, More Accurate: A Deep Learning Ensemble for Content Moderation
Comcast（康卡斯特）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种高效轻量的深度分类集成结构，利用缩减颜色特征的轻量级模型组合，在图像和视频内容审核中实现高精度与低误报，推理速度提升7.64倍，并倡导“小而多”的模型集成理念。
2023-09-10 cs.AI cs.CV cs.LG
Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones
University of Bologna（博洛尼亚大学）；ETH Zürich（苏黎世联邦理工学院）；Technology Innovation Institute（技术创新研究院）；Dalle Molle Institute for Artificial Intelligence（达勒·莫勒人工智能研究所）
本文提出 Tiny-PULP-Dronet 压缩方法，在保持 PULP-Dronet 飞行性能的同时将参数减少50倍、乘加运算减少27倍，为资源受限纳米无人机实现多任务智能提供轻量推理方案。
2024-07-02 cs.CV cs.LG cs.RO
CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
基于变换的文本到图像模型的发展受到其生成速度慢和高分辨率图像复杂性的阻碍。在这项工作中，我们提出了一个解决方案的基础上，分层Transformers和本地并行自回归生成。我们使用简单灵活的自监督任务跨模态通用语言模型（CogLM）预训练6 B参数Transformer，并对其进行微调以实现快速超分辨率。新的文本到图像系统CogView 2与并发的最先进的DALL-E-2相比显示出非常有竞争力的生成，并且自然地支持交互式文本引导的图像编辑。
2022-05-27 cs.CV cs.LG
A multitask deep learning model for real-time deployment in embedded systems
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一种多任务学习（MTL）方法，使深度学习模型更快，更轻，适用于需要同时解决多个任务的应用程序，这在嵌入式实时的【形】系统中特别有用。我们为目标检测和语义分割开发了一个多任务模型，并分析了训练过程中出现的挑战。与并行部署单任务模型相比，我们的多任务网络速度快1.6倍，重量更轻，占用的内存更少。我们的结论是，MTL有潜力提供卓越的性能，以换取更复杂的训练过程，引入了单任务模型中不存在的挑战。
2017-10-31 cs.CV cs.LG
M2T: Masking Transformers Twice for Faster Decoding
Google Research（谷歌研究院）
本文提出M2T方法，将双向掩码Transformer用于神经图像压缩，采用预定义确定性调度并结合掩码注意力与激活缓存，在码率略增的情况下实现约4倍推理加速。
2023-04-14 cs.LG eess.IV
Block Pruning For Faster Transformers
Hugging Face
预训练提高了分类和生成任务的模型准确性，但代价是引入了更大更慢的模型。修剪方法已被证明是减少模型大小的有效方法，而蒸馏方法被证明可以加速推理。我们介绍了一个块修剪的方法，针对小型和快速的模型。我们的方法通过考虑任何大小的块扩展结构化方法，并将此结构集成到运动修剪范式中进行微调。我们发现，这种方法学会了修剪掉底层模型的完整组件，例如注意力头。实验考虑了分类和生成任务，产生了一个修剪模型，它比SQuAD v1快2.4倍，BERT小74%，比F1小1%，在速度和大小上都与蒸馏模型竞争。
2021-09-10 cs.CL cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Faster Convergence for Transformer Fine-tuning with Line Search Methods
University Bielefeld（比勒费尔德大学）；RWTH Aachen University（亚琛工业大学）
本研究将Armijo线搜索与Adam优化器结合并应用于Transformer微调，通过在网络局部单元分别执行线搜索，在小型数据集或小预算下显著优于传统Adam，并提供了一个无需超参数的PyTorch优化器。
2024-03-27 cs.AI cs.LG
Faster Transformer Decoding: N-gram Masked Self-Attention
Google, Inc.（谷歌公司）
针对Transformer解码加速问题，提出基于N-gram假设截断目标侧自注意力窗口的方法，在WMT数据集上几乎不损失BLEU分数。
2024-12-18 cs.CL cs.LG stat.ML
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering
Stony Brook University（石溪大学）
基于transformer的QA模型在所有层都使用输入范围内的自我注意力-即在问题和输入段落中-导致它们缓慢且内存密集。事实证明，我们可以在所有层都没有输入范围的自我注意，特别是在较低的层。我们引入了DeFormer，一个分解的Transformer，它在较低层中用问题范围和问题范围的自注意力代替完全的自注意力。这允许对输入文本表示进行与问题无关的处理，这反过来又使预计算段落表示能够大幅减少运行时计算。此外，由于DeFormer与原始模型非常相似，因此我们可以使用标准Transformer的预训练权重初始化DeFormer，并直接在目标QA数据集上进行微调。我们展示了DeFormer版本的BERT和XLNet可用于将QA速度提高4.3倍以上，并且在简单的基于蒸馏的损失下，它们的准确性仅下降1%。我们在https://github.com/StonyBrookNLP/deformer上开源代码。
2020-05-02 cs.AI cs.CL cs.LG
Striped Attention: Faster Ring Attention for Causal Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MosaicML（MosaicML公司）；MIT EECS（麻省理工学院电气工程与计算机科学系）
针对因果Transformer中环形注意力因三角结构导致的工作负载不均衡，提出条纹注意力，通过均匀分布token子集实现更均衡负载，在A100和TPUv4上分别获得最高1.45倍和1.65倍的吞吐量提升。
2023-11-15 cs.CL cs.LG
Transformer-VQ: Linear-Time Transformers via Vector Quantization
本文提出Transformer-VQ，通过向量量化键和新颖缓存机制实现线性时间稠密自注意力，在多个基准上取得有竞争力的质量，并在长序列上显著快于二次时间Transformer。
2024-02-25 cs.CL cs.CV cs.LG
A Lightweight Transformer for Faster and Robust EBSD Data Collection
Carnegie Mellon University（卡内基梅隆大学）；Air Force Research Laboratory（美国空军研究实验室）
针对 3D EBSD 连续切片采集易缺失切片的问题，提出轻量级 Transformer 加投影算法的两步恢复方法，仅用合成数据自监督训练即在真实数据上取得更优精度。
2023-08-18 cs.CV cs.LG eess.IV
Don't Look Twice: Faster Video Transformers with Run-Length Tokenization
Carnegie Mellon University（卡内基梅隆大学）；Fujitsu Research（富士通研究所）
针对视频Transformer训练慢的问题，提出游程长度分词化（RLT），通过高效移除重复patch游程并编码长度信息，实现30%训练加速和35%吞吐提升，且无需调参。
2024-11-07 cs.CV cs.LG
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University（雅盖隆大学）；Poznan University of Technology（波兹南理工大学）
我们提出了一种新的方法来稀疏注意力的Transformer模型，学习选择最信息的令牌表示在训练过程中，从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子，算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明，即使是我们简单的基线也可以达到当前的SOTA，并且通过可训练的池化，我们可以保持其最高质量，同时在训练过程中$1.8\times$更快，在推理过程中$4.5\times$更快，在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Toward Understanding Why Adam Converges Faster Than SGD for Transformers
Carnegie Mellon University（卡内基梅隆大学）
本文提出方向锐度概念解释 Adam 训练 Transformer 时比 SGD 收敛更快的原因，发现少数坐标损害 SGD，并证明逐坐标裁剪可降低锐度、加速优化。
2023-05-31 cs.AI cs.LG
GradES: Significantly Faster Training in Transformers with Gradient-Based Early Stopping
Department of Computer Science, Boston University Metropolitan College（波士顿大学计算机科学系）；Information Hub, The Hong Kong University of Science and Technology, Guangzhou（香港科技大学广州信息中心）；School of Engineering and Technology, Duy Tan University, Da Nang, Vietnam（杜益大学工程科技学院，岘港，越南）；Department of AI, School of Computer Science and Engineering, Galgotias University, Greater Noida, India（加洛吉亚大学人工智能系，诺伊达，印度）
GradES通过监控Transformer组件梯度变化幅度，对收敛矩阵单独停止更新，无需验证即可加速训练1.57-7.22倍，并提升语言与多模态任务准确率。
2025-10-16 cs.AI cs.LG
FNet: Mixing Tokens with Fourier Transforms
Google Research（谷歌研究院）
我们表明，Transformer编码器架构可以加快，有限的精度成本，通过用简单的线性变换“混合”输入令牌取代自我注意力子层。这些线性混合器，以及前馈层中的标准非线性，证明了在几个文本分类任务中建模语义关系的能力。最令人惊讶的是，我们发现用标准的非参数化傅立叶变换替换Transformer编码器中的自注意子层，在GLUE基准测试中实现了BERT对应物的92-97%的准确度，但在标准512输入长度下，GPU上的训练速度快了80%，TPU上的训练速度快了70%。在较长的输入长度下，我们的FNet模型明显更快：与Long Range Arena基准测试中的“高效”Transformers相比，FNet与最准确模型的准确性相匹配，同时在GPU上的所有序列长度（以及TPU上相对较短的长度）上都超过了最快的模型。最后，FNet的内存占用量很小，在较小的模型尺寸下特别有效;对于固定的速度和精度预算，小型FNet模型优于Transformer模型。
2022-05-26 cs.CL cs.LG
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
LoopAhead是面向循环Transformer的推测解码框架，通过轻量提前草稿器与不同循环深度的互补角色，实现最高7.82倍解码加速且保留目标模型输出分布。
2026-10-16 cs.AI cs.LG
FastSeq: Make Sequence Generation Faster
Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
基于transformer的模型在自然语言生成中产生了巨大的影响。然而，由于自回归解码过程中涉及的大模型尺寸和密集计算，推理速度是一个瓶颈。我们开发了FastSeq框架来加速序列生成而不会损失准确性。所提出的优化技术包括注意缓存优化、检测重复n-gram的有效算法以及具有并行I/O的异步生成流水线。这些优化足够通用，可以应用于基于transformer的模型（例如，T5、GPT 2和UniLM）。我们在一组广泛使用的不同模型上的基准测试结果表明，推理速度提高了4- 9倍。此外，FastSeq易于使用，只需简单的一行代码更改。源代码可在https://github.com/microsoft/fastseq上获得。
2021-07-12 cs.CL cs.LG
Fast Inference from Transformers via Speculative Decoding
Google Research（谷歌研究院）
本文提出推测解码算法，通过并行计算和高效小模型近似，在不改变输出分布的前提下加速大型自回归模型推理，在T5-XXL上实现2至3倍加速且无需重新训练。
2023-05-18 cs.CL cs.LG
Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training
Theoretical Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室理论部）；Lehigh University（莱斯大学）
MUD通过三角化白化替代缪子的极分解更新，提升Transformer训练效率，具有更低的优化器开销和更快的困惑度表现。
2026-03-18 cs.LG cs.NA math.NA
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；University of Geneva（日内瓦大学）
Transformers在几个任务中实现了卓越的性能，但由于其二次复杂性，相对于输入的长度，它们对于非常长的序列是非常慢的。为了解决这一问题，我们将自注意力表示为核特征映射的线性点积，并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$，其中$N$是序列长度.我们表明，这种提法允许迭代实现，大大加快自回归Transformers，并揭示了它们的关系，经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能，并且在对非常长的序列进行自回归预测时，它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Flatten Graphs as Sequences: Transformers are Scalable Graph Generators
Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
AutoGraph利用Transformer模型将图扁平化为序列，实现高效可扩展的图生成，生成速度比扩散模型快100倍，并展示出良好的迁移能力。
2025-12-08 cs.LG stat.ML
SPViT: Enabling Faster Vision Transformers via Soft Token Pruning
Northeastern University（东北大学）；Clemson University（克莱姆森大学）；Peking University（北京大学）；College of William and Mary（威廉与玛丽学院）；ETH Zürich（苏黎世联邦理工学院）
最近，视觉Transformer（ViT）在计算机视觉领域不断树立新的里程碑，而高昂的计算和内存成本使其在工业生产中的传播困难重重。剪枝是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构中。然而，它仍然模糊不清如何执行排他性修剪的ViT结构。考虑三个关键点：ViT的结构特征、内部数据模式以及相关的边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知的软修剪框架，该框架可以建立在平坦和CNN类型结构的普通Transformers上，例如基于池的ViT（PiT）。更具体地说，我们设计了一个动态的注意力为基础的多头令牌选择器，这是一个轻量级的模块，自适应的实例明智的令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的信息量较少的令牌集成到一个包令牌中，该包令牌将参与后续的计算，而不是被完全丢弃。通过我们提出的计算感知训练策略，我们的框架必然会在特定边缘设备的准确性和计算约束之间进行权衡。实验结果表明，我们的框架显着降低了计算成本的ViTs，同时保持相当的性能图像分类。此外，我们的框架可以保证识别的模型，以满足移动设备和FPGA的资源规格，甚至实现DeiT-T在移动平台上的实时执行。例如，我们的方法将DeiT-T在移动终端上的延迟降低到26 ms（比现有作品高出26% $\sim $ 41%），在ImageNet上的前1名准确率高出0.25% $\sim $ 4…
2022-09-20 cs.AI cs.AR cs.CV
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究连续语音识别使用脑电图（EEG）的功能，使用最近推出的端到端的Transformer为基础的自动语音识别（ASR）模型。我们的研究结果表明，基于Transformer的模型表现出更快的训练相比，基于递归神经网络（RNN）的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇，但随着我们增加的词汇量，基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
University of Pittsburgh（匹兹堡大学）
TurboMamba是一种语言模型架构，通过全局Mamba-3与小型Transformer结合三项轻量改进，在参数规模相近的对比中，实现了更低预测损失、更高训练吞吐量与更快推理速度。
2026-10-16 cs.CL cs.LG
A Lightweight CNN Integrated Compact Convolutional Transformer for Multi-Scale Feature Learning and reducing computational complexity for breast cancer mammography image detection and classification
North South University（南北大学）
提出一种轻量级CNN集成紧凑卷积Transformer模型，通过卷积分词与Transformer学习结合，以极少的参数在乳腺癌钼靶图像分类中实现高准确率，并集成可解释AI以增强临床信任。
2026-09-17 cs.AI cs.CV cs.LG
EDITOR: an Edit-Based Transformer with Repositioning for Neural Machine Translation with Soft Lexical Constraints
University of Maryland（马里兰大学）
我们介绍了一个基于编辑的Transformer与重新定位（EDITOR），这使得序列生成灵活，无缝地允许用户指定的偏好在输出词汇的选择。基于最近的非自回归序列生成模型（Gu等人，2019），EDITOR通过迭代编辑假设来生成新序列。它依赖于一种新的重新定位操作，旨在将词汇选择从单词定位决策中解脱出来，同时在解码时实现有效的模仿学习和并行编辑。经验上，EDITOR比Levenshtein Transformer更有效地使用软词汇约束（Gu等人，2019），同时与受约束的束搜索相比，大大加快了解码速度（Post和Vilar，2018）。在标准的罗马尼亚语-英语、英语-德语和英语-日语机器翻译任务中，EDITOR的解码速度比Levenshtein Transformer快，翻译质量相当或更好。
2021-01-19 cs.CL cs.LG
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
KAIST（韩国科学技术院）
提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。
2026-06-23 cs.AI cs.LG
Reformer: The Efficient Transformer
U.C. Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
大型Transformer模型通常在许多任务上实现最先进的结果，但训练这些模型的成本可能过高，特别是在长序列上。我们介绍两种技术来提高Transformers的效率。首先，我们将点积注意力替换为使用局部敏感哈希的注意力，将其复杂度从O（$L^2$）改为O（$L\log L$），其中$L$是序列的长度。此外，我们使用可逆残差层代替标准残差，这允许在训练过程中仅存储激活一次而不是$N$次，其中$N$是层数。生成的模型Reformer的性能与Transformer模型相当，同时在长序列上的内存效率更高，速度更快。
2020-02-18 cs.CL cs.LG stat.ML
A Survey on Efficient Training of Transformers
Monash University（莫纳什大学）；Zhejiang University（浙江大学）
该综述首次系统梳理Transformer高效训练研究进展，聚焦加速算法，对比中间张量计算内存节省方法与软硬件协同设计技术，探讨未来挑战与方向。
2023-05-04 cs.AI cs.CV cs.LG
