Optimizing Inference Performance of Transformers on CPUs
Oracle Labs（甲骨文实验室）
Transformer架构彻底改变了自然语言处理（NLP）领域。基于转换器的模型（例如，BERT）支持许多重要的Web服务，如搜索、翻译、问答等。虽然大量的研究关注于这些模型的训练，但相对较少的努力是为了提高它们的推理性能。本文通过对在CPU上推理基于transformer的模型的可扩展性和性能进行实证分析来解决这一差距。专注于非常流行的BERT模型，我们确定了Transformer架构的关键组件，其中大部分的计算发生，并提出了三个优化，以加快它们。使用HuggingFace的推理基准对优化进行了评估，并显示其加速比高达x2.37。所考虑的优化不需要对模型的实现进行任何更改，也不影响其准确性。
2021-02-22 cs.AI cs.CL cs.DC
A Survey of Techniques for Optimizing Transformer Inference
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Argonne National Laboratory（阿贡国家实验室）
本文系统综述Transformer推理在算法与硬件层面的优化技术，定量总结参数量、FLOPs与准确率权衡，并指出未来研究方向。
2023-07-16 cs.AR cs.CL cs.CV
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University（清华大学）；Sudo Privacy（Sudo隐私公司）
针对大语言模型隐私推理框架开销过高的问题，本文提出用隐私计算友好的近似算子替换Transformer中密集型算子，相比Iron实现5倍计算加速与80%通信开销降低，且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
Consistency Training Along the Transformer Stack
Purdue University（普渡大学）；Independent（独立）；Columbia University（哥伦比亚大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Dartmouth College（达特茅斯学院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文通过引入MLP状态和注意力分布的一致性目标，将一致性训练扩展到多种安全威胁，并发现跨威胁泛化及共享机制，证明其作为灵活对齐框架的有效性。
2026-06-04 cs.AI cs.LG
AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems
University of California, Merced（加州大学默塞德分校）；Western Digital Research（西部数据研究院）
AttMEMO利用大内存系统和记忆化技术，通过语义相似性识别加速Transformer自注意力计算，在几乎不损失准确率的情况下平均降低22%推理延迟。
2023-04-17 cs.AI cs.LG cs.PF
EdgeFlex-Transformer: Transformer Inference for Edge Devices
The Ohio State University（俄亥俄州立大学）
EdgeFlex-Transformer提出了一种多阶段优化流程，通过剪枝、混合精度和量化技术，在边缘设备上高效部署Transformer模型，实现内存和延迟的显著降低同时保持高精度。
2025-12-17 cs.LG
Low Latency Transformer Inference on FPGAs for Physics Applications with hls4ml
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
提出基于 hls4ml 的 FPGA Transformer 部署方案，实现注意力、softmax 与归一化层，在 VU13P 上达到低于 2 μs 延迟并支持 TensorFlow 模型。
2024-09-08 cs.LG
Kraken: Inherently Parallel Transformers For Efficient Multi-Device Inference
Princeton University（普林斯顿大学）
针对Transformer自回归推理中并行化带来的集体通信开销高、硬件利用率低的问题，提出Kraken架构，通过层内固定并行度让通信与计算重叠，在保持语言建模性能的同时，将多GPU系统首令牌生成时间平均加快35.6%。
2024-08-17 cs.DC cs.LG
Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification
Texas State University（德克萨斯州立大学）
针对Transformer在时间序列分类中计算需求高的问题，研究了结构化剪枝与量化优化策略，经三个数据集实验验证，静态量化降能耗29.14%且保性能，L1剪枝提推理速度63%且精度损失小，为资源受限环境部署提供支撑。
2025-05-21 cs.AI cs.LG cs.PF
DAPA: Distribution Aware Piecewise Activation Functions for On-Device Transformer Inference and Training
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出DAPA，一种基于预激活数据分布的分段激活函数，通过非均匀分段提升泛化能力，并利用分布加权均方误差量化以减少硬件资源消耗，实验证明其在GELU计算和DSP利用率上均有显著提升。
2026-03-19 cs.LG
TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference
Princeton University（普林斯顿大学）
机器学习模型和评估硬件的自动协同设计对于大规模有效部署此类模型至关重要。尽管Transformer模型具有最先进的性能，但它们还不能在资源受限的硬件平台上执行。Transformer架构的高存储器要求和低并行性加剧了这个问题。最近提出的加速器试图优化Transformer模型的吞吐量和能耗。然而，这样的工作要么局限于模型架构的片面搜索，要么局限于一组现成的设备。此外，以前的工作只加速模型推理而不是训练，这会导致更高的内存和计算资源，使问题更具挑战性。为了解决这些限制，这项工作提出了一个动态的训练框架，称为DynaProp，加快训练过程，减少内存消耗。DynaProp是一种低开销的修剪方法，可以在运行时修剪激活和梯度。为了有效地执行这种方法的硬件上的一组不同的Transformer架构，我们提出了ELECTOR，一个框架，模拟Transformer推理和训练的设计空间的加速器。我们使用这个模拟器结合拟议的协同设计技术，称为代码转换，以获得最佳性能的模型，在给定的任务上具有高精度，并最大限度地减少延迟，能耗和芯片面积。所获得的变压器-加速器对实现了比最先进的对高0.3%的准确度，同时产生低5.2 $\times$的延迟和低3.0 $\times$的能量消耗。
2023-03-27 cs.AR cs.LG
Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption
IBM Research（IBM研究院）；Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）
本文提出首个多项式Transformer，通过将算子转换为多项式形式，实现在同态加密下的安全推理，并在语言模型和图像分类任务上达到与传统方法相当的性能。
2023-11-15 cs.CR cs.LG
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题，提出可配置硬件加速器ViTA，采用头级流水线和层间MLP优化避免重复片外内存访问，在多数模型上实现近90%硬件利用率，功耗0.88W，适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
PriViT: Vision Transformers for Fast Private Inference
Tandon School of Engineering at New York University（纽约大学坦登工程学院）
针对ViT因大量非多项式运算不适用于MPC隐私推理的问题，提出基于梯度的PriViT算法，选择性泰勒化ViT非线性以保精度，在延迟-精度帕累托前沿上优于现有MPC友好型Transformer设计，经多个图像分类任务验证有效。
2023-10-06 cs.CR cs.LG
Recent Developments in Transformer Inference Deployment on FPGA Platforms: A Survey
University of Twente（特温特大学）；Faculty of Engineering Technology, University of Twente（特温特大学工程技术学院）
该综述针对Transformer推理部署需求，分析FPGA平台的最新进展、设计选择与优化技术，为学术界和工业界研究人员提供指南。
2026-09-02 cs.AR cs.LG
East: Efficient and Accurate Secure Transformer Framework for Inference
Beihang University（北京航空航天大学）；Beijing Institute of Satellite Information Engineering（北京卫星信息工程研究所）
本文提出 East 安全 Transformer 推理框架，通过不经意分段多项式、softmax 与层归一化协议及多项优化，在 BERT 上实现免微调的明文一致准确率，并显著降低通信和运行开销。
2023-08-19 cs.AI cs.CR cs.LG
Input Compression with Positional Consistency for Efficient Training and Inference of Transformer Neural Networks
Purdue University（普渡大学）
针对Transformer计算量大、易过拟合的问题，提出位置一致性输入压缩方法ICPC，通过多模态分级压缩与一致性位置选择，同时提升泛化能力与训练推理效率，在9项任务上实现准确率提升与2-3倍左右的速度提升。
2023-11-22 cs.CV cs.LG
Preisach Attention: A Hysteretic Model of Sequential Memory
Faculty of Mechatronics, Warsaw University of Technology（机电学院，华沙技术大学）
提出基于Preisach迟滞算子的Preisach注意力层（PAL），通过二进制继电器算子和极值栈实现图灵完备的序列建模，证明其与Transformer函数类不可比，且具有率无关性和高效推理。
2026-05-22 cond-mat.dis-nn cs.AI cs.LG
A Transformer with Stack Attention
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
针对Transformer无法建模许多上下文无关语言任务的局限，提出为其增加可微的基于栈的注意力机制，该机制可集成到任意Transformer语言模型中并提升可解释性，能让Transformer建模部分确定性上下文无关语言。
2024-05-13 cs.CL
Transition-based Parsing with Stack-Transformers
IBM Research（IBM研究院）；Amazon AI（亚马逊人工智能）；Georgetown University（乔治敦大学）
在基于转换的解析中，对解析器状态进行建模是获得良好性能的关键。递归神经网络通过对全局状态进行建模（例如stack-LSTM解析器）或对上下文化特征进行局部状态建模（例如Bi-LSTM解析器），大大提高了基于转换的系统的性能。鉴于Transformer架构在最近的解析系统中的成功，本文探讨了序列到序列的Transformer架构的修改，以在基于转换的解析中对全局或局部解析器状态进行建模。我们发现，修改的交叉注意力机制的Transformer大大加强性能的依赖和抽象意义表示（AMR）解析任务，特别是对于较小的模型或有限的训练数据。
2020-10-20 cs.CL
Causal Evidence of Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani（比拉理工学院和科学学院，皮兰）
通过线性探针和消融实验，证明Transformer在计数器语言任务中学习的栈表示对其性能具有因果必要性。
2026-06-02 cs.AI cs.CL
Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns
University of Notre Dame（圣母大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出结合栈机制的 stack attention，使 Transformer 无需句法监督即可建模任意深度层次结构，并在困难 CFL、语言建模和机器翻译任务上验证其优势。
2024-01-24 cs.CL
Multi-Pass Transformer for Machine Translation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）
与以前的方法相比，信息只流向堆栈的更深层，我们考虑了多通道Transformer（MPT）架构，其中允许较早的层根据较晚层的输出来处理信息。为了维持有向非循环图结构，Transformer的编码器堆栈沿着新的多遍维度重复，从而保持参数绑定，并且允许信息朝向编码器堆栈内的较深层以及朝向后续堆栈的任何层单向地前进。我们认为两者都是软的（即，连续的）和硬的（即，离散的）并行编码器栈之间的连接，依赖于神经架构搜索来找到困难情况下的最佳连接模式。我们进行了广泛的消融研究所提出的MPT架构，并将其与其他国家的最先进的Transformer架构。令人惊讶的是，在具有挑战性的机器翻译En-De和En-Fr数据集上，配备MPT的Base Transformer可以超越Large Transformer的性能。在硬连接的情况下，最佳的连接模式发现En-De也导致提高性能的En-Fr。
2020-09-23 cs.CL
Dissociating Decodability and Causal Use in Bracket-Sequence Transformers
Yale University（耶鲁大学）；Harvard University（哈佛大学）
通过探针和干预实验，发现Dyck语言Transformer中层级表示虽可解码，但仅注意力模式中的栈顶位置对长距离准确性有因果影响。
2026-06-17 cs.CL cs.LG
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego（加州大学圣地亚哥分校）；Facebook AI Research（Facebook人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
长短期记忆（LSTM）和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明，两者都是图灵完备的，可以表示任何上下文无关语言（CFL）。在实践中，经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异，并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标，我们引入了一个oracle训练范式，它强制分解LSTM和Transformer的潜在表示，并监督相应CFL的下推自动机（PDA）的转换。通过强制分解，我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的：它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而，缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作，同时对Transformer模型产生轻微影响。最后，我们将PDA原型上的实验与真实的句法分析任务相结合，再次验证了本文的结论
2022-03-23 cs.CL
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen（圣加仑大学）
在本文中，我们将探讨基于transformer的预训练语言模型（PLM）所使用的浅层语法，这些模型针对自然语言推理（NLI）进行了微调。为此，我们基于三段论构建或拥有数据集，并在我们的数据集上评估许多模型的性能。我们发现的证据表明，该模型严重依赖于某些浅的物理学，拿起对称性和不对称性之间的前提和假设。我们认为，在我们的研究中，这正在成为一个活跃的辩论在该领域的话题，缺乏概括性，这意味着PLM目前没有学习NLI，而是虚假的语法。
2022-01-19 cs.CL cs.LG
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers
UC Berkeley（加州大学伯克利分校）
由于硬件资源有限，训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大化准确性。我们研究了模型大小在这种情况下的影响，重点关注受计算限制的NLP任务的Transformer模型：自监督预训练和高资源机器翻译。我们首先表明，即使较小的Transformer模型执行更快的每次迭代，更广泛和更深入的模型收敛在显着更少的步骤。此外，这种收敛的加速通常超过使用更大模型的额外计算开销。因此，计算效率最高的训练策略是反直觉地训练非常大的模型，但在少量迭代后停止。这导致大型Transformer模型的训练效率和小型Transformer模型的推理效率之间出现明显的权衡。然而，我们表明，大型模型比小型模型更强大的压缩技术，如量化和修剪。因此，可以两全其美：高度压缩的大型模型比轻度压缩的小型模型具有更高的精度。
2020-06-23 cs.CL cs.LG
AdapterDrop: On the Efficiency of Adapters in Transformers
Amazon（亚马逊）；Technische Universität Darmstadt（达姆施塔特工业大学）
大规模预训练的Transformer模型在计算上对于微调是昂贵的，推理缓慢，并且具有大的存储需求。最近的方法通过训练较小的模型，动态地减小模型大小，以及通过训练轻量级适配器来解决这些缺点。在本文中，我们提出了AdapterDrop，在训练和推理过程中从较低的Transformer层中删除适配器，它包含了所有三个方向的概念。我们表明，AdapterDrop可以动态地减少计算开销时，同时执行多个任务的推理，任务性能的下降最小。我们进一步从AdapterFusion中修剪适配器，这提高了推理效率，同时完全保持了任务性能。
2021-10-05 cs.CL cs.LG
Efficiently Scaling Transformer Inference
Google（谷歌）
我们研究了Transformer模型的高效生成推理问题，在其最具挑战性的设置之一：大型深度模型，具有紧密的延迟目标和长序列长度。更好地理解大型基于transformer的模型的推理的工程权衡非常重要，因为这些模型的用例在整个应用领域中快速增长。我们开发了一个简单的推理效率分析模型，根据应用需求选择最佳的TPU v4切片优化多维分区技术。我们将这些与一套低级优化相结合，以在500 B+参数模型上实现延迟和模型FLOPS利用率（MFU）权衡的新Pareto前沿，该模型优于FasterTransformer基准测试套件。我们进一步表明，通过适当的分区，多查询注意力（即多个查询头共享单个键/值头）的内存需求较低，可以扩展到32倍更大的上下文长度。最后，我们在生成过程中实现了每个令牌29 ms的低批量延迟（使用int 8权重量化），在输入令牌的大批量处理过程中实现了76%的MFU，同时在PaLM 540 B参数模型上支持长2048令牌上下文长度。
2022-11-09 cs.CL cs.LG
Joint Prompt Optimization of Stacked LLMs using Variational Inference
Microsoft Research（微软研究院）；MILA（蒙特利尔学习算法研究所）
本文提出将堆叠LLM视为深度语言网络，利用变分推理联合优化各层提示，实验表明两层网络可超越单层性能，有望以更小模型达到GPT-4水平。
2023-12-04 cs.CL cs.LG
Modular Transformers: Compressing Transformers into Modularized Layers for Flexible Efficient Inference
ETH Zurich（苏黎世联邦理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
针对静态压缩压缩比固定的问题，本文提出 Modular Transformers，通过模块替换与知识蒸馏训练可替换连续层的模块化层，一次训练后灵活组装以获得 1.1x 至 6x 压缩比。
2023-06-04 cs.CL cs.LG
Easy and Efficient Transformer : Scalable Inference Solution For large NLP model
NetEase Inc.（网易公司）；Hong Kong Baptist University（香港浸会大学）
最近，大规模的基于transformer的模型已被证明是有效的，在许多领域的各种任务。然而，将它们应用于工业生产需要繁琐和繁重的工作，以减少推理成本。为了填补这一空白，我们引入了一个可扩展的推理解决方案：简单和高效的Transformer（EET），包括一系列的Transformer推理优化的算法和实现水平。首先，我们为长输入和大隐藏大小设计高度优化的内核。其次，我们提出了一个灵活的CUDA内存管理器，以减少部署大型模型时的内存占用。与最先进的Transformer推理库（Faster Transformer v4.0）相比，EET在使用A100 GPU的Transformer解码器层上可以实现平均1.40- 4.20倍的加速
2022-05-24 cs.CL
SILT: Efficient transformer training for inter-lingual inference
Departamento de Sistemas Informáticos（计算机系统系）；Universidad Politécnica de Madrid（马德里理工大学）
Transformers执行精确任务的能力，如问答，自然语言推理（NLI）或总结，使其成为解决自然语言处理（NLP）任务的最佳范例之一。NLI是测试这些架构的最佳场景之一，因为理解复杂句子以及假设和前提之间建立关系所需的知识。然而，这些模型无法推广到其他领域或难以面对多语言和跨语言的情况。文献中解决这些问题的主要途径涉及设计和训练非常大的架构，这会导致不可预测的行为，并建立阻碍广泛访问和微调的障碍。在本文中，我们提出了一个新的架构称为暹罗间的语言Transformer（SILT），有效地对齐多语言嵌入自然语言推理，允许不匹配的语言对进行处理。SILT利用具有冻结权重的siamese预训练多语言Transformers，其中两个输入句子彼此关注，稍后通过矩阵对齐方法组合。本文中进行的实验结果证明，SILT允许大幅减少可训练参数的数量，同时允许跨语言NLI并在常见基准上实现最先进的性能。我们在https://github.com/jahuerta92/siamese-inter-lingual-transformer上提供代码和数据集。
2021-05-17 cs.CL cs.LG
Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Deakin University（迪肯大学）；City University of Hong Kong（香港城市大学）
Stack Overflow是最受欢迎的编程社区之一，开发人员可以在这里为遇到的问题寻求帮助。然而，如果没有经验的开发人员不能清楚地描述他们的问题，他们很难引起足够的注意并得到预期的答案。我们提出了M $_3$ NSCT 5，一种新的方法来自动生成多个职位的标题从给定的代码片段。开发人员可以使用生成的标题来查找密切相关的帖子并完成其问题描述。M $_3$ NSCT 5采用CodeT5主干，这是一个预先训练的Transformer模型，具有出色的语言理解和生成能力。为了减轻歧义问题，相同的代码片段可以对齐不同的标题在不同的上下文，我们提出了最大边际多核抽样策略，以产生多个高质量和多样化的标题候选人在同一时间供开发人员选择。我们构建了一个包含890，000个问题帖子的大规模数据集，涵盖8种程序设计语言，以验证M $_3$ NSCT 5的有效性。BLEU和ROUGE指标的自动评估结果证明了M $_3$ NSCT 5优于六种最先进的基线模型。此外，具有值得信赖的结果的人类评估也证明了我们的方法在现实世界中应用的巨大潜力。
2022-08-24 cs.CL cs.SE
Bearing Syntactic Fruit with Stack-Augmented Neural Networks
ETH Zürich（苏黎世联邦理工学院）
本文首次证明，仅基于表面形式训练的栈增强神经网络能够像人类一样进行层次句法泛化，其中非确定性栈增强的Transformer表现最佳。
2026-06-23 cs.CL
Consistent Accelerated Inference via Confident Adaptive Transformers
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们开发了一种新的方法，自信地加速推理的大型和昂贵的多层Transformers，现在无处不在的自然语言处理（NLP）。摊销或近似计算方法提高了效率，但可能带来不可预测的性能成本。在这项工作中，我们提出了CAT-自信的自适应Transformers -在其中，我们同时提高计算效率，同时保证与原始模型的一致性与高置信度的指定程度。我们的方法在中间层之上训练额外的预测头，并使用Meta一致性分类器动态决定何时停止向每个输入分配计算工作。为了校准我们的早期预测停止规则，我们制定了一个独特的扩展共形预测。我们证明了这种方法在四个分类和回归任务的有效性。
2021-09-09 cs.AI cs.CL cs.LG
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo（维戈大学）
本文提出基于Stack-Transformers的移进-归约任务型语义解析器，融合自底向上和按序转移系统，在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Decoupled Transformer for Scalable Inference in Open-domain Question Answering
大型Transformer模型，如BERT，在开放域问答（QA）的机器阅读理解（MRC）中实现了最先进的结果。然而，Transformers具有很高的推理计算成本，这使得它们很难应用于语音助理等应用的在线QA系统。为了减少计算成本和延迟，我们提出了将Transformer MRC模型解耦为输入分量和交叉分量。解耦允许部分表示计算离线执行并缓存以供在线使用。为了保持解耦的Transformer的准确性，我们从标准的Transformer模型设计了一个知识蒸馏目标。此外，我们引入了学习表示压缩层，这有助于将缓存的存储需求减少四倍。在SQUAD 2.0数据集上的实验中，与标准Transformer相比，解耦的Transformer将开域MRC的计算成本和延迟降低了30-40%，F1分数仅差1.2分。
2021-08-05 cs.CL
Paragraph-based Transformer Pre-training for Multi-Sentence Inference
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Allen Institute for AI（艾伦人工智能研究所）
推理任务，如答案句子选择（AS2）或事实验证，通常通过微调基于变换的模型作为单独的配对分类器来解决。最近的研究表明，这些任务受益于多个候选句子之间的依赖关系建模。在本文中，我们首先证明了流行的预训练Transformers在用于多候选推理任务的微调时表现不佳。然后，我们提出了一个新的预训练目标，跨多个输入句子的段落级语义模型。我们对三个AS2和一个事实验证数据集的评估表明，我们的预训练技术优于传统的Transformers器，用于多候选推理任务的联合模型，以及用作这些任务的交叉编码器。我们的代码和预训练模型在https://github.com/amazon-research/wqa-multi-sentence-inference上发布。
2022-07-06 cs.CL
Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training
The University of Hong Kong（香港大学）；HKUST（香港科技大学）；Tsinghua University（清华大学）；University of Edinburgh（爱丁堡大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；USTB（北京科技大学）
本文系统评估了LLM预训练中的模型增长方法，提出深度堆叠算子G_stack，在7B规模和750B token预训练中实现54.6%加速，并给出增长时机与因子的实用指导原则。
2024-10-22 cs.AI cs.CL
Block Transformer: Global-to-Local Language Modeling for Fast Inference
KAIST AI（韩国科学技术院人工智能学院）；LG AI Research（LG人工智能研究院）；Google DeepMind（谷歌DeepMind）
针对自注意力推理的KV缓存瓶颈问题，提出分层全局到局部的Block Transformer架构，低层粗粒度全局注意力降开销、高层细粒度局部注意力保精度，实现同等性能下10-20倍的推理吞吐量提升。
2024-11-01 cs.AI cs.CL cs.LG
Towards Fully 8-bit Integer Inference for the Transformer Model
Natural Language Processing Lab., Northeastern University（东北大学自然语言处理实验室）；NiuTrans Research（小牛翻译研究院）；CAS Key Laboratory of Behavioral Science, Institute of Psychology, CAS（中国科学院心理研究所行为科学重点实验室）
8-位整数推理作为减少深度神经网络的延迟和存储量的一个很有前途的方向，最近取得了很大的进展。另一方面，先前的系统对于复杂模型中的某些函数仍然依赖于32位浮点（例如，Transformer中的Softmax），并大量使用量化和解量化。在这项工作中，我们表明，经过原则性的修改后的Transformer架构，被称为无约束Transformer，（几乎）完全8位整数推理算法规模传播可以得出。必要时采用反量化，使网络效率更高。我们在WMT 16 En <->Ro、WMT 14 En <->De和En->Fr翻译任务以及WikiText-103语言建模任务上的实验表明，全8位Transformer系统实现了与浮点基线相当的性能，但所需的内存占用量减少了近4倍。
2020-09-18 cs.CL
Probing for Bridging Inference in Transformer Language Models
University of Lille（里尔大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IBM Research Europe（IBM欧洲研究院）
我们探测用于桥接推理的预训练的Transformer语言模型。我们首先考察了BERT中的个体注意头，发现与低层和中层注意头相比，高层注意头更显著地关注桥接关系，并且很少有特定的注意头持续地关注桥接关系。更重要的是，我们认为语言模型作为一个整体，在我们的第二种方法，桥接回指的决议制定为一个掩蔽的令牌预测任务（过完形填空测试）。我们的公式产生了乐观的结果，没有任何微调，这表明预训练的语言模型基本上捕获桥接推理。进一步的研究表明，回指先行词与提供给语言模型的上下文之间的距离在推理中起着重要的作用。
2021-04-19 cs.CL
HARP: Hesitation-Aware Reframing in Transformer Inference Pass
Seoul National University（首尔大学）
HARP通过选择性额外计算和输入重框定，模拟人类犹豫机制，在多种任务上提升Transformer模型性能高达5.16%，且推理速度比束搜索快两倍。
2025-05-24 cs.AI cs.CL cs.LG
Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack
Intel Corporation（英特尔公司）
该研究将SmoothQuant集成到TorchAO，优化PyTorch原生栈在服务器CPU上的INT8推理，使小型NLP模型获最高5.8倍吞吐量加速且精度损失可忽略，已上游到PyTorch和TorchAO便于部署。
2026-08-20 cs.CL
THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）；Microsoft STCA（微软亚洲互联网工程院）
随着越来越多的预训练语言模型采用云上部署，隐私问题迅速增长，主要是针对纯文本用户数据的暴露（例如，搜索历史、医疗记录、银行账户）。Transformer模型的隐私保护推理是云服务用户的需求。在同态加密中，为了保护隐私，只使用密文进行计算是一种很有吸引力的选择。然而，由于Transformer块中的复杂计算，使得对密文数据进行预训练模型推断是困难的，这还不被当前HE工具支持。在这项工作中，我们介绍了$\textit{THE-X}$，Transformers的近似方法，它使隐私保护的流行框架开发的预训练模型的推理。$\textit{THE-X}$提出了一个工作流来处理Transformer网络中的复杂计算，包括所有非多项式函数，如GELU，softmax和LayerNorm。实验表明，我们提出的$\textit{THE-X}$可以使Transformer推理加密数据的不同下游任务，所有的性能下降可以忽略不计，但享受理论保证的隐私保护的优势。
2022-06-02 cs.CL cs.CR
One Jump Is All You Need: Short-Cutting Transformers for Early Exit Prediction with One Jump to Fit All Exit Levels
Sudarshantech Software（苏达尔山科技软件）
提出单一低秩捷径OJFA，将早期退出预测的捷径参数成本降低超30倍，同时保持与多捷径相当的推理性能，并在多个Transformer模型上实现稳定精度。
2025-04-18 cs.AI cs.CL cs.LG
Zero-Shot Dynamic Quantization for Transformer Inference
IBM Research AI（IBM研究院人工智能部门）
我们引入了一种新的运行时方法，用于显着减少与量化BERT类模型到8位整数相关的准确性损失。现有的量化模型方法要么修改训练过程，要么需要额外的校准步骤来调整参数，这也需要选定的保留数据集。我们的方法允许利用量化，而不需要这些调整。我们提出了几个NLP任务的结果证明了这种技术的实用性。
2022-11-17 cs.CL
SHARCS: Efficient Transformers through Routing with Dynamic Width Sub-networks
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出SHARCS自适应推理方法，通过在transformer上训练路由器将不同样本导向动态宽度子网络，在保持准确率的同时显著提升推理效率。
2023-10-18 cs.AI cs.CL cs.LG
Influence Score and Transformers interpretability: Measure of the Effective Impact of Attention Heads at inference time
Thales CDI（泰雷兹CDI公司）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Sorbonne Université（索邦大学）
该研究提出影响分数，结合定向影响与结构贡献分析Transformer注意力头，应用于DeBERTa模型揭示预测行为差异，为研究Transformer分类器决策机制提供系统方法。
2026-09-07 cs.CL
On the Distribution, Sparsity, and Inference-time Quantization of Attention Values in Transformers
Stony Brook University（石溪大学）
NLP任务在应用时（推理）需要从Transformer的注意力机制中获得多少信息？从最近的工作中，我们知道Transformers中存在稀疏性，并且其计算中的浮点数可以离散为更少的值，同时对任务精度的损失最小。然而，这需要重新培训甚至创建全新的模型，这两者都可能是昂贵的和碳排放的。专注于不需要训练的优化，我们系统地研究了所有必要的典型注意力值。这通知了使用修剪和对数缩放映射两者的推理时间量化技术的设计，其仅产生几个（例如，$2^3$）唯一值。在问答和情感分析的任务中，我们发现近80%的注意力值可以被修剪为零，而准确性的相对损失最小（$< 1.0\%$）。我们使用这种修剪技术结合量化的注意力值，只有3位的格式，没有再培训，导致只有0.8%的准确性降低问答与微调的ROBERTA。
2021-06-02 cs.CL
LLMCache: Layer-Wise Caching Strategies for Accelerated Reuse in Transformer Inference
Analytics and AI/ML Specialist, Amazon Web Services, USA（亚马逊网络服务（AWS））
LLMCache通过分层缓存策略加速Transformer推理，利用语义相似性重用中间激活，实现推理时间提升3.1倍且精度损失低于0.5%。
2025-12-18 cs.AI cs.CL
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft（微软）
基于转换器的文本转语音（TTS）模型（例如，Transformer TTS~ \cite{li2019neural}，FastSpeech~ \cite{ren2019fastspeech}）已经显示出训练和推理效率优于基于RNN的模型（例如，Tacotron~ \cite{shen2018natural}），这是由于其在训练和/或推理中的并行计算。然而，并行计算增加了Transformer学习文本和语音对齐的难度，在多说话人、多噪声数据的情况下，这种难度进一步放大，阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech，该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐：1）在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2）在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3）解码器预网中的瓶颈，以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性：1）与基于朴素Transformer的TTS相比，MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2）以MutiSpeech模型为老师，我们获得了一个强多说话人FastSpeech模型，其质量几乎为零，同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
