Combiner: Full Attention Transformer with Sparse Computation Cost
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
Transformers提供了一类对序列建模非常有效的表达架构。然而，Transformers的关键限制是它们的二次记忆和时间复杂度$\mathcal{O}(L^2)$相对于序列长度在注意层，这限制了应用在极长的序列。大多数现有的方法利用稀疏或低秩的假设在注意力矩阵，以降低成本，但牺牲表现力。相反，我们提出了组合器，它提供了充分的注意力能力，在每个注意力头，同时保持低的计算和内存的复杂性。其核心思想是将自我注意机制视为对每个位置嵌入的条件期望，并使用结构化因子分解来近似条件分布。每个位置都可以通过直接注意或间接注意抽象来关注所有其他位置，这些抽象也是对来自相应局部区域的嵌入的条件期望。我们发现，在现有的稀疏Transformers中使用的大多数稀疏注意模式能够激发充分注意的这种因式分解的设计，从而导致相同的次二次成本（$\mathcal{O}(L\log(L))$或$\mathcal{O}(L\sqrt{L})$）。Combiner是现有Transformers中注意层的替代品，可以在通用框架中轻松实现。对自回归和双向序列任务的实验评估证明了这种方法的有效性，在几个图像和文本建模任务上产生了最先进的结果。
2021-10-28 cs.CL cs.CV cs.LG
Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals
Department of Mathematics, University of Oxford（牛津大学数学系）；Oxford Man Institute for Quantitative Finance, University of Oxford（牛津大学牛津曼量化金融研究所）；Department of Mathematics, McMaster University（麦克马斯特大学数学系）；Vector Institute（向量研究所）
本文提出filterformers模型，通过自定义注意力机制近似实现非马尔可夫且条件高斯信号过程的条件分布，解决了随机过滤问题的理论基础。
2026-04-02 cs.LG cs.NA cs.NE
Transformers Learn Faster with Semantic Focus
IBM Research（IBM研究院）；Centaur AI Institute（半人马人工智能研究院）
本研究从可学习性和泛化性角度发现，依赖输入的稀疏注意力（语义聚焦）能加速 Transformer 收敛并提升泛化，且从理论上解释了其优势条件。
2025-06-18 cs.LG
Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems
Department of ECE The Ohio State University（电子工程系，俄亥俄州立大学）；Department of CSE The Ohio State University（计算机科学与工程系，俄亥俄州立大学）；Department of Computer Science University of Houston（计算机科学系，休斯顿大学）；Department of ECE Department of CSE The Ohio State University（电子工程系、计算机科学与工程系，俄亥俄州立大学）
本文研究了 Mixture-of-Transformers (MoT) 框架，通过持续训练门控网络实现专家特化，证明了其在 $O(\log(\varepsilon^{-1}))$ 步内收敛，显著优于单 Transformer，并提供了首个统一理论解释。
2025-10-30 cs.LG
Controlling Computation versus Quality for Neural Sequence Models
Google Research（谷歌研究院）
大多数神经网络对每个例子都使用相同的计算量，而与输入的固有复杂性无关。此外，使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图，忽略任何外部计算预算或变化的推理时间限制。在这项工作中，我们利用条件计算，使神经序列模型（Transformer）更有效和计算感知推理。我们首先修改了Transformer架构，使每组操作都可以根据学习的控制网络的输出有条件地执行。然后，我们在多任务设置中训练该模型，其中每个任务对应于特定的计算预算。这允许我们训练单个模型，该模型可以被控制以在计算质量权衡曲线的不同点上操作，这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法：（i）WMT英法翻译和（ii）无监督表示学习（BERT）。我们的实验表明，所提出的条件计算Transformer（CCT）是有竞争力的香草Transformers时，允许利用其全部计算预算，同时提高显着的计算等效基线时，较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers
University of California San Diego（加州大学圣迭戈分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California Davis（加州大学戴维斯分校）
本研究在JetClass-II上对比密集与MoE粒子Transformer，发现top-1 MoE在计算量不变时提升精度，多专家激活增加计算成本但提升预测，并强调需区分存储容量、活跃计算、路由容量与组织。
2026-10-08 cs.LG hep-ex
Conditional Logical Message Passing Transformer for Complex Query Answering
South China University of Technology（华南理工大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）；Jiangmen Polytechnic（江门职业技术学院）
本文提出 CLMPT，通过区分常量与变量节点进行条件消息传递，并用 Transformer 自注意力自适应聚合消息、建模逻辑依赖，在降低计算成本的同时成为 CQA 新的最先进模型。
2024-08-10 cs.AI cs.LG cs.LO
PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks
Independent researcher（独立研究者）
PolyGLU通过动态路由机制使FFN神经元可选择四种激活函数，提升模型灵活性和性能，实验表明其在标准基准测试中表现优异。
2026-03-07 cs.AI cs.ET cs.LG
On the Expressive Power of Transformers for Contextual Relations
Instituto de Cálculo（计算研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出一种测度理论框架，将上下文关系建模为概率对象，揭示了softmax注意力与熵正则化最优传输的联系，并证明Transformer能近似任意上下文关系规则。
2026-09-28 cs.LG stat.ML
Cross-token Modeling with Conditional Computation
National University of Singapore（新加坡国立大学）
混合专家（MoE）是一种条件计算结构，通过扩展Transformer的局部模块（即前馈网络），获得了良好的性能。然而，由于不稳定的训练，扩展交叉令牌模块（即自我注意力）具有挑战性。这项工作提出了Sparse-MLP，这是一种全MLP模型，它将稀疏激活的MLP应用于交叉令牌建模。具体来说，在我们的全MLP模型的每个稀疏块中，我们应用两个阶段的MoE层：一个是MLP专家沿着图像块维度混合通道内的信息，另一个是MLP专家沿着通道维度混合块内的信息。此外，通过提出MoE的重要性分数路由策略和重新设计图像表示形状，进一步提高了模型的计算效率。在实验上，我们比视觉Transformer更有效的计算与可比的准确性。此外，我们的模型可以在ImageNet Top-1精度上超过MLP-Mixer 2.5\%，并且参数和计算成本更少。在下游任务上，即Cifar 10和Cifar 100，我们的模型仍然可以实现比基线更好的性能。
2022-01-14 cs.AI cs.CV cs.LG
In-Context Learning as Nonparametric Conditional Probability Estimation: Risk Bounds and Optimality
Department of Statistics Beijing Normal University at Zhuhai（北京师范大学珠海分校统计学系）；Department of Statistics and Data Science Hunan University（湖南大学统计学与数据科学系）；School of Science Sun Yat-sen University（中山大学科学学院）
该研究针对多类分类中上下文学习的期望超额风险，基于KL散度建立新神谕不等式，证明transformer与多层感知器的ICL估计器均能达到条件概率估计的极小极大最优速率，还提出了通过一致经验熵控制泛化误差的新方法。
2025-08-31 cs.LG stat.ML
Deep Generative Transformers for Probabilistic Time Series and Spatiotemporal Forecasting
SAFIR, Sorbonne University Abu Dhabi（SAFIR，索邦大学阿布扎赫尔分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
提出Enformer和GEnformer，结合Transformer与engression学习条件分布，无需参数假设即可生成连贯多变量轨迹，在时间序列和时空预测中优于现有方法。
2026-06-23 cs.AI cs.LG stat.ML
Tractable Transformers for Flexible Conditional Generation
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学校）
本文提出Tracformer，一种结合稀疏编码器捕获局部与全局上下文的Transformer生成模型，以解决非自回归模型在条件生成中泛化不足的问题，并在文本建模上达到最先进性能。
2025-07-07 cs.CL cs.LG
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University（耶尔德兹理工大学）
自然语言处理任务的数据增强方法是近年来研究的热点，但其局限性较大，难以捕捉句子层次上的多样性。此外，并不总是能够对监督任务执行数据增强。为了解决这些问题，我们提出了一种神经数据增强方法，这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时，我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展，我们在几个基准上对我们的模型进行训练和评估，以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明，我们的模型增加了当前模型的性能相比，其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo（布法罗大学）；JD Finance America Corporation（京东金融美国公司）
我们研究了用于神经故事生成的大规模潜变量模型（LVMs）-开放域长文本的一个未充分开发的应用程序-目标有两个线程：生成有效性和可控性。LVMs，特别是变分自编码器（VAE），通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来，Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果，因此在生成过程中缺乏令人满意的可控性。在本文中，我们主张在Transformers时代恢复潜变量建模，本质上是表示学习的力量，以增强可控性，而不损害最先进的发电效率。具体来说，我们将潜在表示向量与基于transformer的预训练架构相结合，以构建条件变分自编码器（CVAE）。模型的组成部分，如编码器，解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力，以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Block Pruning For Faster Transformers
Hugging Face
预训练提高了分类和生成任务的模型准确性，但代价是引入了更大更慢的模型。修剪方法已被证明是减少模型大小的有效方法，而蒸馏方法被证明可以加速推理。我们介绍了一个块修剪的方法，针对小型和快速的模型。我们的方法通过考虑任何大小的块扩展结构化方法，并将此结构集成到运动修剪范式中进行微调。我们发现，这种方法学会了修剪掉底层模型的完整组件，例如注意力头。实验考虑了分类和生成任务，产生了一个修剪模型，它比SQuAD v1快2.4倍，BERT小74%，比F1小1%，在速度和大小上都与蒸馏模型竞争。
2021-09-10 cs.CL cs.LG
CTRL: A Conditional Transformer Language Model for Controllable Generation
Salesforce Research（Salesforce研究院）
大规模的语言模型显示出有前途的文本生成能力，但用户不能容易地控制生成的文本的特定方面。我们发布了CTRL，这是一个有16.3亿个参数的条件Transformer语言模型，它被训练成控制样式、内容和特定于任务的行为的控制代码。控制代码来源于与原始文本自然共存的结构，保留了无监督学习的优点，同时对文本生成提供更明确的控制。这些代码还允许CTRL预测训练数据的哪些部分最有可能被赋予序列。这为通过基于模型的源属性分析大量数据提供了一种潜在的方法。我们已经在https://github.com/salesforce/ctrl上发布了多个全尺寸的、预训练的CTRL版本。
2019-09-20 cs.CL
Striped Attention: Faster Ring Attention for Causal Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MosaicML（MosaicML公司）；MIT EECS（麻省理工学院电气工程与计算机科学系）
针对因果Transformer中环形注意力因三角结构导致的工作负载不均衡，提出条纹注意力，通过均匀分布token子集实现更均衡负载，在A100和TPUv4上分别获得最高1.45倍和1.65倍的吞吐量提升。
2023-11-15 cs.CL cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
Faster Transformer Decoding: N-gram Masked Self-Attention
Google, Inc.（谷歌公司）
针对Transformer解码加速问题，提出基于N-gram假设截断目标侧自注意力窗口的方法，在WMT数据集上几乎不损失BLEU分数。
2024-12-18 cs.CL cs.LG stat.ML
Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields
Beijing University of Posts and Telecommunications（北京邮电大学）；Renmin University of China（中国人民大学）；Brandeis University（布兰迪斯大学）
在中文对话中，代词经常被丢弃，恢复丢弃的代词对于机器翻译等NLP应用非常重要。现有的方法通常将其表述为预测每个标记之前是否有丢弃的代词及其类型的序列标记任务。每个话语被认为是一个序列，并独立标记。虽然这些方法已经显示出了希望，但独立地标记每个话语忽略了相邻话语中的代词之间的依赖关系。对这些依赖关系进行建模对于提高丢弃代词恢复的性能至关重要。在本文中，我们提出了一个新的框架，结合Transformer网络的强度与一般条件随机场（GCRF）的模型之间的依赖关系在相邻的话语代词。三个中文对话数据集的结果表明，Transformer-GCRF模型的性能优于最先进的丢弃代词恢复模型。探索性分析也表明，GCRF确实有助于捕捉相邻话语中代词之间的依赖关系，从而有助于提高性能。
2020-10-07 cs.CL
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering
Stony Brook University（石溪大学）
基于transformer的QA模型在所有层都使用输入范围内的自我注意力-即在问题和输入段落中-导致它们缓慢且内存密集。事实证明，我们可以在所有层都没有输入范围的自我注意，特别是在较低的层。我们引入了DeFormer，一个分解的Transformer，它在较低层中用问题范围和问题范围的自注意力代替完全的自注意力。这允许对输入文本表示进行与问题无关的处理，这反过来又使预计算段落表示能够大幅减少运行时计算。此外，由于DeFormer与原始模型非常相似，因此我们可以使用标准Transformer的预训练权重初始化DeFormer，并直接在目标QA数据集上进行微调。我们展示了DeFormer版本的BERT和XLNet可用于将QA速度提高4.3倍以上，并且在简单的基于蒸馏的损失下，它们的准确性仅下降1%。我们在https://github.com/StonyBrookNLP/deformer上开源代码。
2020-05-02 cs.AI cs.CL cs.LG
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University（雅盖隆大学）；Poznan University of Technology（波兹南理工大学）
我们提出了一种新的方法来稀疏注意力的Transformer模型，学习选择最信息的令牌表示在训练过程中，从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子，算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明，即使是我们简单的基线也可以达到当前的SOTA，并且通过可训练的池化，我们可以保持其最高质量，同时在训练过程中$1.8\times$更快，在推理过程中$4.5\times$更快，在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Simplifying the Modeling of Arbitrary Conditionals in Natural Language
Mila — Quebec AI Institute（Mila — 魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
提出AC-GPT，通过简单修改标准因果Transformer，实现单次前向传播中评估和采样任意条件（包括过去、未来和混合上下文），保持左到右顺序和下一词预测目标，无需退化标准性能。
2026-06-16 cs.CL cs.LG
Transformer-VQ: Linear-Time Transformers via Vector Quantization
本文提出Transformer-VQ，通过向量量化键和新颖缓存机制实现线性时间稠密自注意力，在多个基准上取得有竞争力的质量，并在长序列上显著快于二次时间Transformer。
2024-02-25 cs.CL cs.CV cs.LG
A Conditional Generative Chatbot using Transformer Model
Semnan University（塞姆南大学）；Electrical and Computer Engineering Faculty（电气与计算机工程学院）
本文提出一种结合条件Wasserstein生成对抗网络与Transformer模型的新架构，通过在生成器使用完整Transformer、判别器使用Transformer编码器，有效解决了序列模型的准确度问题，提升了聊天机器人的回答生成质量。
2023-09-08 cs.CL cs.CV
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
Transformers on Markov Data: Constant Depth Suffices
UC Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
研究Transformer在k阶马尔可夫数据上的行为，发现固定深度单头模型即可实现低测试损失，并证明三层Transformer能表示上下文条件经验分布，揭示了其捕获上下文的机制。
2024-07-25 cs.CL cs.IT cs.LG
FNet: Mixing Tokens with Fourier Transforms
Google Research（谷歌研究院）
我们表明，Transformer编码器架构可以加快，有限的精度成本，通过用简单的线性变换“混合”输入令牌取代自我注意力子层。这些线性混合器，以及前馈层中的标准非线性，证明了在几个文本分类任务中建模语义关系的能力。最令人惊讶的是，我们发现用标准的非参数化傅立叶变换替换Transformer编码器中的自注意子层，在GLUE基准测试中实现了BERT对应物的92-97%的准确度，但在标准512输入长度下，GPU上的训练速度快了80%，TPU上的训练速度快了70%。在较长的输入长度下，我们的FNet模型明显更快：与Long Range Arena基准测试中的“高效”Transformers相比，FNet与最准确模型的准确性相匹配，同时在GPU上的所有序列长度（以及TPU上相对较短的长度）上都超过了最快的模型。最后，FNet的内存占用量很小，在较小的模型尺寸下特别有效;对于固定的速度和精度预算，小型FNet模型优于Transformer模型。
2022-05-26 cs.CL cs.LG
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
当前最先进的图像描述方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而，它们有几个问题，如缺乏上下文信息，不准确检测的风险，以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而，如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构，称为GRIT（Grid- and Region-based图像描述Transformer），它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器，使其计算速度更快。此外，它的单片设计仅由Transformers组成，可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明，GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
Tsinghua University（清华大学）
该研究提出Trace as State方法，将推理轨迹置于长上下文Transformer的上下文前，在27组实验组合中26组优于对照方法，显著提升了模型在长上下文推理任务上的表现。
2026-10-14 cs.CL
Faster Depth-Adaptive Transformers
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
深度自适应神经网络可以根据输入词的难易程度动态调整深度，从而提高效率。主要的挑战是如何测量这种硬度并决定所需的深度（即，层）进行。以前的工作一般建立一个暂停单元，以决定是否计算应该继续或停止在每一层。由于没有对深度选择的具体监督，因此停止单元可能是欠优化的和不准确的，这导致在建模句子时的次优和不稳定的性能。在本文中，我们摆脱了停顿单元，并提前估计所需的深度，这产生了一个更快的深度自适应模型。具体地，提出了两种方法来显式地测量输入词的硬度并估计相应的自适应深度，即1）基于互信息（MI）的估计和2）基于重构损失的估计。我们对文本分类任务进行了实验，使用了24个不同大小和领域的数据集。结果证实，我们的方法可以加快香草Transformer（高达7倍），同时保持高精度。此外，效率和鲁棒性显着提高时，与其他深度自适应方法相比。
2020-12-16 cs.CL
MUTEX: Leveraging Multilingual Transformers and Conditional Random Fields for Enhanced Urdu Toxic Span Detection
Department of Computer and Information Sciences, Pakistan Institute of Engineering and Applied Sciences (PIEAS)（计算机与信息科学系，巴基斯坦工程与应用科学研究所）
MUTEX结合多语言Transformer和CRF，通过token级标注数据提升乌尔都语有毒短语检测性能，达到60%的F1得分。
2026-03-05 cs.AI cs.CL
FastSeq: Make Sequence Generation Faster
Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
基于transformer的模型在自然语言生成中产生了巨大的影响。然而，由于自回归解码过程中涉及的大模型尺寸和密集计算，推理速度是一个瓶颈。我们开发了FastSeq框架来加速序列生成而不会损失准确性。所提出的优化技术包括注意缓存优化、检测重复n-gram的有效算法以及具有并行I/O的异步生成流水线。这些优化足够通用，可以应用于基于transformer的模型（例如，T5、GPT 2和UniLM）。我们在一组广泛使用的不同模型上的基准测试结果表明，推理速度提高了4- 9倍。此外，FastSeq易于使用，只需简单的一行代码更改。源代码可在https://github.com/microsoft/fastseq上获得。
2021-07-12 cs.CL cs.LG
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
由于高度并行化的架构，Transformer比基于RNN的模型更快地进行训练，并广泛用于机器翻译任务。然而，在推理时，每个输出单词需要先前生成的单词的所有隐藏状态，这限制了并行化能力，并且使其比基于RNN的算法慢得多。在本文中，我们系统地分析了Transformer和基于RNN的模型的不同组件的时间成本。在此基础上，我们提出了一种自注意和RNN结构的混合网络，其中，高度并行的自注意被用作编码器，简单的RNN结构被用作解码器。我们的混合网络解码速度比Transformer快4倍。此外，在知识蒸馏的帮助下，我们的混合网络实现了与原始Transformer相当的翻译质量。
2019-09-05 cs.CL
Generating Medical Prescriptions with Conditional Transformer
The University of Manchester（曼彻斯特大学）
提出基于标签生成合成医疗处方的 LT3 模型，在 MIMIC-III 上训练并对比 T5，生成的合成数据训练 SpacyNER 在 n2c2-2018 上达到 96-98% F1 分数。
2023-11-18 cs.AI cs.CL cs.LG
An Efficient Transformer Decoder with Compressed Sub-layers
Northeastern University（东北大学）；NiuTrans Research（NiuTrans研究院）
本文提出压缩注意力网络，通过将Transformer解码器的三个子层压缩为一个，在14个WMT任务上实现1.42倍加速且性能与强基线相当，而该强基线本身已比标准基线快2倍。
2023-05-11 cs.CL
RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise
Monash University（莫纳什大学）
语音翻译（ST）中的预先训练的语音Transformers已经促进了最先进的（SotA）结果;然而，使用这样的编码器在计算上是昂贵的。为了改善这一点，我们提出了一种新的Reducer Adaptor块，RedApt，它可以无缝集成在任何基于transformer的语音编码架构中。将预训练的wav 2 vec 2语音编码器与RedApt集成，可带来41%的加速，33%的内存减少，推理时的FLOP减少24%。令我们惊讶的是，我们的ST模型与RedApt在Must-C的8个语言对上的平均BLEU得分超过了SotA架构。
2022-10-16 cs.AI cs.CL
Semantic-Conditional Diffusion Networks for Image Captioning
Sun Yat-sen University（中山大学）；JD Explore Academy（京东探索研究院）
文本到图像生成的最新进展见证了扩散模型的兴起，它作为强大的生成模型。然而，利用这样的潜变量模型来捕获离散词之间的依赖性，同时在图像描述中追求复杂的视觉语言对齐并不是微不足道的。在本文中，我们打破根深蒂固的公约，学习transformer为基础的编码器-解码器，并提出了一个新的扩散模型为基础的范例量身定制的图像描述，即语义条件扩散网络（SCD-网）。在技术上，对于每幅输入图像，我们首先通过跨模态检索模型搜索语义相关的句子，以传达全面的语义信息。丰富的语义被进一步视为语义优先于触发扩散Transformer的学习，其在扩散过程中产生输出句子。在SCD网络中，多个扩散Transformer结构被堆叠，以级联方式逐步加强输出句子，具有更好的视觉语言对齐和语言连贯性。此外，为了稳定扩散过程，设计了一种新的自临界序列训练策略，以指导SCD网络的学习与标准自回归Transformer模型的知识。COCO数据集上的大量实验表明，在具有挑战性的图像描述任务中使用扩散模型具有很大的潜力。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}获得。
2022-12-06 cs.CL cs.CV cs.MM
Regression Transformer: Concurrent sequence regression and generation for molecular language modeling
IBM Research Europe（IBM欧洲研究院）；ETH Zurich（苏黎世联邦理工学院）
针对分子生成模型缺乏连续属性归纳偏置、可控性不足的问题，提出Regression Transformer多任务模型，通过交替训练同时实现精准属性回归与条件分子生成，性能优于传统专用方法，可支撑材料设计等领域的属性驱动分子探索。
2022-11-11 cs.AI cs.CL cs.LG
