Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
提出了非自回归神经机器翻译（NAT）模型，以加速推理过程，同时保持相对较高的性能。然而，现有的NAT模型很难达到期望的效率-质量权衡。首先，具有有效推理的完全NAT模型的性能不如自回归模型。另一方面，迭代NAT模型可以实现相当的性能，同时减少速度的优势。在本文中，我们提出了RenewNAT，一个灵活的框架，具有高效率和有效性，将充分和迭代NAT模型的优点。RenewNAT首先生成潜在的翻译结果，然后在一次传递中更新它们。它可以在与传统NAT模型相同的代价下实现显着的性能改进（无需引入额外的模型参数和解码延迟）。各种翻译基准测试的实验结果（例如，\textbf{4} WMT）表明，我们的框架始终提高了强完全NAT方法的性能（例如，GLAT和DSLP），无需额外的速度开销。
2023-03-14 cs.CL
Non-autoregressive Transformer by Position Learning
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而，位置建模是非自回归文本生成中的一个基本问题。在这项研究中，我们提出PNAT，它将位置作为一个潜在的变量到文本生成过程。实验结果表明，PNAT在机器翻译和释义生成任务上取得了最好的结果，优于几个强基线。
2019-11-25 cs.CL cs.LG
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
非自回归模型通过并行解码提高了神经机器翻译的效率，但与自回归模型相比，非自回归模型的效率较低。在本文中，我们认为，自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的，可以进一步提高性能。然而，这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发，我们建议将语言的显式语法和语义结构纳入非自回归Transformer中，用于神经机器翻译的任务。此外，我们还考虑了目标句子内的中间潜在对齐，以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果（即，WMT 14 En-De和WMT 16 En-Ro）表明，与几种最先进的非自回归模型相比，我们的模型实现了更快的速度，并保持了翻译质量。
2021-01-22 cs.AI cs.CL
DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive Transformers for Machine Translation
Layer6 AI（Layer6人工智能公司）
针对迭代非自回归Transformer解码步数多、计算收益下降的问题，提出DiMS多步蒸馏技术，通过学生-教师模型的滑动平均蒸馏机制，在不增加推理开销的前提下显著提升单步翻译质量。
2023-06-09 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning
ByteDance（字节跳动）；Tsinghua University（清华大学）
本文提出扩散扫视Transformer（DIFFGLAT），通过模态扩散过程和残差扫视采样增强非自回归模型的多模态建模能力，在保持快速解码的同时提升生成质量。
2023-11-29 cs.CL
Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision
ByteDance AI Lab（字节跳动AI实验室）
我们如何在保持高翻译质量的同时进行有效的推理？现有的神经机器翻译模型，如Transformer，虽然性能很高，但它们是逐个解码单词，效率很低。最近的非自回归翻译模型加快了推理速度，但其质量仍然较差。在这项工作中，我们提出了DSLP，一个高效和高性能的机器翻译模型。关键的见解是训练具有深度监控的非自回归Transformer，并提供额外的逐层预测。我们对四个翻译任务（WMT'14 EN-DE和WMT'16 EN-RO两个方向）进行了广泛的实验。结果表明，我们的方法始终提高BLEU分数相比，各自的基础模型。具体来说，我们的最佳变体在三个翻译任务上优于自回归模型，同时在推理方面效率提高了14.8倍。
2021-10-14 cs.CL
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley（加州大学伯克利分校信息学院）
针对传统非自回归Transformer（NAT）捕捉全局依赖的挑战，提出FourierNAT架构，通过解码器中的傅里叶混合与频域门控实现并行生成，在机器翻译和摘要任务上取得竞争性结果且速度更快，还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
Non-autoregressive Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Soochow University（苏州大学）
针对自回归架构导致的同声翻译过度预测问题，提出非自回归流式 Transformer（NAST），通过单向编码器与非自回归解码器结合，并利用空白或重复标记灵活调整读写策略，在多个基准上优于强基线。
2023-10-23 cs.AI cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
我们提出了插入Transformer，一个迭代的，部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的，往往是从左到右的输出排序，我们的方法通过允许令牌在解码过程中插入序列中的任何地方，以适应任意的排序。这种灵活性带来了许多优点：例如，我们的模型不仅可以被训练为遵循特定的顺序，例如从左到右生成或二叉树遍历，而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外，我们的模型无缝地适应完全自回归生成（一次插入一个）和部分自回归生成（在多个位置同时插入）。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现，插入Transformer优于许多以前的非自回归方法，翻译在可比或更好的水平的并行性，并成功地恢复了原来的Transformer的性能，同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
非自回归Transformer（NAT）算法通过丢弃自回归机制，独立生成目标词来加速Transformer模型，但不能充分利用目标词的序列信息。由于上述原因，过度翻译和欠翻译错误经常发生，特别是在长句翻译的情况下。在本文中，我们提出了两种方法来检索的目标顺序信息的NAT，以提高其翻译能力，同时保持快速解码属性。首先，我们提出了一种基于一种新的NAT强化算法（Reinforce-NAT）的序列级训练方法，以减少方差并稳定训练过程。其次，我们提出了一个创新的Transformer解码器FS-解码器，融合的目标序列信息到解码器的顶层。三个翻译任务的实验结果表明，增强NAT超过基线NAT系统的BLEU上的显着保证金，而不会降低解码速度和FS解码器实现相当的翻译性能的自回归Transformer具有相当大的加速比。
2019-06-22 cs.AI cs.CL cs.LG
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Non-Autoregressive Translation by Learning Target Categorical Codes
NiuTrans Co., Ltd.（牛透科技有限公司）；Nanjing University（南京大学）
非自回归Transformer是一种很有前途的文本生成模型。然而，目前的非自回归模型在翻译质量方面仍然落后于自回归模型。我们将这种准确性差距归因于解码器输入之间缺乏依赖建模。在本文中，我们提出了CNAT，它学习隐式分类码作为潜在变量的非自回归解码。这些分类代码之间的相互作用弥补了缺失的依赖关系，提高了模型的容量。实验结果表明，我们的模型在机器翻译任务中取得了相当或更好的性能，与几个强基线相比。
2021-03-21 cs.AI cs.CL
Probability Distributions Computed by Autoregressive Transformers
University of Notre Dame（内布拉斯加大学达灵顿分校）；ETH Zürich（苏黎世联邦理工学院）；Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Kaiserslautern-Landau（凯撒斯劳滕-劳恩堡大学）；San José State University（圣何塞州立大学）
研究自回归变压器作为语言模型时能表达的概率分布，揭示自回归和概率化对表达力的影响。
2026-05-23 cs.CL
Do All Autoregressive Transformers Remember Facts the Same Way? A Cross-Architecture Analysis of Recall Mechanisms
Chosun University（全州大学）；Soongsil University（顺天大学）；Kongju National University（康州国立大学）
本研究跨GPT、LLaMA、Qwen和DeepSeek等自回归架构分析事实回忆机制，发现Qwen模型在早期层中注意力模块比MLP模块贡献更大，表明架构差异可导致不同回忆机制。
2025-09-10 cs.CL
Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出 PreDAT 及其预测一致性预训练任务，使非自回归文本生成在五项任务上显著超越现有预训练 NAR 模型，并在 n-gram 指标和速度上优于自回归基线。
2023-04-24 cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc（百度公司）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
尽管预训练的语言模型在生成流畅文本方面取得了最新进展，但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中，我们提出了PLANET，一个新的生成框架，利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成，我们的框架使用潜在表示来丰富Transformer解码器，以维护基于词袋的句子级语义计划。此外，我们引入了一个新的基于连贯性的对比学习目标，以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验，包括反驳生成和评论文章生成。自动和人工评估都表明，我们的方法显著优于强基线，并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
On the Learning of Non-Autoregressive Transformers
Tsinghua University（清华大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
非自回归Transformer（NAT）是一类文本生成模型，其目的是通过并行预测整个句子来减少解码延迟。然而，这样的延迟减少牺牲了捕获从左到右依赖性的能力，从而使NAT学习非常具有挑战性。在本文中，我们提出了理论和实证分析，揭示NAT学习的挑战，并提出了一个统一的角度来理解现有的成功。首先，我们证明了通过最大化可能性来简单地训练NAT可以导致边缘分布的近似，但会丢弃令牌之间的所有依赖关系，其中丢弃的信息可以通过数据集的条件总相关性来测量。其次，我们正式许多以前的目标在一个统一的框架，并表明，他们的成功可以得出结论，最大限度地提高代理分布的可能性，从而减少信息损失。实证研究表明，我们的观点可以解释NAT学习中的现象，并指导新的培训方法的设计。
2022-06-13 cs.CL
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了递归的非自回归图到图的Transformer架构（RNGTr）的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer，并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型，在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer（SynTr），一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性，甚至比SynTr实现的新的最先进的结果更好，显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam（阿姆斯特丹大学）；Northeastern University（东北大学）；Technion – IIT（以色列理工学院）
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题，通过稀疏自编码器分析花园路径句处理机制，发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab（腾讯AI实验室）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中取得了显著的推理加速，但其代价是精度不如自回归（AR）模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入，它们不能提供有效的目标侧信息，从而导致精度下降。为了解决这个问题，我们提出了一个CTC增强的NAR Transformer，它通过改进CTC模块的预测来生成目标序列。实验结果表明，我们的方法优于所有以前的NAR同行，实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长，则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度，则会损害模型的性能。为了解决这个问题，提高推理速度，本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型，该模型引入CTC模块来预测目标序列的长度，加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明，该模型能够准确预测目标序列的长度，并取得了与先进的Transformers竞争的性能。更重要的是，该模型甚至达到了0.0056的实时系数，超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
Non-autoregressive Transformer-based End-to-end ASR using BERT
National Taiwan University of Science and Technology（台湾科技大学）
基于transformer的模型在经典和实际的学科中带来了重大的创新，如语音处理，自然语言处理和计算机视觉。在Transformer之上，基于注意力的端到端自动语音识别（ASR）模型最近变得流行起来。具体而言，非自回归建模，它拥有快速的推理和性能相媲美的传统自回归方法，是一个新兴的研究课题。在自然语言处理的背景下，来自Transformers（BERT）模型的双向编码器表示受到了广泛关注，部分原因是它能够推断上下文化的单词表示，并为下游任务提供卓越的性能，同时只需简单的微调。受成功的启发，我们打算将语音识别视为BERT的下游任务，因此期望通过执行微调来推导ASR系统。因此，为了不仅继承非自回归ASR模型的优点，而且还享受预先训练的语言模型（例如，BERT），我们提出了一种基于BERT的基于非自回归变换器的端到端ASR模型。我们在AISHELL-1数据集上进行了一系列实验，与最先进的ASR系统相比，这些实验证明了该模型的竞争力或优越性。
2022-05-18 cs.CL cs.SD eess.AS
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple（苹果公司）
本文提出TarFlowLM框架，将语言建模从离散token空间转向连续潜在空间，利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成，并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个非自回归系统提交给WMT 22高效翻译共享任务。Helcl等人（2022）使用了我们的系统，试图在非自回归和自回归模型之间提供公平的比较。本次提交的文件旨在建立坚实的基线以及合理的评估方法，特别是在衡量解码速度方面。该模型本身是一个12层的Transformer模型，通过强自回归教师模型在知识提取数据集上使用连接主义时间分类进行训练。
2022-12-01 cs.CL
Why Are Positional Encodings Nonessential for Deep Autoregressive Transformers? Revisiting a Petroglyph
Harvard University（哈佛大学）
本文重温并解释了为何多层自回归 Transformer 无需显式位置编码即可区分序列顺序，指出该特性早在 GPT-2 时期已被发现但未获广泛传播，旨在将其重新确立为常识。
2025-05-30 cs.CL cs.LG
FNetAR: Mixing Tokens with Autoregressive Fourier Transforms
X-Mechanics（X力学）；LiveRamp；Appliedinfo Partners（应用信息伙伴公司）；Salesforce（赛富时）；SamsungNEXT（三星NEXT）
在这篇文章中，我们研究了FNet算法的自回归推广，其中标准Transformer架构中的自注意层被替换为基于傅立叶变换的平凡稀疏均匀采样过程。使用Wikitext-103基准测试，我们证明了FNetAR在因果语言建模任务上保持了最先进的性能（25.8 ppl），而Transformer-XL基线（24.2 ppl）只有一半的自我注意层，从而为深度神经网络的多余性提供了进一步的证据。自回归傅立叶变换可能用于大多数基于变换器的时间序列预测模型的参数减少。
2021-07-22 cs.CL cs.LG
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education（教育部工业过程知识自动化重点实验室）；EEasy Technology Company Ltd.（易捷科技有限公司）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中得到了广泛的研究，而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而，因果掩码是针对非并行自回归（AR）Transformer的从左到右解码过程而设计的，这对于并行NAR Transformer是不合适的，因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文，但是这些方法增加了模型复杂度。为了解决上述问题，我们提出了一种新的非自回归Transformer与统一的双向解码器（NAT-UBD），它可以同时利用从左到右和从右到左的上下文。然而，直接使用双向上下文会导致信息泄漏，这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏，我们提出了一种新的注意力掩码和修改香草查询，键和值矩阵的NAT-UBD。实验结果表明，NAT-UBD可以实现5.0%/5.5%的字符出错率（CER）的Aishell 1开发/测试集，优于所有以前的NAR Transformer模型。此外，当在单步的中解码时，NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed（字节跳动种子）
DiTAR通过结合语言模型和扩散变换器，提出一种基于补丁的自回归框架，有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
LeaPformer: Enabling Linear Transformers for Autoregressive and Simultaneous Tasks via Learned Proportions
Oregon State University（俄勒冈州立大学）
提出LeaPformer，通过将重加权函数从依赖序列长度泛化为依赖序列比例，并引入动态比例模块，使线性Transformer适用于自回归和同步任务，在多项基准上取得最佳质量-吞吐量权衡和竞争性结果。
2024-05-18 cs.CL cs.LG
Universal Approximation of Visual Autoregressive Transformers
The University of Chicago（芝加哥大学）；University of New South Wales（新南威尔士大学）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
该研究扩展对Transformer基础模型基本限制的分析至视觉自回归（VAR）Transformer，证明单头单自注意力层单插值层的VAR Transformer是图像到图像Lipschitz函数的通用逼近器，为高效VAR策略提供设计原则。
2025-02-10 cs.AI cs.CL cs.CV
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Academy of AI for Science（上海人工智能科学研究院）
该研究探索了扩散与自回归T2I Transformer的注意力汇，明确其存在、模式与功能，引入寄存器标记可优化生成性能，为相关机制分析与注意力设计提供依据。
2026-10-12 cs.CL cs.CV
A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
University of California, Los Angeles（加州大学洛杉矶分校）；PAII Inc.（平安科技（美国）有限公司）
本文提出基于CTC对齐的单步非自回归Transformer（CASS-NAT），用词元级声学嵌入替代词嵌入实现并行解码，在保持接近自回归模型识别精度的同时获得约24倍推理加速，并在多个数据集上刷新非自回归ASR最优结果。
2023-04-15 cs.CL eess.AS
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；DEKE Lab, Renmin University of China, Beijing, China（中国人民大学北京校区DEKE实验室）
本文通过区分固定系统和缩放族两种设置，论证了上下文管理方法对自回归Transformer计算能力的决定性影响，并指出缩放族设置下的图灵完备性证明不适用于实际部署的固定系统。
2026-05-27 cs.AI cs.CL cs.LG
A Spark of Vision-Language Intelligence: 2-Dimensional Autoregressive Transformer for Efficient Finegrained Image Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Beijing Institute of Technology（北京理工大学）
本文提出二维自回归Transformer（DnD-Transformer），通过在序列长度之外引入模型深度方向的自回归，以端到端方式缓解VQ自回归图像生成的信息丢失问题，在相同模型规模下实现更高质量的图像生成，并首次展示自监督训练下对图文组合模态的理解能力。
2024-10-02 cs.AI cs.CL cs.CV
A Lexical-aware Non-autoregressive Transformer-based ASR Model
National Taiwan University of Science and Technology（台湾科技大学）
提出词汇感知的非自回归Transformer（LA-NAT）ASR框架，通过语音-文本共享编码器与解码器联合训练使模型感知词汇信息，在多个数据集上优于同类模型且比自回归模型快约58倍。
2023-05-18 cs.CL cs.SD eess.AS
Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
Transformers最近主导了ASR领域。虽然能够产生良好的性能，但它们涉及自回归（AR）解码器来逐个生成令牌，这在计算上是低效的。为了加速推理，设计了非自回归（NAR）方法，例如单步NAR，以实现并行生成。然而，由于输出标记内的独立性假设，单步NAR的性能不如AR模型的性能，特别是对于大规模语料库。改进单步NAR算法面临两个挑战：一是准确预测输出标记的数量并提取隐变量;二是加强对输出标记之间相互依赖关系的建模。为了解决这两个挑战，我们提出了一个快速，准确的并行Transformer，称为Paraformer。这利用了一个基于连续积分和触发的预测器来预测令牌的数量并生成隐藏变量。然后，扫视语言模型（GLM）采样器生成语义嵌入，以增强NAR解码器对上下文相互依赖性进行建模的能力。最后，我们设计了一个策略，以产生负样本的最小字出错率训练，以进一步提高性能。使用公共AISHELL-1，AISHELL-2基准测试和工业级20，000小时任务的实验表明，所提出的Paraformer可以达到与最先进的AR Transformer相当的性能，具有超过10倍的加速比。
2023-03-30 cs.CL cs.SD eess.AS
Autoregressive Reasoning over Chains of Facts with Transformers
KU Leuven（鲁汶大学）
提出了一种多跳解释再生的迭代推理算法，该算法在给定自然语言问题及其答案的情况下，以文本片段的形式检索相关事实证据。当进行推理所需的来源数量增加时，组合多个证据或事实来源进行多跳推理变得越来越困难。我们的算法通过分解从语料库自回归中选择的事实来处理这个问题，条件是下一次迭代之前选择的事实。这允许我们使用成对学习排序损失。我们在TextGraphs 2019和2020共享任务的数据集上验证了我们的方法，以进行解释再生。这项任务的现有工作要么孤立地评估事实，要么人为地限制可能的事实链，从而限制多跳推理。我们证明了我们的算法，当与预先训练的Transformer模型一起使用时，在精度，训练时间和推理效率方面优于以前的最新技术。
2020-12-17 cs.CL cs.IR cs.LG
Nana-HDR: A Non-attentive Non-autoregressive Hybrid Model for TTS
Tencent（腾讯）
本文提出了Nana-HDR，一种新的非注意非自回归模型，具有混合的基于transformer的密集融合编码器和基于RNN的解码器的TTS。它主要包括三个部分：第一，一种新的密集融合编码器之间的密集连接的基本Transformer块的粗特征融合和多头注意力层的精细特征融合。第二，基于单层非自回归RNN的解码器。第三，持续时间预测器代替连接上述混合编码器和解码器的注意力模型。实验表明，Nana-HDR充分发挥了各个组件的优势，如基于Transformer的编码器具有强大的文本编码能力，不受曝光偏差和局部信息偏好的影响而进行有状态解码，以及持续时间预测器提供的稳定对齐。由于这些优点，Nana-HDR在两个普通话语料库上的自然度和鲁棒性方面取得了有竞争力的性能。
2021-09-28 cs.CL cs.SD eess.AS
Non-autoregressive sequence-to-sequence voice conversion
TARVO Inc.（TARVO公司）；Nagoya University（名古屋大学）
提出了一种基于非自回归序列到序列（NAR-S2 S）模型的语音转换方法。受NAR-S2 S模型在文本到语音（TTS）中的巨大成功的启发，我们扩展了FastSpeech 2模型用于VC问题。我们引入了卷积增强的Transformer（Conformer）而不是Transformer，从而可以从输入序列中捕获局部和全局上下文信息。此外，我们将方差预测器扩展到方差转换器，以显式地将源说话人的韵律成分（如音高和能量）转换为目标说话人。与日本说话人数据集，其中包括男性和女性说话人的1,000个话语的实验评估表明，所提出的模型使我们能够执行更稳定，更快，更好的转换比自回归S2 S（AR-S2 S）模型，如Tacotron 2和Transformer。
2021-04-14 cs.CL cs.SD eess.AS
On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；RIKEN AIP（理化学研究所人工智能项目）；School of Software, Shandong University（山东大学软件学院）；Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University（清华大学计算机科学与技术系、BNRist中心、THU-Bosch机器学习中心）
本文分析单层线性因果自注意力在自回归梯度流训练下的非凸动态，证明其可通过一步 OLS 梯度下降形成 mesa-optimizer，并刻画其恢复数据分布的能力边界。
2024-10-26 cs.CL cs.LG stat.ML
Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers
ETH Zürich（苏黎世联邦理工学院）；ML, CSEM SA（CSEM SA（ML部门））；University of Basel（巴塞尔大学）
提出一种动态上下文剪枝方法，通过可学习机制在生成过程中丢弃无信息token，在保留表达能力的同时降低推理成本并提升可解释性，最高可剪枝80%上下文且性能不降，实现2倍吞吐量提升。
2024-05-31 cs.CL cs.LG
Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
Aleph Alpha Research（Aleph Alpha研究院）
本研究提出分层自回归Transformer，结合字符级与词级处理，避免固定词汇表，在70亿参数规模下匹配子词模型性能，同时显著增强对输入扰动的稳健性，并在跨语言持续预训练中实现近两倍加速和更优目标语言性能。
2025-01-20 cs.AI cs.CL cs.LG
Robust and Unbounded Length Generalization in Autoregressive Transformer-Based Text-to-Speech
Google DeepMind（谷歌DeepMind）
本文提出Very Attentive Tacotron，通过可学习的对齐机制为交叉注意力提供相对位置信息，解决了自回归Transformer TTS在长语音上的重复、丢词和长度泛化问题，同时保持与T5基线相当的自然度。
2025-03-11 cs.CL cs.LG cs.SD
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
虽然基于注意力的端到端模型在语音识别中取得了很好的性能，但波束搜索中的多遍前向计算增加了推理时间开销，限制了其实际应用。为了解决这个问题，我们提出了一个非自回归的端到端的语音识别系统称为LASO（认真听，拼写一次）。由于非自回归特性，LASO预测序列中的文本标记，而不依赖于其他标记。由于不需要波束搜索，一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构，计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率，优于最先进的自回归Transformer模型（6.7%）。平均推理延迟为21 ms，是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer
University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究探讨了循环结构对神经模型推理与可计算性的影响，指出思维链（CoT）通过模拟循环计算弥补了 Transformer 的局限，并提出“循环完备性”概念重新审视了 Linear Transformer 和 RWKV 等模型的理论缺陷。
2024-09-20 cs.AI cs.CL
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University（石溪大学）；Amazon.com Inc（亚马逊公司）
提出PATCorrect，一种基于文本与音素多模态融合的非自回归ASR纠错模型，在英文语料上实现11.62%的WER降低，推理延迟仅数十毫秒，满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
An Effective Non-Autoregressive Model for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）；Beijing Normal University (BNU Zhuhai)（北京师范大学（珠海校区））；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；Guangdong Key Lab of AI and Multi-Modal Data Processing（广东省人工智能与多模态数据处理重点实验室）
口语语言理解是面向任务的对话系统的核心组成部分，由于人类的不耐烦，口语理解需要更短的推理延迟。非自回归SLU模型明显提高了推理速度，但由于每个槽块之间缺乏顺序依赖信息而导致不协调的槽问题。为了弥补这一缺陷，本文提出了一种新的非自回归SLU模型分层细化Transformer，它包含一个插槽标签生成（SLG）任务和一个分层细化机制（LRM）。SLG被定义为用令牌序列和生成的槽标签生成下一个槽标签。使用SLG，非自回归模型可以在训练过程中有效地获得依赖信息，并且不需要花费额外的时间进行推理。LRM从Transformer的中间状态预测初步SLU结果，并利用它们来指导最终预测。在两个公共数据集上的实验表明，我们的模型显着提高了SLU性能（整体准确率为1.5%），同时大大加快了推理过程（超过10倍）。
2021-08-16 cs.AI cs.CL
