ANOLE: An Open, Autoregressive, Native Large Multimodal Models for Interleaved Image-Text Generation
Generative AI Research Lab (GAIR)（生成式人工智能研究实验室（GAIR））
针对开源 LMM 依赖适配器、单模态生成及分离扩散模型等问题，本文基于 Chameleon 通过数据与参数高效微调构建原生自回归多模态模型 Anole，实现高质量图文交错生成并开源全部资源。
2024-07-08 cs.AI cs.CL cs.CV
Improving Non-autoregressive Generation with Mixup Training
Microsoft（微软）
虽然预训练的语言模型在各种自然语言理解任务中取得了巨大成功，但如何有效地将它们用于非自回归生成任务仍然是一个挑战。为了解决这个问题，我们提出了一个非自回归生成模型的基础上预先训练的Transformer模型。为了弥合自回归和非自回归模型之间的差距，我们提出了一种简单有效的迭代训练方法，称为MIX源和伪目标（MIST）。与其他迭代解码方法不同，这些方法基于多次解码迭代来牺牲推理速度以获得更好的性能，MIST工作在训练阶段，并且对推理时间没有影响。我们的三代基准测试，包括问题生成，摘要和释义生成，实验表明，该框架实现了新的国家的最先进的结果完全非自回归模型。我们还证明了我们的方法可以用于各种预训练模型。例如，基于小型预训练模型的MIST也获得了与seq2seq模型相当的性能。
2021-10-21 cs.CL
ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation
Renmin University of China（中国人民大学）；Université de Montréal（蒙特利尔大学）
本文研究了基于预训练语言模型的文本生成任务。典型地，采用自回归（AR）方法来以逐个令牌的方式生成文本。尽管AR生成有许多优点，但它通常存在推理效率低下的问题。因此，提出了非自回归（NAR）模型来同时生成所有目标令牌。然而，NAR模型通常生成较低质量的文本，由于在输出文本中没有标记依赖性。在本文中，我们提出了ELMER：一个高效和有效的PLM NAR文本生成过程中显式建模的令牌依赖NAR生成。通过利用提前退出技术，ELMER根据其预测置信度在不同层启用令牌生成（更有信心的令牌将在较低层退出）。此外，我们提出了一种新的预训练目标，层排列语言建模，通过顺序排列每个令牌的出口层来预训练ELMER。在三个文本生成任务上的实验表明，ELMER显著优于NAR模型，并进一步缩小了与AR PLM的性能差距（\eg ELMER（29.92）与BART（30.61）ROUGE-L在XSUM中），同时实现了超过10倍的推理加速。
2022-10-28 cs.CL
CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个非自回归系统提交给WMT 22高效翻译共享任务。Helcl等人（2022）使用了我们的系统，试图在非自回归和自回归模型之间提供公平的比较。本次提交的文件旨在建立坚实的基线以及合理的评估方法，特别是在衡量解码速度方面。该模型本身是一个12层的Transformer模型，通过强自回归教师模型在知识提取数据集上使用连接主义时间分类进行训练。
2022-12-01 cs.CL
EncT5: A Framework for Fine-tuning T5 as Non-autoregressive Models
Google（谷歌）
随着T5模型的出现，预先训练的编码器-解码器Transformer架构最近变得越来越流行。T5也比其他架构（如BERT）更受欢迎，这是因为它预先训练的数据量，模型参数大小的规模增加，以及由于模型的生成性质而易于适用于各种任务。虽然能够推广到各种各样的任务，但目前尚不清楚编码器-解码器架构对于不需要自回归解码的微调任务是否最有效。在这项工作中，我们研究了微调预训练的编码器-解码器模型，用于分类，多标签分类和结构化预测等任务。我们提出了\textbf{EncT5}，这些问题的框架，并说明这些任务的实例。我们的实验结果表明，当在公开可用的预训练检查点上进行评估时，EncT 5比T5具有优势，例如效率和可用性优于BERT。
2022-10-23 cs.CL
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
自回归解码是序列到序列模型中唯一可以防止它们在推理时大规模并行化的部分。非自回归模型使得解码器能够并行地独立地生成所有输出符号。我们提出了一种新的非自回归架构的连接主义的时间分类的基础上，神经机器翻译的任务和评估。与其他分几步操作的非自回归方法不同，我们的模型可以进行端到端的训练。我们在WMT英语-罗马尼亚语和英语-德语数据集上进行实验。我们的模型比自回归模型实现了显著的加速，保持了与其他非自回归模型相当的翻译质量。
2018-11-12 cs.CL
Reversal Invariance in Autoregressive Language Models
本文形式化了自回归语言建模目标的反转不变性特性，指出该对称性是当前预训练目标的局限，并呼吁未来研究应通过时间不对称性视角设计能明确建模语言箭头的损失函数与架构。
2025-11-01 cs.CL
Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models
FACULTY OF ELECTRICAL ENGINEERING AND COMPUTING（电气工程与计算学院）；University of Zagreb, Faculty of Electrical Engineering and Computing（Zagreb大学电气工程与计算学院）；Department of Electronics, Microelectronics, Computer and Intelligent systems（电子、微电子、计算机和智能系统系）；Text Analysis and Knowledge Engineering Laboratory (TakeLab)（文本分析与知识工程实验室）
本论文通过多任务学习、架构修改和生成式上下文微调三种方法适配预训练语言模型，以提升序列标注任务的迁移学习效果。
2025-10-22 cs.CL
GenDistiller: Distilling Pre-trained Language Models based on an Autoregressive Generative Model
China Mobile Research（中国移动研究院）
针对预训练语音语言模型资源占用高的问题，提出GenDistiller自回归知识蒸馏框架，用小学生网络逐层生成教师模型隐藏表征，在SUPERB基准上以更少参数量实现更优性能，可大幅压缩WavLM规模。
2024-06-21 cs.CL cs.SD eess.AS
Universal Conditional Masked Language Pre-training for Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Monash University（莫纳什大学）
预训练的序列到序列模型显著改进了神经机器翻译（NMT）。与先前的预训练模型通常采用单向解码器的工作不同，本文证明了预训练序列到序列模型，但具有双向解码器可以为自回归和非自回归NMT产生显着的性能增益。具体来说，我们提出了CeMAT，一个条件掩蔽语言模型预训练的大规模双语和单语语料库中的许多语言。我们还介绍了两种简单而有效的方法来提高CeMAT，对齐码切换和掩蔽和动态双掩蔽。我们进行了广泛的实验，并表明我们的CeMAT可以在从低资源到极高资源语言的所有场景中实现显着的性能改进，即，在低资源条件下，BLEU最高可达+14.4，自回归NMT的平均BLEU改进可达+7.9。对于非自回归NMT，我们证明了它也可以产生一致的性能增益，即，最高+5.3 BLEU据我们所知，这是第一个预训练统一模型的工作，用于对两个NMT任务进行微调。代码、数据和预训练模型可在https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CeMAT上获得。
2022-06-02 cs.CL
Multi-Granularity Optimization for Non-Autoregressive Translation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
尽管低延迟，非自回归机器翻译（NAT）遭受严重的性能恶化，由于天真的独立性假设。交叉熵损失进一步强化了这一假设，它鼓励假设和参考符号之间严格匹配。为了缓解这个问题，我们提出了多粒度优化的NAT，收集模型行为的翻译段的各种粒度，并集成反馈的反向传播。在四个WMT基准测试上的实验表明，该方法的性能明显优于使用交叉熵损失训练的基线模型，并在WMT'16 En-Ro上实现了最佳性能，在WMT'14 En-De上实现了具有竞争力的完全非自回归翻译结果。
2022-10-20 cs.CL
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Universidad Autónoma Metropolitana Unidad Cuajimalpa（大都会自治大学夸希马尔帕校区）；Universidad Nacional de San Luis（圣路易斯国立大学）
在本文中，我们描述了我们在CASE-2022中的子任务2的共享任务提交，事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组，总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身，我们考虑不同的因果关系，如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练，但我们的方法仍然取得了有竞争力的性能，在比赛中排名第二。此外，我们表明，假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.（ASAPP公司）
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而，这些收益是以阻碍推理速度为代价的，使得最先进的模型在现实世界中部署起来很麻烦，时间敏感的设置。我们开发了一种压缩技术的自回归模型，是由模仿学习的角度来看，知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务，如翻译和摘要，我们的方法始终优于其他蒸馏算法，如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点，同时与教师模型相比，推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
Cedille: A large autoregressive French language model
Cedille AI（Cedille AI（塞迪尔人工智能））
自回归语言模型的规模和训练的扩大使得使用zero-shot和少样本学习解决自然语言处理任务的新方法成为可能。虽然GPT-3等极端规模的语言模型提供了多语言功能，但英语以外的语言的零样本学习在很大程度上尚未开发。在这里，我们介绍Cedille，一个大型的开源自回归语言模型，专门为法语训练。我们的研究结果表明，Cedille优于现有的法语语言模型，是有竞争力的GPT-3的一系列法国zero-shot基准。此外，我们提供了这些模型所表现出的毒性的深入比较，表明Cedille标志着由于数据集过滤，语言模型安全性的改善。
2022-02-07 cs.CL
ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）；New York University（纽约大学）
我们提出训练一个非自回归机器翻译模型，以最小化由预训练的自回归模型定义的能量。特别是，我们将我们的非自回归翻译系统视为一个推理网络（Tu和Gimpel，2018），经过训练以最大限度地减少自回归教师能量。这与在由这种教师模型的波束搜索输出组成的蒸馏语料库上训练非自回归模型的流行方法形成对比。我们的方法，我们称之为ENERGY（基于ENerGy的推理网络），在IWENTS 2014 DE-EN和WMT 2016 RO-EN数据集上实现了最先进的非自回归结果，接近自回归模型的性能。
2020-05-12 cs.CL cs.LG
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
GPT-NeoX-20B: An Open-Source Autoregressive Language Model
我们引入GPT-NeoX-20 B，这是一个在Pile上训练的200亿参数自回归语言模型，其权重将通过许可证免费公开提供给公众。据我们所知，它是在提交时具有公开可用权重的最大密集自回归模型。在这项工作中，我们描述了\model{}的架构和培训，并评估其性能的一系列语言理解，数学和知识为基础的任务。我们发现，GPT-NeoX-20 B是一个特别强大的Few-Shot推理机，在五次评估时，其性能远远超过类似大小的GPT-3和FairSeq模型。我们在https://github.com/EleutherAI/gpt-neox上开源了训练和评估代码以及模型权重。
2022-04-14 cs.CL
Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison
Independent Researcher（独立研究者）
本文对比自回归与掩码扩散语言模型，发现两者在训练效率、收敛速度及生成多样性上存在差异，揭示不同训练策略的最优计算方案。
2026-03-23 cs.CL
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Autoregressive Score Generation for Multi-trait Essay Scoring
Graduate School of AI, POSTECH（浦项科技大学人工智能研究生院）；aiXplain Inc.（aiXplain公司）；Department of CSE, POSTECH（浦项科技大学计算机科学与工程系）
针对多维度作文评分，提出基于T5的自回归分数生成方法ArTS，将评分重构为生成任务，利用先前维度分数提升预测，平均改进超5%。
2024-03-13 cs.AI cs.CL
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功，但它们仍然存在内容保存问题，即它们通常会忽略源句子的一部分，并生成一些具有强烈风格的无关词。在本文中，我们提出了一个非自回归生成器的无监督文本风格转移（NAST），它从两个方面来说明这个问题。首先，我们观察到，大多数单词在转移的句子可以与源句子中的相关词对齐，所以我们显式地建模词对齐，以抑制不相关的词。其次，使用循环损失训练的现有模型在两个风格文本空间中对齐句子，这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接，学习风格之间的单词级迁移。对于实验，我们将建议的生成器集成到两个基本模型，并在两个风格转换任务上对其进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的词对齐。此外，非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context
NVIDIA（英伟达）
提出双塔扩散语言模型TwoTower，解耦上下文表示与迭代去噪，在保持98.7%质量的同时实现2.42倍生成吞吐量提升。
2026-07-01 cs.CL
BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
本文介绍武大和上海交大联合训练的多模态大语言模型BatGPT，通过双向自回归架构、参数扩展及AI与人类反馈强化学习提升生成质量、缓解幻觉并增强对齐。
2023-08-15 cs.CL
MixCE: Training Autoregressive Language Models by Mixing Forward and Reverse Cross-Entropies
Bloomberg（彭博公司）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出MixCE训练目标，混合前向与反向交叉熵，以缓解自回归语言模型的过度泛化问题，生成更符合人类评估的文本。
2024-05-26 cs.AI cs.CL cs.LG
Enabling Autoregressive Models to Fill In Masked Tokens
University of California Los Angeles（加州大学洛杉矶分校）
针对AR模型无法掩码填充、MLM模型计算低效的问题，提出MARIA架构，结合预训练MLM与AR模型的拼接隐藏状态训练线性解码器，使AR模型保留KV缓存推理优势的同时实现掩码填充，性能显著优于离散扩散模型。
2025-02-09 cs.AI cs.CL cs.LG
UGen: Unified Autoregressive Multimodal Model with Progressive Vocabulary Learning
Baidu Inc.（百度公司）
UGen是一个统一自回归多模态模型，通过将文本和图像转化为离散标记序列并用单一Transformer生成，采用渐进式词汇学习训练，在文本和图像任务上整体性能提升13.3%，并达到与任务专用模型竞争的水平。
2025-03-27 cs.CL cs.CV
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了递归的非自回归图到图的Transformer架构（RNGTr）的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer，并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型，在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer（SynTr），一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性，甚至比SynTr实现的新的最先进的结果更好，显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
我们提出了插入Transformer，一个迭代的，部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的，往往是从左到右的输出排序，我们的方法通过允许令牌在解码过程中插入序列中的任何地方，以适应任意的排序。这种灵活性带来了许多优点：例如，我们的模型不仅可以被训练为遵循特定的顺序，例如从左到右生成或二叉树遍历，而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外，我们的模型无缝地适应完全自回归生成（一次插入一个）和部分自回归生成（在多个位置同时插入）。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现，插入Transformer优于许多以前的非自回归方法，翻译在可比或更好的水平的并行性，并成功地恢复了原来的Transformer的性能，同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
Self-Distillation Mixup Training for Non-autoregressive Neural Machine Translation
Huawei Translation Services Center（华为翻译服务中心）；The University of Melbourne（墨尔本大学）
最近，非自回归（NAT）模型并行预测输出，与自回归（AT）模型相比，在生成速度上实现了大幅提高。虽然在原始数据上表现较差，但大多数NAT模型都是在AT教师模型生成的蒸馏数据上训练学生模型的，这被称为序列级知识蒸馏。自蒸馏混合（SDM）训练是提高AT模型性能的一种有效的训练策略，它在原始数据上预训练模型，通过预训练模型本身生成蒸馏数据，最后在原始数据和蒸馏数据的组合上重新训练模型。在这项工作中，我们的目标是查看SDM的NAT模型，但发现直接采用SDM NAT模型获得的翻译质量方面没有改善。通过仔细分析，我们发现AT教师模型和NAT学生模型的失效与模型多样性和确认偏差有关。在此基础上，我们提出了一种改进的策略SDMRT，在传统的SDM基础上增加了两个阶段：一个是对自提炼数据的预重排序，另一个是对过滤后的教师提炼数据的微调。我们的结果在多个NAT模型上比基线高出0.6到1.2 BLEU。作为另一个好处，对于迭代优化NAT模型，我们的方法可以在一半迭代次数内超过基线，这意味着2倍的加速。
2021-12-22 cs.AI cs.CL
Autoregressive Pre-Training on Pixels and Texts
Baidu Inc.（百度公司）；Peking University（北京大学）；Sun Yat-sen University（中山大学）
本文提出在自回归框架下同时利用文档图像和文本进行多模态预训练，通过下一图像块预测与下一词元预测相结合，证明融合视觉与文本数据能显著提升基于像素的语言模型性能，并发现仅用视觉数据训练的单向像素模型在多个语言理解任务上可比肩最先进的双向模型。
2024-10-03 cs.CL cs.CV
Non-autoregressive Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Soochow University（苏州大学）
针对自回归架构导致的同声翻译过度预测问题，提出非自回归流式 Transformer（NAST），通过单向编码器与非自回归解码器结合，并利用空白或重复标记灵活调整读写策略，在多个基准上优于强基线。
2023-10-23 cs.AI cs.CL
Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；Shanghai Jiao Tong University, Shanghai Innovation Institute（上海交通大学上海创新研究院）
提出伪自回归编解码器语言模型PALLE，结合自回归时间建模与非自回归并行生成，实现高效零样本TTS，在质量、相似度和速度上超越现有系统。
2025-08-05 cs.CL eess.AS
Non-Autoregressive Sign Language Production via Knowledge Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
手语制作（SLP）的目的是将口语中的表达转化为手语中的相应表达，例如基于手语的手势或视频。现有的SLP模型要么是自回归（AR），要么是非自回归（NAR）。然而，AR-SLP模型在解码期间遭受到均值回归和误差传播。NSLP-G是一种基于NAR的模型，在一定程度上解决了这些问题，但也带来了其他问题。例如，它不考虑目标符号长度，并且遭受错误的解码启动。本文提出了一种基于知识蒸馏（KD）的NAR-SLP模型。首先，我们设计了一个长度调节器来预测所生成的符号姿势序列的结束。然后，我们采用KD，它从预训练的姿势编码器中提取空间语言特征，以减轻错误的解码启动。大量的实验表明，该方法显着优于现有的SLP模型在Frechet手势距离和回翻译评价。
2022-08-12 cs.CL cs.LG
Non-Autoregressive Neural Text-to-Speech
Baidu Research（百度研究院）
在这项工作中，我们提出了ParaNet，一个非自回归seq2seq模型，将文本转换为频谱图。它是完全卷积的，在合成时比轻量级的Deep Voice 3加速46.7倍，同时获得相当好的语音质量。ParaNet还通过逐层迭代地提高注意力，在具有挑战性的测试句子上产生文本和语音之间的稳定对齐。此外，我们建立了并行的文本到语音系统，并测试了各种并行神经声码器，它可以合成语音从文本通过一个单一的前馈通过。我们还探索了一种新的基于VAE的方法，从零开始训练基于逆自回归流（IAF）的并行声码器，这避免了需要从一个单独训练的WaveNet蒸馏作为以前的工作。
2020-06-29 cs.CL cs.LG cs.SD
Speeding up Context-based Sentence Representation Learning with Non-autoregressive Convolutional Decoding
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
语境在人类语言理解中起着重要的作用，因此它也可以用于机器学习语言的向量表示。在本文中，我们探索了一种非对称的编码器-解码器结构，用于无监督的基于上下文的句子表示学习。我们精心设计的实验表明，既不需要自回归解码器，也不需要RNN解码器。在此之后，我们设计了一个模型，该模型仍然保留RNN作为编码器，同时使用非自回归卷积解码器。我们进一步结合了一套有效的设计，以显着提高模型效率，同时也实现了更好的性能。我们的模型是在两个不同的大型未标记语料库上训练的，在这两种情况下，可移植性都是在一组下游NLP任务上评估的。我们的经验表明，我们的模型是简单和快速的，同时产生丰富的句子表示，擅长下游任务。
2018-06-01 cs.CL cs.LG cs.NE
Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding
Google, Inc.（谷歌公司）
我们建议考虑流RNN-T模型与先前提出的Align-Refine非自回归解码方法及其改进版本的假设对齐。该方法执行几个细化步骤，其中每个步骤共享一个Transformer解码器，该解码器关注文本特征（从对齐中提取）和音频特征，并输出完整的更新对齐。Transformer解码器用CTC损失来训练，这有助于并行贪心解码，并且执行全上下文注意以捕获标签依赖性。我们通过引入级联编码器来改进Align-Refine，该编码器在细化之前捕获更多的音频上下文，并且对齐增强强制学习标签依赖性。我们表明，在流RNN-T模型的假设对齐的条件下，我们的方法获得了比第一遍RNN-T更准确的识别结果，只有少量的模型参数。
2021-12-01 cs.CL cs.LG eess.AS
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.（卡考公司）；Kakao Enterprise Corp.（卡考企业公司）
我们提出了联合训练的持续时间通知Transformer（JDI-T），前馈Transformer与持续时间预测器联合训练，没有明确的对齐，以产生一个声学特征序列从输入文本。在这项工作中，受FastSpeech和Durian等持续时间通知网络最近成功的启发，我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说，我们在联合训练期间从自回归Transformer中实时提取音素持续时间，而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知，这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音（KSS）数据集相比，基线文本转语音（TTS）模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Vocal Tract Length Perturbation for Text-Dependent Speaker Verification with Autoregressive Prediction Coding
Indian Institute of Information Technology（印度信息技术学院）；Aalborg University（奥尔堡大学）
在这封信中，我们提出了一个声道长度（Vocal Tract Length，VQ）扰动方法的文本相关的说话人确认（TD-SV），其中一组TD-SV系统的训练，每个VQ因子一个，和分数级融合应用于作出最终决定。接下来，我们探索通过训练具有自监督目标的深度神经网络提取的瓶颈（BN）特征，自回归预测编码（APC），用于TD-SV，并将其与研究良好的说话人判别BN特征进行比较。然后将该方法应用于APC和说话人判别BN特征。最后，我们将在MFCC上训练的微扰系统与分数域中的两个BN特征相结合。实验在TD-SV的RedDots挑战2016数据库上进行，使用高斯混合模型-通用背景模型和i-vector技术的短话语。结果表明，所提出的方法显着优于基线。
2021-03-25 cs.CL cs.SD eess.AS
Autoregressive Search Engines: Generating Substrings as Document Identifiers
Sapienza University of Rome（罗马第一大学）；Meta AI；University College London（伦敦大学学院）
知识密集型的语言任务要求NLP系统在给定的语料库中提供正确的答案并检索支持它的证据。自回归语言模型正在成为生成答案的事实标准，更新和更强大的系统正在以惊人的速度出现。在本文中，我们认为，所有这些（和未来）的进展可以直接应用到检索问题，以最小的干预模型的架构。先前的工作已经探索了将搜索空间划分为层次结构并通过自回归生成文档的唯一标识符来检索文档的方法。在这项工作中，我们提出了一种替代方案，不强制任何结构的搜索空间：使用所有的ngrams在一个通道作为其可能的标识符。这种设置允许我们使用自回归模型来生成和评分独特的ngrams，然后通过有效的数据结构映射到完整的通道。从经验上讲，我们表明，这不仅优于以前的自回归方法，而且还导致了至少10个点的平均改进，超过了KILT基准上的更成熟的检索解决方案，用于高级检索，在一些数据集上建立了新的最先进的下游性能，同时使用比竞争系统更轻的内存占用。代码和预先训练的模型在https://github.com/facebookresearch/SEAL。
2022-04-22 cs.CL cs.IR
IRIS: Intrinsic Reward Image Synthesis
Department of Computer Science, University of California, Los Angeles, USA（计算机科学系，加州大学洛杉矶分校）
IRIS通过内在奖励提升自回归T2I模型性能，改进图像生成质量并促进细致推理。
2026-01-29 cs.AI cs.CL cs.CV
Discrete Stochastic Localization for Non-autoregressive Generation
University of California Riverside（加州大学河滨分校）；New York University（纽约大学）
本文提出了一种名为离散随机定位（DSL）的连续状态框架，通过单位球体令牌嵌入实现最优去噪，从而在离散序列生成中提升分布忠实度，并展示了其在OpenWebText上的有效性。
2026-05-20 cs.CL cs.LG
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes（萨尔大学）
尽管掩蔽语言模型具有很高的性能，并被NLP从业者广泛采用，但它们不能容易地用于自回归语言建模（下一个单词预测和序列概率估计）。我们提出了一个基于LSTM的自回归语言模型，它使用前缀嵌入（从一个预先训练的掩蔽语言模型）通过融合（例如级联），以获得更丰富的上下文表示语言建模。我们发现，融合有助于可靠地降低困惑（16.74 $\rightarrow$ 15.80），这甚至是保存后，从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反，尽管整体困惑度有所改善，但相关性仍然与基线模型相同。最后，虽然我们专注于在文本上预训练的语言模型作为融合的源，但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Scene Text Recognition with Permuted Autoregressive Sequence Models
University of the Philippines（菲律宾大学）
上下文感知STR方法通常使用内部自回归（AR）语言模型（LM）。AR模型的固有局限性促使采用外部LM的两阶段方法。外部LM对输入图像的条件独立性可能导致其错误地纠正正确的预测，从而导致显著的低效率。我们的方法PARSeq使用置换语言建模学习具有共享权重的内部AR LM的集合。它统一了上下文无关的非AR和上下文感知的AR推理，以及使用双向上下文的迭代细化。使用合成训练数据，PARSeq在STR基准测试（91.9%的准确率）和更具挑战性的数据集上实现了最先进的（SOTA）结果。当在真实数据上训练时，它建立了新的SOTA结果（96.0%的准确度）。PARSeq在准确性与参数计数、FLOPS和延迟方面都是最优的，因为它简单、统一的结构和并行的令牌处理。由于其广泛使用的注意力，它是鲁棒的任意方向的文本，这是常见的现实世界的图像。代码、预训练权重和数据可在https://github.com/baudm/parseq上获得。
2022-07-14 cs.CL cs.CV
Non-autoregressive Transformer-based End-to-end ASR using BERT
National Taiwan University of Science and Technology（台湾科技大学）
基于transformer的模型在经典和实际的学科中带来了重大的创新，如语音处理，自然语言处理和计算机视觉。在Transformer之上，基于注意力的端到端自动语音识别（ASR）模型最近变得流行起来。具体而言，非自回归建模，它拥有快速的推理和性能相媲美的传统自回归方法，是一个新兴的研究课题。在自然语言处理的背景下，来自Transformers（BERT）模型的双向编码器表示受到了广泛关注，部分原因是它能够推断上下文化的单词表示，并为下游任务提供卓越的性能，同时只需简单的微调。受成功的启发，我们打算将语音识别视为BERT的下游任务，因此期望通过执行微调来推导ASR系统。因此，为了不仅继承非自回归ASR模型的优点，而且还享受预先训练的语言模型（例如，BERT），我们提出了一种基于BERT的基于非自回归变换器的端到端ASR模型。我们在AISHELL-1数据集上进行了一系列实验，与最先进的ASR系统相比，这些实验证明了该模型的竞争力或优越性。
2022-05-18 cs.CL cs.SD eess.AS
Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
非自回归翻译（NAT）实现了更快的推理速度，但与自回归翻译（AT）相比，其代价是更差的准确性。由于AT和NAT可以共享模型结构，并且由于对先前目标端令牌的显式依赖性，AT是比NAT更容易的任务，因此自然的想法是将模型训练从更容易的AT任务逐渐转移到更难的NAT任务。为了平滑从AT训练到NAT训练的转换，本文引入了半自回归转换（SAT）作为中间任务。SAT包含一个超参数k，每个k值定义了一个具有不同并行度的SAT任务。特别地，SAT包括AT和NAT作为其特殊情况：当k = 1时，SAT归约为AT，当k = N（N为目标句的长度）时，SAT归约为NAT。我们设计的课程表，逐步转移k从1到N，不同的起搏功能和任务的数量在同一时间训练。我们称之为任务级课程学习的NAT（TCL-NAT）。在IWSLT 14 De-En、IWSLT 16 En-De、WMT 14 En-De和De-En数据集上的实验表明，TCL-NAT在NAT基线上实现了显著的准确性提高，并将NAT和AT模型之间的性能差距缩小到1-2个BLEU点，证明了所提方法的有效性。
2020-07-17 cs.CL cs.LG
A Lexical-aware Non-autoregressive Transformer-based ASR Model
National Taiwan University of Science and Technology（台湾科技大学）
提出词汇感知的非自回归Transformer（LA-NAT）ASR框架，通过语音-文本共享编码器与解码器联合训练使模型感知词汇信息，在多个数据集上优于同类模型且比自回归模型快约58倍。
2023-05-18 cs.CL cs.SD eess.AS
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
Zarya: A Hybrid Autoregressive--Masked Diffusion Language Model with Flexible Training and Dual-Mode Inference
Zarya提出混合自回归-掩码扩散语言模型，通过槽式课程训练和双模式推理，兼顾生成质量与并行效率，实现KV缓存重用。
2026-09-18 cs.AI cs.CL
Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
Kyoto University（京都大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
快速推理速度是语音翻译（ST）系统在现实世界中部署的一个重要目标。基于编解码器架构的端到端（E2 E）模型比传统的级联系统更适合于这一目标，但迄今为止尚未探索其在解码速度方面的有效性。受基于文本的翻译中非自回归（NAR）方法的最新进展的启发，通过消除条件依赖并行生成目标令牌，我们研究了E2 E-ST的NAR解码问题。我们提出了一种新的NAR E2 E-ST框架，Orthros，其中NAR和自回归（AR）解码器在共享的语音编码器上联合训练。后者用于在从前者生成的各种长度候选中选择更好的平移，这显著提高了大长度波束的有效性，而开销可以忽略不计。我们进一步研究有效长度预测方法从语音输入和词汇量的影响。四个基准测试的实验表明，该方法在提高推理速度，同时保持有竞争力的翻译质量相比，最先进的AR E2 E-ST系统的有效性。
2021-02-18 cs.CL cs.SD eess.AS
Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一个新的训练目标命名为顺序不可知交叉熵（OaXE）的完全非自回归翻译（NAT）模型。OaXE改进了标准的交叉熵损失，以改善单词重排的效果，这是NAT中关键多模态问题的常见来源。具体地，OaXE消除了单词顺序错误的惩罚，并基于模型预测和目标令牌之间的最佳对齐来计算交叉熵损失。由于日志丢失对无效引用非常敏感，因此我们利用交叉熵初始化和丢失截断来确保模型集中在搜索空间的很大一部分。在主要的WMT基准测试上进行的大量实验表明，OaXE大大提高了翻译性能，为完全NAT模型创造了新的技术水平。进一步的分析表明，OaXE通过减少令牌重复和增加预测置信度来解决多模态问题。我们的代码、数据和训练模型可以在https://github.com/tencent-ailab/ICML21_OAXE上找到。
2021-06-09 cs.AI cs.CL cs.LG
KALL-E:Autoregressive Speech Synthesis with Next-Distribution Prediction
提出KALL-E，一种基于下一分布预测的自回归TTS模型，利用Flow-VAE提取连续语音表示并由AR Transformer预测分布，无需扩散组件，实现了高质量语音合成及单样本说话人适应。
2025-09-17 cs.CL cs.SD eess.AS
Meaning Representations from Trajectories in Autoregressive Models
本文提出从自回归模型所有可能轨迹的分布中提取意义表示，无需提示和微调，可建模非对称语义关系，在相似性及蕴含任务上优于零样本方法，并扩展至多模态数据。
2023-11-29 cs.AI cs.CL cs.CV
Achieving Timestamp Prediction While Recognizing with Non-Autoregressive End-to-End ASR Model
Alibaba Group（阿里巴巴集团）
传统的语音识别系统使用帧级音素后验进行力对齐和提供时间戳，而端到端语音识别系统尤其是基于AED的语音识别系统缺乏这种能力。本文提出利用非自回归ASR模型Paraformer中的连续积分触发机制，在识别的同时进行时间戳预测TP。针对CIF中的“火点偏向"问题，提出了火点延迟和静默插入等后处理策略。此外，我们建议使用scaled-CIF平滑CIF输出的权重，这被证明是有益的ASR和TP任务。采用累积平均位移AAS和日志化出错率DER来衡量时间戳的质量，并将该系统与传统的混合力对准系统进行了比较。在人工标注时间戳测试集上的实验结果表明，所提出的优化方法显著提高了CIF时间戳的准确性，AAS和DER分别降低了66.7%和82.1%。与使用相同数据训练的Kaldi力对齐相比，优化的CIF时间戳实现了12.3%的相对AAS减少。
2023-01-29 cs.CL cs.SD eess.AS
