What Have We Achieved on Non-autoregressive Translation?
Westlake University（西湖大学）；Zhejiang University（浙江大学）
本文通过多维度含人工评估系统比较四种代表性 NAT 方法与 AT，发现 NAT 虽缩小差距但在可靠指标下仍落后，并指出显式依赖建模的关键作用。
2024-05-21 cs.CL
Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models
LARG, Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology（LARG，社会计算与交互机器人研究中心，哈尔滨工业大学）；School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学）；The University of Hong Kong（香港大学）；Shanghai Jiao Tong University（上海交通大学）；ByteDance Seed (China)（字节跳动种子（中国））
本文揭示扩散大语言模型中并行解码与严谨推理因果顺序之间的核心矛盾（PSC），并提出面向并行的提示、扩散早停和并行扩展等实用缓解措施，以降低该矛盾引发的低效与无效性。
2025-10-10 cs.CL
Understanding Knowledge Distillation in Non-autoregressive Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究）
非自回归机器翻译（NAT）系统并行地预测输出令牌的序列，与自回归模型相比在生成速度上实现了实质性的改进。现有的NAT模型通常依赖于知识蒸馏技术，该技术从预训练的自回归模型创建训练数据以获得更好的性能。知识蒸馏在经验上是有用的，导致NAT模型的准确性大幅提高，但这种成功的原因至今尚不清楚。在本文中，我们首先设计了系统的实验来研究为什么知识蒸馏是至关重要的NAT训练。我们发现，知识蒸馏可以降低数据集的复杂性，并帮助NAT模型的变化，输出数据。此外，NAT模型的容量与提取数据的最佳复杂性之间存在很强的相关性，以获得最佳翻译质量。基于这些发现，我们进一步提出了几种方法，可以改变数据集的复杂性，以提高NAT模型的性能。我们实现了基于NAT的模型的最先进的性能，并在WMT 14 En-De基准上缩小了与自回归基线的差距。
2021-02-22 cs.CL
Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Tsinghua University（清华大学）；ByteDance（字节跳动）
非自回归Transformers（NAT）通过并行生成所有令牌来显著减少解码延迟。然而，这样的独立预测阻止NAT捕获令牌之间的依赖性以生成多个可能的翻译。在本文中，我们提出了有向无环变换器（DA-变换器），它表示隐藏状态的有向无环图（DAG），其中DAG的每条路径对应于一个特定的翻译。整个DAG同时捕获多个翻译，并以非自回归方式促进快速预测。在WMT基准测试的原始训练数据上进行的实验表明，DA-Transformer的平均性能比以往的NAT高出约3 BLEU，这是第一个在不依赖知识蒸馏的情况下，与自回归Transformers实现竞争结果的NAT模型。
2022-05-16 cs.CL
Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information
WeChat AI, Tencent Inc.（腾讯公司微信人工智能）
非自回归神经机器翻译（NAT）并行生成每个目标词，并实现了有前途的推理加速。然而，由于巨大的解码空间，现有的NAT模型在翻译质量上与自回归神经机器翻译模型相比仍有很大的差距。为了解决这个问题，我们提出了一种新的NAT框架命名为ReorderNAT明确建模的重排序信息的解码过程。我们进一步介绍了确定性和非确定性的解码策略，利用重新排序的信息，以缩小解码搜索空间在我们提出的ReorderNAT。各种广泛使用的数据集上的实验结果表明，我们提出的模型实现了更好的性能相比，现有的NAT模型，甚至达到了相当的翻译质量的自回归翻译模型具有显着的加速。
2020-12-16 cs.CL
LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention
ShannonAI；Stanford University（斯坦福大学）；Department of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
非自回归转换（NAT）模型在一个前向传递中生成多个令牌，并且与自回归转换（AT）方法相比，在推理阶段效率很高。然而，NAT模型经常遭受多模态问题，即，生成重复的令牌或丢失的令牌。在本文中，我们提出了两个新的方法来解决这个问题，环视（LA）策略和词汇注意力（VA）机制。Look-Around策略预测相邻令牌以预测当前令牌，而Vocabulary Attention通过关注每个位置的整个词汇来获取将要生成哪个令牌的知识，从而对解码器内部的长期令牌依赖性进行建模。我们还提出了一个动态的双向解码方法来加速LAVA模型的推理过程，同时保持高质量的生成输出。与自回归模型和大多数其他NAT模型相比，我们提出的模型在推理过程中使用的时间显着减少。我们在四个基准测试（WMT 14 En $\rightarrow$ De，WMT 14 De $\rightarrow$ En，WMT 16 Ro $\rightarrow$ En和IWSLT 14 De $\rightarrow$ En）上的实验表明，与现有的非自回归模型和自回归模型相比，该模型具有很好的性能，同时显著减少了推理阶段的时间开销.
2020-02-08 cs.CL
Rephrasing the Reference for Non-Autoregressive Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能模式识别中心）
非自回归神经机器翻译（NAT）模型存在多模态问题，即源语句可能存在多个可能的翻译，因此当NAT输出与其他翻译更接近时，参考语句可能不适合用于训练。针对这个问题，我们引入了一个改写器，根据NAT的输出对参考句子进行改写，从而为NAT提供更好的训练目标。当我们基于改述器输出而不是参考句子来训练NAT时，改述器输出应该与NAT输出很好地拟合并且不偏离参考太远，这可以量化为奖励函数并且通过强化学习来优化。主要的WMT基准测试和NAT基线的实验表明，我们的方法不断提高NAT的翻译质量。具体来说，我们最好的变体实现了自回归Transformer相当的性能，同时是14.7倍的推理效率。
2022-11-30 cs.CL
Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting
Hong Kong Polytechnic University（香港理工大学）
本文提出Auto-Demo Prompting方法，将批次内早期问答对作为后续推理的演示，以缓解大语言模型批量提示中的性能下降问题，并在五个NLP任务上验证了其有效性。
2024-10-02 cs.AI cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Hybrid-Regressive Neural Machine Translation
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
在这项工作中，我们凭经验证实，非自回归翻译与迭代细化机制（IR-NAT）的加速鲁棒性差，因为它是解码批量大小和计算设备设置比自回归翻译（AT）更敏感。受此启发，我们试图探讨如何更好地结合自回归和非自回归翻译范式的优势。为此，我们证明，通过合成实验，促使少量的AT的预测可以促进一次性的非自回归翻译，以实现相当于IR-NAT的性能。按照这条线，我们提出了一个新的两阶段的翻译原型称为混合回归翻译（HRT）。具体地，HRT首先经由自回归（例如，每k个令牌进行预测，k>1），然后以非自回归方式一次填充所有先前跳过的令牌。我们还提出了一个技术包，有效地和高效地训练HRT，而不添加任何模型参数。HRT在WMT En-De任务上达到了最先进的BLEU分数28.49，并且无论批量大小和设备如何，都比AT快至少1.5倍。此外，HRT的另一个好处是，它成功地继承了AT在深编码器浅解码器架构中的良好特性。具体地说，与具有6层编码器和6层解码器的普通HRT相比，具有12层编码器和1层解码器的HRT的推理速度在GPU和CPU上进一步加倍，而没有BLEU损失。
2022-10-19 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
提出了非自回归神经机器翻译（NAT）模型，以加速推理过程，同时保持相对较高的性能。然而，现有的NAT模型很难达到期望的效率-质量权衡。首先，具有有效推理的完全NAT模型的性能不如自回归模型。另一方面，迭代NAT模型可以实现相当的性能，同时减少速度的优势。在本文中，我们提出了RenewNAT，一个灵活的框架，具有高效率和有效性，将充分和迭代NAT模型的优点。RenewNAT首先生成潜在的翻译结果，然后在一次传递中更新它们。它可以在与传统NAT模型相同的代价下实现显着的性能改进（无需引入额外的模型参数和解码延迟）。各种翻译基准测试的实验结果（例如，\textbf{4} WMT）表明，我们的框架始终提高了强完全NAT方法的性能（例如，GLAT和DSLP），无需额外的速度开销。
2023-03-14 cs.CL
Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种完全非自回归的神经机器翻译（NAT）方法，利用神经网络的单次前向同时预测令牌，与Transformer基线相比，该方法以质量下降为代价显著降低了推理延迟。在这项工作中，我们的目标是在保持延迟优势的同时缩小性能差距。我们首先检查了完全NAT模型的基本问题，并采用输出令牌的学习空间中的依赖减少作为基本指导。然后，我们在四个不同的方面，已被证明是有效的改进NAT模型的方法，并仔细结合这些技术进行必要的修改。我们在三个翻译基准上的广泛实验表明，该系统实现了新的最先进的结果，完全NAT模型，并获得了与自回归和迭代NAT系统相当的性能。例如，其中一个模型在WMT 14 En-De上实现了27.49个BLEU点，推理速度提高了约16.5倍。
2020-12-31 cs.CL
Neighbors Are Not Strangers: Improving Non-Autoregressive Translation under Low-Frequency Lexical Constraints
Fudan University（复旦大学）；Huawei Translation Services Center（华为翻译中心）
然而，当前的自回归方法遭受高延迟。在本文中，我们专注于非自回归转换（NAT）的效率优势，这个问题。我们确定，目前的约束NAT模型，这是基于迭代编辑，不能很好地处理低频约束。为此，我们提出了一个插件算法，这条线的工作，即，对齐约束训练（ACT），它通过使模型熟悉约束的源端上下文来解决这个问题。在一般数据集和领域数据集上的实验表明，该模型在约束保持和翻译质量方面都优于骨干网约束NAT模型，尤其是对稀有约束。
2022-04-28 cs.CL
Unlocking the Potential of Diffusion Language Models through Template Infilling
Seoul National University（首尔国立大学）
本文提出了一种针对扩散语言模型的模板填充方法，通过在生成响应空间中建立全局蓝图，提升了数学推理、代码生成和旅行规划等任务的性能，同时在多token生成中实现了生成质量与速度的平衡。
2026-05-18 cs.AI cs.CL
Modeling Coverage for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）通过同时生成所有令牌实现了显著的推理加速。尽管NAT具有很高的效率，但它通常会遭受两种类型的翻译错误：过度翻译（例如重复的令牌）和翻译不足（例如缺失翻译），这最终限制了翻译质量。在本文中，我们认为，这些问题的NAT可以通过覆盖建模，这已被证明是有用的自回归解码来解决。本文提出了一种新的Coverage-NAT模型，通过一种令牌级的覆盖迭代精化机制和一种文档级的覆盖协议直接对覆盖信息进行建模，分别提醒模型源令牌是否被翻译，提高翻译和源之间的语义一致性。在WMT 14 En-De和WMT 16 En-Ro翻译任务上的实验结果表明，我们的方法可以减轻这些错误，并在基线系统上取得了很大的改进。
2021-04-24 cs.CL
MvSR-NAT: Multi-view Subset Regularization for Non-Autoregressive Machine Translation
Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）
条件掩蔽语言模型（CMLM）在非自回归机器翻译（NAT）中取得了令人瞩目的进展。它们通过预测目标句子中的随机掩码子集来学习条件翻译模型。在CMLM框架的基础上，我们引入了多视图子集正则化（MvSR），一种新的正则化方法，以提高NAT模型的性能。具体来说，MvSR由两部分组成：（1）\textit{shared mask consistency}：我们用不同的掩码策略转发同一个目标，并鼓励共享掩码位置的预测相互一致。(2)\textit{model consistency}，我们保持模型权重的指数移动平均值，并强制平均模型和在线模型之间的预测保持一致。在不改变基于CMLM的架构的情况下，我们的方法在三个公共基准测试中取得了显着的性能，比以前的NAT模型具有0.36 - 1.14的BLEU增益。此外，与更强的Transformer基线相比，我们在小数据集（WMT 16 RO $\leftrightarrow$ EN和IWITODE $\rightarrow$ EN）上将差距缩小到0.01 - 0.44 BLEU评分。
2021-08-19 cs.CL
Candidate Soups: Fusing Candidate Results Improves Translation Quality for Non-Autoregressive Translation
East China Normal University（华东师范大学）
非自回归翻译（NAT）模型比自回归翻译（AT）模型具有更快的推理速度，因为它可以在推理过程中同时预测所有令牌。然而，与AT相比，其翻译质量有所下降。针对现有的NAT方法只注重提高NAT模型的性能而没有充分利用NAT模型的优点，本文提出了一种简单有效的“候选汤”方法，该方法能够在保持NAT模型推理速度的同时获得高质量的翻译结果。与以往的方法不同，候选汤（CDS）可以通过模型的不确定性，充分利用不同的候选翻译中的有价值的信息。在WMT'14 EN-DE和WMT'16 EN-RO两个基准测试集上的大量实验证明了该方法的有效性和通用性，可以显著提高各种基础模型的翻译质量。更值得注意的是，我们的最佳变体在三个翻译任务上的性能优于AT模型，加速比为7.6倍。
2023-01-27 cs.CL
Optimizing Non-Autoregressive Transformers with Contrastive Learning
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Tsinghua University（清华大学）
针对非自回归 Transformer 的多模态学习难题，本文提出从模型分布采样并引入对比约束，结合 DA-Transformer，在翻译、摘要和释义的 5 个基准上取得新 SOTA。
2023-06-02 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）存在多模态问题：源句子可能有多个正确翻译，但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，在蒸馏数据集中的多模态问题仍然是不可忽视的。此外，从特定老师学习限制了模型能力的上限，限制了NAT模型的潜力。在本文中，我们认为，一个参考是不够的，并提出了不同的蒸馏与参考选择（DDRS）的NAT。具体来说，我们首先提出了一种方法，称为SeedDiv不同的机器翻译，这使我们能够生成一个数据集，每个源语句包含多个高质量的参考翻译。在训练过程中，我们将NAT输出与所有参考进行比较，并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性，在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU，将NAT的最新性能提高了1 BLEU以上。源代码：https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
Revisiting Non-Autoregressive Translation at Scale
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）；Tencent AI Lab（腾讯人工智能实验室）
本文系统研究模型与数据规模扩展对NAT的影响，证明其可缓解NAT固有缺陷，并提出大编码器、小解码器的非对称架构以兼顾性能与解码速度，同时发布新基准、代码和输出。
2023-06-02 cs.CL
Understanding and Improving Lexical Choice in Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）
知识蒸馏（KD）通过使用自回归教师模型降低原始数据的复杂性来训练非自回归翻译（NAT）模型。在这项研究中，我们的经验表明，作为这种培训的副作用，词汇选择错误的低频词传播到NAT模型从教师模型。为了缓解这个问题，我们建议将原始数据暴露给NAT模型，以恢复在蒸馏数据中丢失的低频词的有用信息。为此，我们引入了一个额外的Kullback-Leibler发散项，通过比较NAT模型的词汇选择和嵌入在原始数据中的词汇选择来获得。跨语言对和模型架构的实验结果证明了该方法的有效性和通用性。大量的分析证实了我们的说法，我们的方法通过减少低频词的词汇选择错误来提高性能。令人鼓舞的是，我们的方法将WMT 14英语-德语和WMT 16罗马尼亚语-英语数据集上的SOTA NAT性能分别提高到27.8和33.8 BLEU点。源代码将被释放。
2021-01-27 cs.CL
Imitation Learning for Non-Autoregressive Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Tencent CSIG（腾讯云与智慧产业事业群）
非自回归翻译模型（NAT）已经实现了令人印象深刻的推理加速。然而，现有NAT算法的一个潜在问题是，解码是并行进行的，而不直接考虑先前的上下文。在本文中，我们提出了一个模仿学习框架的非自回归机器翻译，它仍然享有快速的翻译速度，但提供可比的翻译性能相比，其自回归对应。我们在IWSLT16、WMT14和WMT16数据集上进行了实验。我们提出的模型在自回归模型上实现了显着的加速，同时保持了与自回归模型相当的翻译质量。通过在推理时并行采样句子长度，我们在WMT 16 Ro $\rightarrow$ En上实现了31.85 BLEU，在IWSLT 16 En $\rightarrow$ De上实现了30.68 BLEU。
2019-07-18 cs.CL
Context-Aware Cross-Attention for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，由于在解码器中缺乏目标依赖性建模，条件生成过程严重依赖于交叉注意。在本文中，我们揭示了一个本地感知问题的NAT交叉注意，这是很难充分捕捉源上下文。为了缓解这个问题，我们建议将相邻源令牌的信号增强为传统的交叉注意。在几个有代表性的数据集上的实验结果表明，我们的方法可以在强NAT基线上持续提高翻译质量。大量的分析表明，增强的交叉注意实现了更好地利用源上下文，利用本地和全球信息。
2020-11-02 cs.CL
Multi-Granularity Optimization for Non-Autoregressive Translation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
尽管低延迟，非自回归机器翻译（NAT）遭受严重的性能恶化，由于天真的独立性假设。交叉熵损失进一步强化了这一假设，它鼓励假设和参考符号之间严格匹配。为了缓解这个问题，我们提出了多粒度优化的NAT，收集模型行为的翻译段的各种粒度，并集成反馈的反向传播。在四个WMT基准测试上的实验表明，该方法的性能明显优于使用交叉熵损失训练的基线模型，并在WMT'16 En-Ro上实现了最佳性能，在WMT'14 En-De上实现了具有竞争力的完全非自回归翻译结果。
2022-10-20 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出DiffNorm，一种基于扩散的自监督归一化策略，通过去噪损坏语音特征简化数据分布，并结合无分类器引导正则化非自回归Transformer，在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显着加快推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标令牌可能由不同的可能翻译提供，经常导致令牌重复或丢失。为了缓解这个问题，我们提出了一种新的半自回归模型恢复SAT在这项工作中，它产生的翻译作为一个序列的片段。这些段是同时生成的，而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段，RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，该模型在保持相当性能的同时，实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（现代软件技术与产业化协同创新中心）
本文提出一种选择性知识蒸馏方法，通过引入NAT评估器选择高质量且易学的目标，并结合渐进式蒸馏，有效缓解教师错误传播问题，在多个NAT模型上实现翻译质量与数据复杂度的灵活权衡。
2023-08-04 cs.CL
Discrete and Soft Prompting for Multilingual Models
LMU Munich（慕尼黑大学）
对于英语，已经表明离散和软提示在使用预训练的语言模型（PLM）的少样本学习中表现强劲。在本文中，我们表明，离散和软提示比微调在多语言的情况下：跨语言迁移和多语言自然语言推理的语言训练。例如，对于48个英语训练样本，微调在跨语言迁移中获得了33.74%的准确率，勉强超过了大多数基线（33.33%）。相比之下，离散和软提示优于微调，达到36.43%和38.79%。我们还展示了良好的性能，提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
On the Information Redundancy in Non-Autoregressive Translation
School of Informatics, Xiamen University（厦门大学信息学院）；Tencent AI Lab（腾讯人工智能实验室）
本文揭示非自回归翻译模型除标记重复外还存在词汇与词序两类信息冗余错误，并提出自动评估指标以弥补传统连续重复率指标的不足。
2024-05-04 cs.CL
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
非自回归神经机器翻译（NAT）的最新研究工作旨在通过并行解码提高效率而不牺牲质量。然而，现有的NAT方法要么不如Transformer，要么需要多个解码通道，导致加速降低。我们提出了扫视语言模型（GLM），一种方法来学习单词的相互依赖性的单通道并行生成模型。借助GLM，我们开发了用于机器翻译的Glancing Transformer（GLAT）。仅使用单遍并行解码，GLAT能够以8-15倍的加速生成高质量的翻译。在多个WMT语言方向上的实验表明，GLAT优于所有以前的单通道非自回归方法，并且几乎与Transformer相当，将差距缩小到0.25-0.9 BLEU点。
2021-05-13 cs.CL
Integrating Translation Memories into Non-Autoregressive Machine Translation
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家科学研究中心跨学科数字科学实验室）；SYSTRAN（赛迪翻译）
非自回归机器翻译（NAT）近年来取得了很大的进展。然而，迄今为止，大多数工作都集中在标准的翻译任务，即使一些基于编辑的NAT模型，如Levenshtein Transformer（LevT），似乎很适合翻译记忆库（TM）的翻译。这就是这里考虑的情况。我们首先分析了香草LevT模型，并解释了为什么它在这种情况下做得不好。然后，我们提出了一个新的变种，TM-LevT，并展示了如何有效地训练这个模型。通过修改数据表示和引入额外的删除操作，我们获得了与自回归方法相当的性能，同时降低了解码负载。我们还表明，将TM在培训期间免除使用知识蒸馏，一个众所周知的技巧，用于减轻多模态问题。
2023-02-18 cs.CL
Non-Autoregressive Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文系统考察文档级机器翻译中的非自回归模型，提出源目标句子对齐设计以提升性能并验证高加速效果，同时揭示其在多模态、错位及语篇上下文建模上的局限。
2023-12-09 cs.CL
Progressive Multi-Granularity Training for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）；JD Explore Academy, JD.com（京东探索研究院，京东）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，最近的研究表明，NAT在学习高模式的知识，如一对多的翻译是薄弱的。我们认为，模式可以分为各种粒度，可以从容易到困难的学习。在这项研究中，我们的经验表明，NAT模型更倾向于学习细粒度的低模式知识，如单词和短语，与句子相比。在此基础上，我们提出了渐进式多粒度NAT训练方法。为了充分利用训练数据，我们将训练层样本分为词、短语、句子三种类型，并随着训练的进行逐步增加粒度。罗马尼亚语-英语，英语-德语，汉语-英语和日语-英语的实验表明，我们的方法提高了短语翻译的准确性和模型重新排序的能力，从而导致更好的翻译质量对强大的NAT基线。此外，我们表明，更多的确定性细粒度的知识可以进一步提高性能。
2021-06-11 cs.CL
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Incorporating a Local Translation Mechanism into Non-autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们引入了一种新的本地自回归翻译（LAT）机制到非自回归翻译（NAT）模型，以捕获目标输出之间的本地依赖关系。具体来说，对于每个目标解码位置，而不是只有一个令牌，我们预测令牌的自回归方式的短序列。我们进一步设计了一个有效的合并算法来对齐和合并输出片段到一个最终的输出序列。我们将LAT集成到条件掩码语言模型（CMLM; Ghazvininejad等人，2019），并类似地采用迭代解码。五个翻译任务的实验结果表明，与CMLM相比，我们的方法取得了相当或更好的性能，更少的解码迭代，带来2.5倍的加速比。进一步的分析表明，我们的方法减少了重复翻译，并在较长的句子中表现得更好。
2020-11-12 cs.CL
Non-autoregressive Machine Translation with Probabilistic Context-free Grammar
University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）
提出PCFG-NAT，利用概率上下文无关文法增强非自回归Transformer捕获词间依赖的能力，缩小与自回归模型的翻译质量差距，并提升可解释性。
2023-11-14 cs.AI cs.CL
Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
非自回归翻译（NAT）实现了更快的推理速度，但与自回归翻译（AT）相比，其代价是更差的准确性。由于AT和NAT可以共享模型结构，并且由于对先前目标端令牌的显式依赖性，AT是比NAT更容易的任务，因此自然的想法是将模型训练从更容易的AT任务逐渐转移到更难的NAT任务。为了平滑从AT训练到NAT训练的转换，本文引入了半自回归转换（SAT）作为中间任务。SAT包含一个超参数k，每个k值定义了一个具有不同并行度的SAT任务。特别地，SAT包括AT和NAT作为其特殊情况：当k = 1时，SAT归约为AT，当k = N（N为目标句的长度）时，SAT归约为NAT。我们设计的课程表，逐步转移k从1到N，不同的起搏功能和任务的数量在同一时间训练。我们称之为任务级课程学习的NAT（TCL-NAT）。在IWSLT 14 De-En、IWSLT 16 En-De、WMT 14 En-De和De-En数据集上的实验表明，TCL-NAT在NAT基线上实现了显著的准确性提高，并将NAT和AT模型之间的性能差距缩小到1-2个BLEU点，证明了所提方法的有效性。
2020-07-17 cs.CL cs.LG
UT5: Pretraining Non autoregressive T5 with unrolled denoising
Google（谷歌）
针对自回归模型顺序解码瓶颈，提出UT5，通过展开去噪预训练非自回归T5，在SQuAD问题生成和XSum等下游任务取得最先进结果。
2023-11-14 cs.CL
Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对非自回归翻译中有向无环图严格对齐导致多模态建模受限的问题，提出最大化图路径与参考句模糊对齐分数的训练方法，显著提升性能并刷新WMT基准。
2023-07-17 cs.CL
A Study of Syntactic Multi-Modality in Non-Autoregressive Machine Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
非自回归翻译（NAT）模型由于其条件独立性假设而难以捕捉目标译文的多模态分布，即所谓的“多模态问题”，包括词汇多模态和句法多模态。虽然第一个已经得到了很好的研究，语法多模态带来了严重的挑战，在NAT的标准交叉熵（XE）损失，正在研究中。本文对句法多模态问题进行了系统的研究。具体来说，我们将其分解为短期和长期的语法多模态和评估最近的NAT算法与先进的损失函数精心设计的合成数据集和真实的数据集。我们发现，连接主义时间分类（CTC）损失和顺序不可知交叉熵（OAXE）损失可以更好地处理短期和长期的句法多模态。此外，我们充分利用这两种方法的优点，设计了一个新的损失函数，以更好地处理现实世界数据集中复杂的句法多模态。为了方便实际使用，我们提供了一个指南，使用不同的损失函数的不同类型的句法多模态。
2022-07-09 cs.CL
LLMs as High-Dimensional Nonlinear Autoregressive Models with Attention: Training, Alignment and Inference
Cornell University（康奈尔大学）
本文将LLMs表述为具有注意力依赖的高维非线性自回归模型，探讨了训练、对齐与推理的原理及方法。
2026-01-31 cs.AI cs.CL cs.LG
Improving Non-autoregressive Generation with Mixup Training
Microsoft（微软）
虽然预训练的语言模型在各种自然语言理解任务中取得了巨大成功，但如何有效地将它们用于非自回归生成任务仍然是一个挑战。为了解决这个问题，我们提出了一个非自回归生成模型的基础上预先训练的Transformer模型。为了弥合自回归和非自回归模型之间的差距，我们提出了一种简单有效的迭代训练方法，称为MIX源和伪目标（MIST）。与其他迭代解码方法不同，这些方法基于多次解码迭代来牺牲推理速度以获得更好的性能，MIST工作在训练阶段，并且对推理时间没有影响。我们的三代基准测试，包括问题生成，摘要和释义生成，实验表明，该框架实现了新的国家的最先进的结果完全非自回归模型。我们还证明了我们的方法可以用于各种预训练模型。例如，基于小型预训练模型的MIST也获得了与seq2seq模型相当的性能。
2021-10-21 cs.CL
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC
National Taiwan University（台湾大学）
本文提出通过CTC损失微调PMLMs、采用MASK插入上采样及嵌入蒸馏技术提升非自回归翻译质量，在多数据集上超越自回归基线，并实现16.35倍推理加速。
2024-10-14 cs.CL
Sequence-Level Training for Non-Autoregressive Neural Machine Translation
WeChat AI, Tencent Inc（腾讯公司微信AI）
近年来，神经机器翻译（NMT）在各种翻译任务中取得了显著的成绩。然而，由自回归机制决定的逐词生成方式导致了NMT的高翻译延迟，限制了其低延迟应用。非自回归神经机器翻译（NAT）消除了自回归机制，通过同时独立地生成目标词，实现了显著的解码加速。然而，NAT仍然以词级交叉熵损失作为训练目标，这不是最优的，因为NAT的输出由于多模态问题而不能被正确地评估。在这篇文章中，我们提出使用序列级训练目标来训练NAT模型，它从整体上评估NAT输出，并与真实的翻译质量很好地相关。首先，我们提出了训练NAT模型来优化序列级评估指标（例如，BLEU）基于几种新的NAT增强算法，通过减小梯度估计的方差，获得了比传统方法更好的增强效果。其次，我们为NAT模型引入了一个新的训练目标，旨在最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。BoN训练目标是可微的，并且可以在不进行任何近似的情况下有效地计算。最后，我们采用一个三阶段的训练策略，将这两种方法结合起来，对NAT模型进行训练。我们验证了我们的方法在四个翻译任务（WMT 14 En $\leftrightarrow$ De，WMT 16 En $\leftrightarrow$ Ro），这表明，我们的方法大大优于NAT基线，并在所有翻译任务上实现了卓越的性能。源代码可在https://github.com/ictnlp/Seq…
2021-09-01 cs.CL cs.LG
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
非自回归神经机器翻译（NAT）通过独立地同时生成目标词来实现显著的解码加速。然而，在非自回归翻译的背景下，词级交叉熵损失不能正确地建模目标端的顺序依赖，导致其与翻译质量的弱相关性。因此，NAT倾向于生成具有过度翻译和翻译不足错误的影响翻译。在本文中，我们建议训练NAT，以最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。ngrams包训练目标是可区分的，并且可以被有效地计算，这鼓励NAT捕获目标侧顺序依赖性并且与翻译质量良好地相关。我们在三个翻译任务上验证了我们的方法，并表明我们的方法在WMT 14 En $\leftrightarrow$ De上的BLEU分数约为5.0，在WMT 16 En $\leftrightarrow$ Ro上的BLEU分数约为2.5，大大优于NAT基线。
2019-11-21 cs.CL cs.LG
Native vs Non-Native Language Prompting: A Comparative Analysis
Qatar Computing Research Institute（卡塔尔计算研究所）；Qatar University（卡塔尔大学）；Qatar University of Doha for Science and Technology（多哈科学技术卡塔尔大学）；Liverpool John Moores University（利物浦约翰摩尔大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）
本研究针对阿拉伯语这一中低资源语言，通过197组实验对比母语、非母语、混合三种提示策略在11项NLP任务上的表现，发现非母语提示效果最优。
2024-10-06 cs.AI cs.CL
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley（加州大学伯克利分校信息学院）
针对传统非自回归Transformer（NAT）捕捉全局依赖的挑战，提出FourierNAT架构，通过解码器中的傅里叶混合与频域门控实现并行生成，在机器翻译和摘要任务上取得竞争性结果且速度更快，还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
非自回归Transformer（NAT）算法通过丢弃自回归机制，独立生成目标词来加速Transformer模型，但不能充分利用目标词的序列信息。由于上述原因，过度翻译和欠翻译错误经常发生，特别是在长句翻译的情况下。在本文中，我们提出了两种方法来检索的目标顺序信息的NAT，以提高其翻译能力，同时保持快速解码属性。首先，我们提出了一种基于一种新的NAT强化算法（Reinforce-NAT）的序列级训练方法，以减少方差并稳定训练过程。其次，我们提出了一个创新的Transformer解码器FS-解码器，融合的目标序列信息到解码器的顶层。三个翻译任务的实验结果表明，增强NAT超过基线NAT系统的BLEU上的显着保证金，而不会降低解码速度和FS解码器实现相当的翻译性能的自回归Transformer具有相当大的加速比。
2019-06-22 cs.AI cs.CL cs.LG
Self-Distillation Mixup Training for Non-autoregressive Neural Machine Translation
Huawei Translation Services Center（华为翻译服务中心）；The University of Melbourne（墨尔本大学）
最近，非自回归（NAT）模型并行预测输出，与自回归（AT）模型相比，在生成速度上实现了大幅提高。虽然在原始数据上表现较差，但大多数NAT模型都是在AT教师模型生成的蒸馏数据上训练学生模型的，这被称为序列级知识蒸馏。自蒸馏混合（SDM）训练是提高AT模型性能的一种有效的训练策略，它在原始数据上预训练模型，通过预训练模型本身生成蒸馏数据，最后在原始数据和蒸馏数据的组合上重新训练模型。在这项工作中，我们的目标是查看SDM的NAT模型，但发现直接采用SDM NAT模型获得的翻译质量方面没有改善。通过仔细分析，我们发现AT教师模型和NAT学生模型的失效与模型多样性和确认偏差有关。在此基础上，我们提出了一种改进的策略SDMRT，在传统的SDM基础上增加了两个阶段：一个是对自提炼数据的预重排序，另一个是对过滤后的教师提炼数据的微调。我们的结果在多个NAT模型上比基线高出0.6到1.2 BLEU。作为另一个好处，对于迭代优化NAT模型，我们的方法可以在一半迭代次数内超过基线，这意味着2倍的加速。
2021-12-22 cs.AI cs.CL
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Structured Chain-of-Thought Prompting for Code Generation
Peking University（北京大学）
针对CoT提示在代码生成中准确率低的问题，提出SCoT提示，利用顺序、分支和循环三种程序结构构建中间推理步骤，在三个基准上使ChatGPT和Codex的Pass@1提升达13.79%，且更受开发者偏好。
2023-09-07 cs.CL cs.SE
