Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision
ByteDance AI Lab（字节跳动AI实验室）
我们如何在保持高翻译质量的同时进行有效的推理？现有的神经机器翻译模型，如Transformer，虽然性能很高，但它们是逐个解码单词，效率很低。最近的非自回归翻译模型加快了推理速度，但其质量仍然较差。在这项工作中，我们提出了DSLP，一个高效和高性能的机器翻译模型。关键的见解是训练具有深度监控的非自回归Transformer，并提供额外的逐层预测。我们对四个翻译任务（WMT'14 EN-DE和WMT'16 EN-RO两个方向）进行了广泛的实验。结果表明，我们的方法始终提高BLEU分数相比，各自的基础模型。具体来说，我们的最佳变体在三个翻译任务上优于自回归模型，同时在推理方面效率提高了14.8倍。
2021-10-14 cs.CL
Imitation Learning for Non-Autoregressive Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Tencent CSIG（腾讯云与智慧产业事业群）
非自回归翻译模型（NAT）已经实现了令人印象深刻的推理加速。然而，现有NAT算法的一个潜在问题是，解码是并行进行的，而不直接考虑先前的上下文。在本文中，我们提出了一个模仿学习框架的非自回归机器翻译，它仍然享有快速的翻译速度，但提供可比的翻译性能相比，其自回归对应。我们在IWSLT16、WMT14和WMT16数据集上进行了实验。我们提出的模型在自回归模型上实现了显着的加速，同时保持了与自回归模型相当的翻译质量。通过在推理时并行采样句子长度，我们在WMT 16 Ro $\rightarrow$ En上实现了31.85 BLEU，在IWSLT 16 En $\rightarrow$ De上实现了30.68 BLEU。
2019-07-18 cs.CL
Integrating Translation Memories into Non-Autoregressive Machine Translation
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家科学研究中心跨学科数字科学实验室）；SYSTRAN（赛迪翻译）
非自回归机器翻译（NAT）近年来取得了很大的进展。然而，迄今为止，大多数工作都集中在标准的翻译任务，即使一些基于编辑的NAT模型，如Levenshtein Transformer（LevT），似乎很适合翻译记忆库（TM）的翻译。这就是这里考虑的情况。我们首先分析了香草LevT模型，并解释了为什么它在这种情况下做得不好。然后，我们提出了一个新的变种，TM-LevT，并展示了如何有效地训练这个模型。通过修改数据表示和引入额外的删除操作，我们获得了与自回归方法相当的性能，同时降低了解码负载。我们还表明，将TM在培训期间免除使用知识蒸馏，一个众所周知的技巧，用于减轻多模态问题。
2023-02-18 cs.CL
Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Tsinghua University（清华大学）；ByteDance（字节跳动）
非自回归Transformers（NAT）通过并行生成所有令牌来显著减少解码延迟。然而，这样的独立预测阻止NAT捕获令牌之间的依赖性以生成多个可能的翻译。在本文中，我们提出了有向无环变换器（DA-变换器），它表示隐藏状态的有向无环图（DAG），其中DAG的每条路径对应于一个特定的翻译。整个DAG同时捕获多个翻译，并以非自回归方式促进快速预测。在WMT基准测试的原始训练数据上进行的实验表明，DA-Transformer的平均性能比以往的NAT高出约3 BLEU，这是第一个在不依赖知识蒸馏的情况下，与自回归Transformers实现竞争结果的NAT模型。
2022-05-16 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
Modeling Coverage for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）通过同时生成所有令牌实现了显著的推理加速。尽管NAT具有很高的效率，但它通常会遭受两种类型的翻译错误：过度翻译（例如重复的令牌）和翻译不足（例如缺失翻译），这最终限制了翻译质量。在本文中，我们认为，这些问题的NAT可以通过覆盖建模，这已被证明是有用的自回归解码来解决。本文提出了一种新的Coverage-NAT模型，通过一种令牌级的覆盖迭代精化机制和一种文档级的覆盖协议直接对覆盖信息进行建模，分别提醒模型源令牌是否被翻译，提高翻译和源之间的语义一致性。在WMT 14 En-De和WMT 16 En-Ro翻译任务上的实验结果表明，我们的方法可以减轻这些错误，并在基线系统上取得了很大的改进。
2021-04-24 cs.CL
Multi-Granularity Optimization for Non-Autoregressive Translation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
尽管低延迟，非自回归机器翻译（NAT）遭受严重的性能恶化，由于天真的独立性假设。交叉熵损失进一步强化了这一假设，它鼓励假设和参考符号之间严格匹配。为了缓解这个问题，我们提出了多粒度优化的NAT，收集模型行为的翻译段的各种粒度，并集成反馈的反向传播。在四个WMT基准测试上的实验表明，该方法的性能明显优于使用交叉熵损失训练的基线模型，并在WMT'16 En-Ro上实现了最佳性能，在WMT'14 En-De上实现了具有竞争力的完全非自回归翻译结果。
2022-10-20 cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显着加快推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标令牌可能由不同的可能翻译提供，经常导致令牌重复或丢失。为了缓解这个问题，我们提出了一种新的半自回归模型恢复SAT在这项工作中，它产生的翻译作为一个序列的片段。这些段是同时生成的，而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段，RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，该模型在保持相当性能的同时，实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland（马里兰大学）；Microsoft Research Asia（微软亚洲研究院）
虽然非自回归（NAR）模型在机器翻译中显示出巨大的前景，但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题，我们试图了解为什么蒸馏如此有效。先前的工作表明，提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验，本文表明不同类型的复杂性具有不同的影响：虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐，从而提高翻译质量，但词汇多样性是蒸馏增加模型置信度的主要原因，这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归模型在神经机器翻译中实现了显著的解码加速，但缺乏捕获顺序依赖的能力。有向无环Transformer（DA-Transformer）是最近提出的一种基于有向无环图的序列依赖模型。因此，它必须在推理时应用顺序决策过程，这损害了全局翻译精度。在本文中，我们提出了一个维特比解码框架的DA-变压器，它保证找到联合最优解的翻译和解码路径下的任何长度约束。实验结果表明，我们的方法始终提高DA-变压器的性能，同时保持类似的解码加速比。
2023-03-02 cs.CL
Rephrasing the Reference for Non-Autoregressive Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能模式识别中心）
非自回归神经机器翻译（NAT）模型存在多模态问题，即源语句可能存在多个可能的翻译，因此当NAT输出与其他翻译更接近时，参考语句可能不适合用于训练。针对这个问题，我们引入了一个改写器，根据NAT的输出对参考句子进行改写，从而为NAT提供更好的训练目标。当我们基于改述器输出而不是参考句子来训练NAT时，改述器输出应该与NAT输出很好地拟合并且不偏离参考太远，这可以量化为奖励函数并且通过强化学习来优化。主要的WMT基准测试和NAT基线的实验表明，我们的方法不断提高NAT的翻译质量。具体来说，我们最好的变体实现了自回归Transformer相当的性能，同时是14.7倍的推理效率。
2022-11-30 cs.CL
Can Multilinguality benefit Non-autoregressive Machine Translation?
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
非自回归（NAR）机器翻译最近取得了显着的改进，现在在一些基准测试中优于自回归（AR）模型，为AR推理提供了一种有效的替代方案。然而，虽然AR翻译通常使用受益于语言之间的转换和提高服务效率的多语言模型来实现，但多语言NAR模型仍然相对未被探索。本文以联结主义时间分类（CTC）为例，以Imputer为半NAR模型，对多语言NAR进行了全面的实证研究。我们测试了它在相关语言之间的正迁移和容量限制下的负迁移能力。由于NAR模型需要经过提炼的训练集，我们仔细研究了双语教师与多语种教师的影响。最后，我们适合多语言NAR的缩放定律，随着模型规模的增加，量化其相对于AR模型的性能。
2021-12-16 cs.CL
Improving Fluency of Non-Autoregressive Machine Translation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
机器翻译（MT）的非自回归（nAR）模型与自回归（AR）模型相比表现出更好的解码速度，但代价是其输出的流畅性受损。我们通过在束搜索解码过程中使用的评分模型中采用额外的功能，提高了nAR模型与连接主义时间分类（CTC）的流畅性。由于我们模型中的束搜索解码只需要在单个前向通道中运行网络，因此解码速度仍然明显高于标准AR模型。我们训练模特的三种语言对：德语，捷克语和罗马尼亚语与英语的互译.结果表明，我们提出的模型在解码速度方面可以更有效，并且相对于AR模型仍然可以获得有竞争力的BLEU分数。
2020-04-07 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
提出了非自回归神经机器翻译（NAT）模型，以加速推理过程，同时保持相对较高的性能。然而，现有的NAT模型很难达到期望的效率-质量权衡。首先，具有有效推理的完全NAT模型的性能不如自回归模型。另一方面，迭代NAT模型可以实现相当的性能，同时减少速度的优势。在本文中，我们提出了RenewNAT，一个灵活的框架，具有高效率和有效性，将充分和迭代NAT模型的优点。RenewNAT首先生成潜在的翻译结果，然后在一次传递中更新它们。它可以在与传统NAT模型相同的代价下实现显着的性能改进（无需引入额外的模型参数和解码延迟）。各种翻译基准测试的实验结果（例如，\textbf{4} WMT）表明，我们的框架始终提高了强完全NAT方法的性能（例如，GLAT和DSLP），无需额外的速度开销。
2023-03-14 cs.CL
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
Understanding Knowledge Distillation in Non-autoregressive Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究）
非自回归机器翻译（NAT）系统并行地预测输出令牌的序列，与自回归模型相比在生成速度上实现了实质性的改进。现有的NAT模型通常依赖于知识蒸馏技术，该技术从预训练的自回归模型创建训练数据以获得更好的性能。知识蒸馏在经验上是有用的，导致NAT模型的准确性大幅提高，但这种成功的原因至今尚不清楚。在本文中，我们首先设计了系统的实验来研究为什么知识蒸馏是至关重要的NAT训练。我们发现，知识蒸馏可以降低数据集的复杂性，并帮助NAT模型的变化，输出数据。此外，NAT模型的容量与提取数据的最佳复杂性之间存在很强的相关性，以获得最佳翻译质量。基于这些发现，我们进一步提出了几种方法，可以改变数据集的复杂性，以提高NAT模型的性能。我们实现了基于NAT的模型的最先进的性能，并在WMT 14 En-De基准上缩小了与自回归基线的差距。
2021-02-22 cs.CL
Non-Autoregressive Machine Translation: It's Not as Fast as it Seems
University of Edinburgh（爱丁堡大学）；Charles University（查理大学）
高效的机器翻译模型在商业上非常重要，因为它们可以提高推理速度，降低成本和碳排放。最近，人们对非自回归（NAR）模型产生了很大的兴趣，它承诺更快的翻译。在NAR模型研究的同时，也有一些成功的尝试来创建优化的自回归模型，作为WMT高效翻译共享任务的一部分。在本文中，我们指出的缺陷，目前在文献中的NAR模型的评估方法，我们提供了一个公平的比较国家的最先进的NAR模型和自回归提交的共享任务。我们提出了NAR模型的一致性评价的情况下，也为比较NAR模型与其他广泛使用的方法，以提高效率的重要性。我们运行实验与连接时间分类为基础的（CTC）NAR模型在C++实现，并比较它与AR模型使用挂钟时间。我们的研究结果表明，尽管NAR模型在GPU上更快，但在小批量的情况下，它们在更现实的使用条件下几乎总是更慢。我们呼吁在未来的工作中更现实和广泛的评估NAR模型。
2022-05-04 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种完全非自回归的神经机器翻译（NAT）方法，利用神经网络的单次前向同时预测令牌，与Transformer基线相比，该方法以质量下降为代价显著降低了推理延迟。在这项工作中，我们的目标是在保持延迟优势的同时缩小性能差距。我们首先检查了完全NAT模型的基本问题，并采用输出令牌的学习空间中的依赖减少作为基本指导。然后，我们在四个不同的方面，已被证明是有效的改进NAT模型的方法，并仔细结合这些技术进行必要的修改。我们在三个翻译基准上的广泛实验表明，该系统实现了新的最先进的结果，完全NAT模型，并获得了与自回归和迭代NAT系统相当的性能。例如，其中一个模型在WMT 14 En-De上实现了27.49个BLEU点，推理速度提高了约16.5倍。
2020-12-31 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）存在多模态问题：源句子可能有多个正确翻译，但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，在蒸馏数据集中的多模态问题仍然是不可忽视的。此外，从特定老师学习限制了模型能力的上限，限制了NAT模型的潜力。在本文中，我们认为，一个参考是不够的，并提出了不同的蒸馏与参考选择（DDRS）的NAT。具体来说，我们首先提出了一种方法，称为SeedDiv不同的机器翻译，这使我们能够生成一个数据集，每个源语句包含多个高质量的参考翻译。在训练过程中，我们将NAT输出与所有参考进行比较，并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性，在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU，将NAT的最新性能提高了1 BLEU以上。源代码：https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation
New York University（纽约大学）
我们提出了一个有效的推理过程，非自回归机器翻译，迭代完善纯粹在连续空间的翻译。给定用于机器翻译的连续潜变量模型（Shu等人，2020），我们训练一个推理网络来近似目标句子的边缘对数概率的梯度，只使用潜在变量作为输入。这允许我们使用基于梯度的优化来在推理时找到近似最大化其边际概率的目标句子。由于每个细化步骤只涉及低维潜在空间中的计算（我们在实验中使用8），我们避免了现有的非自回归推理过程，往往在令牌空间细化所产生的计算开销。我们将我们的方法与最近提出的类似EM的推理过程（Shu等人，2020），在混合空间中进行优化，包括离散和连续变量。我们在WMT'14 En-De，WMT'16 Ro-En和IWELL '16 De-En上评估了我们的方法，并观察到与EM类推理相比的两个优点：（1）它在计算上是高效的，即每个细化步骤的速度是原来的两倍，（2）它更有效，在相同数量的细化步骤的情况下产生更高的边际概率和BLEU分数。例如，在WMT'14 En-De上，我们的方法能够以比自回归模型快6.2倍的速度解码，而对翻译质量的影响最小（0.9 BLEU）。
2020-09-15 cs.CL
The RoyalFlush System for the WMT 2022 Efficiency Task
RoyalFlush AI Research Institute（同花顺人工智能研究院）；Zhejiang University（浙江大学）
本文介绍了RoyalFlush神经机器翻译系统提交的WMT 2022翻译效率任务。与常用的自回归翻译系统不同，我们采用了一种称为混合回归翻译（HRT）的两阶段翻译范式，以结合自回归和非自回归翻译的优点。具体地，HRT首先自回归地生成不连续序列（例如，对每个$k$令牌进行预测，$k>1$），然后以非自回归方式一次填充所有先前跳过的令牌。因此，我们可以很容易地通过调整$k$来平衡翻译质量和速度。此外，通过集成其他建模技术（例如，序列级知识蒸馏和深编码器-浅解码器层分配策略）和大量的工程努力，HRT的推理速度提高了80%，翻译性能与相同容量的AT相当。我们最快的系统在GPU延迟设置上达到6 k+字/秒，估计比去年的冠军快3.1倍。
2022-12-03 cs.CL
Hybrid-Regressive Neural Machine Translation
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
在这项工作中，我们凭经验证实，非自回归翻译与迭代细化机制（IR-NAT）的加速鲁棒性差，因为它是解码批量大小和计算设备设置比自回归翻译（AT）更敏感。受此启发，我们试图探讨如何更好地结合自回归和非自回归翻译范式的优势。为此，我们证明，通过合成实验，促使少量的AT的预测可以促进一次性的非自回归翻译，以实现相当于IR-NAT的性能。按照这条线，我们提出了一个新的两阶段的翻译原型称为混合回归翻译（HRT）。具体地，HRT首先经由自回归（例如，每k个令牌进行预测，k>1），然后以非自回归方式一次填充所有先前跳过的令牌。我们还提出了一个技术包，有效地和高效地训练HRT，而不添加任何模型参数。HRT在WMT En-De任务上达到了最先进的BLEU分数28.49，并且无论批量大小和设备如何，都比AT快至少1.5倍。此外，HRT的另一个好处是，它成功地继承了AT在深编码器浅解码器架构中的良好特性。具体地说，与具有6层编码器和6层解码器的普通HRT相比，具有12层编码器和1层解码器的HRT的推理速度在GPU和CPU上进一步加倍，而没有BLEU损失。
2022-10-19 cs.CL
Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对非自回归翻译中有向无环图严格对齐导致多模态建模受限的问题，提出最大化图路径与参考句模糊对齐分数的训练方法，显著提升性能并刷新WMT基准。
2023-07-17 cs.CL
Reinforcement Learning for Edit-Based Non-Autoregressive Neural Machine Translation
Waseda University（早稻田大学）；CyberAgent
本文针对基于编辑的非自回归NMT的性能与训练数据问题，将强化学习应用于Levenshtein Transformer，比较逐步与回合奖励最大化，并验证温度设置的作用。
2024-07-02 cs.CL
MvSR-NAT: Multi-view Subset Regularization for Non-Autoregressive Machine Translation
Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）
条件掩蔽语言模型（CMLM）在非自回归机器翻译（NAT）中取得了令人瞩目的进展。它们通过预测目标句子中的随机掩码子集来学习条件翻译模型。在CMLM框架的基础上，我们引入了多视图子集正则化（MvSR），一种新的正则化方法，以提高NAT模型的性能。具体来说，MvSR由两部分组成：（1）\textit{shared mask consistency}：我们用不同的掩码策略转发同一个目标，并鼓励共享掩码位置的预测相互一致。(2)\textit{model consistency}，我们保持模型权重的指数移动平均值，并强制平均模型和在线模型之间的预测保持一致。在不改变基于CMLM的架构的情况下，我们的方法在三个公共基准测试中取得了显着的性能，比以前的NAT模型具有0.36 - 1.14的BLEU增益。此外，与更强的Transformer基线相比，我们在小数据集（WMT 16 RO $\leftrightarrow$ EN和IWITODE $\rightarrow$ EN）上将差距缩小到0.01 - 0.44 BLEU评分。
2021-08-19 cs.CL
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive Transformers for Machine Translation
Layer6 AI（Layer6人工智能公司）
针对迭代非自回归Transformer解码步数多、计算收益下降的问题，提出DiMS多步蒸馏技术，通过学生-教师模型的滑动平均蒸馏机制，在不增加推理开销的前提下显著提升单步翻译质量。
2023-06-09 cs.CL
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
A Study of Syntactic Multi-Modality in Non-Autoregressive Machine Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
非自回归翻译（NAT）模型由于其条件独立性假设而难以捕捉目标译文的多模态分布，即所谓的“多模态问题”，包括词汇多模态和句法多模态。虽然第一个已经得到了很好的研究，语法多模态带来了严重的挑战，在NAT的标准交叉熵（XE）损失，正在研究中。本文对句法多模态问题进行了系统的研究。具体来说，我们将其分解为短期和长期的语法多模态和评估最近的NAT算法与先进的损失函数精心设计的合成数据集和真实的数据集。我们发现，连接主义时间分类（CTC）损失和顺序不可知交叉熵（OAXE）损失可以更好地处理短期和长期的句法多模态。此外，我们充分利用这两种方法的优点，设计了一个新的损失函数，以更好地处理现实世界数据集中复杂的句法多模态。为了方便实际使用，我们提供了一个指南，使用不同的损失函数的不同类型的句法多模态。
2022-07-09 cs.CL
Non-Autoregressive Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文系统考察文档级机器翻译中的非自回归模型，提出源目标句子对齐设计以提升性能并验证高加速效果，同时揭示其在多模态、错位及语篇上下文建模上的局限。
2023-12-09 cs.CL
ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）；New York University（纽约大学）
我们提出训练一个非自回归机器翻译模型，以最小化由预训练的自回归模型定义的能量。特别是，我们将我们的非自回归翻译系统视为一个推理网络（Tu和Gimpel，2018），经过训练以最大限度地减少自回归教师能量。这与在由这种教师模型的波束搜索输出组成的蒸馏语料库上训练非自回归模型的流行方法形成对比。我们的方法，我们称之为ENERGY（基于ENerGy的推理网络），在IWENTS 2014 DE-EN和WMT 2016 RO-EN数据集上实现了最先进的非自回归结果，接近自回归模型的性能。
2020-05-12 cs.CL cs.LG
Non-Autoregressive Translation by Learning Target Categorical Codes
NiuTrans Co., Ltd.（牛透科技有限公司）；Nanjing University（南京大学）
非自回归Transformer是一种很有前途的文本生成模型。然而，目前的非自回归模型在翻译质量方面仍然落后于自回归模型。我们将这种准确性差距归因于解码器输入之间缺乏依赖建模。在本文中，我们提出了CNAT，它学习隐式分类码作为潜在变量的非自回归解码。这些分类代码之间的相互作用弥补了缺失的依赖关系，提高了模型的容量。实验结果表明，我们的模型在机器翻译任务中取得了相当或更好的性能，与几个强基线相比。
2021-03-21 cs.AI cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
非自回归模型通过并行解码提高了神经机器翻译的效率，但与自回归模型相比，非自回归模型的效率较低。在本文中，我们认为，自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的，可以进一步提高性能。然而，这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发，我们建议将语言的显式语法和语义结构纳入非自回归Transformer中，用于神经机器翻译的任务。此外，我们还考虑了目标句子内的中间潜在对齐，以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果（即，WMT 14 En-De和WMT 16 En-Ro）表明，与几种最先进的非自回归模型相比，我们的模型实现了更快的速度，并保持了翻译质量。
2021-01-22 cs.AI cs.CL
Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（现代软件技术与产业化协同创新中心）
本文提出一种选择性知识蒸馏方法，通过引入NAT评估器选择高质量且易学的目标，并结合渐进式蒸馏，有效缓解教师错误传播问题，在多个NAT模型上实现翻译质量与数据复杂度的灵活权衡。
2023-08-04 cs.CL
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文研究基于CTC的非自回归语音到语音翻译，结合预训练、知识蒸馏及glancing training等技术，在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Inference Strategies for Machine Translation with Conditional Masking
Google Research（谷歌研究院）
条件掩蔽语言模型（CMLM）训练已被证明是成功的非自回归和半自回归序列生成任务，如机器翻译。然而，给定一个经过训练的CMLM，最好的推理策略是什么还不清楚。我们制定掩蔽推理作为部分序列的条件概率的因式分解，表明这并不损害性能，并调查了一些简单的prostitics的动机，从这个角度来看。我们确定了一个阈值策略，具有优势的标准“掩码预测”算法，并提供分析其行为的机器翻译任务。
2020-10-20 cs.CL
Non-Autoregressive Neural Machine Translation: A Call for Clarity
Apple（苹果公司）
非自回归方法旨在通过仅需要单个前向传递来生成输出序列而不是迭代地产生每个预测的令牌来提高翻译模型的推理速度。因此，由于涉及输出标记相互依赖性的几个问题，它们的翻译质量仍然倾向于劣于自回归对应物。在这项工作中，我们后退一步，重新审视了几种用于改进非自回归翻译模型的技术，并在第三方测试环境下比较了它们的综合翻译质量和速度影响。我们为使用长度预测或基于CTC的架构变体建立强大的基线提供了新的见解，并使用sacreBLEU在四个翻译任务上提供了标准化的BLEU，chrF++和TER分数，这些任务至关重要，因为使用标记化BLEU的不一致导致偏差高达1.7 BLEU点。我们的开源代码被集成到fairseq中以实现可重复性。
2022-10-21 cs.CL cs.LG
Revisiting the Markov Property for Machine Translation
Singapore Management University（新加坡管理大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文重新审视神经机器翻译中的马尔可夫性质，提出马尔可夫自回归Transformer（MAT），在四个WMT基准上评估发现阶数大于4时译文质量与常规自回归Transformer相当，且高阶优势不针对长句。
2024-02-03 cs.CL
Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior
The University of Tokyo（东京大学）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
虽然神经机器翻译模型达到了高翻译质量，但自回归性质使得推理难以并行化，并导致高翻译延迟。受最近基于精化的方法的启发，我们提出了LaNMT，一个具有连续潜变量和确定性推理过程的潜变量非自回归模型。与现有的方法相比，我们使用一个确定性的推理算法来找到目标序列，最大限度地降低了对数概率。在推理过程中，翻译的长度会自动调整。我们的实验表明，通过运行推理算法，可以大大提高下限，从而显着提高翻译质量。我们提出的模型缩小了ASPEC Ja-En数据集上非自回归和自回归方法之间的性能差距，解码速度提高了8.6倍。在WMT'14 En-De数据集上，我们的模型将自回归基线的差距缩小到2.0个BLEU点，加速12.5倍。通过并行解码多个初始隐变量并使用教师模型重新评分，该模型进一步将WMT'14 En-De任务的差距缩小到1.0 BLEU点，加速比为6.8倍。
2019-11-21 cs.CL cs.LG
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
潜在的对齐目标，如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗？我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性，并观察到，在实践中，这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释，并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
Improving Non-autoregressive Neural Machine Translation with Monolingual Data
Harvard University（哈佛大学）；Amazon Inc.（亚马逊公司）
非自回归（NAR）神经机器翻译通常是通过自回归（AR）模型的知识蒸馏来完成的。在此框架下，我们利用大型单语语料库来提高NAR模型的性能，目标是在防止过拟合的同时转移AR模型的泛化能力。在强大的NAR基线之上，我们在WMT 14 En-De和WMT 16 En-Ro新闻翻译任务上的实验结果证实，单语数据增强始终提高NAR模型的性能，以接近教师AR模型的性能，产生与文献中最好的非迭代NAR方法相当或更好的结果，并有助于减少训练过程中的过拟合。
2020-11-29 cs.CL cs.LG
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
非自回归神经机器翻译（NAT）通过独立地同时生成目标词来实现显著的解码加速。然而，在非自回归翻译的背景下，词级交叉熵损失不能正确地建模目标端的顺序依赖，导致其与翻译质量的弱相关性。因此，NAT倾向于生成具有过度翻译和翻译不足错误的影响翻译。在本文中，我们建议训练NAT，以最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。ngrams包训练目标是可区分的，并且可以被有效地计算，这鼓励NAT捕获目标侧顺序依赖性并且与翻译质量良好地相关。我们在三个翻译任务上验证了我们的方法，并表明我们的方法在WMT 14 En $\leftrightarrow$ De上的BLEU分数约为5.0，在WMT 16 En $\leftrightarrow$ Ro上的BLEU分数约为2.5，大大优于NAT基线。
2019-11-21 cs.CL cs.LG
Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation
Samsung Research（三星研究院）
最近，同声翻译已经引起了很多关注，因为它可以实现引人注目的应用，例如现场活动的字幕翻译或实时视频通话翻译。这些翻译应用程序中的一些允许编辑部分翻译，从而产生重新翻译方法。目前的重翻译方法是基于自回归序列生成模型（ReTA），它在（部分）翻译中顺序生成目标令牌。ReTAmodels中顺序生成的多次重新翻译导致随着源输入的增长，传入的源输入和相应的目标输出之间的推理时间间隔增加。此外，由于涉及大量的推理操作，ReTA模型对于资源受限的设备是不利的。在这项工作中，我们提出了一个更快的重新翻译系统的基础上的非自回归序列生成模型（FReTNA），以克服上述限制。我们对多个翻译任务进行了评估，与ReTA和流式传输（Wait-k）模型相比，我们的模型将推理时间减少了几个数量级，并实现了具有竞争力的BLEUscore。与ReTA模型相比，该模型通过在翻译质量上的小幅下降，将平均计算时间减少了20倍。它在计算时间（低1.5倍）和翻译质量方面也优于基于流媒体的Wait-k模型。
2021-06-02 cs.AI cs.CL
Bilingual Synchronization: Restoring Translational Relationships with Editing Operations
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（跨学科数字科学实验室）；SYSTRAN（思迪翻译）
机器翻译（MT）通常被视为一个一次性的过程，从零开始生成与源文本等价的目标语言。我们在这里考虑一个更一般的设置，它假设一个初始的目标序列，必须转换成一个有效的翻译的来源，从而恢复源和目标之间的并行性。对于这个双语同步任务，我们考虑了几种架构（自回归和非自回归）和训练机制，并尝试了多种实际设置，如模拟交互式MT，翻译记忆库（TM）和TM清理。我们的研究结果表明，一个单一的通用编辑为基础的系统，一旦微调，可以比较，甚至优于，专门为这些任务训练的专用系统。
2022-10-24 cs.CL
Universal Conditional Masked Language Pre-training for Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Monash University（莫纳什大学）
预训练的序列到序列模型显著改进了神经机器翻译（NMT）。与先前的预训练模型通常采用单向解码器的工作不同，本文证明了预训练序列到序列模型，但具有双向解码器可以为自回归和非自回归NMT产生显着的性能增益。具体来说，我们提出了CeMAT，一个条件掩蔽语言模型预训练的大规模双语和单语语料库中的许多语言。我们还介绍了两种简单而有效的方法来提高CeMAT，对齐码切换和掩蔽和动态双掩蔽。我们进行了广泛的实验，并表明我们的CeMAT可以在从低资源到极高资源语言的所有场景中实现显着的性能改进，即，在低资源条件下，BLEU最高可达+14.4，自回归NMT的平均BLEU改进可达+7.9。对于非自回归NMT，我们证明了它也可以产生一致的性能增益，即，最高+5.3 BLEU据我们所知，这是第一个预训练统一模型的工作，用于对两个NMT任务进行微调。代码、数据和预训练模型可在https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CeMAT上获得。
2022-06-02 cs.CL
INarIG: Iterative Non-autoregressive Instruct Generation Model For Word-Level Auto Completion
Huawei Translation Service Center（华为翻译中心）
本文提出 INarIG 模型，将人工键入序列构建为指令单元并结合子词迭代解码，用于词级自动补全，在低频词场景及 WMT22 等基准上取得最优效果，准确率最大提升超 10%。
2023-11-30 cs.CL
Non-autoregressive Machine Translation with Probabilistic Context-free Grammar
University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）
提出PCFG-NAT，利用概率上下文无关文法增强非自回归Transformer捕获词间依赖的能力，缩小与自回归模型的翻译质量差距，并提升可解释性。
2023-11-14 cs.AI cs.CL
Non-Autoregressive Neural Machine Translation
Salesforce Research（Salesforce研究院）；The University of Hong Kong（香港大学）
神经机器翻译的现有方法以先前生成的输出为条件来调节每个输出词。我们引入了一个模型，避免了这种自回归属性，并产生其输出并行，允许一个数量级较低的延迟在推理。通过知识蒸馏，使用输入令牌肥力作为潜在变量，和策略梯度微调，我们实现了这一点的成本低至2.0 BLEU点相对于自回归Transformer网络用作教师。我们展示了与我们的培训策略的三个方面中的每一个相关的实质性累积改进，并在IWTECH 2016英语-德语和两个WMT语言对上验证了我们的方法。通过在推理时并行采样受精率，我们的非自回归模型在WMT 2016英语-罗马尼亚语上实现了接近最先进水平的29.8 BLEU性能。
2018-03-09 cs.CL cs.LG
