Improving Neural Machine Translation through Phrase-based Forced Decoding
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究科）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
与传统的统计机器翻译（SMT）相比，神经机器翻译（NMT）往往为了流畅性而牺牲充分性。我们提出了一种方法，结合传统的SMT和NMT的优点，利用现有的基于短语的SMT模型来计算基于短语的解码成本的NMT输出，然后使用此成本重新排名的n-最好的NMT输出。实现这种方法的主要挑战是NMT输出可能不在标准的基于短语的解码算法的搜索空间中，因为基于短语的SMT的搜索空间受到基于短语的翻译规则表的限制。我们提出了一个软强制译码算法，它总是可以成功地找到任何NMT输出的解码路径。我们表明，使用强制解码成本重新排名的NMT输出可以成功地提高翻译质量的四个不同的语言对。
2017-11-01 cs.CL
Language-Informed Beam Search Decoding for Multilingual Machine Translation
Meta AI；Oregon State University（俄勒冈州立大学）
针对多语言NMT模型束搜索解码易产生偏离目标翻译的问题，提出与模型无关、无需额外平行数据的语言感知束搜索算法LiBS，有效提升翻译质量并大幅降低偏离目标率。
2024-08-11 cs.CL
Neural Machine Translation with Gumbel-Greedy Decoding
The University of Hong Kong（香港大学）；AIFounded Inc.（AIFounded公司）
先前的神经机器翻译模型使用某些启发式搜索算法（例如，束搜索），以避免在测试时解决翻译句子的最大后验问题。在本文中，我们提出了Gumbel-贪心解码，它训练一个生成网络来预测翻译下训练的模型。我们使用Gumbel-Softmax重新参数化来解决这个问题，这使得我们的生成网络可以通过标准的随机梯度方法进行微分和训练。我们经验证明，我们提出的模型对于生成离散单词序列是有效的。
2017-06-22 cs.CL
Later-stage Minimum Bayes-Risk Decoding for Neural Machine Translation
The University of Tokyo（东京大学）
对于延长的时间段，序列生成模型依赖于束搜索算法来生成输出序列。然而，当模型对次优预测过度自信时，束搜索的正确性降低。在本文中，我们建议在稍后阶段执行最小贝叶斯风险（MBR）解码的一些额外的步骤。为了加快MBR解码速度，我们在GPU上以批处理模式计算贝叶斯风险。在我们的实验中，我们发现MBR重新排序与大的光束尺寸。后期MBR解码优于简单的MBR重新排名在机器翻译任务。
2017-06-08 cs.CL
Single-Queue Decoding for Neural Machine Translation
The University of Tokyo（东京大学）
神经机器翻译模型依赖于用于解码的束搜索算法。在实践中，我们发现，由于固定的波束尺寸，搜索空间中的假设的质量受到负面影响。为了缓解这个问题，我们将所有假设存储在单个优先级队列中，并使用通用的评分函数进行假设选择。所提出的算法更灵活，因为丢弃的假设可以在稍后的步骤中重新访问。我们进一步设计了一个惩罚函数来惩罚那些倾向于产生比预期更长或更短的最终翻译的假设。尽管它的简单性，我们表明，建议的解码算法是能够选择具有更好的质量和提高翻译性能的假设。
2017-07-08 cs.CL
Easy Guided Decoding in Providing Suggestions for Interactive Machine Translation
Alibaba Group Inc.（阿里巴巴集团）
针对交互式机器翻译的翻译建议任务，本文提出无需额外训练的约束解码算法PSGD，在翻译质量、解码效率及监督系统对比中均取得显著优势。
2023-06-02 cs.CL
Exploring Recombination for Efficient Decoding of Neural Machine Translation
在神经机器翻译（NMT）中，解码器可以通过神经连接和表示来捕获整个预测历史的特征。这意味着带有不同前缀的部分假设将被不同地看待，无论它们多么相似。然而，这可能是低效的，因为某些部分假设可能仅包含不会影响未来预测的局部差异。在这项工作中，我们介绍了重组NMT解码的基础上的概念的“等价”的部分假设。启发式地，我们使用一个简单的基于$n$ -gram后缀的等价函数，并将其适配到束搜索解码中。通过对大规模汉英和英德翻译任务的实验，我们证明了该方法能够以较小的波束尺寸获得相似的翻译质量，使得NMT解码效率更高。
2018-10-15 cs.CL
Opportunistic Decoding with Timely Correction for Simultaneous Translation
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同声翻译有许多重要的应用场景，近年来引起了学术界和工业界的广泛关注。然而，大多数现有框架在翻译质量和延迟之间的平衡方面存在困难，即，解码策略通常要么太激进要么太保守。我们提出了一个机会主义的解码技术，及时纠正能力，总是（过）产生一定数量的额外的话在每一步，以保持观众的轨道上的最新信息。同时，在观察更多的源语语境时，也能及时纠正以往过度生成词的错误，以保证较高的翻译质量。实验表明，我们的技术实现了显着减少延迟和高达+3.1 BLEU的增加，与修订率在8%以下的中文到英文和英文到中文的翻译。
2020-05-02 cs.CL
Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）；EPFL（洛桑联邦理工学院）
针对机器翻译的幻觉与偏离目标问题，提出无需重训的源对比和语言对比解码方法，在多语言模型上显著降低两类问题发生率，且可扩展至大语言模型。
2024-01-29 cs.CL
Direct Preference Optimization for Neural Machine Translation with Minimum Bayes Risk Decoding
University of Cambridge（剑桥大学）
针对多语言大语言模型的MBR解码计算成本高的问题，提出用DPO强化学习技术微调模型，仅用小型单语微调集即可在推理无额外计算的情况下提升多个NMT测试集的翻译性能。
2024-04-12 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft（微软）
针对同声语音翻译中部分结果闪烁的稳定性问题，提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法，可大幅减少甚至消除闪烁，在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
通常，神经机器翻译模型以从左到右（L2R）的方式生成目标词，并且无法利用任何未来（右）语义信息，这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左（R2L）解码器来缓解这个问题。在本文中，我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象（\textbf{DIM}），动态地利用目标语义从R2L翻译，以提高L2R翻译质量。与其他双向解码方法不同的是，DIM首先通过寻址和读取操作提取有用的目标信息，然后更新目标语义以跟踪交互历史。此外，我们还在训练目标中引入了一个\textbf{agreement regularization}术语，以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明，该系统在基线系统上取得了显著的改进，与最先进的Transformer模型相比，其参数少得多，达到了相当的效果。
2019-11-05 cs.CL
Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU
Microsoft Research（微软研究院）
注意序列到序列模型已经成为机器翻译的新标准，但是与基于短语的系统相比，这种模型的一个挑战是训练和解码成本的显著增加。在这里，我们专注于高效解码，目标是实现接近神经机器翻译（NMT）的最新技术水平的准确性，同时实现接近短语解码器的CPU解码速度/吞吐量。我们从两个角度来解决这个问题：首先，我们描述了几种用于加速NMT束搜索解码器的技术，这些技术在不改变解码器输出的情况下，在非常有效的基线解码器上获得了4.4倍的加速。其次，我们提出了一个简单但功能强大的网络架构，它在底部使用RNN（GRU/LSTM）层，然后在每个时间步应用一系列堆叠的全连接层。这种架构实现了与深度递归模型相似的精度，而训练和解码成本只有一小部分。通过结合这些技术，我们最好的系统在WMT英法NewsTest 2014上实现了38.3 BLEU的非常有竞争力的准确度，同时在单线程CPU上以100字/秒的速度解码。我们相信这是NMT系统中最好的精度/速度权衡。
2017-05-04 cs.CL
Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
在评估机器翻译系统时，神经指标与人类判断的相关性令人印象深刻，但在我们能够安全地优化这些指标之前，我们应该意识到（并理想地消除）对获得高分的不良翻译的偏见。我们的实验表明，基于样本的最小贝叶斯风险解码可以用来探索和量化这些弱点。当将此策略应用于COMET的en-de和de-en时，我们发现COMET模型对数字和命名实体的差异不够敏感。我们进一步表明，这些偏差很难通过简单地对额外的合成数据进行训练来完全消除，并发布我们的代码和数据以促进进一步的实验。
2022-09-26 cs.CL
Mixup Decoding for Diverse Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）
多样性机器翻译的目的是为给定的源语言句子生成多种目标语言译文。利用mixup训练引入的句子潜在空间中的线性关系，我们提出了一种新的方法MixDiversity，通过在解码时从训练语料库中采样的不同句子对线性插值来为输入句子生成不同的翻译。为了进一步提高译文的忠实性和多样性，本文提出了两种简单有效的方法来选择训练语料中的不同句子对，并相应地调整每对句子的插值权重。此外，通过控制插值权重，我们的方法可以实现忠实性和多样性之间的权衡，而无需任何额外的训练，这是在大多数以前的方法所需要的。在WMT'16 en-ro、WMT'14 en-de和WMT'17 zh-en上进行的实验表明，我们的方法大大优于以前所有不同的机器翻译方法。
2021-09-14 cs.CL
Dynamic Oracle for Neural Machine Translation in Decoding Phase
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
在过去的几年里，端到端神经机器翻译（NMT）取得了快速的发展。然而，NMT在解码时存在训练和推理之间的差异，这可能导致严重的问题，因为模型可能处于训练期间从未见过的状态空间的一部分中。为了解决这个问题，提出了计划抽样。然而，有一定的局限性，在预定的采样，我们提出了两个动态的基于预言机的方法来改善它。我们设法减轻差异，改变训练过程向少指导计划，同时聚集预言机的演示。实验结果表明，与标准NMT系统相比，本文提出的方法提高了翻译质量。
2017-10-16 cs.CL
Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）
本研究从解码目标角度分析神经机器翻译中欠翻译的成因，提出利用预测EOS的置信度作为检测器并加强惩罚，以准确检测和纠正欠翻译输出。
2024-05-29 cs.CL
Sampling-Based Approximations to Minimum Bayes Risk Decoding for Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
在NMT中，我们搜索模型分布的模式以形成预测。通过束搜索发现的模式和其他高概率平移已经被证明在许多方面经常是不充分的。这妨碍了通过更好的搜索来提高翻译质量，因为这些特殊的翻译最终被解码算法选中，这是一个被称为束搜索诅咒的问题。最近，已经提出了一种近似最小贝叶斯风险（MBR）解码作为一种替代的决策规则，可能不会遭受同样的问题。我们分析了这种近似，并建立它没有等价的束搜索诅咒。然后，我们设计的近似解耦的成本，从预期效用的鲁棒估计的成本探索。这允许更大的假设空间，这是有益的。我们还表明，模式搜索策略可以帮助构建紧凑的有前途的假设集，MBR是有效的，在他们确定良好的翻译。我们进行实验的三种语言对不同的资源量：英语和德语，罗马尼亚语和尼泊尔语。
2022-10-25 cs.CL
Quality-Aware Decoding: Unifying Quality Estimation and Decoding
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；SAP SE（SAP公司）
本文提出一种新颖的词元级单向QE模型，并将其直接集成到解码过程中实现质量感知解码，显著提升了翻译质量，尤其在文档翻译任务中表现优异。
2025-06-01 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation
Amazon Research（亚马逊研究院）
神经机器翻译（NMT）的端到端特性消除了许多在旧范式中可用的手动引导翻译过程的方法。然而，最近的工作引入了一种新的能力：词汇约束或引导解码，这是对束搜索的修改，强制在输出中包含预先指定的单词和短语。然而，虽然理论上是合理的，但现有方法的计算复杂性要么是线性的（Hokamp和Liu，2017），要么是指数的（Anderson等人，2017年，在数量上受到限制。我们提出了一个算法的词法约束译码的复杂度为O（1）的限制的数量。我们展示了算法的显着能力，正确地放置这些约束，并使用它来探索模型和BLEU分数之间的不稳定的关系。我们的实现作为Sockeye的一部分提供。
2018-11-09 cs.CL
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University（厦门大学）；Tsinghua University（清华大学）
主导神经机器翻译（NMT）模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上，NMT解码器采用递归神经网络（RNN）以左-右方式执行翻译，使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中，我们配备了传统的注意力编码器-解码器NMT框架与反向解码器，以探索双向解码NMT。注意由编码器产生的隐藏状态序列，我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后，前向解码器在前向方向上执行翻译，而在每个翻译预测时间步中，它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构，我们的模型能够充分利用源端和目标端的上下文，以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明，与传统的NMT相比，我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
Trainable Greedy Decoding for Neural Machine Translation
The University of Hong Kong（香港大学）；New York University（纽约大学）
神经机器翻译的最新研究主要集中在两个方面：神经网络架构和端到端学习算法。然而，解码的问题却很少受到研究界的关注。在本文中，我们只专注于一个训练的神经机器翻译模型的解码问题。而不是试图建立一个新的解码算法的任何特定的解码目标，我们提出了可训练的解码算法的想法，其中我们训练解码算法，以找到一个翻译，最大限度地提高任意解码目标。更具体地说，我们设计了一个演员，观察和操纵的神经机器翻译解码器的隐藏状态，并建议训练它使用确定性的策略梯度的变体。我们广泛评估所提出的算法，使用四种语言对和两个解码目标，并表明我们确实可以训练一个可训练的贪婪解码器，产生一个更好的翻译（在目标解码目标方面），以最小的计算开销。
2017-02-08 cs.CL cs.LG
Improving Fluency of Non-Autoregressive Machine Translation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
机器翻译（MT）的非自回归（nAR）模型与自回归（AR）模型相比表现出更好的解码速度，但代价是其输出的流畅性受损。我们通过在束搜索解码过程中使用的评分模型中采用额外的功能，提高了nAR模型与连接主义时间分类（CTC）的流畅性。由于我们模型中的束搜索解码只需要在单个前向通道中运行网络，因此解码速度仍然明显高于标准AR模型。我们训练模特的三种语言对：德语，捷克语和罗马尼亚语与英语的互译.结果表明，我们提出的模型在解码速度方面可以更有效，并且相对于AR模型仍然可以获得有竞争力的BLEU分数。
2020-04-07 cs.CL
Scheduled Sampling Based on Decoding Steps for Neural Machine Translation
Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）
调度采样被广泛用于减轻神经机器翻译的曝光偏差问题。它的核心动机是在训练过程中模拟推理场景，用预测的令牌替换地面实况令牌，从而弥合训练和推理之间的差距。然而，香草调度采样仅基于训练步骤，并且平等地对待所有解码步骤。也就是说，它模拟了具有均匀出错率的推理场景，这与真实的推理场景不一致，在真实的推理场景中，由于错误累积，较大的解码步骤通常具有较高的出错率。为了缓解上述差异，我们提出了基于解码步骤的预定采样方法，随着解码步骤的增加，预测令牌的选择机会增加。因此，我们可以在训练过程中更逼真地模拟推理场景，从而更好地弥合训练和推理之间的差距。此外，我们研究了基于训练步骤和解码步骤的预定采样，以进一步改进。实验上，我们的方法显着优于Transformer基线和香草计划采样三个大规模的WMT任务。此外，我们的方法也很好地推广到两个流行的基准测试的文本摘要任务。
2021-08-31 cs.CL
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
One Source, Two Targets: Challenges and Rewards of Dual Decoding
Univ. Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（信号与噪声实验室）；Orsay, France（法国奥赛）
机器翻译通常被理解为从输入源文档生成一个目标文本。在本文中，我们考虑了一个更强的要求：联合生成两个文本，使每个输出端有效地依赖于其他。正如我们所讨论的，这样的设备有几个实际用途，从多目标机器翻译到目标文本的受控变体的生成。我们提出了一个分析可能实现的双重解码，并与四个应用程序的实验。从多个角度来看这个问题，使我们能够更好地突出双重解码的挑战，并彻底分析生成匹配而不是独立翻译的好处。
2021-09-21 cs.CL
Multi-agent Learning for Neural Machine Translation
Baidu Inc.（百度公司）
传统的神经机器翻译（NMT）模型受益于使用附加代理的训练，例如，双学习和双向解码，其中一个代理从左到右解码，而另一个代理在相反方向上解码。在本文中，我们通过引入不同的代理在一个交互式的更新过程中的多代理场景的培训框架。在训练时，每个代理从其他代理学习先进的知识，他们一起工作，以提高翻译质量。在NIST中文-英文、IWITH 2014德文-英文、WMT 2014英文-德文和大规模中文-英文翻译任务上的实验结果表明，该方法在强基线系统上取得了绝对的改进，并在所有任务上表现出竞争力。
2019-09-03 cs.CL
Towards Decoding as Continuous Optimization in Neural Machine Translation
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
提出了一种基于连续优化的神经机器翻译解码方法。我们将解码-基本上是一个离散的优化问题-转化为一个连续的优化问题。由此产生的约束连续优化问题，然后使用基于梯度的方法来解决。我们强大的解码框架能够解码棘手的模型，例如从左到右和从右到左（双向）以及源到目标和目标到源（双语）NMT模型的交集。我们的实证结果表明，我们的解码框架是有效的，并导致显着改善的翻译产生的贪婪或束搜索是不可行的，典型的贪婪模型。我们还比较了我们的框架，重新排序，并分析其优点和缺点。
2017-07-22 cs.AI cs.CL
Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation
Institute of Science Tokyo（东京科学研究所）；Nara Institute of Science and Technology（奈良科学技術大學）
本文提出基于源的最小贝叶斯风险解码，利用准源作为支持假设，通过无参考质量估计度量提升神经机器翻译的解码效果。
2025-05-26 cs.AI cs.CL
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
非自回归神经机器翻译（NAT）的最新研究工作旨在通过并行解码提高效率而不牺牲质量。然而，现有的NAT方法要么不如Transformer，要么需要多个解码通道，导致加速降低。我们提出了扫视语言模型（GLM），一种方法来学习单词的相互依赖性的单通道并行生成模型。借助GLM，我们开发了用于机器翻译的Glancing Transformer（GLAT）。仅使用单遍并行解码，GLAT能够以8-15倍的加速生成高质量的翻译。在多个WMT语言方向上的实验表明，GLAT优于所有以前的单通道非自回归方法，并且几乎与Transformer相当，将差距缩小到0.25-0.9 BLEU点。
2021-05-13 cs.CL
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris（巴黎电信学院）
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足，并比较原始、知识蒸馏及翻译记忆变体，以探索改进方向。
2024-02-19 cs.CL
End-to-end Training and Decoding for Pivot-based Cascaded Translation Model
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对低资源机器翻译中现有基于枢轴的级联模型未利用有限源-目标平行数据的问题，提出端到端训练方法与改进解码算法，通过加权枢轴嵌入实现联合训练并缓解束搜索不一致问题，有效提升翻译质量。
2023-05-03 cs.AI cs.CL
A Simple, Fast Diverse Decoding Algorithm for Neural Generation
Stanford University（斯坦福大学）
在本文中，我们提出了一个简单，快速的解码算法，促进多样性的神经生成。该算法通过增加兄弟姐妹间的排序惩罚来修改标准的束搜索算法，有利于从不同的父母中选择假设。我们评估所提出的模型的对话响应生成，摘要摘要和机器翻译的任务。我们发现，不同的解码有助于所有的任务，特别是那些需要重新排序。我们进一步提出了一种变体，该变体能够使用强化学习（RL）针对不同输入自动调整其多样性解码率。我们观察到这种RL技术的进一步性能提升。本文包括来自未发表脚本“互信息和多样解码改善神经机器翻译“（Li和Jurafsky，2016）的材料。
2016-12-22 cs.CL
SGNMT -- A Flexible NMT Decoding Platform for Quick Prototyping of New Models and Search Strategies
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
本文介绍了我们的机器翻译研究实验平台SGNMT。SGNMT为神经和符号评分模块（预测器）提供了一个通用接口，这些模块具有从左到右的语义，例如NMT、语言模型、翻译格、$n$ -最佳列表或其他类型的评分和约束等翻译模型。预测器可以与其他预测器组合以形成复杂的解码任务。SGNMT实现了多种用于穿越预测因子所跨越的空间的搜索策略，这些策略适用于不同的预测因子星座。添加新的预测因子或解码策略特别容易，使其成为一个非常有效的工具，用于原型化新的研究想法。SGNMT被剑桥大学机器学习、语音和语言技术硕士课程的学生积极用于课程和论文，以及我们小组的大部分研究工作。
2017-07-21 cs.CL
Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation
Peking University（北京大学）
基于注意力的序列到序列模型在神经机器翻译（NMT）中已被证明是成功的。然而，不考虑解码历史的注意，包括解码器中的过去信息和注意力机制，往往会导致大量的重复。为了解决这个问题，我们提出了解码历史为基础的自适应注意力控制（ACA）的NMT模型。蚁群算法通过记忆向量跟踪解码历史和当前信息来学习控制注意力，从而使模型能够考虑翻译后的内容和当前信息。在汉英翻译和英越翻译上的实验表明，我们的模型显著优于强基线。分析表明，我们的模型是能够生成翻译与较少的重复和更高的准确性。代码将在https://github.com/lancopku上提供
2018-02-06 cs.AI cs.CL cs.LG
Improving Character-based Decoding Using Target-Side Morphological Information for Neural Machine Translation
ADAPT Centre（ADAPT研究中心）；School of Computing（计算学院）；Dublin City University（都柏林城市大学）
最近，神经机器翻译（NMT）已经成为传统统计方法的一个强大的替代方案。然而，它的性能大大下降，在形态丰富的语言（MRL）的存在。神经引擎通常无法解决MRL的大词汇量和高词汇外（OOV）单词率。因此，不适合利用现有的基于单词的模型来翻译这组语言。在本文中，我们提出了对Chung et al.（2016）的最先进模型的扩展，该模型在字符级别工作，并通过目标侧形态信息增强解码器。在我们的架构中，一个额外的形态表插入到模型中。每次解码器从目标词汇采样时，该表从最相关的词缀发送辅助信号，以丰富解码器的当前状态并约束它以提供更好的预测。我们评估了我们的模型，将英语翻译成德语，俄语和土耳其语作为三个MRL，并观察到显着的改进。
2018-04-17 cs.CL
Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation
Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
神经机器翻译（NMT）目前表现出诸如产生太短的翻译和过度生成频繁词的偏差，并且对训练数据中的复制噪声或域移位表现出较差的鲁棒性。最近的工作将这些缺点与束搜索（NMT中的事实标准推理算法）联系在一起，Eikema & Aziz（2020）提出对无偏样本使用最小贝叶斯风险（MBR）解码。在本文中，我们经验性地研究了MBR解码的一些先前报道的偏见和失败的情况下，束搜索的属性。我们发现，MBR仍然表现出的长度和令牌的频率偏差，由于MT度量作为效用函数，但MBR也增加了对复制噪声的鲁棒性在训练数据和域移位。
2021-05-18 cs.CL cs.LG
Code-Switching for Enhancing NMT with Pre-Specified Translation
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Westlake University（西湖大学）
利用用户提供的翻译来约束NMT具有现实意义。现有的方法可以分为两大类，即使用占位符标记的词汇和使用硬约束在解码过程中。由于各种原因，这两种方法都可能损害翻译保真度。我们研究了一种数据增强方法，通过用目标翻译替换源短语来生成代码转换的训练数据。我们的方法不改变MNT模型或解码算法，允许模型通过复制源端目标词来学习词典翻译。大量的实验表明，我们的方法实现了一致的改进，现有的方法，提高了翻译的约束词，而不伤害不受约束的话。
2019-05-16 cs.CL
The Implicit Length Bias of Label Smoothing on Beam Search Decoding
Google Research（谷歌研究院）
标签平滑广泛应用于神经机器翻译（NMT）训练。虽然标签平滑在模型训练期间提供了期望的正则化效果，但在本文中，我们证明了它在束搜索解码过程中引入了长度偏差。我们的分析表明，标签平滑隐式地将长度惩罚项应用于输出序列，导致偏向于较短的翻译。我们还表明，对于一个完全优化的模型与标签平滑，翻译长度是隐含的上限由一个固定的常数独立于输入。我们验证了我们的理论，在推理时应用一个简单的整流功能，以恢复无偏分布的标签平滑模型预测。这种校正方法使WMT英语-德语、英语-法语、英语-捷克语和英语-中文任务的质量得到了一致的改善，在光束尺寸4时达到了+0.3 BLEU，在光束尺寸200时达到了+2.8 BLEU。
2022-05-02 cs.CL
Mutual Information and Diverse Decoding Improve Neural Machine Translation
Stanford University（斯坦福大学）
序列到序列神经翻译模型通过优化给定源的目标的可能性来学习句子对之间的语义和句法关系，即，$p(y|x)$，一个忽略其他潜在有用信息源的目标。我们引入了一个替代的目标函数的神经MT，最大限度地提高源和目标句子之间的互信息，建模的双向依赖的源和目标。我们实现了一个简单的重新排序方法的模型，还介绍了一种解码算法，增加了多样性的N-最好的列表产生的第一遍。应用于WMT德语/英语和法语/英语任务，所提出的模型在标准LSTM和基于注意力的神经MT架构上都提供了一致的性能提升。
2016-03-22 cs.AI cs.CL
Memory-enhanced Decoder for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们建议在具有外部存储器的神经机器翻译器（NMT）中增强RNN解码器，作为解码RNN中状态的自然但强大的扩展。这种内存增强的RNN解码器被称为\textsc{MemDec}。在解码期间的每一次，\textsc{MemDec}将从该存储器读取并写入该存储器一次，两者都使用基于内容的寻址。与以前的工作\cite{RNNsearch}中存储源语句的表示的无界存储器不同，\textsc{MemDec}中的存储器是具有预定大小的矩阵，其设计用于在每个时间步更好地捕获对解码过程重要的信息。我们的汉英翻译实验表明，在相同的训练集下，使用$4.8$ BLEU对Groundhog和$5.3$ BLEU对Moses的翻译效果最好。
2016-06-07 cs.CL
Towards Multimodal Simultaneous Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
同声翻译是指在说话人的话语完成之前翻译一个句子，以实现多种语言的实时理解。由于在解码过程中输入信息的不足，这项任务比一般的整句翻译更具挑战性。为了缓解这一不足，我们提出了多模态同步神经机器翻译（MSNMT），它利用视觉信息作为一个额外的模态。我们对Multi30k数据集的实验表明，MSNMT在更及时的翻译情况下，以低延迟显著优于纯文本翻译。此外，我们通过对MSNMT进行对抗性评估来验证视觉信息在解码过程中的重要性，在该评估中，我们研究了模型在不一致输入模态下的表现，并分析了源语言和目标语言之间不同词序的影响。
2020-10-23 cs.CL
Self-Speculative Biased Decoding for Faster Re-Translation
Zoom Communications, Inc（Zoom通讯公司）
SSBD通过利用流式翻译中的时间一致性，实现重译的加速，同时保持翻译质量，无需额外调优。
2026-01-04 cs.AI cs.CL cs.LG
Speeding Up Neural Machine Translation Decoding by Cube Pruning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然神经机器翻译已经取得了令人鼓舞的成果，但它的翻译速度很慢。其直接后果是翻译质量和速度之间的平衡，从而不能充分发挥其性能。我们应用立方体修剪，一种流行的技术，以加快动态规划，到神经机器翻译，以加快翻译。为了构造等价类，类似的目标隐藏状态被组合在一起，从而减少了目标端的RNN扩展操作，并减少了大型目标词汇表上的\$ \mathrm{softmax} \$操作。实验表明，在相同甚至更好的翻译质量下，与朴素束搜索相比，该方法在GPU上的翻译速度可达3.3 \times，在CPU上的翻译速度可达3.5 \times.
2018-09-09 cs.AI cs.CL
Multi-Layer Softmaxing during Training Neural Machine Translation for Flexible Decoding with Fewer Layers
National Institute of Information and Communications Technology（信息通信技术研究所）
本文提出了一种用于训练基于编码器-解码器的深度神经网络的新过程，该深度神经网络将NxM模型压缩成单个模型，使我们能够动态选择用于解码的编码器和解码器层的数量。通常，N层编码器的最后一层的输出被馈送到M层解码器，并且最后一个解码器层的输出用于计算softmax损失。相反，我们的方法计算由NXM个损失组成的单个损失：使用N个编码器层中的每个编码器层的输出导出的M个解码器层中的每个解码器层的输出的softmax损失。通过我们的方法训练的单个模型可以用于具有任意数量的编码器和解码器层的解码。在实际场景中，这（a）使得能够在翻译质量损失不显著的情况下进行更快的解码，以及（b）消除了对训练NxM模型的需要，从而节省空间。我们以神经机器翻译为例，展示了我们的方法的优势，并给出了成本效益分析。
2019-08-28 cs.CL cs.LG
Semi-Autoregressive Neural Machine Translation
Alibaba Group（阿里巴巴集团）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
神经机器翻译的现有方法通常是自回归模型。虽然这些模型达到了最先进的翻译质量，但它们的并行性很低，因此在解码长序列时速度很慢。本文提出了一种新的快速序列生成模型--半自回归Transformer（SAT）模型。SAT在全局中保持自回归特性，但在局部中减轻，因此能够在每个时间步并行产生多个连续的单词。在英德和汉英翻译任务上进行的实验表明，SAT在翻译质量和解码速度之间取得了很好的平衡。在WMT'14英-德翻译中，SAT在保持88%翻译质量的同时，实现了5.58 $\times$的加速比，明显优于以前的非自回归方法。当在每个时间步产生两个单词时，SAT几乎是无损的（BLEU分数仅下降1\%）。
2018-10-27 cs.CL
Reference Network for Neural Machine Translation
Singapore Management University（新加坡管理大学）；Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
神经机器翻译（NMT）近年来取得了显著的成功。这样的框架通常会孤立地生成翻译。相比之下，人工翻译通常会参考参考数据，要么用源语言中的常用术语重新措辞复杂的句子片段，要么直接访问黄金翻译。在本文中，我们提出了一个参考网络，将参考过程纳入翻译解码的NMT。为了构造\emph{reference book}，直观的方法是用额外的内存存储详细的翻译历史，这在计算上是昂贵的。相反，我们采用本地坐标编码（LCC），以获得全局上下文向量包含单语和双语上下文信息的NMT解码。在汉英和英德翻译任务上的实验结果表明，该模型在提高翻译质量的同时，具有较低的计算代价。
2019-08-23 cs.CL
Full-Sentence Models Perform Better in Simultaneous Translation Using the Information Enhanced Decoding Strategy
同声翻译是在接收到源句中的几个单词后开始翻译每一个句子，在许多场景中起着至关重要的作用。尽管先前的前缀到前缀框架被认为适合于同时翻译并且实现了良好的性能，但是它仍然具有两个不可避免的缺点：由于需要为每个延迟$k$训练单独的模型而导致的高计算资源成本，以及由于每个目标令牌只能关注特定的源前缀而导致的对信息进行编码的能力不足。我们提出了一个新的框架，采用了一个简单而有效的解码策略，这是专为整句模型。在这个框架内，训练单个整句模型可以实现任意给定的延迟并节省计算资源。此外，利用整句模型对整句进行编码的能力，我们的解码策略可以实时的增强解码状态中保持的信息。实验结果表明，该方法在Zh $\rightarrow$ En、En $\rightarrow$ Ro和En $\leftrightarrow$ De 4个方向上的翻译质量优于基线。
2021-12-30 cs.AI cs.CL
Nearest Neighbor Knowledge Distillation for Neural Machine Translation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
由Khandelwal等人（2021）提出的k-最近邻机器翻译（NN-MT）在机器翻译任务中取得了许多最先进的成果。虽然NN-MT是有效的，但在推理过程中，每个解码步骤都需要通过大规模的搜索来进行NN搜索，这极大地增加了解码成本，从而导致难以在实际应用中部署。在本文中，我们建议将耗时的NN搜索前移到预处理阶段，然后引入最近邻知识蒸馏（NN-KD），训练基本NMT模型直接学习NN的知识。提取NN检索到的知识可以鼓励NMT模型考虑更合理的目标标记，从而解决过校正问题。大量的实验结果表明，该方法实现了包括NN-MT在内的最先进基线的一致改进，同时保持了与标准NMT模型相同的训练和解码速度。
2022-05-01 cs.CL
High Quality Rather than High Model Probability: Minimum Bayes Risk Decoding with Neural Metrics
Google Research（谷歌研究院）
在神经机器翻译中，通常假设具有最高估计概率的句子也应该是具有人类测量的最高质量的翻译。在这项工作中，我们质疑这一假设，并表明模型估计和翻译质量只有模糊的相关性。我们将最小贝叶斯风险（MBR）解码应用于无偏样本，以优化翻译质量的各种自动化指标，作为束搜索的替代推理策略。MBR解码不是以具有最高模型概率的假设为目标，而是提取具有最高估计质量的假设。我们的实验表明，将神经翻译模型与基于神经参考的度量BLEURT相结合，可以显著改善人类评估。这种改进是通过与经典波束搜索输出不同的平移获得的：这些平移具有低得多的模型似然性，并且不太受BLEU等表面度量的青睐。
2022-04-25 cs.AI cs.CL cs.LG
Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
我们提出了网格束搜索（GBS），一种算法，它扩展了束搜索，允许列入预先指定的词汇约束。该算法可以与通过最大化$ p(\mathbf{y} | \mathbf{x}) = \prod\limits_{t}p(y_{t} | \mathbf{x}; \{y_{0} \ldots y_{t-1}\}) $来生成序列$ \mathbf{\hat{y}} = \{y_{0}\ldots y_{T}\} $的任何模型一起使用。词汇约束采用必须出现在输出序列中的短语或单词的形式。这是一种非常通用的方法，可以将额外的知识合并到模型的输出中，而不需要对模型参数或训练数据进行任何修改。我们通过对神经交互预测翻译和神经机器翻译的领域自适应进行实验，证明了词汇约束解码的可行性和灵活性。实验表明，GBS可以在交互式场景中提供翻译质量的大幅度提高，并且即使没有任何用户输入，GBS也可以用于在领域自适应场景中实现显著的性能增益。
2017-05-02 cs.CL
Consecutive Decoding for Speech-to-text Translation
ByteDance AI Lab（字节跳动人工智能实验室）
语篇翻译是将源语言的语音直接翻译成目标语言的文本，近年来受到了广泛的关注。然而，语音识别和机器翻译在单个模型中的结合给直接跨模态跨语言映射带来了沉重的负担。为了降低学习难度，我们提出了一种语音到文本翻译的集成方法-其核心思想是用一个解码器生成源译文和目标译文。它有利于模型训练，从而可以充分利用额外的大型平行文本语料库来增强语音翻译训练。我们的方法在三个主流数据集上进行了验证，包括增强LibriSpeech英法数据集，IWSLT 2018英德数据集和TED英中数据集。实验表明，我们提出的COSTT优于或等同于以前的国家的最先进的方法在三个数据集。我们已经在\url{https://github.com/dqqcasia/st}上发布了我们的代码。
2022-04-15 cs.CL eess.AS
Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation
Google Research（谷歌研究院）；OpenAI；Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）
本文探究了机器翻译中MBR解码的不同采样策略，发现基于epsilon-sampling的MBR解码在四个语言对上显著优于束搜索及其他采样方法。
2023-05-18 cs.AI cs.CL cs.LG
