Neural Machine Translation with Gumbel-Greedy Decoding
The University of Hong Kong（香港大学）；AIFounded Inc.（AIFounded公司）
先前的神经机器翻译模型使用某些启发式搜索算法（例如，束搜索），以避免在测试时解决翻译句子的最大后验问题。在本文中，我们提出了Gumbel-贪心解码，它训练一个生成网络来预测翻译下训练的模型。我们使用Gumbel-Softmax重新参数化来解决这个问题，这使得我们的生成网络可以通过标准的随机梯度方法进行微分和训练。我们经验证明，我们提出的模型对于生成离散单词序列是有效的。
2017-06-22 cs.CL
Machine Translation Models Stand Strong in the Face of Adversarial Attacks
Skoltech（斯科尔科沃科学技术学院）；MIPT（莫斯科物理技术学院）；IITP RAS（俄罗斯科学院信息传输问题研究所）
本研究探讨对抗攻击对机器翻译模型的影响，提出了结合文本扰动启发式和基于梯度的攻击算法，发现机器翻译模型对已知最优对抗攻击具有较强鲁棒性，同时所提攻击在相对性能上优于其他方法。
2023-09-10 cs.CL cs.CR cs.LG
Gumbel-Attention for Multi-modal Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）
多模态机器翻译通过引入视觉信息来提高翻译质量。然而，现有的MMT模型忽略了图像会带来与文本无关的信息，给模型带来很多噪声，影响翻译质量的问题。提出了一种新的用于多模态机器翻译的Gumbel-Attention方法，该方法选择图像特征中与文本相关的部分。具体来说，与以往的基于注意力的方法不同，我们首先使用一种可微的方法来选择图像信息，并自动去除图像特征中无用的部分。实验证明，我们的方法保留了与文本相关的图像特征，其余部分有助于MMT模型生成更好的翻译。
2022-07-24 cs.CL
Multi-Layer Softmaxing during Training Neural Machine Translation for Flexible Decoding with Fewer Layers
National Institute of Information and Communications Technology（信息通信技术研究所）
本文提出了一种用于训练基于编码器-解码器的深度神经网络的新过程，该深度神经网络将NxM模型压缩成单个模型，使我们能够动态选择用于解码的编码器和解码器层的数量。通常，N层编码器的最后一层的输出被馈送到M层解码器，并且最后一个解码器层的输出用于计算softmax损失。相反，我们的方法计算由NXM个损失组成的单个损失：使用N个编码器层中的每个编码器层的输出导出的M个解码器层中的每个解码器层的输出的softmax损失。通过我们的方法训练的单个模型可以用于具有任意数量的编码器和解码器层的解码。在实际场景中，这（a）使得能够在翻译质量损失不显著的情况下进行更快的解码，以及（b）消除了对训练NxM模型的需要，从而节省空间。我们以神经机器翻译为例，展示了我们的方法的优势，并给出了成本效益分析。
2019-08-28 cs.CL cs.LG
Minimum Risk Training for Neural Machine Translation
Baidu Inc.（百度公司）；Tsinghua University（清华大学）
我们提出了端到端神经机器翻译的最小风险训练。与传统的最大似然估计不同，最小风险训练能够直接相对于任意评估指标优化模型参数，这些指标不一定是可微的。实验表明，我们的方法在最先进的神经机器翻译系统跨各种语言对的最大似然估计实现了显着的改善。对架构透明，我们的方法可以应用于更多的神经网络，并可能使更多的NLP任务受益。
2016-06-15 cs.CL
Sparse and Constrained Attention for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等理工学院）；Universidade de Lisboa（里斯本大学）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
在NMT中，单词有时会从源中删除或在翻译中重复生成。我们探索新的策略来解决覆盖问题，只改变注意力转换。我们的方法将肥料分配给源单词，用于限制每个单词可以接收的注意力。我们实验与各种稀疏和约束的注意力变换，并提出了一个新的，约束sparsemax，证明是可微和稀疏。经验评价提供了三种语言对。
2018-05-21 cs.CL
SGNMT -- A Flexible NMT Decoding Platform for Quick Prototyping of New Models and Search Strategies
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
本文介绍了我们的机器翻译研究实验平台SGNMT。SGNMT为神经和符号评分模块（预测器）提供了一个通用接口，这些模块具有从左到右的语义，例如NMT、语言模型、翻译格、$n$ -最佳列表或其他类型的评分和约束等翻译模型。预测器可以与其他预测器组合以形成复杂的解码任务。SGNMT实现了多种用于穿越预测因子所跨越的空间的搜索策略，这些策略适用于不同的预测因子星座。添加新的预测因子或解码策略特别容易，使其成为一个非常有效的工具，用于原型化新的研究想法。SGNMT被剑桥大学机器学习、语音和语言技术硕士课程的学生积极用于课程和论文，以及我们小组的大部分研究工作。
2017-07-21 cs.CL
Aligned Cross Entropy for Non-Autoregressive Machine Translation
Facebook AI Research（Facebook人工智能研究院）
非自回归机器翻译模型通过允许对整个目标序列的并行预测来显著地加速解码。然而，由于模型中缺乏自回归因子，因此建模词序更具挑战性。这个困难在训练过程中与交叉熵损失相结合，交叉熵损失可以严重惩罚词序中的小变化。在本文中，我们提出对齐交叉熵（AXE）作为一个替代的损失函数的非自回归模型的训练。AXE使用可微动态程序来基于目标令牌和模型预测之间的最佳可能单调对齐来分配损失。基于AXE的条件掩蔽语言模型（CMLM）训练大大提高了主要WMT基准测试的性能，同时为非自回归模型设定了新的最新技术水平。
2020-04-03 cs.CL cs.LG stat.ML
Memory-Augmented Neural Networks for Machine Translation
Trinity College Dublin（都柏林圣三一学院）
记忆增强神经网络（MANN）已被证明在一系列人工序列学习任务上优于其他递归神经网络架构，但它们在现实世界任务中的应用有限。我们评估神经图灵机（NTM）和可微分神经计算机（DNC）直接应用于机器翻译。我们进一步提出并评估了两个模型，扩展了注意编码器-解码器的能力，灵感来自记忆增强神经网络。我们评估了我们提出的模型IWERTOS越南语到英语和ACL罗马尼亚语到英语数据集。我们提出的模型和记忆增强的神经网络在越南语到英语翻译任务上的表现类似于注意编码器-解码器，而在罗马尼亚语到英语任务上的BLEU得分低0.3-1.9。有趣的是，我们的分析表明，尽管配备了额外的灵活性和随机初始化的记忆增强神经网络学习机器翻译的算法几乎相同的注意编码器-解码器。
2019-09-18 cs.CL cs.LG stat.ML
SumTra: A Differentiable Pipeline for Few-Shot Cross-Lingual Summarization
University of Technology Sydney（悉尼科技大学）；RoZetta Technology（罗泽塔科技公司）
本文提出一种端到端可微的“先摘要后翻译”流水线SumTra，通过复用单语资源实现卓越的跨语言摘要零样本性能，并在仅用10%微调样本时于多语言上超越基线。
2024-03-20 cs.CL
BERTTune: Fine-Tuning Neural Machine Translation with BERTScore
RoZetta Technology（罗泽塔科技）；University of Technology Sydney（悉尼科技大学）
神经机器翻译模型通常偏向于训练期间看到的有限翻译参考。为了修正这种形式的过拟合，在本文中，我们提出了一个新的训练目标的基础上最近提出的BERTScore评估指标微调模型。BERTScore是一个基于上下文嵌入的评分函数，它克服了基于n-gram的度量（例如同义词，释义）的典型限制，允许与参考文献不同但在上下文嵌入空间中接近的翻译被视为基本正确。为了能够使用BERTScore作为训练目标，我们提出了三种生成软预测的方法，使网络保持端到端的完全可区分。在四个不同的语言对上进行的实验在微调强基线时，BLEU分数提高了0.58 pp（3.28%），BERTScore（F_BERT）提高了0.76 pp（0.98%）。
2021-06-04 cs.CL
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
我们提出了插入Transformer，一个迭代的，部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的，往往是从左到右的输出排序，我们的方法通过允许令牌在解码过程中插入序列中的任何地方，以适应任意的排序。这种灵活性带来了许多优点：例如，我们的模型不仅可以被训练为遵循特定的顺序，例如从左到右生成或二叉树遍历，而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外，我们的模型无缝地适应完全自回归生成（一次插入一个）和部分自回归生成（在多个位置同时插入）。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现，插入Transformer优于许多以前的非自回归方法，翻译在可比或更好的水平的并行性，并成功地恢复了原来的Transformer的性能，同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
Optimizing Data Usage via Differentiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
为了获得一项新技能，如果导师根据他们目前的知识水平，告诉他们应该对特定内容或实践问题给予多少关注，人类就会学得更好更快。类似地，机器学习模型可以通过“适应”其当前学习状态并估计每个训练数据实例的重要性的评分器来更好地训练。有效地训练这样的自适应评分器是一个具有挑战性的问题;为了在训练期间的给定时间精确量化数据实例的效果，通常需要首先完成整个训练过程。为了有效地优化数据使用，我们提出了一种称为可区分数据选择（DDS）的强化学习方法。在DDS中，我们制定了一个评分网络作为训练数据的可学习函数，它可以有效地更新随着主模型正在训练。具体来说，DDS用一个直观的奖励信号更新评分器：它应该对具有类似梯度的数据进行加权，并设置一个我们最终希望表现良好的开发集。在没有显著的计算开销的情况下，DDS在机器翻译和图像分类这两个非常不同的任务上，在几个强大的基线上提供了强大而一致的改进。
2021-06-16 cs.CL cs.LG stat.ML
Greedy Search with Probabilistic N-gram Matching for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Science（中国科学院大学）
神经机器翻译（NMT）模型通常使用教师强迫算法在词级损失的情况下进行训练，该算法不仅不能正确评估译文，而且存在暴露偏差。强化框架下的序列级训练可以缓解词级丢失的问题，但由于梯度估计的高方差，其性能不稳定。在此基础上，我们提出了一种基于概率n-gram匹配的可区分序列级训练目标的方法，该方法可以避免强化框架。此外，该方法在训练中使用预测词作为上下文，就像在推理时一样，执行贪婪搜索，以减轻曝光偏差的问题。NIST汉英翻译任务的实验结果表明，我们的方法显着优于基于语义的算法，并实现了1.5个BLEU点的平均改善超过一个强大的基线系统。
2018-09-10 cs.CL
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
非自回归神经机器翻译（NAT）通过独立地同时生成目标词来实现显著的解码加速。然而，在非自回归翻译的背景下，词级交叉熵损失不能正确地建模目标端的顺序依赖，导致其与翻译质量的弱相关性。因此，NAT倾向于生成具有过度翻译和翻译不足错误的影响翻译。在本文中，我们建议训练NAT，以最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。ngrams包训练目标是可区分的，并且可以被有效地计算，这鼓励NAT捕获目标侧顺序依赖性并且与翻译质量良好地相关。我们在三个翻译任务上验证了我们的方法，并表明我们的方法在WMT 14 En $\leftrightarrow$ De上的BLEU分数约为5.0，在WMT 16 En $\leftrightarrow$ Ro上的BLEU分数约为2.5，大大优于NAT基线。
2019-11-21 cs.CL cs.LG
Single-Queue Decoding for Neural Machine Translation
The University of Tokyo（东京大学）
神经机器翻译模型依赖于用于解码的束搜索算法。在实践中，我们发现，由于固定的波束尺寸，搜索空间中的假设的质量受到负面影响。为了缓解这个问题，我们将所有假设存储在单个优先级队列中，并使用通用的评分函数进行假设选择。所提出的算法更灵活，因为丢弃的假设可以在稍后的步骤中重新访问。我们进一步设计了一个惩罚函数来惩罚那些倾向于产生比预期更长或更短的最终翻译的假设。尽管它的简单性，我们表明，建议的解码算法是能够选择具有更好的质量和提高翻译性能的假设。
2017-07-08 cs.CL
Plan, Attend, Generate: Character-level Neural Machine Translation with Planning in the Decoder
University of Montreal（蒙特利尔大学）；Microsoft Maluuba（微软 Maluuba）
我们研究的规划机制集成到一个编码器-解码器架构与字符级机器翻译的显式对齐。我们开发了一个模型，在计算源序列和目标序列之间的比对时提前计划，构建拟议的未来比对矩阵和控制是否遵循或重新计算计划的承诺向量。这一机制的灵感来自于策略性的专注读者和作者（StrategicAttentive Reader and Writer，缩写为ESTA）模型。我们提出的模型是端到端可训练的，具有完全可区分的操作。我们证明了它在WMT'15语料库上的三个字符级解码器神经机器翻译上的性能优于强基线。我们的分析表明，我们的模型可以计算定性直观的路线，并实现了更少的参数优越的性能。
2017-06-23 cs.CL cs.NE
Tricolor DAGs for Machine Translation
机器翻译（MT）最近已经制定了基于约束的知识表示和统一的理论，但它是越来越明显，它是不可能设计一个实用的MT系统，没有一个适当的方法来处理源语言和目标语言的语义表示之间的不匹配。在本文中，我们介绍了“基于信息”的机器翻译的思想，这是相当多的灵活性比语际机器翻译或传统的转移为基础的机器翻译。
1994-07-06 cmp-lg cs.CL
Tricks for Training Sparse Translation Models
University of California, Irvine（加州大学欧文分校）；Facebook AI（脸书人工智能研究院）
具有不平衡数据分布的多任务学习使模型学习偏向于高资源任务，特别是当模型容量固定并在所有任务中完全共享时。稀疏缩放架构（如BASELayers）为不同的任务提供了灵活的机制，使其具有可变数量的参数，这对于平衡偏斜的数据分布非常有用。我们发现，多语言机器翻译的稀疏架构在开箱即用时表现不佳，并提出了两种简单的技术来缓解这种情况-温度加热机制和密集的预训练。总体而言，与标准BASELayers和Dense缩放基线相比，这些方法提高了两个多语言翻译基准的性能，并且组合起来，模型收敛速度超过2倍。
2021-10-15 cs.CL
On Adversarial Examples for Character-Level Neural Machine Translation
University of Oregon（俄勒冈大学）
对抗性样本的评估已经成为衡量深度学习模型鲁棒性的标准程序。由于为离散文本输入创建白盒对抗示例的困难，大多数对NLP模型鲁棒性的分析都是通过黑盒对抗示例完成的。我们研究了字符级神经机器翻译（NMT）的对抗性示例，并将黑盒对手与一种新的白盒对手进行了对比，该白盒对手采用可区分的字符串编辑操作来对对抗性变化进行排名。我们提出了两种新的攻击类型，旨在删除或更改翻译中的单词，而不是简单地破坏NMT。我们证明，在不同的攻击场景中，白盒对抗性示例明显强于黑盒对抗性示例，这些攻击场景显示出比以前已知的更严重的漏洞。此外，在进行对抗性训练后，只需要比常规训练长3倍的时间，我们可以显着提高模型的鲁棒性。
2018-06-23 cs.AI cs.CL
Neural Machine Translation by Minimising the Bayes-risk with Respect to Syntactic Translation Lattices
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
提出了一种新的方案，将神经机器翻译（NMT）与传统的统计机器翻译（SMT）相结合。我们的方法借用的想法，从线性格最小贝叶斯风险解码SMT。NMT分数根据SMT网格与翻译的贝叶斯风险相结合。这使得我们的方法比$n$ -最佳列表或网格重新评分更灵活，因为神经解码器不限于SMT搜索空间。我们展示了一种有效和简单的方法来集成风险估计到NMT解码器，这是适合字级以及子字单元级NMT。我们测试我们的方法对英语-德语和日语-英语和报告显着的增益在几个数据集上的晶格rescoring为单一和集成NMT。MBR解码器产生全新的假设，远远超出了简单地重新评分SMT搜索空间或修复NMT输出中的UNK。
2017-02-13 cs.CL
Variational Neural Machine Translation with Normalizing Flows
Apple（苹果公司）
变分神经机器翻译（Variational Neural Machine Translation，VNMT）是一个很有吸引力的目标翻译生成模型框架，它不仅依赖于源语句，而且依赖于一些潜在的随机变量。潜在变量建模可以引入有用的统计依赖性，其可以提高翻译准确性。不幸的是，学习信息潜变量是不平凡的，因为潜空间可能非常大，并且潜代码在训练时容易被许多翻译模型忽略。以前的作品强加强假设的潜在代码的分布和限制的NMT架构的选择。在本文中，我们建议将VNMT框架应用到最先进的Transformer，并引入一个更灵活的近似后验规范化流的基础上。我们证明了我们的建议在域内和域外条件下的有效性，显著优于强基线。
2020-05-28 cs.CL
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack
The Pennsylvania State University（宾夕法尼亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
递归神经网络（RNN）是一种广泛用于序列建模、生成和预测的深度架构。尽管在诸如机器翻译和话音识别等应用中取得了成功，但这些有状态模型具有几个关键缺点。具体来说，RNN在很长的序列上推广能力很差，这限制了它们对许多重要的时间处理和时间序列预测问题的适用性。例如，RNN在识别复杂的上下文无关语言（CFL）方面很困难，在训练中从未达到100%的准确率。解决这些缺点的一种方法是将RNN与外部可微分内存结构（如堆栈）耦合。然而，在以前的工作中，可微记忆既没有被广泛研究的CFL，也没有测试的序列比那些在训练中看到的更长。研究它们的少数努力表明，连续可微记忆结构对复杂CFL的泛化能力很差，使得RNN的可解释性较差。在本文中，我们使用重要的架构和状态更新机制来改进内存增强的RNN，以确保模型能够正确平衡其潜在状态与外部内存的使用。我们改进的RNN模型表现出更好的泛化性能，并能够分类复杂的分层上下文无关文法（CFG）产生的长字符串。我们在CGG（包括Dyck语言）以及Penn Treebank语言建模任务上评估了我们的模型，并在这些基准测试中实现了稳定，强大的性能。此外，我们表明，只有我们的记忆增强网络能够保持记忆的持续时间更长的字符串的长度为160。
2020-04-22 cs.CL cs.LG
Self-Paced Learning for Neural Machine Translation
University of Macau（澳门大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
最近的研究已经证明，神经机器翻译（NMT）的训练可以通过模仿人类的学习过程来促进。然而，这类课程学习的成就依赖于人工制定的时间表的质量，这些时间表具有手工制作的特征，例如句子长度或单词稀有度。我们通过提出自定进度学习，以更灵活的方式改进了该过程，其中NMT模型允许1）自动量化训练样本的学习置信度; 2）通过调节每个迭代步骤中的损失来灵活地管理其学习。多个翻译任务的实验结果表明，该模型产生更好的性能比强基线和那些模型训练与人类设计的课程的翻译质量和收敛速度。
2020-10-13 cs.CL cs.LG
End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences（中国科学院大学）
本文提出可微分分段（DiSeg）方法，通过期望训练实现与翻译模型联合优化，直接学习有益于翻译的语音分段，在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
Knowlege Graph Embedding by Flexible Translation
知识图谱嵌入是指将知识图谱中的实体和关系投影到连续的向量空间中。最先进的方法，如transE，transH和transR，通过将关系视为从头部实体到尾部实体的转换来构建嵌入。然而，以往的模型不能很好地处理自反/一对多/多对一/多对多关系，或者缺乏可扩展性和效率。因此，我们提出了一种新的方法，灵活的翻译，命名为transF，以解决上述问题。transF将关系看作是头实体向量和尾实体向量之间的平移，其大小是灵活的。为了评估所提出的模型，我们进行链接预测和三重分类的基准数据集。实验结果表明，我们的方法显着提高性能相比，几个国家的最先进的基线。
2015-09-10 cs.CL
NMT-Keras: a Very Flexible Toolkit with a Focus on Interactive NMT and Online Learning
Pattern Recognition and Human Language Technology Research Center, Universitat Politècnica de València（瓦伦西亚理工大学模式识别与人类语言技术研究中心）
我们提出了NMT-Keras，这是一个用于训练深度学习模型的灵活工具包，它特别强调神经机器翻译系统的高级应用程序的开发，例如交互式预测翻译协议和通过持续学习对翻译系统的长期适应。NMT-Keras基于流行的Keras库的扩展版本，它在Theano和Tensorflow上运行。按照Keras提供的高级框架部署和使用最先进的神经机器翻译模型。由于其高度的模块化和灵活性，它也被扩展到解决不同的问题，如图像和视频描述，句子分类和视觉问答。
2018-08-16 cs.CL
RETURNN as a Generic Flexible Neural Toolkit with Application to Translation and Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek（AppTek公司）；NNAISENSE（NNAISENSE公司）
我们比较了用于翻译的注意力模型的RETURNN的快速训练和解码速度，这是由于快速CUDA LSTM内核和快速纯TensorFlow束搜索解码器。我们表明，一个逐层的预训练计划的经常性注意力模型提供了超过1%的BLEU绝对改善，它允许训练更深的经常性编码器网络。麦克斯的初步结果很有希望。预期的BLEU训练。我们能够训练最先进的翻译模型和语音识别的端到端模型，并在WMT 2017和Switchboard上显示结果。RETURNN的灵活性允许快速的研究反馈循环来试验替代架构，其通用性允许在广泛的应用中使用它。
2018-05-24 cs.AI cs.CL cs.NE
Differentiable Scheduled Sampling for Credit Assignment
Carnegie Mellon University（卡内基梅隆大学）；DeepMind
我们证明，连续放松的argmax操作可以用来创建一个可微近似序列到序列（seq 2seq）模型的贪心解码。通过将这种近似结合到预定的采样训练过程中（Bengio等人，2015）--一种用于校正曝光偏差的众所周知的技术--我们引入了一个新的训练目标，该目标在任何地方都是连续的和可微的，并且可以在先前的解码决策改变其值的点附近提供信息梯度。此外，通过使用相关的近似，我们展示了一种类似的基于样本的训练方法。最后，我们表明，我们的方法优于交叉熵训练和预定的采样过程中的两个序列预测任务：命名实体识别和机器翻译。
2017-04-23 cs.CL cs.LG cs.NE
