Learning Joint Multilingual Sentence Representations with Neural Machine Translation
Facebook AI Research（Facebook 人工智能研究院）
在本文中，我们使用神经机器翻译的框架来学习六种不同语言的联合句子表示。我们的目标是一个表示，这是独立的语言，很可能会捕捉到潜在的语义。我们定义了一种新的跨语言相似性度量，比较了多达1.4M的句子表示，并研究了接近句子的特征。我们提供的实验证据表明，在嵌入空间接近的句子确实是语义高度相关的，但往往有相当不同的结构和语法。这些关系在比较不同语言的句子时也成立。
2017-08-08 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
Improving Statistical Machine Translation for a Resource-Poor Language Using Related Resource-Rich Languages
Qatar Computing Research Institute（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
我们提出了一种新的语言独立的方法，通过利用资源丰富的语言的相似性，提高资源贫乏的语言的机器翻译。更准确地说，我们改进了从资源贫乏的源语言X_1到资源丰富的语言Y的翻译，给定了包含有限数量的X_1-Y的平行句子的双文本和包含与X_1密切相关的资源丰富的语言X_2的X_2-Y的较大双文本。这是通过利用语言X_1和X_2在拼写、词序和语法方面的词汇重叠和相似性来实现的：（1）我们为资源贫乏的语言改进了单词对齐，（2）我们通过额外的翻译选项进一步增强了它，以及（3）我们通过适当的音译来照顾潜在的拼写差异。印度尼西亚语- >英语使用马来语和西班牙语->英语使用葡萄牙语和假装西班牙语是资源贫乏的评估分别显示了高达1.35和3.37 BLEU点的绝对增益，这是最好的竞争方法的改进，同时使用更少的额外数据。总的来说，我们的方法将必要的“真实训练数据”的数量减少了2- 5倍。
2014-01-23 cs.CL
BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention
Zhejiang University（浙江大学）
BERT增强的神经机器翻译（NMT）旨在利用BERT编码的表示进行翻译任务。最近提出的一种方法使用注意力机制来融合Transformer的编码器和解码器层与BERT的最后一层表示，并显示出增强的性能。然而，他们的方法不允许在BERT表示和编码器/解码器表示之间灵活地分配注意力。在这项工作中，我们提出了一种新的BERT增强的NMT模型，称为BERT-JAM，它从两个方面改进了现有的模型：1）BERT-JAM使用联合注意力模块，允许编码器/解码器层动态分配不同的表示之间的注意力，和2）BERT-JAM允许编码器/解码器层利用BERT的中间表示，通过使用门控线性单元（GLU）组成它们。我们用一种新的三阶段优化策略来训练BERT-JAM，该策略逐步解冻BERT-JAM的不同组件。我们的实验表明，BERT-JAM在多个翻译任务上达到了SOTA BLEU分数。
2020-11-09 cs.CL
Compositional Representation of Morphologically-Rich Input for Neural Machine Translation
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
神经机器翻译（NMT）模型通常使用固定大小的输入和输出词汇进行训练，这对其准确性和泛化能力造成了重要的瓶颈。作为一种解决方案，各种研究提出了将单词分割成子单词单元并在子词汇水平上进行翻译。然而，统计分词方法最近被证明是容易出现形态错误，这可能导致不准确的翻译。在本文中，我们建议通过用双向递归神经网络替换NMT的源语言嵌入层来克服这个问题，该双向递归神经网络可以在任何期望的粒度级别上生成输入的组合表示。我们测试我们的方法在一个低资源的设置与五种语言从不同的形态类型学，并根据不同的组成假设。通过训练NMT从字符n-gram组成单词表示，我们的方法始终优于（从1.71到2.48 BLEU点）统计生成的子单词单元的NMT学习嵌入。
2018-05-05 cs.CL
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
Word Representation Models for Morphologically Rich Languages in Neural Machine Translation
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
形态丰富的语言中复杂的词形处理是语言处理中的一个开放性问题，在翻译中尤为重要。与大多数现代神经系统的翻译，这放弃了罕见的单词的身份，在本文中，我们提出了几个架构学习字表示字符和语素级的字分解。我们将这些表示在一个新的机器翻译模型，共同学习单词对齐和翻译通过硬注意力机制。从几种形态丰富的语言翻译成英语的评估，我们表现出一致的改进强基线方法，1和1.5 BLEU点之间。
2016-06-14 cs.CL cs.NE
Benchmarking Arabic--Russian Machine Translation: A Comparison of Fine-tuned NMT and Few-shot LLMs under Rich Morphology and Low Lexical Overlap
Kazan Federal University（喀山联邦大学）
本研究针对阿拉伯语-俄语低资源翻译，对比微调NMT与少样本LLM，发现微调NLLB-1.3B以BLEU 16.3领先，显著优于LLM，低词汇重叠为主要挑战。
2026-09-25 cs.CL
Lost in Translation: Loss and Decay of Linguistic Richness in Machine Translation
Dublin City University（都柏林城市大学）
这项工作提出了一个实证的方法来量化损失的词汇丰富度相比，人类翻译（HT）的机器翻译（MT）系统。我们的实验表明，目前的机器翻译系统确实无法呈现人类生成或翻译文本的词汇多样性。MT系统无法产生多样化的产出，而且它往往会加剧已经频繁的模式，而忽视不太频繁的模式，这可能是目前激烈辩论的与性别偏见产出有关的问题的根本原因。除了有偏见的数据，我们真的能谈论一种加剧可见偏见的算法吗？
2019-06-28 cs.CL cs.LG
Beyond Weight Tying: Learning Joint Input-Output Embeddings for Neural Machine Translation
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
将目标词嵌入的权重与神经机器翻译模型的目标词分类器绑定在一起，可以加快训练速度，并且通常可以提高翻译质量。鉴于这种参数共享的成功，我们研究了其他形式的共享之间没有共享和硬平等的参数。特别是，我们提出了一个结构感知的输出层，它捕获的语义结构的输出空间内的联合输入输出嵌入的话。该模型是一种广义形式的权重捆绑，共享参数，但允许学习更灵活的关系与输入词嵌入，并允许输出层的有效容量进行控制。此外，该模型在输出分类器和翻译上下文之间共享权重，这使得它能够更好地利用有关它们的先验知识。我们对英语到芬兰语和英语到德语数据集的评估显示了该方法对使用或不使用权重绑定训练的强编码器-解码器基线的有效性。
2018-08-31 cs.CL
Neural Machine Translation with Joint Representation
Northeastern University（东北大学）；NiuTrans Co., Ltd.（小牛翻译股份有限公司）；Institute of Psychology, CAS（中国科学院心理研究所）
尽管统计机器翻译（SMT）系统的早期成功部分归功于任何两个源单元和目标单元之间交互的显式建模，例如，对齐，最近的神经机器翻译（NMT）系统诉诸的注意，部分编码的互动效率。在本文中，我们采用联合表示，充分考虑到每个可能的相互作用。我们回避了效率低下的问题，通过改进表示与建议的有效注意力操作。由此产生的Reformer模型提供了一种新的序列到序列建模范式，除了编码器-解码器框架之外，并且在小规模IWSLT 14德语-英语，英语-德语和IWSLT 15越南语-英语或大规模NIST 12中文-英语翻译任务中优于Transformer基线约1 BLEU点。允许Reformer模型在IWSLT 14德-英和NIST 12中-英中以大约少50%的参数击败最先进的Transformer。该代码可在https://github.com/lyy1994/reformer上公开获取。
2020-02-18 cs.CL
Auto-Encoding Variational Neural Machine Translation
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一个面向机器翻译的双语句子对深度生成模型。该模型从一个共享的潜在表示中联合生成源语句和目标语句，并由神经网络进行参数化。我们使用摊销变分推理和重新参数化梯度进行有效的训练。此外，我们讨论了联合建模的统计意义，并提出了一个有效的近似最大后验解码快速测试时间预测。我们证明了我们的模型在三个机器翻译场景中的有效性：域内训练，混合域训练，以及从黄金标准和合成数据的混合中学习。我们的实验一致表明，我们的联合制定优于条件建模（即标准神经机器翻译）在所有这些情况下。
2019-05-31 cs.CL
Joint Space Neural Probabilistic Language Model for Statistical Machine Translation
Dublin City University（都柏林城市大学）
神经概率语言模型（NPLM）提供了一种实现比n-gram语言模型及其平滑语言模型更好的复杂度的思想。本文研究了双语自然语言处理的应用领域，特别是统计机器翻译（SMT）。我们关注的角度，NPLM有可能打开的可能性，以补充潜在的“巨大的”单语资源到“资源约束”的双语资源。我们引入了一个ngram-HMM语言模型NPLM使用非参数贝叶斯结构。为了便于应用到各种任务中，我们提出了ngram的联合空间模型-HMM语言模型。我们展示了一个SMT领域的系统组合实验。一个发现是，如果NPLM在相对较小的语料库中训练，我们对噪声的处理将结果提高了0.20个BLEU点，在我们的情况下，500，000个句子对，这通常是由于NPLM的训练时间很长。
2017-04-21 cs.CL
Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism
Tencent AI Lab（腾讯人工智能实验室）；Dublin City University（都柏林城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
代词在诸如中文的亲降语言中经常被省略，通常导致关于完整翻译的产生的重大挑战。最近，Wang et al.（2018）提出了一种新的基于重构的方法来缓解神经机器翻译模型的代词（DP）翻译问题。在这项工作中，我们从两个角度改进了原始模型。首先，我们采用了一个共享的重建器，以更好地利用编码器和解码器表示。其次，我们共同学习以端到端的方式翻译和预测DP，以避免外部DP预测模型传播的错误。实验结果表明，我们的方法显着提高了翻译性能和DP预测精度。
2018-10-15 cs.CL
Jointly Learning to Align and Translate with Transformer Models
Apple Inc.（苹果公司）
机器翻译（MT）的现有技术由神经方法控制，神经方法通常提供优于统计方法的翻译准确性。然而，在密切相关的词对齐任务上，传统的统计词对齐模型往往仍然是首选的解决方案。在本文中，我们提出了一种方法来训练一个Transformer模型，以产生准确的平移和对齐。我们从常规神经机器翻译模型训练期间学习的注意力概率中提取离散对齐，并在多任务框架中利用它们来优化翻译和对齐目标。我们证明，我们的方法产生竞争力的结果相比，GIZA++训练的IBM对齐模型，而不牺牲翻译的准确性和优于以前的尝试基于Transformer模型的单词对齐。最后，通过将IBM模型对齐纳入我们的多任务训练，我们报告了在三个公开数据集上与GIZA++相比显著更好的对齐精度。
2019-09-04 cs.CL
A Hybrid Morpheme-Word Representation for Machine Translation of Morphologically Rich Languages
National University of Singapore（新加坡国立大学）
我们提出了一种独立于语言的方法，用于改进统计机器翻译的形态丰富的语言，使用混合词素-单词表示，翻译的基本单位是词素，但在翻译过程的所有阶段都尊重单词边界。我们的模型通过以下方式扩展了经典的基于短语的模型：（1）单词边界感知的词素级短语提取，（2）使用单词级BLEU的词素级翻译模型的最小错误率训练，以及（3）与词素和单词级语言模型的联合评分。通过与经典模型的结合，进一步改进了模型。使用Europarl对英语到芬兰语的评估（714 K句子对; 1550万英语单词）显示，与基于BLEU和人类判断的经典模型相比，统计学上有显着改善。
2019-11-19 cs.CL cs.LG
Modeling Target-Side Inflection in Neural Machine Translation
LMU Munich（慕尼黑大学）；Memsource；University of Stuttgart（斯图加特大学）
NMT系统存在词汇量大的问题。字节对编码（BPE）是解决这个问题的流行方法，但是尽管BPE允许系统生成任何目标端单词，但是它不能在具有强屈折现象的形态丰富的语言中的丰富词汇上实现有效的泛化。我们引入一种简单的方法来克服这个问题，通过训练系统来产生一个词的词元及其形态丰富的POS标签，然后进行确定性生成步骤。我们将此策略应用于英语-捷克语和英语-德语翻译场景，在这两种设置中都得到了改进。此外，我们表明，改善是不是由于只添加明确的形态信息。
2017-09-05 cs.CL
Dynamic Jointly Batch Selection for Data Efficient Machine Translation Fine-Tuning
Department of Electrical and Computer Engineering, College of Engineering, University of Tehran（电气与计算机工程系，工程学院，塔里赫安大学）
本文提出一种基于可学习性分数和批内依赖关系的动态联合批选择方法，利用学习者模型与预训练参考模型协同筛选数据，在mBART微调中实现最高5倍数据效率提升和24倍计算效率提升。
2025-11-06 cs.CL
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
随着基于transformer的模型的出现，机器翻译取得了快速的进展。这些模型没有显式的语言结构，但它们仍然可以通过关注相关的标记来隐式地学习结构化关系。我们假设，这种结构学习可以通过明确赋予Transformers结构偏差来变得更加强大，我们研究了两种方法来构建这种偏差。TP-Transformer是一种扩展传统Transformer体系结构的方法，它包括一个额外的组件来表示结构。第二种方法通过形态标记化对数据进行分割，从而在数据级别上注入结构。我们测试这些方法从英语翻译成形态丰富的语言，土耳其语和因纽特语，并考虑自动指标和人类的评价。我们发现，这两种方法都可以使网络获得更好的性能，但这种改进取决于数据集的大小。总之，结构化编码方法使Transformers更具采样效率，使它们能够从更少量的数据中获得更好的性能。
2022-08-11 cs.CL
Morphology Generation for Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
当翻译成形态丰富的语言时，统计MT方法面临数据稀疏的问题。当形态丰富的语言的语料规模较小时，稀疏性问题的严重性会很高。即使我们可以使用因子化模型来正确地生成单词的形态形式，数据稀疏性问题也限制了它们的性能。在本文中，我们描述了一个简单而有效的解决方案，这是基于丰富的输入语料库与各种形态的话。我们使用这种方法与基于短语和基于因素的实验两个形态丰富的语言：印地语和马拉地语时，从英语翻译。我们评估我们的实验的性能，无论是在自动评价和主观评价，如充分性和流畅性。我们观察到，形态学注入方法有助于提高翻译质量。我们进一步分析，变形注入方法有助于处理数据稀疏性问题，在很大程度上。
2017-11-10 cs.CL
Improving the Performance of Neural Machine Translation Involving Morphologically Rich Languages
SSN College Of Engineering（SSN工程学院）
神经机器翻译模型中注意力机制的出现通过实现对源语句的选择性查找而提高了机器翻译系统的性能。在本文中，使用双向编码器注意解码器模型的翻译效率进行了研究，翻译涉及形态丰富的语言。选择英语-泰米尔语对进行分析。首先，对英语和泰米尔语单词使用Word 2 Vec嵌入将翻译结果提高了0.73个BLEU点，比基线RNNSearch模型提高了4.84个BLEU分数。在词向量化之前使用形态分割将形态丰富的泰米尔语词在翻译之前分割成各自的语素，导致目标词汇量减少了8倍。此外，该模型（RNNMorph）将神经机器翻译的性能提高了7.05个BLEU点，超过了在相同语料库上使用的RNNSearch模型。由于RNNMorph模型的BLEU评估可能由于每个句子的匹配标记数量的增加而不可靠，因此还通过适当性，流畅性和相对排名的人类评估指标来比较翻译的性能。此外，形态分割的使用还提高了注意力机制的功效。
2017-01-08 cs.CL cs.LG cs.NE
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Learning Language Specific Sub-network for Multilingual Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）
多语言神经机器翻译旨在学习多种语言的单一翻译模型。这些联合训练的模型通常会在资源丰富的语言对上性能下降。我们把这种退化归因于参数干扰。在本文中，我们提出了LaSS联合训练一个统一的多语言MT模型。LaSS为每个语言对学习语言特定子网络（LaSS）以对抗参数干扰。在具有各种Transformer架构的IWSTs和WMT数据集上的综合实验表明，LaSS在36种语言对上获得了高达1.2 BLEU的增益。此外，LaSS在易于扩展到新的语言对和zero-shot翻译方面表现出了很强的泛化性能，LaSS在30个语言对上的平均BLEU为8.3，提高了zero-shot翻译。代码和训练模型可在https://github.com/NLP-Playground/LaSS上获得。
2021-07-23 cs.CL
ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems
University of Technology Sydney（悉尼科技大学）；Capital Markets Cooperative Research Centre（资本市场合作研究中心）
神经机器翻译的正则化仍然是一个重要的问题，特别是在低资源环境中。为了解决这个问题，我们提出了回归词嵌入（ReWE）作为一种新的正则化技术，该系统经过联合训练，以预测翻译中的下一个词（分类值）及其词嵌入（连续值）。这样的联合训练允许所提出的系统学习由词嵌入表示的分布特性，凭经验提高对看不见的句子的泛化。在三个翻译数据集上的实验表明，在0.91到2.54 BLEU点之间的强基线上有一致的改进，并且在最先进的系统上也有显著的改进。
2019-04-04 cs.CL
Neural Machine Translation with Pivot Languages
Tsinghua University（清华大学）
虽然最近的神经机器翻译方法已经为资源丰富的语言对提供了最先进的性能，但它们遭受资源稀缺语言对的数据稀缺问题。虽然这个问题可以通过利用枢纽语言来桥接源语言和目标语言来缓解，但是源到枢纽和枢纽到目标翻译模型通常是独立训练的。在这项工作中，我们介绍了一个联合训练算法的神经机器翻译。我们提出了三种方法来连接这两个模型，并使它们能够在训练过程中相互交互。在Europarl和WMT语料库上的实验表明，源到主元和主元到目标模型的联合训练比各种语言的独立训练有显著的改进。
2017-02-21 cs.CL
Role of Morphology Injection in Statistical Machine Translation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
基于短语的统计模型更常用，因为它们在翻译质量和系统复杂性方面表现最佳。印地语和所有印度语言在形态上都比英语丰富。因此，尽管基于短语的系统对于分歧较小的语言对表现得非常好，但对于英语到印度语的翻译，我们需要更多的语言信息（例如词法，解析树，词性标签等）。在源侧。在这种情况下，因子化模型似乎很有用，因为因子化模型将单词视为因子的向量。这些因素可以包含关于表面词的任何信息，并在翻译时使用它。因此，这项工作的目的是处理形态屈折在印地语和马拉地语使用因子翻译模型，而从英语翻译。SMT方法在翻译成形态丰富的语言时面临数据稀疏的问题。一个平行语料库不太可能包含所有词的形态形式。我们提出了一个解决方案，以产生这些看不见的形态形式，并将它们注入到原始的训练语料库。在本文中，我们研究的因素模型和稀疏的问题，在上下文翻译形态丰富的语言。我们提出了一个简单而有效的解决方案，这是基于丰富的输入与各种形态的单词。我们观察到，形态注入提高翻译质量的充分性和流畅性。我们验证了这两个形态丰富的语言实验：印地语和马拉地语，而从英语翻译。
2017-09-16 cs.CL
Just Use XML: Revisiting Joint Translation and Label Projection
Language Technology Group（语言技术组）；University of Hamburg（汉堡大学）
本文提出LabelPigeon框架，通过XML标签联合执行翻译与标签投影，实验证明在11种语言中提升翻译质量，跨203种语言和不同标注复杂度下均取得显著改进，NER任务中达到+40.2 F1的提升。
2026-04-15 cs.AI cs.CL
Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies
Center for Information and Language Processing（信息与语言处理中心）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；CIS, LMU Munich（慕尼黑大学信息与语言处理中心）；LMU Munich（慕尼黑大学）
词法丰富的语言给机器翻译带来了困难。依赖于从并行训练数据中进行统计学习的机器翻译引擎（例如最先进的神经系统）面临着挑战，尤其是在输出语言方面具有丰富的形态学。在数据驱动的机器翻译中，丰富的目标端形态学的关键挑战包括：（1）大量不同屈折的词表面形式需要更大的词汇表，因此需要数据稀疏。(2)一些不常见术语的屈折形式通常不会出现在训练语料库中，这使得封闭词汇系统无法生成这些未观察到的变体。(3)语言协议要求系统正确匹配输出句子中的屈折词形式之间的语法类别，无论是在目标侧的形态句法wellformedness和语义充分性方面的输入。在本文中，我们重新调查两个目标方的语言处理技术：一个词元标记策略和语言知情的分词策略。我们的实验是在三个不同量级的训练语料库条件下进行的。我们发现，在域内翻译时，更强的Transformer基线比浅RNN编码器-解码器模型留下的改进空间更小。然而，我们发现，语言建模的目标端形态不受益的Transformer模型时，相同的系统被应用到域外输入文本。我们还成功地将我们的方法应用于英语到捷克语的翻译。
2022-03-25 cs.CL
Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
Soochow University（苏州大学）；Sogou（搜狗）
文档级机器翻译将文档间的依赖性结合到源句子的翻译中。在本文中，我们提出了一个新的框架，通过训练神经机器翻译（NMT）来预测目标翻译和源句子的周围句子来建模跨句子依赖关系。通过强制NMT模型来预测源上下文，我们希望模型能够学习“上下文化”的源语句表示，这些表示可以捕获源端的文档级依赖关系。我们进一步提出了两种不同的方法来学习和集成这样的上下文句子嵌入到NMT：联合训练方法，联合训练NMT模型与源上下文预测模型和预训练和微调方法，预训练的源上下文预测模型上的大规模单语文档语料库，然后微调它与NMT模型。通过对汉英和英德翻译的实验表明，这两种方法都能在较强的文档级Transformer基础上显著提高翻译质量。
2020-03-30 cs.CL
A Latent Morphology Model for Open-Vocabulary Neural Machine Translation
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）；University of Zürich（苏黎世大学）；University of Amsterdam（阿姆斯特丹大学）
翻译成形态丰富的语言挑战神经机器翻译（NMT）模型与极其稀疏的词汇表，原子处理的表面形式是不现实的。这个问题通常通过将单词预处理成子字单元或直接在字符级别执行翻译来解决。前者基于使用语料库级统计优化的分词算法，而不考虑翻译任务。后者直接从翻译数据中学习，但需要相当深入的架构。在本文中，我们提出了一个层次隐变量模型，模仿形态变化的过程中，通过建模的构词来翻译的话。我们的模型生成的单词一个字符的时间组成两个潜在的表示：一个连续的，旨在捕捉词汇语义，和一组（近似）离散的功能，旨在捕捉形态句法功能，这是不同的表面形式之间共享。与传统的开放词汇NMT方法相比，我们的模型在翻译成三种形态丰富的语言方面实现了更好的准确性，同时在中低资源设置下也表现出更好的泛化能力。
2020-02-26 cs.CL
Joint translation and unit conversion for end-to-end localization
Amazon AWS AI（亚马逊AWS AI）
各种自然语言任务需要处理包含自然语言和诸如数学表达式的形式语言的混合的文本数据。在本文中，我们以单位转换为例，并提出了一个数据增强技术，导致模型学习翻译和转换任务，以及如何充分切换它们之间的端到端本地化。
2020-04-10 cs.AI cs.CL cs.LG
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Found in Translation: Learning Robust Joint Representations by Cyclic Translations Between Modalities
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI（微软人工智能（微软AI））
多模态情感分析是研究说话人情感的一个核心研究领域，它从语言、视觉和听觉三个方面来表达说话人情感。多模态学习的核心挑战涉及推断可以处理和关联来自这些模态的信息的联合表示。然而，现有的工作学习联合表示，需要所有的模态作为输入，因此，学习的表示可能是敏感的噪声或丢失的模态在测试时。随着序列到序列（Seq 2Seq）模型在机器翻译中的成功，有机会探索学习联合表示的新方法，这些方法在测试时可能不需要所有输入模态。在本文中，我们提出了一种方法来学习强大的联合表示之间的翻译模态。我们的方法基于以下关键见解：从源模态到目标模态的翻译提供了一种仅使用源模态作为输入来学习联合表示的方法。我们增加模态翻译与周期一致性损失，以确保我们的联合表示保留最大的信息，从所有的模态。一旦我们的翻译模型使用成对的多模态数据进行训练，我们只需要在测试时来自源模态的数据来进行最终的情感预测。这确保了我们的模型在其他模态的扰动或缺失信息中保持稳健。我们用耦合的预防-预测目标训练我们的模型，它在多模态情感分析数据集上取得了最新的结果：CMU-MOSI，ICT-MMMO和YouTube。额外的实验表明，我们的模型学习越来越多的歧视性的联合表示与更多的输入模态，同时保持鲁棒性丢失或扰动模态。
2020-02-28 cs.CL cs.CV cs.HC
Efficient One-to-Many Translation with Joint Multi-Stream Diffusion
Worcester Polytechnic Institute（伍斯特理工学院）
针对一对多翻译中自回归系统延迟高的问题，提出联合多流离散扩散框架，并行优化所有目标语言，实现亚线性延迟、统一模型部署及零样本迁移，在加速采样下达到AR质量并获2倍加速和零样本BLEU提升11.9%。
2026-09-16 cs.AI cs.CL
AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate
Seoul National University（首尔大学）；Kakao Enterprise
非自回归神经机器翻译（NART）模型存在多模态问题，导致翻译不一致，如标记重复。最近的方法试图解决这个问题，隐式建模之间的依赖关系的输出。在本文中，我们介绍了AlignART，它利用完整的对齐信息来显式地减少目标分布的模态。AlignART将机器翻译任务划分为$(i)$对齐估计和具有对齐的解码器输入的$(ii)$翻译，引导解码器专注于简化的一对一翻译。为了缓解对齐估计问题，我们进一步提出了一种新的对齐分解方法。我们的实验表明，AlignNART优于以前的非迭代NART模型，这些模型专注于WMT 14 En $\leftrightarrow$ De和WMT 16 Ro $\rightarrow$ En上的显式模态减少。此外，AlignART在WMT 14 En $\leftrightarrow$ De上实现了与最先进的基于连接主义时间分类的模型相当的BLEU分数。我们还观察到，即使没有序列级知识蒸馏，AlignART也有效地解决了令牌重复问题。
2021-09-14 cs.AI cs.CL
Neural Machine Translation for Low-Resourced Indian Languages
Delhi Technological University (Formerly Delhi college of Engineering)（德里理工大学（原德里工程学院））
网上有大量重要的英文资料，这些资料经常被翻译成当地语言，以方便不太熟悉英文的当地人分享信息。然而，手动翻译是一个非常繁琐、昂贵和耗时的过程。为此，机器翻译是一种有效的方法，可以将文本转换为不同的语言，而无需任何人工参与。神经机器翻译（NMT）是现有机器翻译系统中最成熟的翻译技术之一。在本文中，我们已经应用NMT两个最形态丰富的印度语言，即英语泰米尔语和英语马拉雅拉姆语。我们提出了一种新的NMT模型，使用多头自注意力以及预训练的字节对编码（BPE）和MultiBPE嵌入来开发一个有效的翻译系统，该系统克服了低资源形态丰富的印度语言的OOV（词汇量不足）问题，这些语言在网上没有太多的翻译。我们还从不同的来源收集语料，解决这些公开可用的数据的问题，并完善它们以供进一步使用。我们使用BLEU分数来评估我们的系统性能。实验结果和调查证实，我们提出的翻译（24.34和9.78 BLEU分数）优于谷歌翻译（9.40和5.94 BLEU分数）分别。
2020-04-19 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
多语言神经机器翻译（NMT）最近已经从不同方面进行了研究（例如，枢轴平移、zero-shot平移、微调或从头开始训练）和在不同的设置中（例如，富资源和低资源、一对多和多对一翻译）。本文对多语种NMT进行了深入的理解，并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明：（1）低资源语言对从多语言训练中受益匪浅，而资源丰富的语言对在有限的模型容量下可能会受到伤害，并且使用相似语言的训练比不相似语言的训练受益更多;（2）在一对多设置中，微调比从头开始训练表现得更好，而在多对一设置中，从头开始训练表现得更好;（3）编码器的底层和解码器的顶层捕获更多的语言特定信息，并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;（4）当源语言与目标语言相似时（例如，在相同的语言分支中），即使直接训练数据的大小小得多;（5）给定固定的训练数据预算，最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
Neural Machine Translation by Jointly Learning to Align and Translate
Jacobs University Bremen（不来梅雅各布大学）；Université de Montréal（蒙特利尔大学）
神经机器翻译是最近提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译旨在构建一个单一的神经网络，可以联合调整，以最大限度地提高翻译性能。最近提出的用于神经机器翻译的模型通常属于编码器-解码器家族，并且由编码器组成，该编码器将源句子编码成固定长度的向量，解码器从该向量生成翻译。在本文中，我们推测，使用一个固定长度的向量是一个瓶颈，在提高性能的这种基本的编码器-解码器架构，并建议通过允许一个模型自动（软）搜索部分的源句子是相关的预测一个目标词，而不必形成这些部分作为一个硬段显式扩展。有了这种新的方法，我们实现了翻译性能相媲美的现有国家的最先进的短语为基础的系统上的英法翻译的任务。此外，定性分析表明，（软）对齐发现的模型同意我们的直觉。
2016-05-19 cs.CL cs.LG cs.NE
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
Linguistically Motivated Vocabulary Reduction for Neural Machine Translation from Turkish to English
label1；label2
在最先进的神经机器翻译（NMT）系统中，使用固定大小的词汇表以控制模型复杂度的必要性是性能的重要瓶颈，特别是对于形态丰富的语言。旨在通过使用子词或字符级表示来克服这个问题的传统方法仅仅依赖于统计数据，而忽略了词的语言特性，这导致词结构的中断并导致语义和句法损失。在本文中，我们提出了一种新的词汇减少方法NMT，它可以减少在任何速度的给定输入语料库的词汇，同时还考虑到语言的形态属性。我们的方法基于无监督形态学学习，原则上可以用于预处理任何语言对。我们还提出了一种替代的分词方法的基础上监督形态分析，这有助于我们衡量我们的模型的准确性。我们评估我们的方法在土耳其语到英语的NMT任务，输入语言是形态丰富和粘着。我们分析了不同的表示方法的翻译准确性，以及所生成的输出的语义和句法属性。我们的方法比传统的词汇缩减技术获得了2.3 BLEU点的显着改进，表明它可以在形态丰富的语言的开放词汇翻译中提供更好的准确性。
2017-07-31 cs.CL
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Style Transfer as Unsupervised Machine Translation
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research and AI Group（微软研究与人工智能集团）
语言风格转移是指在保留原有的与属性无关的内容的同时，重新表达具有特定风格属性的文本。学习风格转换系统的一个主要挑战是缺乏平行数据，其中源句子是一种风格，目标句子是另一种风格。有了这个限制，在本文中，我们适应无监督的机器翻译方法的任务，自动风格转换。我们首先利用风格偏好信息和词嵌入相似性来产生伪并行数据与统计机器翻译（SMT）框架。然后采用迭代反向翻译方法联合训练两个基于神经机器翻译（NMT）的转换系统。为了控制联合训练过程中产生的噪声，引入了风格分类器，以保证风格转移的准确性，并惩罚生成的伪数据中的不良候选。在基准数据集上的实验表明，我们提出的方法在风格转换的准确性和输入输出对应的质量方面都优于以前的最先进的模型。
2018-08-23 cs.CL
Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information
ByteDance AI Lab（字节跳动人工智能实验室）；Fudan University（复旦大学）
我们研究以下问题的机器翻译（MT）：我们可以开发一个单一的通用MT模型作为共同的种子，并获得衍生和改进的模型上的任意语言对？我们提出了mRASP，一种预训练通用多语言神经机器翻译模型的方法。我们在mRASP中的关键思想是其随机对齐替换的新技术，它使多种语言中具有相似含义的单词和短语在表示空间中更接近。我们在32种语言对上预训练mRASP模型，只使用公共数据集。然后在下游语言对上对模型进行微调，以获得专门的MT模型。我们在不同的环境中对42个翻译方向进行了广泛的实验，包括低，中，丰富的资源，以及转移到异国情调的语言对。实验结果表明，mRASP实现了显着的性能改善相比，直接训练这些目标对。这是第一次验证，多个低资源的语言对可以利用来提高丰富的资源机器翻译。令人惊讶的是，mRASP甚至能够提高预训练语料库中从未出现过的外来语言的翻译质量。代码、数据和预训练模型可在https://github.com/linzehui/mRASP上获得。
2021-01-22 cs.CL
Synthetic Data Generation and Joint Learning for Robust Code-Mixed Translation
Washington Post（华盛顿邮报）；IIIT Delhi（德里 Indraprastha 信息技术学院）；IIT Delhi（印度理工学院德里分校）；Microsoft India（微软印度）
本文针对代码混合语言到英语的翻译问题，构建了约420万句对的Hinglish-English平行语料库HINMIX，并提出基于鲁棒扰动的联合训练模型RCMT，通过参数共享处理噪声，在Hinglish和零样本Bengalish翻译任务上均优于现有方法。
2024-04-29 cs.CL cs.LG
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Joint-training on Symbiosis Networks for Deep Nueral Machine Translation models
Huawei Translation Services Center（华为翻译服务中心）；The University of Melbourne（墨尔本大学）
深度编码器已被证明在改善神经机器翻译（NMT）系统方面是有效的，但当编码器层数超过18时，它达到了翻译质量的上限。更糟糕的是，更深层次的网络会消耗大量内存，从而无法有效地进行训练。在本文中，我们提出了共生网络，它包括一个完整的网络作为共生主网（M-Net）和另一个共享的子网络与共生子网（S-Net）的结构相同，但较少的层。我们采用Symbiosis Networks on Transformer-deep（m-n）架构，在NMT中定义了M-Net和S-Net之间的正则化损失$\mathcal{L}_τ$。我们将联合训练应用于共生网络，旨在提高M-Net的性能。我们提出的训练策略在WMT'14 EN->DE，DE->EN和EN->FR任务的经典训练下，将Transformer-deep（12-6）提高了0.61，0.49和0.69 BLEU。此外，我们的Transformer-deep（12-6）甚至优于经典的Transformer-deep（18-6）。
2021-12-22 cs.AI cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo（东京大学）；Institute of Industrial Science（产业科学研究所）；National Institute of Informatics（国立信息学研究所）
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此，从业者从资源丰富的领域中采用领域自适应，这些领域在大多数情况下远离目标领域。远域之间的领域自适应（例如，电影字幕和研究论文），然而，由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词（例如，“angstrom”）和其含义跨域变化的单词（例如，“导体”）。在这项研究中，为了解决神经机器翻译（NMT）领域自适应中的词汇不匹配问题，我们提出了词汇自适应，这是一种有效微调的简单方法，可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前，我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明，我们的方法提高了3.86和3.28 BLEU点的传统微调的性能，在En-Ja和De-En翻译，分别。
2020-10-31 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair
Innopolis University（伊诺波利斯大学）
神经机器翻译是当前机器翻译的最新发展。虽然它在资源丰富的环境中是成功的，但它对低资源语言对的适用性仍然存在争议。在本文中，我们探讨了不同的技术，以提高机器翻译质量时，并行语料库是小到324 000句，作为一个例子，以前未开发的俄罗斯-鞑靼语对。我们将迁移学习和半监督学习等技术应用于基础Transformer模型，并实证表明，由此产生的模型分别将俄语到鞑靼语和鞑靼语到俄语的翻译质量提高了+2.57和+3.66 BLEU。
2019-10-01 cs.CL
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于会话语音现象，特别是不流利的存在，语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起，之前作为语音识别和机器翻译之间的中间步骤的处理步骤（如不流利消除）需要被纳入模型架构中。我们使用一个序列到序列的模型，从嘈杂的，不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译，并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线，即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
Learning Parse and Translation Decisions From Examples With Rich Context
我们提出了一个解析和翻译自然语言的系统，从例子中学习，并使用一些背景知识。作为我们的分析模型，我们选择了一个确定性的移位-归约类型的分析器，它集成了词性标注和句法语义处理。应用机器学习技术，该系统使用在监督下获得的解析动作示例来生成决策结构形式的解析器，这是决策树的泛化。为了学习良好的解析和翻译决策，我们的系统在很大程度上依赖于上下文，目前编码在205个功能描述的形态，语法和语义方面的一个给定的解析状态。与最近使用40，000个句子进行训练的概率系统相比，我们的系统依赖于更多的背景知识和更深入的分析，但样本数量更少，目前只有256个句子。我们测试我们的分析器从华尔街日报词汇限制的句子，并实现准确率为89.8%的标记精度，98.4%的词性标记和56.3%的测试句子没有任何交叉括号。10名双语志愿者对32个《华尔街日报》句子的机器翻译进行了评估，并在1.0（最好）到6.0（最差）的范围内对语法正确性和意义保留进行了评分。
1997-06-30 cmp-lg cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
低资源多语言神经机器翻译（MNMT）通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中，我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术，如微调。此外，我们试图从头开始学习MNMT课程，并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明，这些学习课程可以为微调提供更好的起点，并提高翻译系统的整体性能。
2021-03-11 cs.CL
