The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh(爱丁堡大学)
机器翻译系统易受域不匹配的影响,特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器,域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题:受IBM统计对齐限制的词汇入围,以及基于相似性的假设重新排名。这些方法在计算上是便宜的,广为人知的,但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集,但是,当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势,以及域外词的子词切分的问题。
2021-09-21 cs.CL
Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
没有标记的目标语言数据或平行文本的跨语言迁移学习在zero-shot跨语言分类、问答、无监督机器翻译等方面令人惊讶地有效。然而,最近的一些出版物声称域失配阻止了跨语言迁移,他们的研究结果表明,无监督双语词典归纳(UBLI)和无监督神经机器翻译(UNMT)当底层单语语料库来自不同的领域(例如,法文本来自维基百科,英文文本来自联合国会议记录)。在这项工作中,我们表明,一个简单的初始化方案可以克服大部分的影响域不匹配的跨语言迁移。我们在连接的领域不匹配语料库上预训练单词和上下文嵌入,并将其用作三个任务的初始化:MUSE UBLI,UN Parallel UNMT和SemEval 2017跨语言单词相似性任务。在所有情况下,我们的研究结果挑战先前工作的结论,表明适当的初始化可以恢复域不匹配所造成的损失的很大一部分。
2022-11-30 cs.CL
Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本研究系统测试了内在去偏方法对神经机器翻译模型的影响,揭示了去偏嵌入选择、单词与子词标记不匹配及目标语言差异三大挑战,并证明这些因素显著影响下游性能与去偏效果。
2024-06-02 cs.CL
Parallel Attention Forcing for Machine Translation
University of Cambridge(剑桥大学)
基于注意力的自回归模型已经在各种序列到序列任务(包括文本到语音(TTS)和神经机器翻译(NMT))中实现了最先进的性能,但是可能难以训练。标准的培训方法,教师强迫,指导一个模型与参考回溯历史。在推理过程中,必须使用生成的回溯历史。这种不匹配限制了评估性能。引入了注意力强制来解决不匹配问题,用生成的背景历史和参考注意力来指导模型。虽然在像TTS这样的连续输出任务中取得了成功,但在像NMT这样的离散输出任务中,注意力强迫面临着额外的挑战。本文介绍了两个扩展的注意力强迫来应对这些挑战。(1)预定的注意力强制会自动打开和关闭注意力强制,这对于具有离散输出的任务至关重要。(2)并行注意力强制使训练并行,适用于基于transformer的模型。实验结果表明,该方法提高了基于RNN和Transformers的模型的性能。
2022-11-06 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo(东京大学);Institute of Industrial Science(产业科学研究所);National Institute of Informatics(国立信息学研究所)
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此,从业者从资源丰富的领域中采用领域自适应,这些领域在大多数情况下远离目标领域。远域之间的领域自适应(例如,电影字幕和研究论文),然而,由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词(例如,“angstrom”)和其含义跨域变化的单词(例如,“导体”)。在这项研究中,为了解决神经机器翻译(NMT)领域自适应中的词汇不匹配问题,我们提出了词汇自适应,这是一种有效微调的简单方法,可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前,我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明,我们的方法提高了3.86和3.28 BLEU点的传统微调的性能,在En-Ja和De-En翻译,分别。
2020-10-31 cs.CL
Learning from Chunk-based Feedback in Neural Machine Translation
eBay Inc.(eBay公司)
我们经验性地研究了神经机器翻译(NMT)中的部分反馈学习,当部分反馈通过要求用户突出翻译的正确块来收集时。我们提出了一种简单而有效的方法,利用这种反馈在NMT培训。我们演示了如何在训练和部署之间的域不匹配的常见机器翻译问题可以减少单独基于块级用户反馈。我们进行了一系列的仿真实验,以测试所提出的方法的有效性。我们的研究结果表明,块级反馈优于基于句子的反馈高达2.61% BLEU绝对。
2018-06-19 cs.CL
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo(东京大学);Kyoto University(京都大学);Riken(理化学研究所);Tohoku University(东北大学)
本文提出固定范围分块(FRC)方法,通过动态规划将文档划分为长度一致的块,减少训练与推理长度不匹配,并配合双边界匹配算法和多种训练策略,显著提升7B大语言模型的文档级翻译质量,在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
On Using Very Large Target Vocabulary for Neural Machine Translation
Université de Montréal(蒙特利尔大学)
神经机器翻译是最近提出的一种纯粹基于神经网络的机器翻译方法,与现有的方法如基于短语的统计机器翻译相比,已经显示出有希望的结果。尽管最近取得了成功,但神经机器翻译在处理更大的词汇量方面有其局限性,因为训练复杂度以及解码复杂度与目标单词的数量成比例地增加。在本文中,我们提出了一种方法,使我们能够使用一个非常大的目标词汇,而不增加训练的复杂性,基于重要性采样。我们表明,解码可以有效地完成,即使与模型有一个非常大的目标词汇,只选择一个小的子集,整个目标词汇。经验发现,通过所提出的方法训练的模型优于具有小词汇量的基线模型以及基于LSTM的神经机器翻译模型。此外,当我们使用具有非常大的目标词汇的几个模型的集成时,我们在英语->德语翻译上实现了最先进的翻译性能(由BLEU测量),并且几乎与最先进的英语->法语翻译系统一样高。
2015-03-18 cs.CL
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
神经机器翻译使用并行和合成数据的组合,为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的,但原因尚不完全清楚。在这项工作中,我们探索了反向翻译的不同方面,并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略,针对难以预测的话,使用预测损失和频率的话。此外,我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明,我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语,分别。
2018-09-21 cs.CL
When and Why is Unsupervised Neural Machine Translation Useless?
RWTH Aachen University(亚琛工业大学)
本文研究了神经机器翻译(NMT)中当前最先进的无监督方法的实用性。在10个具有不同数据设置的翻译任务中,我们分析了无监督方法无法产生合理翻译的条件。我们发现,他们的表现受到严重影响的语言相异和域之间的不匹配源和目标单语数据。这种情况在低资源语言对中很常见,在这种情况下,无监督学习效果很差。在我们所有的实验中,有监督和半监督的基线与50k句双语数据的表现优于最好的无监督结果。我们的分析指出了当前无监督NMT的局限性,并提出了立即的研究方向。
2020-04-22 cs.CL
Faithful Target Attribute Prediction in Neural Machine Translation
Amazon AI(亚马逊人工智能(Amazon AI))
NMT中使用的训练数据很少针对特定属性进行控制,例如大小写或性别,这可能会导致翻译错误。我们认为,同时预测目标词和属性是一种有效的方法,以确保翻译更忠实于训练数据分布相对于这些属性。在升级的输入翻译和性别预测两个任务上的实验结果表明,该策略有助于反映测试中的训练数据分布。它还有助于在升级的输入翻译任务上进行数据增强。
2021-09-24 cs.CL
Facilitating Terminology Translation with Target Lemma Annotations
Tilde(Tilde公司);University of Latvia(拉脱维亚大学)
大多数关于机器翻译中术语整合的最新工作都假设术语翻译已经以适合于目标语言句子的形式进行了变形。然而,在专业翻译人员的日常工作中,很少有这种情况,因为翻译人员使用双语词汇表,其中术语以字典形式给出;找到正确的目标语言形式是翻译过程的一部分。我们认为,先验指定的目标语言形式的要求是不现实的,阻碍了以前的工作的实用性。在这项工作中,我们提出了训练机器翻译系统使用源端数据增强的方法,注释随机选择的源语言单词与他们的目标语言词元。我们表明,在这种增强数据上训练的系统很容易用于现实生活中的翻译场景中的术语集成。我们的实验术语翻译成形态复杂的波罗的海和乌拉尔语系的语言显示了高达7个BLEU点的基线系统,没有手段的术语集成和4个BLEU点的平均改善比以前的工作。人工评估的结果表明,在翻译成拉脱维亚语时,术语翻译准确性比以前的工作有47.7%的绝对提高。
2021-01-25 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Inc(腾讯公司)
通常,神经机器翻译模型以从左到右(L2R)的方式生成目标词,并且无法利用任何未来(右)语义信息,这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左(R2L)解码器来缓解这个问题。在本文中,我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象(\textbf{DIM}),动态地利用目标语义从R2L翻译,以提高L2R翻译质量。与其他双向解码方法不同的是,DIM首先通过寻址和读取操作提取有用的目标信息,然后更新目标语义以跟踪交互历史。此外,我们还在训练目标中引入了一个\textbf{agreement regularization}术语,以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明,该系统在基线系统上取得了显著的改进,与最先进的Transformer模型相比,其参数少得多,达到了相当的效果。
2019-11-05 cs.CL
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University(苏州大学);University of Lisbon(里斯本大学);Alibaba Group(阿里巴巴集团)
在神经机器翻译中,将单词的源序列编码成向量,在解码阶段从该向量生成目标序列。与统计机器翻译不同的是,源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端,在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词,而该目标词不是目标语言中任何可接受的对等词。在本文中,我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离,从而加强它们之间的关联。我们尝试了三种策略:(1)源端桥接模型,其中源词嵌入向输出目标序列移动一步;(2)目标端桥接模型,其探索更相关的源词嵌入以预测目标序列;(3)直接桥接模式,它直接连接源语和目标语词嵌入,以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明,所提出的桥接模型是能够显着提高质量的句子翻译,在一般情况下,对齐和翻译的个别源词与目标词,特别是。
2018-05-10 cs.CL
Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院)
针对机器翻译的幻觉与偏离目标问题,提出无需重训的源对比和语言对比解码方法,在多语言模型上显著降低两类问题发生率,且可扩展至大语言模型。
2024-01-29 cs.CL
LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation
Xiamen University(厦门大学);Ministry of Culture and Tourism(文化和旅游部)
同步机器翻译旨在实现实时翻译,在许多现场场景中非常有用,但由于准确性和延迟之间的权衡,因此非常具有挑战性。为了实现两者的平衡,模型需要等待适当的流文本(READ策略),然后生成其翻译(WRITE策略)。然而,由于端到端训练,先前工作的WRITE策略要么特定于方法本身,要么遭受非端到端训练的训练和解码之间的输入失配。因此,学习一个通用的、更好的同步机器翻译写策略是非常必要的。受人类口译员和“等待”策略的启发,我们提出了一种新的自适应前缀到前缀训练策略LEAPT,它允许我们的机器翻译模型学习如何翻译源句子前缀并利用未来的上下文。实验表明,我们提出的方法大大优于竞争基线,取得了可喜的成果。
2023-03-21 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
一个句子可以翻译成不止一个正确的句子。然而,现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标,而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋,因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中,我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法,以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估,实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
Target-Side Context for Discriminative Models in Statistical Machine Translation
LMU Munich(慕尼黑大学);Charles University in Prague(布拉格查理大学);Adam Mickiewicz University in Poznań(波兹南亚当·密茨凯维奇大学)
利用源上下文的区别性翻译模型已被证明有助于统计机器翻译性能。我们提出了一种新的扩展这项工作使用目标上下文信息。令人惊讶的是,我们表明,该模型可以有效地直接集成在解码过程中。我们的方法可扩展到大的训练数据大小,并在四种语言对的翻译质量的一致改善的结果。我们还提供了一个分析比较基线源上下文模型与我们的扩展源上下文和目标上下文模型的优势,我们表明,我们的扩展使我们能够更好地捕捉形态的连贯性。我们的工作是免费提供作为摩西的一部分。
2016-07-05 cs.CL
Subword Segmental Machine Translation: Unifying Segmentation and Target Sentence Generation
University of Cape Town(开普敦大学)
SSMT统一子词分段与翻译生成,通过动态解码提升黏着语言翻译质量,尤其在低资源场景下效果显著。
2023-05-11 cs.CL
Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation
University of Maryland(马里兰大学)
虽然已经表明神经机器翻译(NMT)对有噪声的并行训练样本高度敏感,但先前的工作将源和目标之间的所有类型的不匹配视为噪声。因此,目前尚不清楚大多数情况下等价但包含少量语义上不同的标记的样本如何影响NMT训练。为了缩小这一差距,我们分析了不同类型的细粒度语义分歧对Transformer模型的影响。我们发现,在合成分歧上训练的模型更频繁地输出退化的文本,并且对它们的预测不太有信心。基于这些发现,我们引入了一个发散感知的NMT框架,该框架使用因子来帮助NMT从自然发生的发散引起的退化中恢复,从而提高EN-FR任务的翻译质量和模型校准。
2021-05-31 cs.CL
Context Gates for Neural Machine Translation
Tsinghua University(清华大学)
在神经机器翻译(NMT)中,目标词的生成依赖于源上下文和目标上下文。我们发现源语语境直接影响译文的充分性,而译语语境影响译文的流畅性。直观地说,实词的生成应该更多地依赖于源语境,虚词的生成应该更多地依赖于目标语境。由于传统的翻译方法缺乏对源语语境和目的语语境的有效控制,译文往往不通顺,但也存在不足。为了解决这个问题,我们提出了上下文门,动态控制源和目标上下文有助于生成目标词的比例。通过这种方式,我们可以通过更仔细地控制来自上下文的信息流来提高NMT的充分性和流利性。实验表明,我们的方法显着提高了一个标准的基于注意力的NMT系统+2.3 BLEU点。
2017-03-08 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University(东京都立大学)
近年来,一些关于神经机器翻译(NMT)的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子,以结合先前句子的上下文,从而使用文档级上下文。这些研究的结论是,目标方的上下文是没有那么有用的比源方的上下文。然而,我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此,在这项研究中,我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法,其中NMT保存解码器状态,并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明,目标端的上下文也是有用的,如果我们插入到NMT作为解码器状态时,翻译前一句话。
2019-09-02 cs.CL
Massively Parallel Cross-Lingual Learning in Low-Resource Target Language Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们致力于从资源丰富的语言到资源贫乏的语言的翻译。我们确定的主要挑战是缺乏低资源的语言数据,跨语言迁移的有效方法,以及神经系统中常见的变量绑定问题。我们建立了一个翻译系统,以解决这些挑战,使用八个欧洲语系作为我们的测试场。首先,我们添加源和目标家族标签,并研究家族内和家族间的影响,以实现有效的跨语言迁移。与单家庭多源多目标基线相比,我们使用八个家庭的英语-瑞典语翻译的BLEU评分提高了+9.9。此外,我们发现,对最接近低资源语言的两个相邻家庭进行培训通常就足够了。其次,我们构建了一个消融研究,发现即使目标数据相当少,也可以取得相当好的结果。第三,我们通过建立一个保序命名实体翻译模型来解决变量绑定问题。我们在定性评估中获得了60.6%的准确率,其中我们的翻译在初步研究中类似于人类翻译。
2018-08-25 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT;Amazon(亚马逊)
本文提出DQO方法,用预训练翻译质量估计模型替代人类偏好,并将DPO式对齐用于NMT,仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University(首尔大学);Microsoft Research Asia(微软亚洲研究院)
针对多语言机器翻译中的性别偏见,提出目标语言无关的性别感知对比学习(GACL),通过微调预训练模型提升性别准确性且不损害翻译性能,并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Otem&Utem: Over- and Under-Translation Evaluation Metric for NMT
Xiamen University(厦门大学);Soochow University(苏州大学)
虽然神经机器翻译(NMT)产生有希望的翻译性能,但不幸的是,它遭受过度翻译和翻译不足的困扰[Tu et al.,2016年],其中的研究已成为NMT的研究热点。目前,这些研究主要应用占主导地位的自动评估指标,如BLEU,以评估整体翻译质量的充分性和流畅性。然而,他们无法准确衡量NMT系统在处理上述问题的能力。在本文中,我们提出了两个定量指标,Otem和Utem,自动评估系统的性能,在过度和欠翻译。这两个指标都是基于黄金参考和系统转换之间的不匹配的n-gram的比例。我们通过将它们的分数与人类评价进行比较来评估这两个指标,其中皮尔逊相关系数的值显示它们的强相关性。此外,对各种翻译系统的深入分析表明,BLEU和我们提出的度量之间的一些不一致,突出了我们的度量的必要性和意义。
2018-07-24 cs.CL
Modeling Future Cost for Neural Machine Translation
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT))
现有的神经机器翻译(NMT)系统利用序列到序列的神经网络逐词生成目标译文,然后使每个时间步生成的译文与参考文献中的译文尽可能一致。然而,经训练的翻译模型倾向于集中于确保在当前时间步处生成的目标词的准确性,而不考虑其未来成本,这意味着生成后续目标翻译的预期成本(即,下一个目标词)。为了解决这个问题,我们提出了一个简单而有效的方法来模拟NMT系统中每个目标词的未来成本。具体地,基于当前生成的目标词及其上下文信息来估计时间相关的未来成本,以促进NMT模型的训练。此外,在当前时间步学习的未来上下文表示用于帮助在解码中生成下一个目标词。在WMT14德英、WMT14英法和WMT17汉英三个广泛使用的翻译数据集上的实验结果表明,该方法在基于Transformer的NMT基础上取得了显著的改进。
2020-02-28 cs.CL
Variational Neural Machine Translation
Soochow University(苏州大学);Xiamen University(厦门大学)
神经机器翻译的模型通常来自于编码器解码器的区别性家族,其在给定源句子的情况下学习目标句子的条件分布。在本文中,我们提出了一个变分模型来学习神经机器翻译的条件分布:一个可以端到端训练的变分编码器解码器模型。与仅从源语句的隐藏表示生成目标翻译的香草编码器-解码器模型不同,变分模型引入连续潜变量来显式地对源语句的底层语义进行建模并指导目标翻译的生成。为了进行有效的后验推理和大规模的训练,我们建立了一个神经后验近似器的源和目标双方的条件,并配备了一个重新参数化技术来估计变分下界。在汉英和英德两种翻译任务上的实验表明,本文提出的变分神经机器翻译比普通神经机器翻译基线有了显著的改进。
2016-09-25 cs.CL
Fully Synthetic Data Improves Neural Machine Translation with Knowledge Distillation
University of Edinburgh(爱丁堡大学)
本文探讨了神经机器翻译中知识蒸馏的单语数据扩充。源语言单语文本可以作为正向翻译合并。有趣的是,我们发现最好的方法,以纳入目标语言单语文本是将其翻译到源语言和往返翻译回目标语言,从而在一个完全合成的语料库。我们发现,结合单语数据从源和目标语言产生更好的性能比语料库的两倍大,只有一种语言。此外,实验表明,改进依赖于测试集的出处。如果测试集最初使用的是源语言(目标端由翻译人员编写),则向前翻译源单语数据很重要。如果测试集最初是用目标语言编写的(源代码由翻译人员编写),那么合并目标单语数据就很重要。
2021-09-15 cs.CL
Document Context Neural Machine Translation with Memory Networks
Faculty of Information Technology, Monash University(莫纳什大学信息技术学院)
我们提出了一个文档级神经机器翻译模型,该模型使用记忆网络将源文档和目标文档上下文都考虑在内。我们将问题建模为结构化预测问题,观察变量和隐藏变量之间存在相互依赖关系,即,文档中的源句子及其未观察到的目标翻译。由此产生的结构化预测问题是用一个神经翻译模型来解决的,该模型配备了两个记忆组件,分别用于源端和目标端,以捕获文档的相互依赖性。我们对模型进行了端到端的训练,并提出了一种基于块坐标下降的迭代解码算法。从法语,德语和爱沙尼亚语文档的英语翻译的实验结果表明,我们的模型是有效的,在利用源和目标文档上下文,并在统计上显着优于以前的工作在BLEU和METEOR。
2018-05-16 cs.CL
Target-Side Augmentation for Document-Level Machine Translation
Zhejiang University(浙江大学);Westlake University(西湖大学);Nanyang Technological University(南洋理工大学);Westlake Institute for Advanced Study(西湖高等研究院)
针对文档级机器翻译的数据稀疏问题,提出用DA模型生成多个潜在目标译文以平滑训练分布,并在News和Europarl上取得新SOTA。
2023-06-04 cs.CL
Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies
Center for Information and Language Processing(信息与语言处理中心);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);CIS, LMU Munich(慕尼黑大学信息与语言处理中心);LMU Munich(慕尼黑大学)
词法丰富的语言给机器翻译带来了困难。依赖于从并行训练数据中进行统计学习的机器翻译引擎(例如最先进的神经系统)面临着挑战,尤其是在输出语言方面具有丰富的形态学。在数据驱动的机器翻译中,丰富的目标端形态学的关键挑战包括:(1)大量不同屈折的词表面形式需要更大的词汇表,因此需要数据稀疏。(2)一些不常见术语的屈折形式通常不会出现在训练语料库中,这使得封闭词汇系统无法生成这些未观察到的变体。(3)语言协议要求系统正确匹配输出句子中的屈折词形式之间的语法类别,无论是在目标侧的形态句法wellformedness和语义充分性方面的输入。在本文中,我们重新调查两个目标方的语言处理技术:一个词元标记策略和语言知情的分词策略。我们的实验是在三个不同量级的训练语料库条件下进行的。我们发现,在域内翻译时,更强的Transformer基线比浅RNN编码器-解码器模型留下的改进空间更小。然而,我们发现,语言建模的目标端形态不受益的Transformer模型时,相同的系统被应用到域外输入文本。我们还成功地将我们的方法应用于英语到捷克语的翻译。
2022-03-25 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh(爱丁堡大学);Adam Mickiewicz University(亚当·密茨凯维奇大学);Johns Hopkins University(约翰斯·霍普金斯大学)
神经机器翻译(NMT)模型能够从连续的词汇信息中部分地学习句法信息。然而,一些复杂的句法现象,如介词短语附加,模型很差。本文的工作旨在回答两个问题:1)显式地对目标语言语法建模是否有助于NMT?2)单词和语法的紧密结合比多任务训练更好吗?我们在解码器中以CCG超标签的形式引入句法信息,通过将目标超标签与单词序列交织。我们的研究结果表明,明确建模目标语法提高机器翻译质量德语->英语,高资源对,罗马尼亚语->英语,低资源对,也有几个句法现象,包括介词短语附件。此外,单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合,我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Local Translation Prediction with Global Sentence Representation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室)
统计机器翻译模型在提高翻译质量方面取得了很大的进展。然而,现有的模型预测的目标翻译只有源和目标端的本地上下文信息。在实践中,区分好的翻译和坏的翻译不仅依赖于局部特征,而且依赖于全局的翻译水平的信息。在本文中,我们探讨了源端的全局翻译水平的目标端的本地翻译预测功能。我们提出了一种新的双语约束的基于块的卷积神经网络学习句子的语义表示。在此基础上,我们进一步设计了一个前馈神经网络,利用局部和全局信息更好地预测翻译。大规模的实验表明,该方法在基于短语的层次翻译模型和神经网络联合模型的基础上,能够显著提高翻译质量。
2015-02-27 cs.CL
Non-Fluent Synthetic Target-Language Data Improve Neural Machine Translation
Universitat d’Alacant(阿利坎特大学)
针对低资源平行语料不足的问题,本研究打破非流利合成目标语有害的假设,将其作为另一语言纳入多语言翻译框架,在14项高低资源任务中均超越现有合成数据方法,且鲁棒性更强、幻觉更少。
2024-01-29 cs.CL
Tricolor DAGs for Machine Translation
机器翻译(MT)最近已经制定了基于约束的知识表示和统一的理论,但它是越来越明显,它是不可能设计一个实用的MT系统,没有一个适当的方法来处理源语言和目标语言的语义表示之间的不匹配。在本文中,我们介绍了“基于信息”的机器翻译的思想,这是相当多的灵活性比语际机器翻译或传统的转移为基础的机器翻译。
1994-07-06 cmp-lg cs.CL
Domain Adaptation of Machine Translation with Crowdworkers
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT集团);Tohoku University(东北大学)
虽然使用大型域内并行语料库训练的机器翻译模型取得了显著的效果,但当没有域内数据时,它仍然工作得很差。这种情况限制了机器翻译在目标域数据有限时的应用。然而,在许多领域,对高质量的特定领域机器翻译模型的需求很大。我们提出了一个框架,高效和有效地收集在一个目标领域的并行句子从网络的帮助下众工。利用收集到的并行数据,我们可以快速地将机器翻译模型适配到目标领域。我们的实验表明,该方法可以收集目标域的并行数据在几天内在一个合理的成本。我们用五个领域对其进行了测试,与通用翻译模型相比,领域适应模型将BLEU分数提高到+19.7,平均提高了+7.8分。
2022-10-28 cs.CL
Target Conditioned Sampling: Optimizing Data Selection for Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
为了改进具有多语言语料库的低资源神经机器翻译(NMT),仅使用最相关的高资源语言进行训练通常比使用所有可用数据更有效(Neubig和Hu,2018)。然而,智能数据选择策略可能会进一步改善来自其他辅助语言的数据的低资源NMT。在本文中,我们试图在所有多语言数据上构建一个抽样分布,以便最大限度地减少低资源语言的训练损失。在此基础上,我们提出了一个有效的算法,目标条件采样(TCS),它首先采样一个目标句子,然后有条件地采样其源句子。实验表明,TCS在我们测试的四种语言中的三种语言上带来了高达2 BLEU的显着增益,并且训练开销最小。
2019-05-20 cs.CL
Rethinking Targeted Adversarial Attacks For Neural Machine Translation
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
本文指出NMT定向对抗攻击结果被高估的问题,提出更可靠的新攻击设置及TWGA方法,实验证明其能真实有效地攻击受害NMT系统。
2024-07-07 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research(谷歌研究院)
本研究提出面向少样本区域感知机器翻译的基准FRMT,含英语转葡语、普通话各地域变体的专业译文,探索验证了自动评估指标与人工评估的相关性,给出基线模型及研究指南,相关资源已公开。
2023-10-03 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
为了提高神经机器翻译(NMT)在低资源语言(LRL)上的性能,一个有效的策略是利用相关高资源语言(HRL)的并行数据。然而,已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中,我们的目标是提高多语言传输的NMT模型,翻译\emph{into}的LRL的有效性,通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE},我们提出Decompression,一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明,Deconstruct在从英语翻译到四种不同语言时,可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Why Neural Machine Translation Prefers Empty Outputs
DiDi Labs(滴滴实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究为什么神经机器翻译(NMT)系统分配高概率空翻译。我们发现两种解释。首先,标签平滑使正确长度的翻译不那么自信,使空翻译更容易最终超过它们。其次,NMT系统使用相同的高频EoS词来结束所有目标句子,而不管长度如何。这将创建一个隐式平滑,以增加零长度平移。在不同长度的目标句子中使用不同的EoS类型暴露并消除了这种隐含的平滑。
2020-12-24 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo(东京大学)
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中,但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域(和语言对)具有这样的文档级并行数据,因此我们无法在大多数领域中执行准确的上下文感知翻译。因此,我们提出了一个简单的方法,把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库,因此没有文档级的并行数据是必要的。在理论上,本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性,在三个语言对,英语到法语,英语到俄语,日语到英语,通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University(厦门大学);Tsinghua University(清华大学)
主导神经机器翻译(NMT)模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上,NMT解码器采用递归神经网络(RNN)以左-右方式执行翻译,使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中,我们配备了传统的注意力编码器-解码器NMT框架与反向解码器,以探索双向解码NMT。注意由编码器产生的隐藏状态序列,我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后,前向解码器在前向方向上执行翻译,而在每个翻译预测时间步中,它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构,我们的模型能够充分利用源端和目标端的上下文,以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明,与传统的NMT相比,我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
Machine Translation in Pronunciation Space
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
机器翻译界的研究主要集中在文本空间的翻译上。然而,人类其实也擅长在发音空间中进行直接翻译。一些现有的翻译系统,例如同步机器翻译,通过在发音空间中直接翻译,本质上更自然,因此潜在地更鲁棒。在本文中,我们进行了大规模的实验上自建数据集约$20$ M En-Zh对文本句子和相应的发音句子。我们提出了三种新的翻译类别:$1)$将源语言的发音句子翻译成目标语言的发音句子P2P-Tran),$2)$将源语言的文本句子翻译成目标语言的发音句子(T2 P-Tran),以及$3)$将源语言的发音句子翻译成目标语言的文本句子(P2 T-Tran),并与传统的文本翻译(T2 T-Tran)进行比较。我们的实验清楚地表明,所有$4$类别的翻译具有可比的性能,具有小的,有时是可比较的差异。
2019-11-03 cs.CL
Language-Informed Beam Search Decoding for Multilingual Machine Translation
Meta AI;Oregon State University(俄勒冈州立大学)
针对多语言NMT模型束搜索解码易产生偏离目标翻译的问题,提出与模型无关、无需额外平行数据的语言感知束搜索算法LiBS,有效提升翻译质量并大幅降低偏离目标率。
2024-08-11 cs.CL
Mitigating Gender Bias in Machine Translation with Target Gender Annotations
Tilde(蒂尔德公司);University of Latvia(拉脱维亚大学)
翻译时“秘书要求详细说明。“对于一种具有语法性别的语言,可能有必要确定主语“秘书”的性别。如果句子不包含必要的信息,就不可能总是消除歧义。在这种情况下,机器翻译系统选择最常见的翻译选项,这通常对应于刻板的翻译,从而潜在地加剧了对某些群体和人的偏见和边缘化。我们认为,一个适当的翻译所需的信息并不总是可以推断出被翻译的句子,甚至可能依赖于外部知识。因此,在这项工作中,我们建议将获取必要信息的任务与学习正确翻译的任务解耦。为此,我们提出了一种方法,用于训练机器翻译系统使用包含主题的性别信息的单词级注释。为了准备训练数据,我们用相应目标语言词的语法性别信息来注释常规源语言词。使用这样的数据来训练机器翻译系统减少了它们对性别定型观念的依赖,当关于主体性别的信息可用时。我们对五种语言对的实验表明,这可以将WinoMT测试集的准确率提高25.8个百分点。
2020-10-18 cs.CL
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
在神经机器翻译(NMT)中,每个标记预测都以源句子和目标前缀(先前在解码步骤中已翻译的内容)为条件。然而,以往的工作主要集中在可解释性的NMT源句标记的属性。因此,我们缺乏对每个输入标记(源句子和目标前缀)在模型预测中的影响的充分理解。在这项工作中,我们提出了一个可解释性的方法,跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型,使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers,并提出他们的行为的见解。
2022-11-04 cs.CL
Modeling Target-Side Inflection in Neural Machine Translation
LMU Munich(慕尼黑大学);Memsource;University of Stuttgart(斯图加特大学)
NMT系统存在词汇量大的问题。字节对编码(BPE)是解决这个问题的流行方法,但是尽管BPE允许系统生成任何目标端单词,但是它不能在具有强屈折现象的形态丰富的语言中的丰富词汇上实现有效的泛化。我们引入一种简单的方法来克服这个问题,通过训练系统来产生一个词的词元及其形态丰富的POS标签,然后进行确定性生成步骤。我们将此策略应用于英语-捷克语和英语-德语翻译场景,在这两种设置中都得到了改进。此外,我们表明,改善是不是由于只添加明确的形态信息。
2017-09-05 cs.CL
English-to-Prakrit Machine Translation via Multilingual Transfer Learning
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼西特国家理工学院)
针对低资源目标语言普拉克里特语,通过将普拉克里特语映射到印地语标签并利用多语言模型,在少量平行语料上实现可行的机器翻译,揭示了脚本兼容的语言路由对未支持古典语言的迁移潜力及数据稀缺和方言不匹配的限制。
2026-06-04 cs.CL
Bilingual Synchronization: Restoring Translational Relationships with Editing Operations
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(跨学科数字科学实验室);SYSTRAN(思迪翻译)
机器翻译(MT)通常被视为一个一次性的过程,从零开始生成与源文本等价的目标语言。我们在这里考虑一个更一般的设置,它假设一个初始的目标序列,必须转换成一个有效的翻译的来源,从而恢复源和目标之间的并行性。对于这个双语同步任务,我们考虑了几种架构(自回归和非自回归)和训练机制,并尝试了多种实际设置,如模拟交互式MT,翻译记忆库(TM)和TM清理。我们的研究结果表明,一个单一的通用编辑为基础的系统,一旦微调,可以比较,甚至优于,专门为这些任务训练的专用系统。
2022-10-24 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon(亚马逊)
我们介绍了任务的等时意识的机器翻译,其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言,以实现视听连贯。实际上,这意味着正确地将停顿从源投影到目标,并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中,我们提出了隐式和显式建模方法,将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明,最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL
Promoting Target Data in Context-aware Neural Machine Translation
Vicomtech Foundation(维康泰克基金会);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA));University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
本研究探讨在拼接式上下文感知NMT中增强目标上下文的策略,实验证明将目标上下文并入源端可显著提升目标语言现象翻译质量,且结合双上下文效果最佳。
2024-02-09 cs.CL
Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
令牌级自适应训练方法可以缓解令牌不平衡问题,从而通过基于特定统计度量(例如,令牌频率或互信息)。鉴于标准的翻译模型预测的条件下,以前的目标上下文,我们认为,上述统计指标忽略了目标上下文信息,并可能分配不适当的权重目标令牌。虽然一种可能的解决方案是直接将目标上下文纳入这些统计度量中,但目标上下文感知统计计算是极其昂贵的,并且相应的存储开销是不现实的。为了解决上述问题,我们提出了一个目标上下文感知的度量,命名为条件双语互信息(CBMI),这使得它可行的补充目标上下文信息的统计度量。特别地,我们的CBMI可以通过分解条件联合分布形式化为翻译模型概率和语言模型概率的对数商。因此,CBMI可以在模型训练期间有效地计算,而无需任何预先特定的统计计算和大量的存储开销。此外,我们提出了一个有效的自适应训练方法的基础上的令牌和令牌级CBMI。在WMT 14英-德和WMT 19中-英任务上的实验结果表明,该方法的性能明显优于Transformer基线和其他相关方法。
2022-03-06 cs.CL