(Self-Attentive) Autoencoder-based Universal Language Representation for Machine Translation
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
通用语言表示是机器翻译的圣杯。由于新的神经MT方法,似乎有很好的前景实现这一目标。在本文中,我们提出了一种新的架构的基础上结合变分自编码器与编码器-解码器,并引入一个额外的训练目标的语际损失。通过添加和强制这种语言间损失,我们能够为每种语言训练多个编码器和解码器,共享一个公共的通用表示。由于这种普遍表示的最终目标是为类似的输入句子(任何语言)产生接近的结果,我们建议通过用两种不同的语言编码同一个句子,将两种潜在表示解码为同一种语言并比较两种输出来评估它。WMT 2017土耳其语/英语任务的初步结果表明,所提出的架构能够学习通用语言表示,并同时训练两个翻译方向,并获得最先进的结果。
2018-10-15 cs.CL
Revisiting Modularized Multilingual NMT to Meet Industrial Demands
Kakao Enterprise(Kakao企业公司);Seoul National University(首尔国立大学);Soongsil University(崇实大学)
多语言翻译(1-1)的参数完全共享已成为当前研究的主流方法。然而,由于容量瓶颈和低可维护性而导致的性能下降阻碍了其在工业中的广泛采用。在这项研究中,我们重新审视了多语言神经机器翻译模型,该模型仅在相同的语言(M2)之间共享模块,作为1-1的实用替代方案,以满足工业需求。通过全面的实验,我们确定了多路训练的好处,并证明了M2可以享受这些好处,而不会受到容量瓶颈的影响。此外,M2的语际空间允许方便地修改模型。通过利用经过训练的模块,我们发现增量添加的模块比单独训练的模型表现出更好的性能。添加的模块的zero-shot性能甚至可以与监督模型相媲美。我们的研究结果表明,M2可以成为行业多语言翻译的合格候选人。
2020-10-19 cs.CL cs.LG
Exploiting Cross-Sentence Context for Neural Machine Translation
Dublin City University(都柏林城市大学);Tencent AI Lab(腾讯AI实验室)
在翻译过程中,将文件作为一个整体来考虑有助于解决歧义和不一致的问题。本文提出了一种跨句子上下文感知方法,并研究了历史上下文信息对神经机器翻译(NMT)性能的影响。首先,这段历史是以一种分层的方式总结的。然后,我们以两种策略将历史表示集成到NMT中:1)编码器和解码器状态的热启动,以及2)用于更新解码器状态的辅助上下文源。在一个大型的汉英翻译任务上的实验结果表明,我们的方法显着提高了一个强大的基于注意力的NMT系统高达+2.1 BLEU点。
2017-07-23 cs.CL
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University(清华大学);Chinese Academy of Medical Sciences/Peking Union Medical College(中国医学科学院/北京协和医学院)
目的:当今的神经机器翻译(NMT)可以达到接近人类水平的翻译质量,并极大地促进了国际交流,但缺乏平行语料库是开发高度专业化领域(如生物医学)翻译系统的关键问题。这项工作提出了一个无监督的算法,通过使用句子对齐从文档级翻译中获得并行语料库,并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法:通过混合文档级翻译来训练双语词嵌入(BWEs)以评估跨语言词相似度,并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文,利用该算法构建了一个汉英生物医学平行语料库,并将其用于NMT的训练和评估。结果如下:在两个手动对齐的翻译数据集上,该算法在1对1的情况下实现了准确的句子对齐,在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量(zh-en:+17.72 BLEU; en-zh:+17.02 BLEU)。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论:该算法放松了句子对齐的假设,有效地生成准确的翻译对,有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
Combining SMT and NMT Back-Translated Data for Efficient NMT
School of Computing, DCU(都柏林城市大学计算学院);ADAPT Centre(ADAPT中心)
神经机器翻译(NMT)模型在使用大量并行数据进行训练时达到最佳性能。因此,用于扩充训练集的技术最近变得流行。这些方法之一是回译(Sennrich等人,2016年),它包括通过使用机器翻译(MT)模型翻译一组单语目标语言句子来生成合成句子。通常,NMT模型用于回译。在这项工作中,我们分析了模型的性能时,训练数据扩展合成数据使用不同的MT方法。特别是,我们不仅研究了NMT生成的回译数据,还研究了统计机器翻译(SMT)模型及其组合生成的回译数据。结果表明,当训练集增加了通过合并不同MT方法创建的反向翻译数据时,模型达到了最佳性能。
2019-09-09 cs.CL
Explicit Sentence Compression for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(日本国立信息与通信技术研究所)
现有的基于transformer的神经机器翻译(NMT)系统仍然遵循标准的编码器-解码器框架,其中源句子表示可以由具有自注意力机制的编码器很好地完成。虽然基于transformer的编码器可以有效地捕捉其产生的源句子表示的一般信息,骨干信息,代表一个句子的要旨,没有特别关注。本文中,我们提出了一个显式的句子压缩方法,以提高NMT的源句子表示。在实践中,一个显式的句子压缩目标用于学习句子中的主干信息。我们提出了三种方法,包括骨干源端融合,目标端融合,双方融合,压缩句子集成到NMT。我们的WMT英语到法语和英语到德语的翻译任务的实证测试表明,所提出的句子压缩方法显着提高了翻译性能超过强基线。
2019-12-27 cs.CL
Guiding Neural Machine Translation with Retrieved Translation Pieces
National Institute of Information and Communications Technology(国立信息通信技术研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)的难点之一是低频词或短语的召回和适当的翻译。在本文中,我们提出了一种简单,快速,有效的方法来回忆以前见过的翻译例子,并将它们纳入NMT解码过程。具体来说,对于一个输入句子,我们使用搜索引擎检索的句子对,其源端与输入句子相似,然后收集$n$ -gram,这都是在检索到的目标句子,并与源句子中匹配的单词对齐,我们称之为“翻译件”。我们根据输入句子和检索到的源句子之间的相似性计算每个检索到的句子的伪概率,并使用这些来加权检索到的翻译片段。最后,使用现有的NMT模型来翻译输入句子,并为包含收集的翻译片段的输出提供额外的奖励。我们表明,我们的方法将NMT翻译结果提高了6个BLEU点,在三个窄域翻译任务中,目标句子的重复性特别突出。它也几乎不会增加翻译时间,并与另一种基于检索的方法相比,在准确性,速度和实现简单性方面毫不逊色。
2018-04-07 cs.CL
Large-scale Pretraining for Neural Machine Translation with Tens of Billions of Sentence Pairs
ShannonAI;Stanford University(斯坦福大学);Zhejiang University(浙江大学)
在本文中,我们研究了训练神经机器翻译(NMT)系统的问题,该系统具有超过400亿个双语句子对的数据集,这比迄今为止最大的数据集大了几个数量级。与以前的NMT工作相比,这种情况下出现了前所未有的挑战,包括数据中的严重噪声和过长的训练时间。我们提出了实际的解决方案来处理这些问题,并证明大规模的预训练显着提高NMT的性能。我们能够将WMT17中英文数据集的BLEU得分提升到32.3,与现有的最先进的结果相比,性能显著提升了+3.2。
2019-10-06 cs.CL
Domain Adaptation in Neural Machine Translation using a Qualia-Enriched FrameNet
Federal University of Juiz de Fora(茹伊斯迪福拉联邦大学);FrameNet Brasil(巴西FrameNet)
在本文中,我们提出了Scylla,神经机器翻译(NMT)系统,利用一个多语言的FrameNet丰富的感受质关系作为外部知识库域领域自适应的方法。NMT中使用的领域自适应技术通常需要微调和域内训练数据,这可能会给那些使用资源较少的语言的人带来困难,也可能导致NMT系统对域外句子的性能下降。Scylla不需要对NMT模型进行微调,避免了模型过度拟合的风险,从而降低了域外翻译的性能。Scylla的两个版本:一个使用源句子作为输入,另一个使用目标句子。我们评估锡拉相比,一个国家的最先进的商业NMT系统在实验中,50句从体育领域从巴西葡萄牙语翻译成英语。这两个版本的Scylla在HTER中的表现明显优于基准商业系统。
2022-02-21 cs.CL
Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning
提出DAASI方法通过学习多语言潜在表示进行句子插值,并结合Wasserstein-GAN计算奖励优化多语言NMT模型,在低资源翻译上提升4 BLEU点且在零样本场景表现鲁棒。
2023-03-31 cs.CL
Neural Machine Translation with Reconstruction
Noah’s Ark Lab, Huawei Technologies(华为诺亚方舟实验室);Tsinghua University(清华大学)
虽然端到端神经机器翻译(NMT)在过去两年中取得了显著的进展,但它存在一个主要缺点:NMT系统生成的翻译往往缺乏充分性。人们普遍注意到,NMT倾向于重复翻译某些源词,而错误地忽略其他词。为了缓解这个问题,我们提出了一种新的编码器-解码器-重构器框架的NMT。NMT模型中的重构器从输出目标句的隐含层重构出输入源句,以保证源端的信息尽可能多地转换到目标端。实验结果表明,该框架显著提高了NMT输出的充分性,并取得了优于国家的最先进的NMT和统计MT系统的翻译结果。
2016-11-21 cs.CL
Enabling Multi-Source Neural Machine Translation By Concatenating Source Sentences In Multiple Languages
Kyoto University(京都大学);Japan Science and Technology Agency(日本科学技术振兴机构)
在本文中,我们探索了一个简单的解决方案,“多源神经机器翻译“(MSNMT),它只依赖于预处理的N向多语言语料库,而不修改神经机器翻译(NMT)的架构或训练过程。我们简单地连接源句子,形成一个单一的长的多源输入句子,而保持目标侧句子,因为它是和训练NMT系统使用此预处理语料。我们评估我们的方法在资源贫乏以及资源丰富的设置,并显示其有效性(高达4 BLEU使用2源语言和高达6 BLEU使用5源语言)。我们还比较现有的方法MSNMT,并表明,我们的解决方案提供了竞争力的结果,尽管它的简单性。我们还提供了一些见解NMT系统如何利用多语言信息在这样的情况下,通过可视化的注意。
2019-03-04 cs.CL
Using Context in Neural Machine Translation Training Objectives
University of Cambridge(剑桥大学);Google(谷歌)
我们提出了神经机器翻译(NMT)训练,使用文档级指标和批量级文档。以前的NMT训练序列目标方法只关注句子BLEU等句子级指标,这些指标与所需的评估指标(通常是文档BLEU)不对应。同时,文档级NMT训练的研究主要集中在数据或模型的体系结构上,而不是训练过程。我们发现,这些研究的每一条线都有一个明确的空间,并建议将它们与一个允许在NMT训练目标中使用文档级评估指标的方案合并。我们首先从句子样本中抽取伪文档。然后,我们用蒙特卡洛采样近似预期的文档BLEU梯度,用作最小风险训练(MRT)中的成本函数。这种两级采样过程使NMT的性能优于序列MRT和最大似然训练。我们证明,培训是更强大的文档级指标比序列指标。我们进一步展示了NMT与TER和语法纠错(GEC)使用GLEU,这两个指标在文档级别的评估的改进。
2020-05-04 cs.CL
Exploring Paracrawl for Document-level Neural Machine Translation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔大学);Hasso-Plattner-Institut (HPI)(哈索·普拉特纳研究所)
本文针对文档级 NMT 缺乏大规模通用领域训练数据的问题,利用自动句子对齐从 Paracrawl 平行网页提取平行段落并训练模型,在 TED、News 和 Europarl 上取得优于句子级模型的效果。
2023-04-20 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
Capturing document context inside sentence-level neural machine translation models with self-training
New York University(纽约大学);DeepMind(深度思维)
神经机器翻译(NMT)在训练和评估时可以说达到了人类水平。文档级神经机器翻译受到的关注较少,并且落后于文档级神经机器翻译。大多数建议的文档级的方法调查的方式,条件的模型上的几个源或目标句子,以捕捉文档上下文。这些方法需要在并行文档级语料库上从头开始训练专门的NMT模型。我们提出了一种方法,不需要在并行文档级语料库上训练一个专门的模型,并在解码时应用于训练的文档级NMT模型。我们从左到右多次处理文档,并在成对的源句子和生成的翻译上自我训练句子级模型。我们的方法加强了模型所做的选择,从而使文档中的其他句子更有可能做出相同的选择。我们在三个文档级数据集上评估了我们的方法:NIST中文-英文,WMT'19中文-英文和OpenSubtitles英文-俄文。我们证明了我们的方法比基线具有更高的BLEU分数和更高的人类偏好。我们的方法的定性分析表明,模型的选择是一致的整个文件。
2020-03-11 cs.CL
Attention-based Vocabulary Selection for NMT Decoding
IBM T. J. Watson Research Center(IBM T. J. Watson研究中心)
神经机器翻译(NMT)模型通常使用大的目标词汇量来捕获目标语言中的大部分单词。在解码新句子时,词汇量是一个很大的因素,因为最终的softmax层会对所有可能的目标词进行归一化。为了解决这个问题,广泛使用基于源句子的候选列表来限制目标词汇。通常,候选列表是外部单词到单词对齐器、短语表条目或最频繁单词的组合。在这项工作中,我们提出了一种简单而新颖的方法,在NMT训练期间直接从注意力层学习候选列表。候选列表针对当前NMT模型进行了高度优化,并且不需要对候选池进行任何外部计算。与使用整个词汇表相比,我们显示出显着的解码速度加快,并且不会损失两种语言对的任何翻译质量。
2017-06-12 cs.CL
One Sentence One Model for Neural Machine Translation
神经机器翻译(NMT)是一种新的机器翻译技术,它使用一个简单的编码器-解码器神经网络,取得了很好的翻译效果。该神经网络在平行语料库上训练一次,固定网络用于翻译所有测试句子。我们认为,一般的固定网络不能最好地适合特定的测试句子。在本文中,我们提出了动态NMT,它像往常一样学习一般网络,然后为每个测试句子微调网络。微调工作是在一小部分双语训练数据上完成的,这些训练数据是根据测试句子通过相似性搜索获得的。大量的实验表明,该方法可以显着提高翻译性能,特别是当高度相似的句子。
2016-09-21 cs.CL
Multiple Segmentations of Thai Sentences for Neural Machine Translation
Dublin City University(都柏林城市大学);Iconic Translation Machines(Iconic翻译机器公司);Trinity College Dublin(都柏林圣三一学院)
泰语是一种低资源语言,因此通常没有足够的数据来训练神经机器翻译(NMT)模型,以达到高质量水平。此外,泰语脚本不使用空格来划分单词之间的边界,这在构建序列到序列模型时增加了更多的复杂性。在这项工作中,我们探讨了如何增加一组英语-泰国的平行数据,通过复制与不同的分词方法对泰国,作为NMT模型训练的训练数据。采用不同的字节对编码合并操作,可以得到不同的泰语句子切分。实验表明,结合这些数据集,使用监督分割工具分割的数据集训练的NMT模型的性能得到了提高。
2020-04-23 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University(厦门大学);Soochow University(苏州大学);Tsinghua University(清华大学)
神经机器翻译(NMT)严重依赖于词级建模来学习输入句子的语义表示。但是,对于没有自然词分隔符的语言(例如,中文)中输入句子必须首先进行标记化,传统的NMT面临两个问题:1)难以找到用于源句子建模的最佳标记化粒度; 2)1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题,我们提出了基于词格的循环神经网络(RNN)编码器,它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入,并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此,基于词格的编码器不仅减轻了标记化错误的负面影响,而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明,该编码器优于传统的编码器。
2016-12-09 cs.CL
Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning
Soochow University(苏州大学);Zhejiang University(浙江大学);RoyalFlush AI Research Institute(RoyalFlush AI 研究院)
本文针对NMT对同义多样化输入翻译不稳定问题,提出基于MAML的一致性感知元学习框架CoNMT,通过外层学习一致元表示、内层学习到目标句的映射,在多个翻译任务上验证了其提升翻译质量和可靠性的效果。
2023-09-19 cs.CL
Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches
Soochow University(苏州大学);Alibaba Group(阿里巴巴集团)
在一个格式良好的语篇中,句子之间通过各种链接相互连接,形成语篇的衔接结构。当前的神经机器翻译(NMT)系统以传统的逐句翻译方式翻译文本,忽略了这种跨句链接和依赖关系。这可能导致为连贯的源文本生成不连贯的目标文本。为了处理这个问题,我们提出了一种基于缓存的方法,通过从最近翻译的句子或整个文档中捕获上下文信息来对神经机器翻译的连贯性进行建模。特别是,我们探讨了两种类型的缓存:一个动态缓存,它存储从前面的句子的最佳翻译假设的话,和一个主题缓存,它保持了一组目标端的主题词,语义相关的文件被翻译。在此基础上,我们建立了一个新的层,在这两个缓存与基于缓存的神经模型的目标词评分。在这里,来自基于缓存的神经模型的估计概率与NMT概率通过门控机制组合成最终单词预测概率。最后,提出的基于缓存的神经模型与NMT系统以端到端的方式联合训练。本文提出的实验和分析表明,所提出的基于缓存的模型实现了实质性的改进,在几个国家的最先进的SMT和NMT基线。
2018-06-14 cs.CL
The Unreasonable Volatility of Neural Machine Translation Models
Zeta Alpha Vector(泽塔阿尔法向量公司);Informatics Institute(信息学研究所);University of Amsterdam(阿姆斯特丹大学)
最近的工作表明,神经机器翻译(NMT)模型实现了令人印象深刻的性能,然而,关于理解这些模型的行为的问题仍然没有答案。我们研究了NMT模型的意外波动性,其中输入在语义和语法上是正确的。我们发现,通过对源句的微小修改,我们可以识别出\textit{unexpected changes}在翻译中发生的情况,最坏的情况下会导致误译。这种以惊人的不同方式翻译极其相似的句子的不稳定行为突出了当前NMT模型的潜在泛化问题。我们发现,RNN和Transformer模型分别在26%和19%的句子变化中显示出不稳定的行为。
2020-05-25 cs.CL
Towards Personalised and Document-level Machine Translation of Dialogue
University of Sheffield(谢菲尔德大学)
最先进的(SOTA)神经机器翻译(NMT)系统在句子级别翻译文本,忽略上下文:文本内信息,如前一句,和文本外信息,如说话者的性别。因此,有些句子翻译得不正确。个性化NMT(NMT)和文档级NMT(DocNMT)将此信息纳入翻译过程。这两个领域都是相对较新的,以前的工作是有限的。此外,没有现成的强有力的评估指标,这使得很难开发更好的系统,以及跟踪全球进展和比较不同的方法。本论文的研究重点是从英语、巴西葡萄牙语、德语、法语和波兰语这五种语言的电视字幕中提取对话的领域中的CNONMT和DocNMT。本文提出了三个主要的挑战:(1)将文本外信息直接纳入NMT系统;(2)改进衔接手段的机器翻译;(3)对NMT和DocNMT进行可靠的评估。
2021-02-11 cs.CL
Interactive Attention for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Technology Co., Ltd.(腾讯科技有限公司);Huawei Technologies(华为技术有限公司);Dublin City University(都柏林城市大学)
传统的基于注意力的神经机器翻译(NMT)在生成目标句子时进行动态对齐。通过重复读取源句子的表示,其在由编码器生成之后保持固定(Bahdanau等人,2015),注意力机制极大地增强了最先进的NMT。本文提出了一种新的注意力机制,称为交互注意力(INTERACTIVE ATTENTION),它通过阅读和写作两种操作来模拟翻译过程中解码者和源语句表征之间的交互。交互式注意可以跟踪交互历史,从而提高翻译性能。在NIST汉英翻译任务上的实验表明,交互式注意力可以实现比先前的基于注意力的NMT基线和基于注意力的NMT的一些最先进的变体(即,覆盖模型(Tu等人,2016))。在多个测试集上,具有我们的交互式注意力的神经机器翻译器可以比基于注意力的开源NMT系统Groundhog平均高出4.22个BLEU点,比基于短语的开源系统Moses平均高出3.94个BLEU点。
2016-10-17 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University(京都大学);NICT(日本信息通信研究机构)
单词对齐已被证明有利于多对多神经机器翻译(NMT)。然而,在以前的方法中,高质量的地面实况双语词典被用于预编辑,这对于大多数语言对是不可用的。同时,对比目标可以隐含地利用自动学习的词对齐,这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标,利用词对齐多对多NMT。实证结果表明,这导致了0.8 BLEU增益为几个语言对。分析表明,在多对多NMT中,编码器的句子检索性能与翻译质量高度相关,这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索,以提高编码器的句子检索性能。
2022-04-26 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University(东京都立大学)
近年来,一些关于神经机器翻译(NMT)的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子,以结合先前句子的上下文,从而使用文档级上下文。这些研究的结论是,目标方的上下文是没有那么有用的比源方的上下文。然而,我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此,在这项研究中,我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法,其中NMT保存解码器状态,并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明,目标端的上下文也是有用的,如果我们插入到NMT作为解码器状态时,翻译前一句话。
2019-09-02 cs.CL
Selecting Artificially-Generated Sentences for Fine-Tuning Neural Machine Translation
ADAPT Centre(ADAPT研究中心);Dublin City University(都柏林城市大学)
神经机器翻译(NMT)模型在提供较大的并行句子集用于训练时往往会实现最佳性能。因此,使用人工生成的句子对来增强训练集可以提高性能。尽管如此,如果它们与测试集处于相同的域中,则也可以使用少量的句子来提高性能。因此,我们希望探索使用人工生成的句子以及数据选择算法来改进仅使用真实数据训练的德语到英语NMT模型。在这项工作中,我们展示了人工生成的句子如何比真实的句子对更有益,并展示了它们在与数据选择算法结合使用时的优势。
2019-09-26 cs.CL
Bridging Neural Machine Translation and Bilingual Dictionaries
University of Chinese Academy of Sciences(中国科学院大学);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)已经成为几种语言对的最新技术。然而,如何将NMT与主要包含在双语训练数据中很少或从未见过的词的双语词典集成仍然是一个具有挑战性的问题。在本文中,我们提出了两种方法来桥接NMT和双语词典。其核心思想是设计新的模型,将双语词典转换为适当的句子对,以便NMT可以从大量和重复的现象中排除潜在的双语映射。一种方法利用混合的单词/字符模型,另一种方法尝试合成平行句子,保证翻译词典的大量出现。大量的实验表明,所提出的方法可以显著提高翻译质量,测试句子中的大多数生僻词如果被词典覆盖,都可以得到正确的翻译。
2016-10-24 cs.CL
Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation
Technical University of Darmstadt(达姆施塔特工业大学);University Alliance Ruhr(鲁尔大学联盟);Ruhr University Bochum(波鸿鲁尔大学)
本文研究了在神经机器翻译中应用差分隐私时,句子级与文档级粒度对隐私保护效用的不同影响,发现文档级NMT系统在抵御成员推理攻击和防止个人信息泄露方面表现更优,强调了选择正确隐私粒度的重要性。
2024-09-26 cs.CL
Selective Attention for Context-aware Neural Machine Translation
Monash University(莫纳什大学);Unbabel;Instituto de Telecomunicações(电信研究所)
尽管在高级NMT方面取得了进展,但目前的系统仍然无法实现完整文件的流畅,高质量的翻译。最近的工作在上下文感知NMT考虑只有几个以前的句子作为上下文,可能无法扩展到整个文档。为此,我们提出了一种新颖的和可扩展的自上而下的方法,层次注意力的上下文感知的NMT使用稀疏的注意力选择性地集中在相关的句子在文档的上下文中,然后出席这些句子中的关键词。我们还提出了基于句子或词级信息的单级注意方法。从这些注意力模块产生的文档级上下文表示被集成到Transformer模型的编码器或解码器中,这取决于我们是使用单语上下文还是双语上下文。我们在不同文档MT设置的英语-德语数据集上的实验和评估表明,我们的选择性注意方法不仅显着优于上下文无关的基线,而且在大多数情况下也超过了上下文感知的基线。
2019-05-24 cs.CL
Low-Resource NMT: A Case Study on the Written and Spoken Languages in Hong Kong
The Chinese University of Hong Kong(香港中文大学)
本研究构建了基于Transformer的书面中文到书面粤语的低资源NMT系统,通过挖掘维基百科平行句对扩充训练数据,在多数测试集上超越百度翻译。
2025-05-23 cs.CL
ParaBank: Monolingual Bitext Generation and Sentential Paraphrasing via Lexically-constrained Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了ParaBank,一个大规模的英语释义数据集,在数量和质量上都超过了以前的工作。按照ParaNMT的方法,我们训练捷克-英语神经机器翻译(NMT)系统,以产生新的英语参考句子的释义。然而,通过在NMT解码过程中添加词汇约束,我们能够为每个源句子生成多个高质量的原始释义,从而生成具有超过40亿个生成标记的英语释义资源,并表现出更大的词汇多样性。使用人类的判断,我们还表明,ParaBank的释义提高了ParaNMT的语义相似性和流畅性。最后,我们使用ParaBank来训练单语NMT模型,该模型同样支持句子重写任务的词汇约束解码。
2019-01-11 cs.CL
Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation
National Institute of Technology, Hamirpur(哈米尔普尔国家理工学院)
针对现有NMT性别偏见评估多依赖英语或性别中立句的局限,本研究以印地语为源语言构建OTSC-Hindi、WinoMT-Hindi性别特指数据集,验证了用含语法性别线索的句子评估偏见的合理性,强调评估数据集设计需考虑语言特性。
2023-11-07 cs.CL
A Corpus for English-Japanese Multimodal Neural Machine Translation with Comparable Sentences
University of Georgia(佐治亚大学);Kyoto University(京都大学);Osaka University(大阪大学)
多模态神经机器翻译(NMT)多年来已经成为一个越来越重要的研究领域,因为额外的模态,如图像数据,可以为文本数据提供更多的上下文。此外,训练多模态NMT模型的可行性没有一个大的平行语料库继续调查,由于低可用性的图像,特别是英语-日语数据的平行句子。然而,这个空白可以用包含双语术语和平行短语的可比句子来填补,这些句子是通过社交网络帖子和电子商务产品描述等媒体自然创建的。在本文中,我们提出了一个新的多模态英语-日语语料库,具有可比的句子,从现有的图像描述数据集编译。此外,我们补充我们的可比句子与一个较小的平行语料库的验证和测试目的。为了测试这种可比句子翻译场景的性能,我们用可比语料库训练了几个基线NMT模型,并评估了它们的英日翻译性能。由于我们的基线实验中的翻译分数较低,我们认为当前的多模态NMT模型并没有被设计为有效地利用可比的句子数据。尽管如此,我们希望我们的语料库被用来进一步研究多模态NMT与可比的句子。
2020-10-17 cs.AI cs.CL cs.CV
Modeling Latent Sentence Structure in Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
最近的研究表明,由监督解析器预测的语言结构可以有益于神经机器翻译(NMT)。在这项工作中,我们研究了一个更具挑战性的设置:我们将句子结构作为一个潜在的变量在一个标准的NMT编码器-解码器,并诱导它的方式,以利于翻译任务。我们考虑了德英和日英翻译基准,并观察到当使用RNN编码器时,模型没有或非常有限地使用结构归纳装置。相比之下,CNN和基于词嵌入的编码器依赖于潜图,并迫使它们编码有用的、潜在的长距离依赖关系。
2020-06-18 cs.CL
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering(印度语言技术计算(CFILT)部门计算机科学与工程系);Indian Institute of Technology Bombay(印度班加罗尔理工学院)
本研究通过英语到马拉雅尔语的翻译任务,评估并改进NMT系统在处理标点歧义时的鲁棒性,提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
Encodings of Source Syntax: Similarities in NMT Representations Across Target Languages
Carleton College(卡尔顿学院)
我们训练神经机器翻译(NMT)模型从英语到六种目标语言,使用NMT编码器表示来预测源语言单词的祖先组成标签。我们发现,NMT编码器学习相似的源语法,而不管NMT目标语言,依赖于明确的形态句法线索,从源句子中提取的句法特征。此外,NMT编码器优于直接在几个组成标签预测任务上训练的RNN,这表明NMT编码器表示可以有效地用于涉及语法的自然语言任务。然而,NMT编码器和直接训练的RNN都从概率上下文无关文法(PCFG)解析器学习基本上不同的句法信息。尽管整体准确性得分较低,但PCFG通常在基于RNN的模型表现不佳的句子上表现良好,这表明RNN架构在它们可以学习的语法类型方面受到限制。
2020-05-17 cs.CL cs.LG
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
在神经机器翻译(NMT)中,每个标记预测都以源句子和目标前缀(先前在解码步骤中已翻译的内容)为条件。然而,以往的工作主要集中在可解释性的NMT源句标记的属性。因此,我们缺乏对每个输入标记(源句子和目标前缀)在模型预测中的影响的充分理解。在这项工作中,我们提出了一个可解释性的方法,跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型,使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers,并提出他们的行为的见解。
2022-11-04 cs.CL
An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学基础研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学);Japan Science and Technology Agency(日本科学技术振兴机构)
神经机器翻译(NMT)模型的训练通常使用小批量来提高效率。在小批量训练过程中,为了有效计算,需要填充小批量中的较短句子,使其长度等于其中的最长句子。以前的工作已经注意到,在进行小批量处理之前,根据句子长度对语料库进行排序,减少了填充量,提高了处理速度。然而,尽管小批量创建是NMT训练中的一个重要步骤,但广泛使用的NMT工具包实现了不同的策略,这些策略尚未经过经验验证或比较。本文研究了小批量创建策略,并在两个不同的数据集上进行了实验。我们的研究结果表明,小批量创建策略的选择对NMT训练有很大的影响,与简单的洗牌相比,一些基于长度的排序策略并不总是有效。
2017-06-19 cs.CL
A Test Suite and Manual Evaluation of Document-Level NMT at WMT19
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
随着机器翻译质量的提高以及神经机器翻译(NMT)从句子级翻译向文档级翻译的转变,评估翻译系统的输出变得越来越困难。我们为WMT19提供了一个测试套件,旨在评估参与新闻翻译任务的机器翻译系统的话语现象。我们已经手动检查了输出,并确定了与文档级翻译相关的翻译错误类型。
2019-08-08 cs.CL
Regressing Word and Sentence Embeddings for Regularization of Neural Machine Translation
University of Technology Sydney(悉尼科技大学);RoZetta Institute(罗塞塔研究所);Microsoft Commercial Software Engineering(微软商业软件工程部门)
近年来,神经机器翻译(NMT)已成为自动翻译的主流方法。然而,与许多其他深度学习方法一样,当训练数据的量有限时,NMT会遭受过拟合。对于低资源语言对和许多专用翻译领域来说,这是一个严重的问题,这些领域在可用的监督数据量方面存在固有的限制。出于这个原因,在本文中,我们提出了在训练时回归单词(ReWE)和句子(ReSE)嵌入,作为正则化NMT模型并提高其泛化能力的一种方法。在训练过程中,我们的模型被训练来联合预测分类(词汇表中的单词)和连续(单词和句子嵌入)输出。在四种不同训练集大小的语言对上进行的一组广泛实验表明,ReWE和ReSE可以胜过强大的最先进的基线模型,对于较小的训练集(例如,最高+5:15 BLEU点(巴斯克-英语翻译)。解码器的输出空间的可视化显示,所提出的正则化提高了独特的词的聚类,促进正确的预测。在无监督NMT的最后一个实验中,我们表明ReWE和ReSE也能够在没有并行数据时提高机器翻译的质量。
2019-09-30 cs.CL
Multi-representation Ensembles and Delayed SGD Updates Improve Syntax-based NMT
University of Cambridge(剑桥大学);SDL Research(SDL研究院)
我们探索将目标语法纳入神经机器翻译的策略。我们特别关注包含多个句子表示的集合中的语法。我们制定束搜索这样的合奏使用WFST,并描述了一个延迟的SGD更新训练过程,特别是有效的长表示,如线性化的语法。我们的方法在困难的日语-英语任务上提供了最先进的性能。
2018-05-11 cs.CL
Norm-Based Curriculum Learning for Neural Machine Translation
University of Macau(澳门大学);NewTranx Information Technology(新译信息科技)
神经机器翻译(NMT)系统的训练成本很高,尤其是在高资源设置的情况下。随着NMT架构变得越来越深入和广泛,这个问题变得越来越严重。在本文中,我们的目的是通过引入一种新的基于规范的课程学习方法来提高NMT的培训效率。我们使用词嵌入的范数(又名长度或模)作为衡量1)句子的难度,2)模型的能力,3)句子的权重。规范为基础的句子难度的优势,语言动机和基于模型的句子困难。它很容易确定,并包含学习依赖的功能。基于范数的模型能力使NMT以完全自动的方式学习课程,而基于范数的句子权重进一步增强了NMT的向量表示的学习。WMT'14英-德和WMT'17中-英翻译任务的实验结果表明,该方法在BLEU得分(+1.17/+1.56)和训练加速比(2.22 x/3.33 x)方面优于强基线。
2020-06-03 cs.CL cs.LG
Measuring Semantic Abstraction of Multilingual NMT with Paraphrase Recognition and Generation Tasks
Department of Digital Humanities / HELDIG(数字人文系 / HELDIG);University of Helsinki(赫尔辛基大学)
在本文中,我们研究了多语言神经翻译模型是否比双语模型学习更强的句子语义抽象。我们通过测量这些模型在应用于源语言的释义时的困惑度来测试这一假设。直觉是,如果解码器能够识别同一语言中的同义句,即使模型从未受过训练,编码器也会产生更好的表示。在我们的设置中,我们将16种不同的辅助语言添加到双向双语基线模型(英语-法语)中,并使用英语的域内和域外释义对其进行测试。结果表明,在每一种情况下,困惑都显着减少,这表明意义可以在翻译中扎根。这是进一步支持的释义生成的研究,我们也包括在论文的最后。
2019-05-03 cs.CL
A Teacher-Student Framework for Zero-Resource Neural Machine Translation
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Jiangsu Collaborative Innovation Center for Language Competence(江苏语言能力协同创新中心);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
虽然端到端神经机器翻译(NMT)近年来取得了显著的进展,但它仍然受到低资源语言对和领域的数据稀缺问题的困扰。在本文中,我们提出了一种零资源NMT的方法,假设平行的句子有接近的概率生成一个句子在第三语言。基于这一假设,我们的方法是能够训练一个源到目标的NMT模型(“学生”)没有可用的平行语料库,由现有的源到目标的NMT模型(“教师”)上的源枢轴平行语料库的指导。实验结果表明,该方法显着提高了+3.0 BLEU点在不同的语言对的基线基于BLEU的模型。
2017-05-02 cs.CL
Code-switching pre-training for neural machine translation
Tencent Minority-Mandarin Translation(腾讯民汉翻译)
提出了一种新的神经机器翻译(NMT)预训练方法--语码转换预训练(CSP)。与传统的预训练方法随机屏蔽输入句子中的一些片段不同,本文提出的CSP随机地用目标语言中的翻译词替换源句子中的一些词。具体来说,首先在源语言和目标语言之间进行无监督的词嵌入映射进行词典归纳,然后根据提取的翻译词典随机替换输入句子中的某些词。CSP采用编码器-解码器框架:其编码器将代码混合的句子作为输入,其解码器预测输入句子的替换片段。通过这种方式,CSP能够通过显式地充分利用从源和目标单语语料库中提取的跨语言对齐信息来预训练NMT模型。此外,我们还消除了由[mask]等人工符号引起的pretrain-finetune差异。为了验证所提出的方法的有效性,我们进行了大量的实验,无监督和监督的NMT。实验结果表明,CSP实现了显着的改善基线没有预训练或与其他预训练方法。
2020-09-17 cs.CL
AdvAug: Robust Adversarial Augmentation for Neural Machine Translation
Google Research(谷歌研究院)
在本文中,我们提出了一种新的对抗增强方法的神经机器翻译(NMT)。其主要思想是最小化从两个邻近分布中采样的虚拟句子的邻近风险,其中关键的一个是用于对抗性句子的新颖邻近分布,该邻近分布描述了以观察到的训练句子对为中心的平滑内插嵌入空间。然后,我们讨论了我们的方法,AdvAug,训练NMT模型使用序列到序列学习中的虚拟句子的嵌入。在中英、英法和英德翻译基准测试上的实验表明,AdvAug在Transformer上实现了显著的改进(高达4.9个BLEU点),并且在不使用额外语料的情况下,大大优于其他数据增强技术(例如回译)。
2020-07-03 cs.CL
Translating Pro-Drop Languages with Reconstruction Models
ADAPT Centre, Dublin City University(都柏林城市大学 ADAPT 中心);Tencent AI Lab(腾讯人工智能实验室)
代词在诸如中文的亲降语言中经常被省略,通常导致关于完整翻译的产生的重大挑战。神经机器翻译中的代词脱落问题至今还没有引起足够的重视。在这项工作中,我们提出了一种新的基于重建的方法来减轻DP翻译问题的NMT模型。首先,所有源句子中的DP自动标注与双语训练语料库中提取的平行信息。接下来,从NMT模型中的隐藏表示重建带注释的源句子。利用辅助训练目标,在重建分数方面,与NMT模型相关联的参数被引导以产生尽可能多地被鼓励嵌入注释的DP信息的增强的隐藏表示。在汉英和日英对话翻译任务上的实验结果表明,该方法在强NMT基线上显著且一致地提高了翻译性能,该NMT基线直接建立在用DP标注的训练数据上。
2018-01-10 cs.CL
Paying Attention to Multi-Word Expressions in Neural Machine Translation
University of Latvia(拉脱维亚大学);Charles University(查理大学)
多词表达式(MWE)的处理是任何自然语言处理任务的已知问题。即使是神经机器翻译(NMT)也很难克服它。本文介绍了研究NMT对MWE的注意力分配以及改进包含MWE的句子的自动翻译的实验结果英语->拉脱维亚语和英语->捷克语NMT系统。提出了两种改进策略:(1)将自动提取的多目标候选词的双语对添加到用于训练NMT系统的并行语料库中;(2)将包含自动提取的多目标候选词的完整句子添加到并行语料库中。这两种方法都可以增加自动化评价结果。最好的结果- 0.99 BLEU点增加-已经达到了第一种方法,而第二种方法实现了最小的改进。我们还提供用于MWE提取和对齐检查的开源软件和工具。
2019-05-04 cs.CL
Toward Improving Health Literacy in Patient Education Materials with Neural Machine Translation Models
University of Pittsburgh(匹兹堡大学);North Allegheny Intermediate High School(北阿勒格尼中级高中);The Hong Kong Polytechnic University(香港理工大学);Weill Cornell Medicine(威尔康奈尔医学院)
健康素养是《健康人2030》的核心重点,这是美国国家目标和目的的第五次迭代。健康素养低的人通常很难理解健康信息,遵循就诊后的指示和使用处方,这导致更差的健康结果和严重的健康差距。在这项研究中,我们建议利用自然语言处理技术,通过自动翻译给定句子中的文盲语言来提高患者教育材料中的健康素养。我们从四个在线健康信息网站:MedlinePlus.gov,Drugs.com,Mayoclinic.org和Reddit.com上收集了患者教育材料。我们分别在银标准训练数据集和金标准测试数据集上训练和测试了最先进的神经机器翻译(NMT)模型。实验结果表明,双向长短期记忆(BiLSTM)NMT模型优于双向编码器表示从Transformers(BERT)为基础的NMT模型。我们还通过比较句子中健康文盲语言的比例来验证NMT模型在翻译健康文盲语言方面的有效性。所提出的NMT模型能够识别正确的复杂单词并简化为外行语言,但同时该模型存在句子完整性,流畅性,可读性以及难以翻译某些医学术语的问题。
2022-09-14 cs.CL
Meta-Learning for Few-Shot NMT Adaptation
University of Maryland(马里兰大学);Microsoft(微软);Microsoft Research(微软研究院)
我们提出了META-MT,一种元学习方法,用于在Few-Shot设置中适应神经机器翻译(NMT)系统。META-MT提供了一种新的方法,使NMT模型可以很容易地适应许多目标领域的最小量的域内数据。我们将NMT系统的自适应框架视为元学习问题,在该问题中,我们基于模拟的离线元训练领域自适应任务来学习适应新的未知领域。我们评估了建议的元学习策略上的10个领域与一般的大规模NMT系统。我们表明,META-MT显着优于经典的领域自适应时,很少的域中的例子。我们的实验表明,META-MT在只看到4000个翻译单词(300个平行句子)的情况下,可以比经典的微调高出2.5个BLEU点。
2020-04-06 cs.CL
Phrase-level Active Learning for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)对域移位敏感。在本文中,我们在一个主动学习环境中解决了这个问题,在这个环境中,我们可以花费给定的预算来翻译域内数据,并在新翻译的数据上逐渐微调预训练的域外NMT模型。现有的用于NMT的主动学习方法通常基于不确定性分数来选择句子,但是这些方法即使在句子中只有一个或两个关键短语是信息的情况下也需要对完整句子进行昂贵的翻译。为了解决这一限制,我们重新审视以前的工作,从基于短语的机器翻译(PBMT)时代,选择不是完整的句子,而是个别短语。然而,虽然将这些短语合并到PBMT系统中相对简单,但对于NMT系统来说就不那么简单了,NMT系统需要在完整序列上进行训练,以捕获新领域特有的句子的更大结构特性。为了克服这些障碍,我们建议从新领域的未标记数据中选择完整的句子和单个短语,以路由到人工翻译。在德英翻译任务中,我们的主动学习方法与基于不确定性的句子选择方法相比实现了一致的改进,在强主动学习基线上提高了高达1.2的BLEU分数。
2021-06-21 cs.AI cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur(国家理工学院(哈姆普尔));Anu(阿努)
针对现有评测多用英语源句或性别中立句的问题,本文构建两套印地语性别特定句集,自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL