Long-Short Term Masking Transformer: A Simple but Effective Baseline for Document-level Neural Machine Translation
Alibaba Group Inc.(阿里巴巴集团有限公司)
许多文档级神经机器翻译(NMT)系统已经探索了上下文感知架构的实用性,通常需要越来越多的参数和计算复杂性。然而,很少有人注意到基线模型。本文对标准Transformer在文档级翻译中的优缺点进行了深入的研究,发现自回归特性既能带来一致性的优点,又能带来误差累积的缺点。因此,我们提出了一个令人惊讶的简单的长期-短期掩蔽自注意的标准Transformer的顶部,既有效地捕捉长期的依赖性,并减少传播的错误。我们在两个公开的文档级数据集上研究我们的方法。我们可以在BLEU中获得强有力的结果,并捕捉话语现象。
2020-09-19 cs.AI cs.CL
New Confidence Measures for Statistical Machine Translation
LORIA(洛里亚实验室)
置信度度量能够估计由机器翻译系统提供的假设的可靠性。置信度的问题可以看作是一个测试的过程:我们要决定由机器翻译系统提供的最可能的单词序列是否正确。在下文中,我们描述了几个原始的词级置信度的机器翻译,基于互信息,n-gram语言模型和词汇特征语言模型。我们评估他们如何单独或一起执行,并表明,使用基于互信息的置信度测量的组合产生的分类出错率低至25.1%,F-测量值为0.708。
2009-02-06 cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huazhong University of Science and Technology(华中科技大学)
非自回归模型通过并行解码提高了神经机器翻译的效率,但与自回归模型相比,非自回归模型的效率较低。在本文中,我们认为,自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的,可以进一步提高性能。然而,这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发,我们建议将语言的显式语法和语义结构纳入非自回归Transformer中,用于神经机器翻译的任务。此外,我们还考虑了目标句子内的中间潜在对齐,以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果(即,WMT 14 En-De和WMT 16 En-Ro)表明,与几种最先进的非自回归模型相比,我们的模型实现了更快的速度,并保持了翻译质量。
2021-01-22 cs.AI cs.CL
Doubly Attentive Transformer Machine Translation
本文提出了一种双注意力Transformer机器翻译模型(DATNMT),该模型中双注意力Transformer解码器通常将通过预训练的卷积神经网络获得的空间视觉特征连接起来,克服了图像描述和翻译之间的任何间隙。在这个框架中,Transformer解码器在生成目标语言的单词时,通过双注意力Transformer的增强型多头注意力层中的两个独立注意力组件的方法来自由地处理源语言单词和图像的部分。我们发现,该模型不仅可以有效地利用稀缺的多模态机器翻译数据,但也大一般领域的纯文本机器翻译语料库,或图像-文本图像描述语料库。实验结果表明,本文提出的双注意转换器-解码器模型的性能优于单解码器Transformer模型,并在英-德多模态机器翻译任务中取得了较好的效果。
2018-07-30 cs.CL
Confidence Based Bidirectional Global Context Aware Training Framework for Neural Machine Translation
Xiamen University(厦门大学);Tencent Inc(腾讯公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Lab(鹏城实验室)
大多数主导神经机器翻译(NMT)模型仅限于根据前一个单词的局部上下文以从左到右的方式进行预测。尽管已有许多研究试图将全局信息纳入NMT模型,但在如何有效利用双向全局上下文方面仍存在局限性。在本文中,我们提出了一个基于置信度的双向全局上下文感知(CBBGCA)训练框架的NMT,其中NMT模型与辅助条件掩蔽语言模型(CMLM)联合训练。训练分为两个阶段:(1)多任务联合训练;(2)基于置信度的知识蒸馏。在第一阶段,通过共享编码器参数,NMT模型另外由来自CMLM解码器的包含双向全局上下文的信号监督。在第二阶段,以CMLM为教师,通过知识蒸馏,进一步有针对性地将双向全局语境引入到NMT模型的非置信预测目标词中。实验结果表明,我们提出的CBBGCA训练框架显着提高NMT模型+1.02,+1.30和+0.57 BLEU分数在三个大规模的翻译数据集,即WMT'14英语到德语,WMT'19中文到英语和WMT'14英语到法语,分别。
2022-03-17 cs.AI cs.CL
Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
非自回归模型在神经机器翻译中实现了显著的解码加速,但缺乏捕获顺序依赖的能力。有向无环Transformer(DA-Transformer)是最近提出的一种基于有向无环图的序列依赖模型。因此,它必须在推理时应用顺序决策过程,这损害了全局翻译精度。在本文中,我们提出了一个维特比解码框架的DA-变压器,它保证找到联合最优解的翻译和解码路径下的任何长度约束。实验结果表明,我们的方法始终提高DA-变压器的性能,同时保持类似的解码加速比。
2023-03-02 cs.CL
Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Tsinghua University(清华大学);ByteDance(字节跳动)
非自回归Transformers(NAT)通过并行生成所有令牌来显著减少解码延迟。然而,这样的独立预测阻止NAT捕获令牌之间的依赖性以生成多个可能的翻译。在本文中,我们提出了有向无环变换器(DA-变换器),它表示隐藏状态的有向无环图(DAG),其中DAG的每条路径对应于一个特定的翻译。整个DAG同时捕获多个翻译,并以非自回归方式促进快速预测。在WMT基准测试的原始训练数据上进行的实验表明,DA-Transformer的平均性能比以往的NAT高出约3 BLEU,这是第一个在不依赖知识蒸馏的情况下,与自回归Transformers实现竞争结果的NAT模型。
2022-05-16 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University(郑州大学);Peng Cheng Laboratory(鹏城实验室)
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置(包括BPE合并操作的数量,丢弃概率,嵌入大小等)。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化(使用更多层数时也会引入dropout模块),我们采用最高性能设置,但将Transformer的深度增加到24层,以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
Hindi to English: Transformer-Based Neural Machine Translation
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院)
针对印地语低资源问题,本文训练 Transformer 构建印地语到英语 NMT 系统,结合回译、BPE 词级与子词级分词及 10 种配置,取得 24.53 BLEU。
2023-09-23 cs.AI cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland(马里兰大学);Microsoft Research Asia(微软亚洲研究院)
虽然非自回归(NAR)模型在机器翻译中显示出巨大的前景,但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题,我们试图了解为什么蒸馏如此有效。先前的工作表明,提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验,本文表明不同类型的复杂性具有不同的影响:虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐,从而提高翻译质量,但词汇多样性是蒸馏增加模型置信度的主要原因,这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Non-autoregressive Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Soochow University(苏州大学)
针对自回归架构导致的同声翻译过度预测问题,提出非自回归流式 Transformer(NAST),通过单向编码器与非自回归解码器结合,并利用空白或重复标记灵活调整读写策略,在多个基准上优于强基线。
2023-10-23 cs.AI cs.CL
CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation
Rutgers University(罗格斯大学);Amazon(亚马逊)
针对LLM机器翻译中偏好数据质量影响DPO性能的问题,提出CRPO方法,结合奖励分数与模型置信度选择困难样本,提升翻译准确性与数据效率,并适用于多种模型架构。
2025-01-23 cs.AI cs.CL cs.CV
Optimizing transformer-based machine translation model for single GPU training: a hyperparameter ablation study
Khoury College of Computer Sciences(胡里计算机学院);Northeastern University(东北大学)
本文通过单 NVIDIA A100 GPU 上的超参数消融实验,发现参数最多的机器翻译模型并不一定最优,并找到可在单 GPU 上训练复杂模型且不损失翻译质量的最佳参数配置,证明精确调参比单纯扩大规模更重要。
2023-08-11 cs.AI cs.CL
DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation
Department of Informatics, Systems and Communication - DISCo, University of Milano-Bicocca, Italy(信息与通信系统系 - DISCo,米兰-比科卡大学);NVIDIA AI Technology Center, Italy(NVIDIA人工智能技术中心)
DIETA是一种专为意大利-英语机器翻译设计的仅解码器Transformer模型,通过大规模语料库和新评估集实现高质量翻译性能。
2026-01-25 cs.AI cs.CL
Power Law Graph Transformer for Machine Translation and Representation Learning
Fromthesky Research Labs LLC(Fromthesky研究实验室有限责任公司)
我们提出了幂律图Transformer,一个Transformer模型,具有定义良好的演绎和归纳任务,用于预测和表示学习。演绎任务根据可学习的幂律分布参数学习数据集级别(全局)和实例级别(局部)图结构。归纳任务使用演绎任务输出来输出预测概率,类似于转换模型。我们用来自TED演讲稿的土耳其语-英语和葡萄牙语-英语数据集训练了我们的模型,用于机器翻译,并将模型的性能和特征与Transformer模型进行了比较,该模型具有在相同实验设置上训练的缩放点积注意力。我们报告BLEU分数的$17.79$和$28.33$的土耳其语-英语和葡萄牙语-英语翻译任务与我们的模型,分别。我们还展示了如何利用量化集和N维流形表示之间的对偶,使用连续应用线性和非线性变换端到端在局部和全局演绎归纳输出之间进行变换。
2021-06-27 cs.AI cs.CL cs.LG
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc(腾讯公司)
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer,并使用几种不同的Transformer结构,以提高翻译质量。在我们的实验中,我们采用数据过滤,数据生成,几个变种的Transformer,微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Multi-Path Transformer is Better: A Case Study on Neural Machine Translation
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);NiuTrans Research(NiuTrans研究院)
本研究通过参数高效的多路径结构探究Transformer宽度的影响,在12个WMT任务上证明相同参数下浅层多路径模型性能不逊于深层模型,强调深度与宽度需平衡。
2023-05-10 cs.AI cs.CL
Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture
Peking University(北京大学)
Transformers在机器翻译中取得了巨大的成功,但基于transformer的NMT模型往往需要数百万双语并行语料进行训练。在本文中,我们提出了一种新的架构命名为注意力链接(AL),以帮助提高Transformer模型的性能,特别是在低训练资源。我们从理论上证明了我们的注意力链接架构在低训练资源的优势。此外,我们在IWSLT 14数据集上进行了大量的实验,包括en-de,de-en,en-fr,en-it,it-en,en-ro翻译任务,以及在CVIT PIB数据集上进行的bn-gu和gu-ta翻译任务。所有的实验结果表明,我们的注意力链接是强大的,可以导致显着的改善。此外,我们实现了37.9 BLEU得分,一个新的sota,在IWSLT 14 de-en任务,通过结合我们的注意力链接和其他先进的方法。
2023-02-01 cs.AI cs.CL
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学)
非自回归神经机器翻译(NAT)的最新研究工作旨在通过并行解码提高效率而不牺牲质量。然而,现有的NAT方法要么不如Transformer,要么需要多个解码通道,导致加速降低。我们提出了扫视语言模型(GLM),一种方法来学习单词的相互依赖性的单通道并行生成模型。借助GLM,我们开发了用于机器翻译的Glancing Transformer(GLAT)。仅使用单遍并行解码,GLAT能够以8-15倍的加速生成高质量的翻译。在多个WMT语言方向上的实验表明,GLAT优于所有以前的单通道非自回归方法,并且几乎与Transformer相当,将差距缩小到0.25-0.9 BLEU点。
2021-05-13 cs.CL
How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU(太原大学信息与通信技术学院);Institute of Anthropomatics and Robotics, KIT(卡尔斯鲁厄理工学院人类工程学与机器人研究所);University of Engineering and Technology, VNU(越南国立大学工程技术大学);School of Information Science, JAIST(北陆先端科学技术大学院大学信息科学学院)
在东亚语言之间的翻译中,许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是,传统的递归神经机器翻译系统由于其架构上的限制,阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的,并且在并行计算中受到高度限制。在本文中,我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验:日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Scalable Transformers for Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);SenseTime Research(商汤科技研究院)
Transformer由于其大容量和序列生成的并行训练而被广泛应用于神经机器翻译中。然而,Transformer的部署具有挑战性,因为不同的场景需要不同复杂性和规模的模型。单纯地训练多个Transformers在计算和内存方面都是冗余的。在本文中,我们提出了一种新的可伸缩的Transformers,它自然包含不同规模的子Transformers,并有共享的参数。通过裁剪最大Transformer的参数可以轻松获得每个子Transformer。针对可伸缩Transformers的训练困难,提出了一种三阶段训练方案,该方案引入了来自字级和序列级自升华的额外监督。在WMT EN-De和En-Fr上进行了大量的实验,以验证我们提出的可扩展Transformers。
2021-06-18 cs.CL
Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
本研究设计了五种无需内部信号的口头化方法提取LLM逐词置信度,并与内部确定性信号比较,发现两者在细粒度错误检测和校准上表现相似但相关性低。
2026-06-17 cs.CL
Confidence-Aware Scheduled Sampling for Neural Machine Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
调度采样是一种有效的方法,以减轻暴露偏差问题的神经机器翻译。它通过在训练过程中随机替换地面实况目标输入标记来模拟推理场景。尽管它取得了成功,但它的关键调度策略仅仅基于训练步骤,忽略了实时模型的能力,这限制了它的潜在性能和收敛速度。为了解决这个问题,我们提出了置信度感知计划抽样。具体来说,我们量化的模型预测的信心,在此基础上,我们设计细粒度的调度策略的实时模型的能力。通过这种方式,模型准确地暴露于高置信度位置的预测令牌和低置信度位置的真实令牌。此外,我们观察到香草计划抽样遭受退化到原来的教师强迫模式,因为大多数预测令牌是相同的地面真理令牌。因此,在上述置信度感知策略下,我们进一步暴露更多噪声令牌(例如,冗长和不正确的词序),而不是高置信度标记位置的预测值。我们在Transformer上评估了我们的方法,并在大规模WMT 2014英语-德语,WMT 2014英语-法语和WMT 2019中文-英语上进行了实验。实验结果表明,该方法在翻译质量和收敛速度上都明显优于Transformer和vanilla预定采样。
2021-07-22 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
与字面表达不同,习语的意义并不直接从其部件中推导出来,这给神经机器翻译(NMT)带来了挑战。NMT模型通常无法准确地翻译习语,并且过度生成合成的字面翻译。本文以英语为源语言,欧洲七种语言中的一种为目标语言,通过分析模式的隐藏状态和注意模式,探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说,将表达式标识为惯用的--与字面表达式相比,编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起,习语与语境之间的互动减少。在解码器的交叉注意中,比喻性输入导致对源端令牌的注意力降低。这些结果表明,Transformer倾向于将成语作为组合表达进行处理,这有助于成语的字面翻译。
2022-05-30 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation(微软公司)
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中,受最近语言模型预训练成功的启发,我们提出了XLM-T,它使用现成的预训练跨语言Transformer编码器对模型进行了优化,并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是,即使在具有反向平移的强基线上,该方法也是有效的。此外,对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember(十一月理工学院)
本研究针对手语转文本翻译任务,对比了Transformer与Seq2Seq模型的性能,还测试了添加ResidualLSTM的Transformer效果,发现纯Transformer表现优于Seq2Seq,添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Effective General-Domain Data Inclusion for the Machine Translation Task by Vanilla Transformers
Saarland University(萨尔大学)
机器翻译史上的一个重要突破是Transformer模型的发展。它不仅对各种翻译任务具有革命性意义,而且对大多数其他NLP任务也具有革命性意义。在本文中,我们的目标是一个基于transformer的系统,能够翻译德语中的源句子到其对应的目标句子在英语中。我们对WMT'13数据集上的新闻评论德英平行句进行了实验。此外,我们还研究了在从IWELK '16数据集进行训练时包含额外的通用域数据以提高Transformer模型性能的效果。我们发现,在训练中包含IWIT16数据集有助于在WMT'13数据集的测试集上获得2个BLEU得分点。定性分析被引入到分析如何使用通用领域的数据有助于提高翻译句子的质量。
2022-09-28 cs.CL
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.(亚马逊公司)
本文介绍了在ACL 2020第四届神经生成和翻译(WNGT)研讨会上,语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型,并使用Transformer架构与过采样策略相结合,以实现有竞争力的性能。该系统在匈牙利语(加权宏F1评分绝对提高27%)和葡萄牙语(绝对提高33%)上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
Modeling Recurrence for Transformer
Florida State University(佛罗里达州立大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学)
近年来,基于注意力机制的Transformer模型在各种机器翻译任务上取得了很大的进展。然而,最近的研究表明,缺乏重现阻碍了其翻译能力的进一步提高。为了解决这个问题,我们提出了一个额外的递归编码器直接为Transformer的递归建模。除了标准的递归神经网络之外,我们还引入了一种新的注意递归网络,以利用注意和递归网络的优势。在广泛使用的WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了该方法的有效性。我们的研究还表明,所提出的模型受益于一个捷径,桥接源和目标序列与一个单一的递归层,这优于其深对应。
2019-04-05 cs.AI cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen(格罗宁根大学)
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译(MT),翻译方向上的英语到汉语。为此,我们开发了一个符合多维质量管理(MQM)框架的错误分类,该框架是定制的翻译方向的相关现象。然后,我们在WMT2019新闻测试集的一个子集上,使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明,与最佳递归系统相比,最佳Transformer系统导致错误总数减少31%,并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到,两个系统的评估不产生任何错误的一个类别,这是相关的翻译方向之前出现的NMT系统:中国的分类。
2020-06-15 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki(赫尔辛基大学)
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制,它允许模型同时关注输入的不同部分。然而,最近的研究表明,大多数注意力头学习简单的,往往是多余的,位置模式。在本文中,我们建议取代所有,但一个注意头的每个编码器层与简单的固定-非学习-专注模式,完全基于位置,不需要任何外部知识。我们对不同数据大小和多语言对的实验表明,在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量,甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Optimizing Transformer for Low-Resource Neural Machine Translation
Informatics Institute(信息学研究所);University of Amsterdam(阿姆斯特丹大学)
并行数据量有限的语言对,也称为低资源语言,仍然是神经机器翻译的一个挑战。虽然Transformer模型已经为许多语言对实现了显著的改进,并且已经成为事实上的主流架构,但是其在低资源条件下的能力尚未被充分研究。我们在IWSLT14训练数据的不同子集上的实验表明,Transformer在低资源条件下的有效性高度依赖于超参数设置。我们的实验表明,与使用Transformer默认设置相比,在低资源条件下使用优化的Transformer可将翻译质量提高7.3个BLEU点。
2020-11-04 cs.CL cs.LG
From Scratch to Fine-Tuned: A Comparative Study of Transformer Training Strategies for Legal Machine Translation
Jadavpur University(贾瓦浦尔大学)
本文通过比较Transformer训练策略,展示了微调预训练模型在法律机器翻译中的有效性,实现了更高的翻译准确率。
2025-12-21 cs.AI cs.CL cs.HC
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington(华盛顿大学);Facebook AI(Facebook人工智能)
最先进的神经机器翻译模型生成从左到右的翻译,并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟,因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型,称为解纠缠上下文(DisCo)Transformer,同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法,它迭代地并行细化每个令牌,并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验,结果表明,与非自回归机器翻译的最新技术相比,我们的模型即使没有更好的性能,也具有竞争力,同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Very Deep Transformers for Neural Machine Translation
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们探讨了神经机器翻译(NMT)的非常深的Transformer模型的应用。使用一种简单而有效的初始化技术来稳定训练,我们证明了构建标准的基于Transformer的模型是可行的,最多有60个编码器层和12个解码器层。这些深度模型比基线6层模型的性能高出2.5 BLEU,并在WMT 14英法(43.8 BLEU和46.4 BLEU,带回译)和WMT 14英德(30.1 BLEU)上实现了最先进的基准测试结果。代码和训练模型将在https://github.com/namisan/exdeep-nmt上公开。
2020-10-14 cs.CL
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);National Institute of Information and Communications Technology(信息通信研究机构)
在基于递归神经网络(RNN)的神经机器翻译(NMT)中,上下文门可以有效地控制源上下文和目标上下文的贡献。然而,将它们扩展到高级Transformer架构中具有挑战性,该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法,然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外,为了进一步减少门机制中的偏差问题,本文提出了一种正则化方法来指导门的学习,并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明,该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
Backtranslation Feedback Improves User Confidence in MT, Not Quality
Charles University(查理大学);University of Edinburgh(爱丁堡大学);University of Sheffield(谢菲尔德大学);University of Wolverhampton(伍尔弗汉普顿大学);University of Tartu(塔尔图大学)
将文本翻译成文本作者不知道的语言,称为出站翻译,是一种现代需求,用户体验有很大的改进空间,超越了基本的机器翻译设施。我们通过展示三种方式来证明这一点,即用户对出站翻译的信心以及其整体最终质量可能会受到影响:向后翻译,质量估计(对齐)和源释义。在本文中,我们描述了从英语到捷克语和爱沙尼亚语的出站翻译实验。我们研究了每个建议的反馈模块的效果,并进一步关注机器翻译系统的质量如何影响这些发现和用户对成功的感知。我们发现,反向翻译反馈对整个过程有着混合的影响:它增加了用户的信心,在生产的翻译,但不是客观质量。
2021-04-12 cs.CL cs.HC
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力,并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验,通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明,仅微调交叉注意参数几乎与微调所有参数一样有效(即,整个翻译模式)。我们提供的见解,为什么会出现这种情况,并观察到,以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘,zero-shot翻译的潜力,以及将机器翻译模型扩展到几种新语言对的能力,同时减少参数存储开销。
2021-09-14 cs.CL
Using Source-Side Confidence Estimation for Reliable Translation into Unfamiliar Languages
University of Notre Dame(圣母大学)
本文提出一种无需对齐的源端置信度估计方法,通过测量目标词概率对源嵌入变化的敏感度来识别机器翻译中的错误,在错误翻译检测上优于传统基于对齐的方法,提升了面向不熟悉目标语言用户的交互式翻译系统的可信度与可解释性。
2025-03-30 cs.CL cs.LG
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学)
Transformer从其多头自注意网络(SAN)的关键设计中受益匪浅,该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而,其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此,在本文中,我们提出了胶囊变压器,它扩展了线性变换到一个更一般的胶囊路由算法,通过将SAN作为一个特殊的情况下胶囊网络。因此,所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列,通过不同的头部和单词之间的信息聚合。具体来说,我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法,它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明,我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌,这减慢了推理,特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算,但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌,这提高了推理速度,但降低了翻译质量。在这项工作中,我们提出了语法监督的Transformer(SynST),它首先自回归预测一个分块的解析树,然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明,SynST解码句子的速度比基线自回归Transformer快约5倍,同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.(eBay公司);Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany(德国亚琛工业大学人类语言技术与模式识别小组)
基于神经网络的机器翻译(NMT)通常用于低资源设置,特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对,并且针对两个子任务训练单个系统。然而,这些模型在训练期间没有连接,并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中,我们提出了训练一个基于NMT系统的强化学习(RL)的方法,已被调查的各种文本生成任务,包括机器翻译(MT)。我们利用非自回归Transformer,并提出了一个端到端的基于自回归的集成模型,使源目标数据的训练。
2021-09-27 cs.CL
Joint-training on Symbiosis Networks for Deep Nueral Machine Translation models
Huawei Translation Services Center(华为翻译服务中心);The University of Melbourne(墨尔本大学)
深度编码器已被证明在改善神经机器翻译(NMT)系统方面是有效的,但当编码器层数超过18时,它达到了翻译质量的上限。更糟糕的是,更深层次的网络会消耗大量内存,从而无法有效地进行训练。在本文中,我们提出了共生网络,它包括一个完整的网络作为共生主网(M-Net)和另一个共享的子网络与共生子网(S-Net)的结构相同,但较少的层。我们采用Symbiosis Networks on Transformer-deep(m-n)架构,在NMT中定义了M-Net和S-Net之间的正则化损失$\mathcal{L}_τ$。我们将联合训练应用于共生网络,旨在提高M-Net的性能。我们提出的训练策略在WMT'14 EN->DE,DE->EN和EN->FR任务的经典训练下,将Transformer-deep(12-6)提高了0.61,0.49和0.69 BLEU。此外,我们的Transformer-deep(12-6)甚至优于经典的Transformer-deep(18-6)。
2021-12-22 cs.AI cs.CL
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
引入因子,也就是说,诸如涉及源标记的语言信息的词特征,已知在某些设置中(通常在递归架构中)改进神经机器翻译系统的结果。这项研究提出了增强当前最先进的神经机器翻译架构,Transformer,以便它允许引入外部知识。特别是,我们提出的修改,因子化的Transformer,使用语言因素,插入额外的知识到机器翻译系统。除了使用不同类型的功能,我们研究了不同的建筑配置的效果。具体来说,我们分析了在嵌入级别或在编码器级别结合单词和特征的性能,并尝试了两种不同的组合策略。使用最好的配置,我们在IWITOS德语到英语的任务中显示出比基线Transformer提高了0.8 BLEU。此外,我们还尝试了更具挑战性的FLoRes英语到尼泊尔语基准,其中包括极低资源和非常遥远的语言,并获得了1.2 BLEU的改进。
2020-12-24 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT))
神经机器翻译(NMT)采用确定性序列作为源表示。然而,无论是词级还是子词级分割都有多种选择,可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合,我们提出了基于格的编码器,以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法:1)格位置编码和2)格感知的自我注意。这两种方法可以结合使用,相互补充,进一步提高翻译性能。实验结果表明,基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris(巴黎电信学院)
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足,并比较原始、知识蒸馏及翻译记忆变体,以探索改进方向。
2024-02-19 cs.CL
Machine Translation of Novels in the Age of Transformer
University of Alicante(阿利坎特大学);Universitat Oberta de Catalunya (UOC)(加泰罗尼亚开放大学)
在本章中,我们构建了一个适合文学领域的机器翻译(MT)系统,特别是小说,基于神经MT(NMT)中最先进的架构,Transformer(Vaswani等人,2017年),翻译方向英语到加泰罗尼亚语。随后,我们评估在何种程度上这样一个系统可以是有用的,通过评估其翻译,通过比较这个MT系统对其他三个系统(两个特定领域的系统下经常性和短语为基础的范式和流行的通用在线系统)的三个评价。第一个评估是自动的,使用最广泛使用的自动评估指标BLEU。其余两项评估是人工评估,分别评估为使翻译无误所需的优先选择和后期编辑量。正如预期的那样,特定领域的基于Transformer的系统在所有三个评估中的表现都超过了其他三个系统,在所有情况下都有很大的优势。
2020-11-30 cs.CL
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation
United Arab Emirates University(阿联酋大学);Emirates Center for Mobility Research(阿联酋移动性研究中心)
本文综述手语机器翻译从规则模型到 Transformers 架构的发展与分类,指出实时端到端手语-gloss-文本互译系统的需求和未来方向。
2024-08-27 cs.AI cs.CL cs.CV
Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Inc(腾讯公司)
非自回归Transformer(NAT)算法通过丢弃自回归机制,独立生成目标词来加速Transformer模型,但不能充分利用目标词的序列信息。由于上述原因,过度翻译和欠翻译错误经常发生,特别是在长句翻译的情况下。在本文中,我们提出了两种方法来检索的目标顺序信息的NAT,以提高其翻译能力,同时保持快速解码属性。首先,我们提出了一种基于一种新的NAT强化算法(Reinforce-NAT)的序列级训练方法,以减少方差并稳定训练过程。其次,我们提出了一个创新的Transformer解码器FS-解码器,融合的目标序列信息到解码器的顶层。三个翻译任务的实验结果表明,增强NAT超过基线NAT系统的BLEU上的显着保证金,而不会降低解码速度和FS解码器实现相当的翻译性能的自回归Transformer具有相当大的加速比。
2019-06-22 cs.AI cs.CL cs.LG
G-Transformer for Document-level Machine Translation
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);DAMO Academy, Alibaba Group Inc.(阿里巴巴集团达摩院)
文档级的机器翻译模型仍然远远不能令人满意。已有的工作将翻译单位从单句扩展到多句。然而,研究表明,当我们进一步扩大翻译单元到一个完整的文件,监督训练的Transformer可能会失败。在本文中,我们发现这种失败不是由过拟合引起的,而是由于在训练过程中坚持局部极小值。我们的分析表明,目标到源注意的复杂性增加是失败的原因。作为解决方案,我们提出了G-Transformer,在Transformer中引入局部性假设作为一种归纳偏差,减少了目标到源的注意力的假设空间。实验表明,G-Transformer比Transformer收敛得更快、更稳定,在三个基准数据集上的非预训练和预训练设置下都获得了新的最先进的BLEU分数。
2021-05-31 cs.CL cs.LG
Multi-Unit Transformers for Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
Transformer模型在神经机器翻译中取得了显著的成功。许多努力致力于通过堆叠几个单元(即,多头注意力和FFN的组合),而对多个并行单元的研究很少引起注意。在本文中,我们提出了多单元Transformers(MUTE),其目的是提高表现力的Transformer通过引入不同的和互补的单位。具体来说,我们使用几个并行单元,并表明多个单元的建模提高了模型性能,并引入了多样性。此外,为了更好地利用多单元设置的优势,我们设计了偏向模块和顺序依赖,引导和鼓励不同单元之间的互补性。三个机器翻译任务的实验结果,NIST中文到英文,WMT'14英文到德文和WMT'18中文到英文,表明MUTE模型显著优于Transformer-Base,高达+1.52,+1.90和+1.10 BLEU点,推理速度仅略有下降(约3.1%)。此外,我们的方法也超过了Transformer-Big模型,只有54%的参数。这些结果证明了MUTE的有效性,以及它在推理过程和参数使用方面的效率。
2020-10-23 cs.CL
Marathi To English Neural Machine Translation With Near Perfect Corpus And Transformers
Dailyhunt
很少有人尝试对印度语言的神经机器翻译任务的最先进算法的性能进行基准测试。Google、Bing、Facebook和Yandex是少数几家为少数几种印度语言建立翻译系统的公司。其中,谷歌的翻译结果应该更好,基于一般检查。Bing-Translator甚至不支持马拉地语,马拉地语拥有约9500万使用者,在主要和次要使用者中排名世界第15位。在这个练习中,我们训练和比较了各种神经机器Marathi到英语翻译器,这些翻译器使用huggingface和各种基于Transformer的架构,使用Facebook的Fairseq平台,使用有限但几乎正确的并行语料库,在Tatoeba和Wikimedia开放数据集上获得比Google更好的BLEU分数。
2020-02-26 cs.CL
Jointly Learning to Align and Translate with Transformer Models
Apple Inc.(苹果公司)
机器翻译(MT)的现有技术由神经方法控制,神经方法通常提供优于统计方法的翻译准确性。然而,在密切相关的词对齐任务上,传统的统计词对齐模型往往仍然是首选的解决方案。在本文中,我们提出了一种方法来训练一个Transformer模型,以产生准确的平移和对齐。我们从常规神经机器翻译模型训练期间学习的注意力概率中提取离散对齐,并在多任务框架中利用它们来优化翻译和对齐目标。我们证明,我们的方法产生竞争力的结果相比,GIZA++训练的IBM对齐模型,而不牺牲翻译的准确性和优于以前的尝试基于Transformer模型的单词对齐。最后,通过将IBM模型对齐纳入我们的多任务训练,我们报告了在三个公开数据集上与GIZA++相比显著更好的对齐精度。
2019-09-04 cs.CL
Learning Accurate Integer Transformer Machine-Translation Models
Xilinx, Inc.(赛灵思公司)
我们描述了一种训练精确的Transformer机器翻译模型的方法,以使用8位整数(INT 8)硬件矩阵乘法器来运行推理,而不是更昂贵的单精度浮点(FP 32)硬件。与以前的工作不同,以前的工作只将85个Transformer矩阵乘法转换为INT 8,由于不可接受的精度损失,其中133个中的48个留在FP 32中,我们将它们全部转换为INT 8而不影响精度。在最新的2014年英语到德语翻译任务测试中,我们的INT 8 Transformer Base和Transformer Big型号的BLEU评分比相应的FP 32型号高99.3%到100%。我们的方法通过在训练过程中自动进行范围-精度权衡,将现有FP 32模型中的所有矩阵乘法张量转换为INT 8张量。为了证明这种方法的鲁棒性,我们还包括从INT 6 Transformer模型的结果。
2020-01-03 cs.CL cs.LG stat.ML