The Volctrans Machine Translation System for WMT20
ByteDance AI Lab(字节跳动人工智能实验室);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本文介绍了我们的VolcTrans系统在WMT20共享新闻翻译任务。我们参加了8个翻译方向。我们的基本系统基于Transformer,有几个变体(更宽或更深的Transformers,动态卷积)。最终的系统包括文本预处理、数据选择、合成数据生成、高级模型集成和多语言预训练。
2020-11-19 cs.CL
The NiuTrans Machine Translation Systems for WMT21
Northeastern University(东北大学);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NLP Lab, School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院自然语言处理实验室)
本文介绍了NiuTrans神经机器翻译系统的WMT 2021新闻翻译任务。我们提交了9个语言方向,包括英语$\leftrightarrow$ $\{$中文,日语,俄语,冰岛语$\}$和英语$\rightarrow$豪萨语任务。我们的主要系统是建立在Transformer的几个有效变体上的,例如,变压器-DLCL,ODE-变压器。我们还利用回译,知识蒸馏,后集成,和迭代微调技术,以进一步提高模型的性能。
2021-09-22 cs.CL
Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision
ByteDance AI Lab(字节跳动AI实验室)
我们如何在保持高翻译质量的同时进行有效的推理?现有的神经机器翻译模型,如Transformer,虽然性能很高,但它们是逐个解码单词,效率很低。最近的非自回归翻译模型加快了推理速度,但其质量仍然较差。在这项工作中,我们提出了DSLP,一个高效和高性能的机器翻译模型。关键的见解是训练具有深度监控的非自回归Transformer,并提供额外的逐层预测。我们对四个翻译任务(WMT'14 EN-DE和WMT'16 EN-RO两个方向)进行了广泛的实验。结果表明,我们的方法始终提高BLEU分数相比,各自的基础模型。具体来说,我们的最佳变体在三个翻译任务上优于自回归模型,同时在推理方面效率提高了14.8倍。
2021-10-14 cs.CL
Marian: Cost-effective High-Quality Neural Machine Translation in C++
Microsoft Translator(微软翻译);University of Edinburgh(爱丁堡大学)
本文介绍了“玛丽安”团队向WNMT 2018共享任务提交的内容。我们研究了师生培训、低精度矩阵乘积、自动调整和其他方法的组合,以优化GPU和CPU上的Transformer模型。通过将这些方法与新的平均注意力网络(最近推出的更快的Transformer变体)进一步集成,我们在GPU和CPU上创建了许多高质量,高性能的模型,主导了这个共享任务的帕累托前沿。
2018-05-30 cs.CL
Transformer-based Cascaded Multimodal Speech Translation
Imperial College London(帝国理工学院);University of Sheffield(谢菲尔德大学)
本文介绍了伦敦帝国理工学院为IWIT 2019评估活动开发的级联多模态语音翻译系统。该体系结构包括一个自动语音识别(ASR)系统,其次是基于transformer的多模态机器翻译(MMT)系统。虽然ASR组件在实验中是相同的,但MMT模型在整合视觉上下文的方式(简单条件反射与注意力)、所利用的视觉特征类型(池化、卷积、动作类别)和底层架构方面有所不同。对于后者,我们探讨了典型的Transformer和它的审议版本添加剂和级联变量,不同的是,他们如何整合文本的注意。通过大量的实验,我们发现:(1)所研究的视觉整合方案往往会损害Transformer和加法审议的翻译效果,但却能显著提高级联审议的翻译效果;(2)不一致分析表明,Transformer和级联审议对视觉模态的整合效果优于加法审议。
2019-11-08 cs.CL
Hard-Coded Gaussian Attention for Neural Machine Translation
最近的工作已经质疑了Transformer的多头注意力对于实现高翻译质量的重要性。我们通过开发一个没有任何学习参数的“硬编码”注意力变体来进一步推动这个方向。令人惊讶的是,用固定的、与输入无关的高斯分布替换编码器和解码器中所有学习到的自我注意头部,对四种不同语言对的BLEU分数的影响最小。然而,额外的硬编码交叉注意(将解码器连接到编码器)显着降低了BLEU,这表明它比自我注意更重要。这种BLEU下降的大部分可以通过向硬编码的Transformer添加单个学习的交叉注意头部来恢复。总的来说,我们的研究结果提供了对Transformer的哪些组件实际上是重要的见解,我们希望这将指导未来的工作,开发更简单,更有效的基于注意力的模型。
2020-05-02 cs.CL
Make Every Letter Count: Building Dialect Variation Dictionaries from Monolingual Corpora
MaiNLP, Ludwig Maximilian University of Munich(MaiNLP,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文以巴伐利亚语为例,提出仅用单语数据构建方言变异词典的标注框架DiaLemma,并基于10万对人工标注词对评估九个LLMs的方言理解能力,揭示其在区分翻译与屈折变体方面的不足。
2025-09-22 cs.CL
Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
针对标准孟加拉语到多种地区方言的翻译缺口,本文在含32,500句的Vashantor数据集上微调BanglaT5、mT5和mBART50,发现BanglaT5以12.3% CER和15.7% WER表现最佳。
2025-01-10 cs.CL
Multimodal Attention for Neural Machine Translation
LIUM, University of Le Mans(勒芒大学LIUM);Galatasaray University(加拉塔萨雷大学)
注意力机制是神经机器翻译(NMT)的重要组成部分,据报道,与固定长度编码的序列到序列模型相比,它可以产生更丰富的源表示。最近,在图像描述的背景下,注意力的有效性也被探索。在这项工作中,我们评估的可行性的多模态注意力机制,同时集中在一个图像和它的自然语言的描述,在另一种语言中产生的描述。我们训练几个变种,我们提出的注意力机制的Multi30 k多语言图像描述数据集。我们发现,与文本NMT基线相比,BLEU和METEOR中每种模态的专用注意力达到了1.6分。
2016-09-13 cs.CL cs.NE
Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation
IXA Group, University of the Basque Country (UPV/EHU)(巴斯克大学 IXA 研究组);TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学 TALP 研究中心)
回译为神经机器翻译中利用单语语料提供了一种简单而有效的方法。它的迭代变体,其中两个相反的NMT模型通过交替使用由反向模型生成的合成并行语料库来联合训练,在无监督机器翻译中起着核心作用。为了开始产生声音翻译并向彼此提供有意义的训练信号,现有方法依赖于单独的机器翻译系统来预热迭代过程,或者依赖于某种形式的预训练来初始化模型的权重。在本文中,我们分析的作用,这样的初始化在迭代反平移。最终系统的行为是否严重依赖于它?或者迭代反平移是否会在给定任何合理的初始化条件下收敛到类似的解?通过一系列的经验性实验,在一组不同的热身系统,我们表明,虽然初始系统的质量确实影响最终的性能,其影响相对较小,迭代回翻译有很强的倾向收敛到一个类似的解决方案。因此,初始化方法的改进余地很小,这表明未来的研究应该更多地关注迭代机制本身的改进。
2020-02-28 cs.CL cs.LG
What changes when you randomly choose BPE merge operations? Not much
Michtom School of Computer Science(米赫特姆计算机学院);Brandeis University(布兰迪斯大学)
本研究提出三种BPE随机变体,探究随机化合并操作对形态丰富语言翻译任务的影响,发现两种变体性能与标准BPE相近,第三种降幅低于预期,揭示了BPE变体的研究价值。
2023-05-04 cs.AI cs.CL
Mixture Models for Diverse Machine Translation: Tricks of the Trade
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Facebook AI Research(脸书人工智能研究院)
通过EM训练的混合模型是机器学习文献中最简单、最广泛使用和最容易理解的潜在变量模型之一。令人惊讶的是,这些模型几乎没有在文本生成应用程序,如机器翻译。原则上,它们提供了一个潜在的变量来控制生成,并产生一组不同的假设。然而,在实践中,混合模型很容易退化--通常只有一个组件得到训练,或者潜在变量被简单地忽略。我们发现,在责任计算中禁用丢弃噪声对成功训练至关重要。此外,参数化,先验分布,硬与软EM和在线与离线分配的设计选择可以显着影响模型的性能。我们开发了一个评估协议,以评估质量和多样性的代对多个参考,并提供了一个广泛的实证研究的几个混合模型的变体。我们的分析表明,某些类型的混合模型是更强大的,并提供最好的权衡翻译质量和多样性相比,变分模型和不同的解码方法。\footnote{Code to reproduce the results in this paper is available at \url{https://github.com/pytorch/fairseq}}
2019-05-24 cs.CL cs.LG
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS