Quick Back-Translation for Unsupervised Machine Translation
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
本文提出快速回译(QBT)方法,通过将 Transformer 编码器重新用作生成模型并与自回归回译结合训练解码器,在多个 WMT 基准上以更少的精炼步骤显著提升无监督机器翻译模型的训练效率。
2023-12-01 cs.CL cs.LG cs.PL
Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation
IXA Group, University of the Basque Country (UPV/EHU)(巴斯克大学 IXA 研究组);TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学 TALP 研究中心)
回译为神经机器翻译中利用单语语料提供了一种简单而有效的方法。它的迭代变体,其中两个相反的NMT模型通过交替使用由反向模型生成的合成并行语料库来联合训练,在无监督机器翻译中起着核心作用。为了开始产生声音翻译并向彼此提供有意义的训练信号,现有方法依赖于单独的机器翻译系统来预热迭代过程,或者依赖于某种形式的预训练来初始化模型的权重。在本文中,我们分析的作用,这样的初始化在迭代反平移。最终系统的行为是否严重依赖于它?或者迭代反平移是否会在给定任何合理的初始化条件下收敛到类似的解?通过一系列的经验性实验,在一组不同的热身系统,我们表明,虽然初始系统的质量确实影响最终的性能,其影响相对较小,迭代回翻译有很强的倾向收敛到一个类似的解决方案。因此,初始化方法的改进余地很小,这表明未来的研究应该更多地关注迭代机制本身的改进。
2020-02-28 cs.CL cs.LG
Meta-Learning for Low-Resource Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
在本文中,我们提出了扩展最近推出的模型无关Meta学习算法(MAML)的低资源神经机器翻译(NMT)。我们将低资源翻译视为元学习问题,并根据多语言高资源语言任务学习适应低资源语言。我们使用通用的词汇表示~ \citep{gu2018universal}来克服不同语言之间的输入输出不匹配。我们使用十八种欧洲语言(Bg,Cs,Da,De,El,Es,Et,Fr,Hu,It,Lt,Nl,Pl,Pt,Sk,Sl,Sv和Ru)作为源任务和五种不同的语言(Ro,Lv,Fi,Tr和Ko)作为目标任务来评估所提出的元学习策略。我们表明,所提出的方法显着优于多语言,迁移学习为基础的方法\citep{zoph2016transfer},使我们能够训练一个有竞争力的NMT系统,只有一小部分的训练样本。例如,所提出的方法可以在罗马尼亚语-英语WMT'16上实现高达22.04 BLEU,只需要看到16,000个翻译单词(约600个平行句子)。
2018-08-25 cs.CL cs.LG
Tag-less Back-Translation
Ahmadu Bello University(艾哈迈杜·贝罗大学);Bayero University(巴耶罗大学)
利用目标语单语数据的回译,可以有效地生成大量的并行句子,用于训练改进的神经机器翻译(NMT)系统。标准的反向翻译方法已被证明无法有效地利用现有的大量单语数据,因为翻译模型无法在训练期间区分真实的和合成的并行数据。标记或使用门已被用于使翻译模型能够区分合成数据和真实数据,从而改进标准反向翻译,并且还使得能够对使用标准反向翻译表现不佳的语言对使用迭代反向翻译。在这项工作中,我们接近回翻译作为一个领域自适应问题,消除了显式标记的需要。在该方法-- \emph{tag-less back-translation} --中,合成和真实的并行数据分别被视为域外和域内数据,并且通过预训练和微调,翻译模型被证明能够在训练期间更有效地从它们中学习。实验结果表明,该方法在低资源的英越语和英德语神经机器翻译中的性能优于标准回译方法和标记回译方法。
2021-02-09 cs.AI cs.CL cs.LG
On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation
Tencent AI Lab(腾讯人工智能实验室);NLPCT Lab, Department of Computer and Information Science, University of Macau(澳门大学计算机与信息科学系NLPCT实验室);The University of Sydney(悉尼大学)
预训练(PT)和反向翻译(BT)是利用单语数据提高神经机器翻译(NMT)模型性能的两种简单而有效的方法。本文首先探讨了PT和BT的互补性。我们分别介绍了PT和BT的两个探测任务,发现PT主要贡献于编码器模块,而BT为解码器带来更多的好处。实验结果表明,PT和BT是很好的互补,建立了最先进的性能WMT16英语罗马尼亚语和英语俄罗斯基准。通过对句子独创性和词频的分析,我们还证明了将标记翻译和译文翻译相结合更有助于它们的互补性,从而提高翻译质量。源代码可以在https://github.com/SunbowLiu/PTvsBT上免费获得。
2021-10-05 cs.CL cs.LG
MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration
University of Toronto(多伦多大学);Boston University(波士顿大学);Monash Indonesia(莫纳什印度尼西亚分校);Capital One(第一资本金融公司)
该研究提出了通过人类偏好校准、基于高斯过程贝叶斯优化的机器翻译评估元指标MetaMetrics-MT,在WMT24数据集有参考设置下超越现有基线达SOTA,无参考设置下性能领先且效率更高。
2024-11-01 cs.AI cs.CL cs.LG
Dual Reconstruction: a Unifying Objective for Semi-Supervised Neural Machine Translation
University of Maryland(马里兰大学);Amazon AI(亚马逊人工智能)
虽然迭代反向翻译和双重学习有效地将单语训练数据纳入神经机器翻译,但它们使用不同的目标和启发式梯度近似策略,并且没有进行广泛的比较。我们引入了一个新的双重重建目标,提供了一个统一的观点迭代回译和双重学习。它激发了一个理论分析和控制的实证研究,德国-英语和土耳其-英语的任务,这都表明,迭代回译是更有效的,尽管它相对简单的双重学习。
2020-10-07 cs.CL cs.LG
Cross-model Back-translated Distillation for Unsupervised Machine Translation
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(赛富时亚洲研究院)
最近的无监督机器翻译(UMT)系统通常采用三个主要原则:初始化,语言建模和迭代回译,虽然他们可能会不同地应用它们。至关重要的是,用于语言建模的迭代反向翻译和去噪自动编码为训练UMT系统提供了数据多样性。然而,这些多样化进程的收益似乎趋于稳定。我们在标准UMT框架中引入了一个名为跨模型反向翻译蒸馏(CBD)的新颖组件,其目的是引入现有原则所缺乏的另一个水平的数据多样化。CBD适用于所有以前的UMT方法。在我们的实验中,CBD在WMT'14英语-法语,WMT'16英语-德语和英语-罗马尼亚语双语无监督翻译任务中达到了最先进的水平,BLEU分别为38.2,30.1和36.3。它还产生1.5-3.3的BLEU改进在IWEML英语-法语和英语-德语任务。通过大量的实验分析,我们表明,CBD是有效的,因为它包含数据的多样性,而其他类似的变种没有。
2021-05-24 cs.CL cs.LG
Text Style Transfer Back-Translation
Huawei Translation Service Center(华为翻译服务中心)
针对回译主要改善类似翻译输入、对自然输入效果有限的问题,提出TST BT,用风格迁移模型改写回译数据的源端,在多语言对及领域适配中显著提升翻译性能。
2023-06-02 cs.CL cs.LG
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.(易趣公司)
本文阐述了我们在第六届机器翻译会议(WMT-21)上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设,一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能,这是不同的双语翻译的发现。此外,本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是,较小的词汇量表现更好,广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了,取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Neural and Statistical Methods for Leveraging Meta-information in Machine Translation
eBay Inc.(eBay公司);RWTH Aachen University(亚琛工业大学)
在本文中,我们讨论了不同的方法,使用Meta信息和丰富的上下文,可能伴随着源语言输入,以提高机器翻译质量。我们专注于输入文本的类别信息作为Meta信息,但所提出的方法可以扩展到所有的文本和非文本的Meta信息,可能是可用的输入文本或自动预测使用的文本内容。这项工作的主要新颖之处是使用最先进的神经网络方法来解决这个问题的统计机器翻译(SMT)的框架内。我们观察到,在某些文本类别中,BLEU评分的翻译质量提高高达3%。
2017-08-10 cs.CL
Feeding Two Birds or Favoring One? Adequacy-Fluency Tradeoffs in Evaluation and Meta-Evaluation of Machine Translation
Dept. Computing Science, Alberta Machine Intelligence Institute (Amii), University of Alberta(计算科学系,阿尔伯塔人工智能研究所(Amii),阿尔伯塔大学);Google(谷歌);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能主席,Amii)
本研究揭示机器翻译评估与元评估中充分性与流畅性的权衡,指出当前指标偏向充分性,并提出合成翻译系统的方法以控制元评估偏差。
2025-09-24 cs.AI cs.CL cs.LG
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案,即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外,我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
On The Evaluation of Machine Translation Systems Trained With Back-Translation
Facebook AI Research(Facebook 人工智能研究院)
反向翻译是一种广泛使用的数据增强技术,它利用目标单语数据。然而,它的有效性受到了挑战,因为BLEU等自动度量仅在源代码本身是翻译或翻译的测试示例中显示出显着的改进。这被认为是由于翻译输入更好地匹配反翻译的训练数据。在这项工作中,我们表明,这一猜想是没有经验支持,回译提高了翻译质量的自然发生的文本,以及根据专业的人类翻译。我们提供了经验证据来支持这样的观点,即回译是首选的人类,因为它产生更流畅的输出。BLEU无法捕捉人类的偏好,因为当源句子是自然文本时,引用是抽象的。我们建议使用语言模型分数来补充BLEU,以衡量流利程度。
2020-08-18 cs.CL
Iterative Batch Back-Translation for Neural Machine Translation: A Conceptual Model
一种有效的方法来产生大量的并行句子训练改进的神经机器翻译(NMT)系统是使用目标端单语数据的回译。最近,迭代回译已被证明优于标准回译,尽管在一些语言对。这项工作提出了迭代批量回译,旨在提高标准的迭代回译,使更多的单语数据的有效利用。在每次迭代之后,将新句子的改进的反向翻译添加到并行数据中,并行数据将用于训练最终的前向模型。这项工作提出了一个概念模型所提出的方法。
2020-11-16 cs.CL
Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning
NAVER;Korea University(高丽大学);KAIST(韩国科学技术院);Upstage AI Research(Upstage AI 研究院)
无监督机器翻译利用未配对的单语语料库作为训练数据,已经取得了与有监督机器翻译相当的性能。然而,它仍然受到数据稀缺领域的影响。为了解决这个问题,本文提出了一种新的Meta学习算法的无监督神经机器翻译(UNMT),训练模型,以适应另一个领域,通过只利用少量的训练数据。我们假设域一般知识是处理数据稀缺域的一个重要因素。因此,我们扩展了Meta学习算法,它利用从高资源域学习到的知识,以提高低资源UNMT的性能。我们的模型超过了基于迁移学习的方法高达2-4 BLEU分数。大量的实验结果表明,我们提出的算法适用于快速自适应,并且始终优于其他基线模型。
2021-05-07 cs.AI cs.CL cs.LG
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
神经机器翻译使用并行和合成数据的组合,为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的,但原因尚不完全清楚。在这项工作中,我们探索了反向翻译的不同方面,并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略,针对难以预测的话,使用预测损失和频率的话。此外,我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明,我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语,分别。
2018-09-21 cs.CL
Explaining and Generalizing Back-Translation through Wake-Sleep
Johns Hopkins University(约翰斯·霍普金斯大学);Heidelberg University(海德堡大学)
反向翻译已经成为半监督神经机器翻译中常用的启发式算法。该技术既简单易行,又能产生最先进的结果。在这项工作中,我们提供了一个原则性的解释回翻译的生成模型中的bitext近似推理,并显示回翻译的标准实现对应于我们提出的模型中的唤醒-睡眠算法的一次迭代。此外,这种解释表明,一个自然的迭代推广,我们证明导致进一步改善高达1.6 BLEU。
2018-06-12 cs.CL
MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language
The University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学);UIBE(对外经济贸易大学);The University of Manchester(曼彻斯特大学)
本文针对机器翻译中比喻性语言质量评估缺失的问题,提出了一套人工评估指标和一个多语言平行隐喻语料库,从隐喻对等性、情感、真实性和质量四方面评估,发现比喻表达翻译与字面表达不同。
2024-11-08 cs.CL
Domain, Translationese and Noise in Synthetic Data for Neural Machine Translation
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
神经机器翻译的质量可以通过利用额外的单语资源来创建合成训练数据来提高。源端单语数据可以(正)翻译成目标语言进行自我训练;目标端单语数据可以反向翻译。据广泛报道,反向翻译提供了更好的结果,但这可能是由于测试集中的伪影?我们进行了一个案例研究,使用法语-英语新闻翻译任务和单独的测试集的基础上,他们的原始语言。我们发现,前向翻译提供了优越的收益,在BLEU的句子,原来在源语言,补充以前的研究表明,与回译的句子,原来在目标语言有很大的改善。为了更好地理解前向和反向翻译何时以及为何有效,我们研究了域、语义和噪声的作用。虽然众所周知,人工智能效应会影响机器翻译评估,但我们也发现证据表明,来自不同语言的新闻数据显示出细微的领域差异,这是测试集不同部分表现不同的另一种解释。我们进行了额外的低资源实验,这表明正向翻译比反向翻译对初始翻译系统的质量更敏感,并且在低资源设置中表现更差。
2020-10-03 cs.CL cs.LG stat.ML
On the Use of Metaphor Translation in Psychiatry
Johns Hopkins University(约翰斯·霍普金斯大学)
本文探讨机器翻译在精神病学中翻译隐喻的潜力,以改善对英语水平有限患者的心理健康护理,并呼吁加强相关研究。
2023-12-22 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD(六境私人有限公司);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Beijing Advanced Innovation Center for Language Resources(北京语言资源高精尖创新中心)
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译(NMT)方面简单有效,但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中,我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量,回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明,基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique(认知科学与心理语言学实验室);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);University of Washington(华盛顿大学)
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因,发现词汇、句法相似性不足以解释其成功,而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh(爱丁堡大学);Institute for Language, Cognition, and Computation(语言、认知与计算研究所)
本研究提出区分词汇与句法多样性的框架及新指标,实证发现核采样生成反向翻译性能更优,且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
回译(Back translation,BT)已被广泛应用并成为神经机器翻译(Neural Machine Translation,NMT)中数据增强的标准技术之一,BT已被证明有助于有效提高翻译性能,特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上,但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译(SMT)模型的影响,用于中文到越南语和越南语到中文,基于字符和基于单词的设置。部分地证实了前人工作中的一些结论,并得出了一些有趣的发现和结论,这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Mind Which Bird You Favour: Parameterizing Adequacy-Fluency Balance in Meta-Evaluation of Machine Translation
本文提出一种可调平衡方法,通过重新加权系统控制机器翻译元评估中充分性与流畅性的平衡,并设计优化算法与评分器增强框架,验证了其有效性和内部一致性。
2026-09-15 cs.AI cs.CL cs.LG
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
University of California, Santa Barbara(加州大学圣巴巴拉分校)
对大型平行语料库的过度依赖极大地限制了机器翻译系统对大多数语言对的适用性。在以前的无监督神经机器翻译方法中,主要使用反向翻译,其中生成伪句子对以训练具有重建损失的模型。然而,伪句子通常是低质量的,因为翻译错误在训练过程中积累。为了避免这个根本问题,我们提出了一种替代的,但更有效的方法,提取编辑,提取,然后编辑的目标单语语料库的真实句子。此外,我们还引入了一个比较翻译损失来评估翻译的目标句子,从而训练无监督翻译系统。实验表明,所提出的方法始终优于以前的国家的最先进的无监督机器翻译系统在两个基准(英语-法语和英语-德语)和两个低资源的语言对(英语-罗马尼亚语和英语-俄罗斯)超过2(高达3.63)BLEU点。
2019-04-04 cs.CL
Understanding Back-Translation at Scale
Facebook AI Research(Facebook人工智能研究院);Google Brain(谷歌大脑)
利用单语数据改进神经机器翻译的一种有效方法是用目标语言句子的回译来扩充并行训练语料库。本文的工作拓宽了对回译的理解,并探讨了一些生成合成源句的方法。我们发现,在所有,但资源贫乏的设置后,通过采样或噪声光束输出获得的翻译是最有效的。我们的分析表明,采样或噪声合成数据给出了一个更强的训练信号比波束或贪婪搜索产生的数据。我们还比较了合成数据与真正的双文本的比较,并研究了各种域效应。最后,我们扩展到数亿个单语句子,并在WMT'14英语-德语测试集上达到了35 BLEU的新水平。
2018-10-03 cs.CL
Training and Meta-Evaluating Machine Translation Evaluation Metrics at the Paragraph Level
Google(谷歌)
针对段落级机器翻译自动评估效果不明确的问题,研究提出从现有句子级数据构建段落级评估数据集的方法,实验发现句子级指标与段落级指标的评估效果相当,并分析了背后原因。
2023-08-28 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
多语言神经机器翻译模型(MNMT)在对来自训练时看到的领域和语言对的数据进行评估时,会产生最先进的性能。然而,当MNMT模型用于在域转移下翻译或翻译到新的语言对时,性能急剧下降。我们认为一个非常具有挑战性的情况下:适应MNMT模型,以一个新的领域和一个新的语言对在同一时间。在本文中,我们提出了$m^4Adapter$(多语言多领域自适应机器翻译与元适配器),它结合领域和语言知识,使用元学习与适配器。我们目前的结果表明,我们的方法是一个参数有效的解决方案,有效地适应一个新的语言对和一个新的域的模型,同时优于其他适配器的方法。消融研究还表明,我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi(爱奇艺)
神经机器翻译(NMT)模型通常通过单向解码器进行训练,这对应于优化一步预测。然而,这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题,我们提出了一种新的方法,自知识蒸馏与双向解码器的神经机器翻译(SBD-NMT)。我们部署了一个后向解码器,它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息,提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明,在多个机器翻译数据集上,我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning
Soochow University(苏州大学);Zhejiang University(浙江大学);RoyalFlush AI Research Institute(RoyalFlush AI 研究院)
本文针对NMT对同义多样化输入翻译不稳定问题,提出基于MAML的一致性感知元学习框架CoNMT,通过外层学习一致元表示、内层学习到目标句的映射,在多个翻译任务上验证了其提升翻译质量和可靠性的效果。
2023-09-19 cs.CL
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London(帝国理工学院)
神经机器翻译(NMT)模型在翻译干净的文本时已被证明是强大的,但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对,但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个:第一,我们提出了新的数据增强方法来扩展有限的噪声数据,并进一步提高NMT对噪声的鲁棒性,同时保持模型小。其次,我们探讨了以语音转录的形式利用外部数据中的噪声的效果,并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
The Saturation Point of Backtranslation in High Quality Low Resource English Gujarati Machine Translation
Independent Researcher(独立研究者)
本文使用 MBART50 模型研究高质量低资源英语-古吉拉特语机器翻译中回译的有效性,发现添加过滤后的回译合成数据未能提升翻译性能,反而可能导致饱和或轻微下降,表明回译在此类特定低资源场景中存在边际收益递减。
2025-06-12 cs.AI cs.CL cs.LG
Data Efficient Direct Speech-to-Text Translation with Modality Agnostic Meta-Learning
Samsung Research(三星研究院)
端到端语音翻译(ST)模型具有几个优点,例如较低的延迟、较小的模型大小以及比组合自动语音识别(ASR)和文本机器翻译(MT)模型的常规流水线更少的错误复合。然而,收集大量的并行数据的ST任务是更困难的ASR和MT任务相比。以往的研究提出了使用迁移学习的方法来克服上述困难。这些方法受益于弱监督的训练数据,例如ASR语音到转录本或MT文本到文本翻译对。然而,这些模型中的参数独立于每个任务进行更新,这可能导致次优解决方案。在这项工作中,我们采用Meta学习算法训练一个模态无关的多任务模型,将知识从源任务=ASR+MT转移到目标任务=ST,其中ST任务严重缺乏数据。在元学习阶段,模型的参数暴露于大量的语音转录(例如,英语ASR)和文本翻译(例如,英语-德语MT)。在此阶段,参数以理解语音、文本表示、它们之间的关系的方式更新,并作为目标ST任务的良好初始化点。我们评估建议的元学习方法ST任务的英语-德语(En-De)和英语-法语(En-Fr)的语言对多语言语音翻译语料库(Must-C)。我们的方法优于以前的迁移学习方法,并通过分别获得9.18和11.76的BLEU点改进,为En-De和En-Fr ST任务设置了新的最先进的结果。
2020-04-28 cs.CL cs.LG cs.SD
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Department of Computer Science, George Mason University(乔治梅森大学计算机科学系)
在神经机器翻译(NMT)中,反向翻译被证明是一种有效的利用单语数据的方法,迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要,因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标,已经提出了数据选择和加权策略,通常的做法是选择接近目标域的样本,但也不同于平均的一般域文本。在本文中,我们提供了这种常用的方法的见解,并将其推广到一个动态的课程学习策略,这是适用于迭代回译模型。此外,我们提出了加权策略的基础上,当前的质量的句子和它的改进,在以前的迭代。我们评估我们的模型领域自适应,低资源,高资源MT设置和两种语言对。实验结果表明,我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
Improving Both Domain Robustness and Domain Adaptability in Machine Translation
LMU Munich(慕尼黑大学)
我们考虑两个问题的NMT领域自适应使用元学习。首先,我们希望达到域鲁棒性,即,我们希望在训练数据中可见的域和不可见的域上都达到高质量。第二,我们希望我们的系统是自适应的,即,使得仅用数百个领域内的平行句子就可以微调系统成为可能。在提高模型领域鲁棒性的同时,研究了元学习的领域适应性。在本文中,我们提出了一种新的方法,RMLNMT(鲁棒元学习框架神经机器翻译领域自适应),提高了现有的元学习模型的鲁棒性。更具体地说,我们展示了如何在课程学习中使用域分类器,并将词级域混合模型集成到具有平衡采样策略的元学习框架中。在英语$\rightarrow$德语和英语$\rightarrow$中文翻译上的实验表明,RMLNMT在可见域和不可见域的鲁棒性和域适应性方面都有提高。我们的源代码可在https://github.com/lavine-lmu/RMLNMT上获得。
2022-10-04 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软)
提出两阶段方法EcXTra,通过多语言微调与反向翻译训练单一NMT模型,实现未见语言与英语间的双向无监督翻译,在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算机学院)
当应用于真实数据时,数据选择已经证明了其对于改进神经机器翻译(NMT)的优点。但是,在NMT训练中使用合成数据的好处,由流行的反向翻译技术产生,提出了一个问题,如果数据选择也可以用于合成数据?在这项工作中,我们使用不频繁的N元恢复(INR)和特征衰减算法(FDA),两个转换的数据选择方法,以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram,因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战,因为源端可能包含由反向翻译中使用的模型产生的噪声。因此,找到测试集中存在的n-gram变得更加困难。尽管如此,在我们的工作中,我们表明,适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院);Columbia University(哥伦比亚大学)
当几乎没有并行数据时,反向翻译因其在神经机器翻译中的有效性而广为人知。在这种方法中,源到目标模型与并行训练的目标到源模型耦合。目标到源模型生成噪声源,而源到目标模型被训练以重建目标,反之亦然。多语言预训练序列到序列模型的程序设计语言的最新发展已经非常有效的下游软件工程任务的广泛范围。因此,通过反向翻译来训练他们构建程序设计语言翻译系统是很有吸引力的。然而,这些模型不能通过反向翻译进行进一步训练,因为它们在预训练期间学习以与输入相同的语言输出序列。作为替代方案,我们建议通过代码总结和生成执行反向翻译。在代码摘要中,模型学习生成给定代码片段的自然语言(NL)摘要。在代码生成中,模型学习做相反的事情。因此,反向翻译中的目标到源生成可以被视为目标到NL到源生成。我们表明,我们提出的方法具有竞争力的国家的最先进的方法。我们已经公开了代码。
2023-02-11 cs.CL cs.PL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences(非洲数学科学研究所);Carnegie Mellon University(卡内基梅隆大学)
研究表明,神经机器翻译(NMT)的性能在低资源条件下会急剧下降,通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中,我们提出了一个Tigrinya的案例研究,我们调查了几个回译方法来生成合成源句子。我们发现,在低资源的条件下,回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的,从而大大提高了基线。
2021-04-04 cs.CL
HintedBT: Augmenting Back-Translation with Quality and Transliteration Hints
Google Research(谷歌研究院)
目标单语语料的回译是神经机器翻译中广泛使用的数据增强策略,尤其适用于低资源语言对。为了提高可用BT数据的有效性,我们引入了HintedBT --一种向编码器和解码器提供提示(通过标签)的技术。首先,我们提出了一种新的方法,使用高质量和低质量的BT数据,通过提供提示(作为编码器上的源标签),每个源-目标对的质量模型。我们没有过滤掉低质量的数据,而是表明这些提示使模型能够有效地从噪声数据中学习。其次,我们解决了预测源标记是否需要被翻译或音译为目标语言的问题,这在跨脚本翻译任务中是常见的(即,其中源和目标不共享所编写的脚本)。对于这种情况,我们建议使用额外的提示(作为解码器上的目标标签)来训练模型,这些提示提供了有关源代码所需操作(翻译或翻译和音译)的信息。我们进行实验和详细的分析标准WMT基准三个跨脚本低/中资源的语言对:{印地语,古吉拉特语,泰米尔语}到英语。我们的方法与五个强大而完善的基线相比毫不逊色。我们表明,使用这些提示,无论是单独和一起,显着提高翻译质量,并导致国家的最先进的性能在所有三种语言对在相应的双语设置。
2021-09-09 cs.AI cs.CL cs.LG
Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers
National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文首次对机器翻译进行了大规模的元评估。我们对2010年至2020年发表的769篇研究论文进行了MT评价。我们的研究表明,在过去的十年中,自动MT评估的实践发生了巨大的变化,并遵循有关的趋势。越来越多的MT评估完全依赖于BLEU分数之间的差异来得出结论,而不进行任何统计显著性测试或人工评估,同时至少有108个指标声称比BLEU更好。在最近的论文中,MT评估倾向于复制和比较以前工作中的自动度量分数,以声称方法或算法的优越性,而不确认是否使用了完全相同的训练,验证和测试数据,也没有度量分数是可比的。此外,报告标准化指标分数的工具还远未被机器翻译界广泛采用。在展示了这些陷阱的积累如何导致可疑的评估之后,我们提出了一个指导方针,以鼓励更好的自动MT评估,并提出了一个简单的元评估评分方法来评估其可信度。
2021-06-29 cs.CL
Investigating Backtranslation in Neural Machine Translation
School of Computing, DCU(都柏林城市大学计算学院);ADAPT Centre(ADAPT研究中心)
训练基于语料库的机器翻译(MT)系统(无论是统计MT(SMT)还是神经MT(NMT))的先决条件是高质量并行数据的可用性。这一点在今天比以往任何时候都更加重要,因为许多研究表明NMT的表现优于SMT,但大多数情况下是在大型并行语料库可用的情况下;在数据有限的情况下,SMT仍然可以优于NMT。最近的研究表明,回译单语数据可以用来创建合成的平行语料库,这反过来又可以用于与真实的平行数据相结合,训练一个高质量的NMT系统。由于大量新的并行文本很少可用,因此在构建最先进的NMT系统时,尤其是在资源匮乏的情况下,回译已成为常态。然而,我们断言,有许多未知因素的实际影响,回译数据的翻译能力的NMT模型。因此,在这项工作中,我们研究了如何使用反向翻译的数据作为训练语料库-既作为一个单独的独立数据集,也与人类生成的并行数据相结合-影响NMT模型的性能。我们使用越来越多的回译数据来训练一系列德语到英语的NMT系统,并分析由此产生的翻译性能。
2018-04-17 cs.CL
Meta-Learning and Self-Supervised Pretraining for Real World Image Translation
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT Lincoln Lab(麻省理工学院林肯实验室);MIT CSAIL & BCS(麻省理工学院计算机科学与人工智能实验室及脑与认知科学系);MIT Physics(麻省理工学院物理系)
深度学习的最新进展,特别是在硬件进步和大数据的支持下,在计算机视觉、自然语言或强化学习等广泛的计算问题上提供了令人印象深刻的结果。然而,这些改进中的许多局限于需要大量人力来收集的大规模策展数据集的问题。此外,这些模型在轻微的分布变化和低数据制度下往往概括性很差。近年来,元学习或自监督学习等新兴领域通过将深度学习扩展到半监督和Few-Shot领域,缩小了概念验证结果与机器学习实际应用之间的差距。我们遵循这一工作路线,并在最近引入的图像到图像翻译问题中探索时空结构,以便:i)制定一种新的多任务Few-Shot图像生成基准,ii)在图像翻译下游任务的对比预训练中探索数据增强。我们提出了几个基线的Few-Shot的问题,并讨论不同的方法之间的权衡。我们的代码可在https://github.com/irugina/meta-image-translation上获得。
2021-12-22 cs.CV cs.LG
LIUM Machine Translation Systems for WMT17 News Translation Task
University of Le Mans(勒芒大学)
本文介绍了LIUM提交WMT 17新闻翻译任务的英语-德语,英语-土耳其语,英语-捷克语和英语-拉脱维亚语对。我们使用开源的nmtpy框架,训练基于BPE的专注神经机器翻译系统,有和没有因子输出。竞争分数是通过集成各种系统和利用目标单语语料库的回译的可用性。还分析了英语-土耳其语的回译数量和质量的影响,我们在截止日期后提交的作品超过了最好的作品+1.6 BLEU。
2017-07-14 cs.CL
Span-Level Machine Translation Meta-Evaluation
Sapienza University of Rome(罗马萨皮恩扎大学);Amazon(亚马逊)
本文研究了段级精度、召回率和F值的不同实现,发现看似相似的方法会产生显著不同的排名,某些常用技术不适合评估机器翻译错误检测。提出MPP与微平均相结合的元评估策略,并评估了当前机器翻译错误检测的最新状态。
2026-10-20 cs.AI cs.CL
Combining SMT and NMT Back-Translated Data for Efficient NMT
School of Computing, DCU(都柏林城市大学计算学院);ADAPT Centre(ADAPT中心)
神经机器翻译(NMT)模型在使用大量并行数据进行训练时达到最佳性能。因此,用于扩充训练集的技术最近变得流行。这些方法之一是回译(Sennrich等人,2016年),它包括通过使用机器翻译(MT)模型翻译一组单语目标语言句子来生成合成句子。通常,NMT模型用于回译。在这项工作中,我们分析了模型的性能时,训练数据扩展合成数据使用不同的MT方法。特别是,我们不仅研究了NMT生成的回译数据,还研究了统计机器翻译(SMT)模型及其组合生成的回译数据。结果表明,当训练集增加了通过合并不同MT方法创建的反向翻译数据时,模型达到了最佳性能。
2019-09-09 cs.CL
Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In!
Sapienza University of Rome(罗马第一大学);Babelscape(Babelscape公司)
该研究引入哨兵指标审查WMT元评估框架,发现其偏袒模仿人类评估的指标和连续指标,并指出先进指标可能依赖虚假相关性进行评估。
2024-08-25 cs.AI cs.CL
Backdoor Attack on Multilingual Machine Translation
The University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学);University College London(伦敦大学学院)
本文揭示多语言机器翻译系统面临隐蔽后门攻击风险,实验证明仅向低资源语言对注入不到0.01%中毒数据即可对高资源语言对实现平均20%攻击成功率,呼吁关注低资源语言场景下的翻译安全问题。
2024-04-03 cs.CL
Backtranslation Feedback Improves User Confidence in MT, Not Quality
Charles University(查理大学);University of Edinburgh(爱丁堡大学);University of Sheffield(谢菲尔德大学);University of Wolverhampton(伍尔弗汉普顿大学);University of Tartu(塔尔图大学)
将文本翻译成文本作者不知道的语言,称为出站翻译,是一种现代需求,用户体验有很大的改进空间,超越了基本的机器翻译设施。我们通过展示三种方式来证明这一点,即用户对出站翻译的信心以及其整体最终质量可能会受到影响:向后翻译,质量估计(对齐)和源释义。在本文中,我们描述了从英语到捷克语和爱沙尼亚语的出站翻译实验。我们研究了每个建议的反馈模块的效果,并进一步关注机器翻译系统的质量如何影响这些发现和用户对成功的感知。我们发现,反向翻译反馈对整个过程有着混合的影响:它增加了用户的信心,在生产的翻译,但不是客观质量。
2021-04-12 cs.CL cs.HC
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University(国立台湾大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出去噪反向翻译方法构建无监督级联语音翻译系统,在CoVoST 2和CVSS上取得与早期监督方法相当的结果,并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Generating Diverse Translation by Manipulating Multi-Head Attention
Nanjing University(南京大学)
Transformer模型在机器翻译任务中得到了广泛的应用,并取得了很好的效果。在本文中,我们报告了一个有趣的现象,在其编码器-解码器的多头注意力:不同的注意头的最终解码器层对齐不同的单词翻译候选。我们经验验证了这一发现,并提出了一种方法来产生不同的翻译操纵头。此外,我们利用这些不同的翻译与回译技术更好的数据增强。实验结果表明,我们的方法产生不同的翻译没有严重下降的翻译质量。实验还表明,这些不同的翻译回译可以带来显着的提高翻译任务的性能。会话反应生成任务的辅助实验也证明了多样性的影响。
2019-11-21 cs.CL
CUNI Systems for the WMT22 Czech-Ukrainian Translation Task
Charles University(查理大学)
我们目前查尔斯大学提交给WMT 22通用翻译共享任务捷克-乌克兰和乌克兰-捷克机器翻译。我们提出了两个限制提交的基础上块回翻译和标记回翻译和实验与基于规则的罗马化乌克兰语。我们的研究结果表明,罗马化对翻译质量的影响很小。此外,我们还介绍了Charles Translator,这是一个于2022年3月开发的系统,用于应对从乌克兰到捷克共和国的移民。与我们的受限系统相比,它没有使用罗马化,而是使用了一些专有数据源。
2022-12-01 cs.CL