NTT's Machine Translation Systems for WMT19 Robustness Task
NTT DOCOMO, INC.（NTT都科摩公司）；NTT Communication Science Laboratories, NTT Corporation（NTT集团通信科学实验室）
本文描述了NTT提交的WMT 19鲁棒性任务。此任务主要集中在翻译嘈杂的文本（例如，Twitter上的帖子），这与典型的翻译任务（如新闻）有不同的困难。我们的提交结合了技术，包括利用合成语料库，领域自适应，和占位符机制，这显着改善了以前的基线。实验结果表明，占位符机制，临时取代非标准的令牌，包括表情符号和表情符号与特殊的占位符令牌在翻译过程中，提高翻译的准确性，即使与嘈杂的文本。
2019-07-09 cs.CL
Domain Robustness in Neural Machine Translation
University of Zurich（苏黎世大学）
翻译偏离训练域的文本是机器翻译的一个关键挑战。域鲁棒性-模型对未知测试域的推广-对于统计（SMT）和神经机器翻译（NMT）都很低。在本文中，我们研究了SMT和NMT模型在域外测试集上的性能。我们发现，在未知的领域，SMT和NMT遭受非常不同的问题：SMT系统大多是足够的，但不流畅，而NMT系统大多是流畅的，但不充分。对于NMT，我们将这种幻觉（流畅但与源无关的翻译）确定为域鲁棒性低的关键原因。为了缓解这个问题，我们经验比较的方法，据报道，以提高充分性或在域的鲁棒性方面的有效性，提高域的鲁棒性。在德语到英语OPUS数据的实验中，以及德语到罗曼什语（低资源设置）的实验中，我们发现有几种方法可以提高域鲁棒性。虽然这些方法确实会导致更高的BLEU分数，但与SMT相比，它们只能略微提高翻译的充分性。
2020-09-24 cs.CL
Naver Labs Europe's Systems for the WMT19 Machine Translation Robustness Task
Naver Labs Europe（Naver欧洲实验室）
本文描述了我们提交给WMT 19机器翻译鲁棒性任务的系统。这项任务旨在提高机器翻译对社交媒体上的噪音的鲁棒性，如非正式语言，拼写错误和其他拼写变化。组织者提供从社交媒体网站提取的两种语言对的平行数据：法语-英语和日语-英语（两个翻译方向）。其目标是根据自动度量（BLEU）和人工评估，从同一来源的未知测试集上获得最佳分数。我们提出了一个单一的和一个集成系统的每个翻译方向。根据BLEU评估，我们的集成模型在所有语言对中排名第一。我们讨论了我们所做的预处理选择，并提出了我们的解决方案，对噪声和领域自适应的鲁棒性。
2019-07-15 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe（Naver欧洲实验室）
我们分享了Foursquare餐厅评论的法语-英语平行语料库（https：//europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews），并定义了一个新的任务，以鼓励对神经机器翻译鲁棒性和领域自适应的研究，在现实世界中，更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战，并训练良好的基线模型，建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估（自动和人工），显示了对现有在线系统的显着改进。最后，我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
An Empirical Study on the Robustness of Massively Multilingual Neural Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本研究针对印尼语-汉语翻译的鲁棒性展开实证研究，构建了对应评估基准数据集，借助不同规模NLLB-200模型测试并结合自动与人工评估，揭示了噪声与错误的关联及评估指标的关系，公开了数据集。
2024-05-13 cs.CL
Robustness Tests for Automatic Machine Translation Metrics with Adversarial Attacks
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Melbourne（墨尔本大学）
本文通过词级和字符级对抗攻击测试BERTScore、BLEURT和COMET三种机器翻译指标的鲁棒性，发现自动指标过度惩罚对抗退化翻译且BERTScore评分存在不一致性，为开发更鲁棒的指标提供了依据。
2023-11-01 cs.CL
Noisy UGC Translation at the Character Level: Revisiting Open-Vocabulary Capabilities and Robustness of Char-Based Models
CNRS（法国国家科学研究中心）；LISN（计算机科学实验室）；Université Paris-Saclay（巴黎萨克雷大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Université de Paris（巴黎大学）；LLF（形式语言学实验室）
这项工作探讨了基于字符的神经机器翻译翻译嘈杂的用户生成内容（UGC）的能力，重点是探索这种方法在处理富有成效的UGC现象方面的局限性，根据定义，这种现象在训练时几乎看不到。在严格的zero-shot场景中，我们首先研究了我们开发的小型注释数据集上各种用户生成内容现象对翻译性能的不利影响，然后表明这种模型确实无法处理未知字母，一旦遇到此类字符，就会导致灾难性的翻译失败。我们通过一个简单但有见地的复制任务实验进一步证实了这一行为，并强调了减少词汇量超参数以提高机器翻译基于字符模型的鲁棒性的重要性。
2021-10-24 cs.CL
Improving Robustness in Real-World Neural Machine Translation Engines
Iconic Translation Machines Ltd.（Iconic翻译机器有限公司）
作为机器翻译的商业提供商，我们不断为各种用途、语言和内容类型培训引擎。在每种情况下，可能存在许多变量，例如可用的训练数据的量以及最终用户的质量要求。这些变量可能会影响神经MT引擎的鲁棒性。总的来说，神经机器翻译治愈了其他机器翻译范式的许多弊病，但同时，它也带来了一系列新的挑战。在本文中，我们描述了实用NMT的一些具体问题以及我们在现实场景中提高模型鲁棒性所采取的方法。
2019-07-02 cs.CL
Improving Both Domain Robustness and Domain Adaptability in Machine Translation
LMU Munich（慕尼黑大学）
我们考虑两个问题的NMT领域自适应使用元学习。首先，我们希望达到域鲁棒性，即，我们希望在训练数据中可见的域和不可见的域上都达到高质量。第二，我们希望我们的系统是自适应的，即，使得仅用数百个领域内的平行句子就可以微调系统成为可能。在提高模型领域鲁棒性的同时，研究了元学习的领域适应性。在本文中，我们提出了一种新的方法，RMLNMT（鲁棒元学习框架神经机器翻译领域自适应），提高了现有的元学习模型的鲁棒性。更具体地说，我们展示了如何在课程学习中使用域分类器，并将词级域混合模型集成到具有平衡采样策略的元学习框架中。在英语$\rightarrow$德语和英语$\rightarrow$中文翻译上的实验表明，RMLNMT在可见域和不可见域的鲁棒性和域适应性方面都有提高。我们的源代码可在https://github.com/lavine-lmu/RMLNMT上获得。
2022-10-04 cs.CL
Progressive Translation: Improving Domain Robustness of Neural Machine Translation with Intermediate Sequences
The Chinese University of Hong Kong（香港中文大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
本文提出利用“类源”到“类目标”的中间序列作为监督信号，结合全排列多任务学习和最小贝叶斯风险解码，有效提升了神经机器翻译的领域鲁棒性，减少了领域外翻译的幻觉，在低资源场景下尤为有效。
2023-05-16 cs.CL
Robust Machine Translation with Domain Sensitive Pseudo-Sources: Baidu-OSU WMT19 MT Robustness Shared Task System Report
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
本文介绍了百度研究院与美国俄勒冈州立大学为WMT 2019机器翻译鲁棒性共享任务联合开发的机器翻译系统。社交媒体的翻译是一个非常具有挑战性的问题，因为它的风格与正常的平行语料库（例如新闻）非常不同，并且还包括各种类型的噪音。更糟糕的是，社交媒体平行语料库的数量极其有限。在本文中，我们使用了一种领域敏感的训练方法，该方法利用了来自流行领域的大量并行数据以及来自社交媒体的少量并行数据。此外，我们生成了一个并行数据集与伪噪声源句子，这些句子是使用类似的领域敏感的方式训练的模型从单语数据回译。与基线方法相比，我们在En-Fr和Fr-En翻译中实现了超过10的BLEU改进。
2019-06-22 cs.CL
Improving Robustness of Retrieval Augmented Translation via Shuffling of Suggestions
AWS AI Labs（亚马逊云科技人工智能实验室）
最近的几项研究报告称，通过在推理时使用从翻译记忆（TM）检索的模糊匹配来增强翻译，神经机器翻译（NMT）的性能得到了显着提高。然而，这些研究都是在假设测试时可用的TM与测试集高度相关的前提下进行的。我们证明，对于现有的检索增强翻译方法，使用TM与域不匹配的测试集可以导致大幅下降的性能相比，根本不使用TM。我们提出了一种简单的方法，在训练过程中暴露模糊匹配NMT系统，并表明它会导致一个系统，这是更宽容（恢复高达5.8 BLEU）与域不匹配的TM推理。此外，当从相关TM获得建议时，该模型仍然与基线具有竞争力。
2022-10-11 cs.CL
Machine Translation Robustness to Natural Asemantic Variation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Amazon（亚马逊）
当前的机器翻译（MT）模型仍然难以处理更具挑战性的输入，例如噪声数据和尾端单词和短语。一些工作已经解决了这个鲁棒性问题，通过识别特定类别的噪声和变化，然后调整模型，以更好地执行它们。一个重要但研究不足的类别涉及细微差别（非错别字）的微小变化，这些变化保留了w.r.t.的含义。目标语言。我们介绍和形式化这一类的自然Asemantic变化（NAV），并调查它的MT鲁棒性的背景下。我们发现，现有的MT模型失败时，与NAV数据，但我们展示的策略，以提高性能的NAV微调与人类产生的变化。我们还表明，NAV的鲁棒性可以跨语言转移，并发现合成扰动可以实现一些，但不是所有的好处，有机NAV数据。
2022-11-09 cs.CL
Robust Neural Machine Translation with Doubly Adversarial Inputs
Google AI（谷歌人工智能）
神经机器翻译（NMT）经常遭受输入中的噪声扰动的脆弱性。本文提出了一种提高NMT模型鲁棒性的方法，该方法包括两部分：（1）利用对抗源样本攻击翻译模型;（2）用对抗性目标输入来保护翻译模型以提高其对对抗性源输入的鲁棒性。对于对抗性输入的生成，我们提出了一种基于梯度的方法来制作对抗性的例子，这些例子通过在干净输入上的翻译损失来通知。德语翻译任务表明，我们的方法实现了显着的改进（$2.8$和$1.6$ BLEU点）超过Transformer在标准的清洁基准，以及表现出更高的鲁棒性噪声数据。
2019-06-06 cs.CL
Improving the Robustness of Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Sogou Inc.（搜狗公司）；Tsinghua University（清华大学）；Huawei Noah’s Ark Lab, Huawei Technologies（华为技术有限公司华为诺亚方舟实验室）
虽然神经机器翻译（NMT）近年来取得了令人瞩目的进展，但它通常是在干净的并行数据集上训练的，因此当输入句子是自动语音识别（ASR）系统的产物时，由于源中的巨大错误，它不能很好地工作。为了解决这个问题，我们提出了一个简单而有效的方法来提高NMT的鲁棒性的情况下，语音翻译。我们模拟了ASR系统真实输出中存在的噪声，并将其注入到干净的并行数据中，以便NMT在训练和测试过程中能够在相似的单词分布下工作。此外，我们还加入了语音翻译中容易获得的汉语拼音特征，以进一步提高翻译性能。实验结果表明，该方法具有更稳定的性能，在多个噪声测试集上的平均性能比基线提高了3.12 BLEU，在WMT'17汉英测试集上的泛化性能也得到了提高。
2018-11-02 cs.CL
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering（印度语言技术计算（CFILT）部门计算机科学与工程系）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）
本研究通过英语到马拉雅尔语的翻译任务，评估并改进NMT系统在处理标点歧义时的鲁棒性，提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
Robustness of Multi-Source MT to Transcription Errors
Charles University（查理大学）；Institute of Formal Applied Linguistics（形式应用语言学研究所）；National Institute of Information Communications Technology（国立信息通信技术研究所）
本文研究多源神经机器翻译对语音识别错误的鲁棒性，通过在ESIC语料库上验证英语、德语等多源信息的错误独立性，并在同声翻译场景中证明多源方法能提升翻译质量，为实时同声翻译提供了新思路。
2023-05-26 cs.CL
Sometimes We Want Translationese
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
神经机器翻译（NMT）系统在过去几年中的快速发展主要是为了提高翻译质量，其次是提高对输入扰动（例如拼写和语法错误）的鲁棒性。虽然性能和鲁棒性是重要的目标，但过度关注这些目标，我们可能会忽视其他重要属性。在本文中，我们提请注意这样一个事实，即对于某些应用程序，忠实于原始（输入）文本是很重要的，以保持，即使这意味着在（输出）翻译中引入不寻常的语言模式。我们提出了一种简单，新颖的方法来量化NMT系统是否具有鲁棒性和忠实性，重点是词序扰动的情况下。我们探索了一套函数来扰乱源句子的词序，而不删除或注入标记，并在鲁棒性和忠实性方面衡量对目标方的影响。在几个实验条件下，我们观察到一个强大的趋势，而不是忠实的鲁棒性。这些结果使我们能够更好地理解NMT中的忠实性和鲁棒性之间的权衡，并开辟了开发系统的可能性，在这些系统中，用户在选择最适合其用例的属性时具有更多的自主权和控制权。
2021-04-15 cs.CL
Robust Neural Machine Translation with Joint Textual and Phonetic Embedding
Baidu Research（百度研究院）；Baidu, Inc.（百度公司）；Oregon State University（俄勒冈州立大学）
神经机器翻译（NMT）对噪声非常敏感，但实际应用中噪声几乎是不可避免的。一种特殊的噪声是同音字噪声，其中单词被具有相似发音的其他单词替换。我们建议通过1）联合嵌入源句子的文本和语音信息，以及2）用同音字噪声来增强训练数据集，来提高NMT对同音字噪声的鲁棒性。有趣的是，为了实现更好的翻译质量和更强的鲁棒性，我们发现大多数（尽管不是全部）权重应该放在语音信息上，而不是文本信息上。实验结果表明，该方法不仅显著提高了NMT对同音字噪声的鲁棒性，而且在一些干净的测试集上的翻译质量也有了惊人的提高。
2019-06-03 cs.CL
Findings of the First Shared Task on Machine Translation Robustness
Facebook AI（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；MIT（麻省理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）；Google AI（谷歌人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们分享了第一个共享任务的发现，即提高机器翻译（MT）的鲁棒性。该任务提供了一个测试平台，代表了现实世界中部署的MT模型所面临的挑战，并促进了改进模型的新方法;对噪声输入和域失配的鲁棒性。我们专注于两种语言对（英语-法语和英语-日语），提交的系统在盲测集上进行评估，盲测集由Reddit上的嘈杂评论和专业翻译组成。作为一项新任务，我们收到了来自大学、公司、国家实验室等11个参与团队的23份提交，所有提交的系统都比基线有了很大的改进，最好的改进是+22.33 BLEU。我们通过人工判断和自动评估（BLEU）评估了提交的内容，显示出高度相关性（Pearson r = 0.94和0.95）。此外，我们使用compare-mt对提交的系统进行了定性分析，揭示了它们在处理这项任务中的挑战方面的显着差异。当人类判断和BLEU之间偶尔存在分歧时，这种分析提供了额外的见解，例如，更好地产生口语表达的系统从人类判断中获得更高的分数。
2019-07-03 cs.CL
PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents
Tohoku University（东北大学）；RIKEN（日本科学技术研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出PheMT数据集，用于评估机器翻译系统在日英翻译中对特定语言现象的鲁棒性，实验表明现有模型和商用系统均受特定现象影响。
2020-11-04 cs.CL
Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation
Imperial College London（伦敦帝国学院）；University of Sheffield（谢菲尔德大学）；Dublin City University（都柏林城市大学）
本文通过探讨两个主要概念来解决同步机器翻译（SiMT）的问题：（a）自适应策略，以学习高翻译质量和低延迟之间的良好权衡;（b）视觉信息，通过提供额外的（视觉）上下文信息来支持这一过程，这些信息可能在文本输入产生之前就可用。为此，我们提出了一个多模态的方法，同时机器翻译使用强化学习，与策略，以整合视觉和文本信息的代理和环境。我们提供了不同类型的视觉信息和集成策略如何影响同声翻译模型的质量和延迟的探索，并证明视觉线索导致更高的质量，同时保持低延迟。
2021-02-22 cs.CL
Benchmarking Machine Translation on Chinese Social Media Texts
The University of Tokyo（东京大学）；Xiaohongshu Inc.（小红书公司）
本文提出CSM-MTBench，用于评估机器翻译在中文社交媒体文本上的表现，涵盖五个语言方向，并针对不同内容类型设计了定制化评估方法。
2026-09-04 cs.CL
Acquiring Annotated Data with Cross-lingual Explicitation for Implicit Discourse Relation Classification
Saarland University（萨尔大学）
隐性语篇关系分类是语篇分析中最具挑战性和重要性的任务之一，因为缺乏连接词作为强有力的语言线索。进一步改进的一个主要瓶颈是训练数据的短缺（约~ PDTB中的16 k实例）。Shi et al.（2017）提出通过利用翻译中的连接词来获取额外的数据：人类翻译者在翻译中明确地标记源语言中隐含的话语关系。使用这种显式连接词的回译提高了话语关系分析的性能。本文讨论了翻译语言的选择是否重要，以及是否可以有效地使用多种翻译成不同的语言来提高附加数据的质量。
2019-04-15 cs.CL
Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
无监督神经机器翻译（UNMT）最近引起了机器翻译界的极大兴趣。UNMT的主要优势在于它可以轻松地收集所需的大型训练文本句子，而性能仅略差于监督神经机器翻译，后者在某些翻译任务中需要昂贵的注释翻译对。在大多数研究中，UMNT是用干净的数据训练的，而没有考虑它对噪声数据的鲁棒性。然而，在现实世界的场景中，通常存在噪声在收集的输入句子，这降低了翻译系统的性能，因为UNMT是敏感的输入句子的小扰动。在本文中，我们第一次明确地考虑到噪声数据，以提高基于UNMT系统的鲁棒性。首先，我们在训练句子中明确定义了两种类型的噪音，即，词噪声和词序噪声，并实证研究其在UNMT中的影响，然后我们提出了在UNMT中具有去噪过程的对抗训练方法。几个语言对的实验结果表明，我们提出的方法大大提高了传统的UNMT系统在嘈杂的情况下的鲁棒性。
2020-12-03 cs.CL
Improving Robustness of Machine Translation with Synthetic Noise
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
现代机器翻译（MT）系统在干净的域内文本上表现一贯良好。然而，大多数人类生成的文本，特别是在社交媒体领域，充满了错别字，俚语，方言，习语和其他噪音，这可能对输出翻译的准确性产生灾难性的影响。在本文中，我们利用机器翻译的噪声文本（MTNT）数据集，以提高机器翻译系统的鲁棒性，通过模仿自然发生的噪音，否则干净的数据。以这种方式合成噪声，我们最终能够使普通MT系统对自然发生的噪声有弹性，并部分减轻由此导致的准确性损失。
2019-04-10 cs.CL cs.LG
On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation
The Hebrew University of Jerusalem（希伯来大学）
我们提出了一种方法，探讨句子结构是如何反映在神经表征的机器翻译系统。我们展示了我们的模型不可知的方法与Transformer英-德翻译模型。我们分析了神经元水平的相关性之间的激活释义，同时讨论了方法的挑战和需要混淆分析，以隔离浅线索的影响。我们发现，激活模式之间的相似性，主要可以占相似的词的选择和句子长度。接下来，我们操纵神经元激活来控制输出的句法形式。我们证明这种干预是成功的，表明深层模型捕捉到了神经元结构的差异，尽管在神经元水平上没有发现这种迹象。为了进行我们的实验，我们开发了一种半自动的方法来生成保持意义的最小对释义（主动-被动语态和状语从句-名词短语），并编译这样的对语料库。
2022-11-02 cs.CL
Towards Robust Neural Machine Translation
Tencent AI Lab（腾讯AI实验室）；State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
输入中的小扰动会严重扭曲中间表示，从而影响神经机器翻译（NMT）模型的翻译质量。在本文中，我们提出了提高NMT模型的鲁棒性对抗稳定性训练。其基本思想是使NMT模型中的编码器和解码器对输入扰动具有鲁棒性，使它们对原始输入和受扰动的对应物具有相似的行为。在汉英、英德和英法翻译任务上的实验结果表明，该方法不仅能显著提高NMT系统的性能，而且能提高NMT模型的鲁棒性。
2018-05-16 cs.CL
BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training
Nanjing University（南京大学）；ByteDance（字节跳动）
本文通过最小风险训练系统分析主流自动评估指标，发现BLEURT和BARTScore存在通用对抗翻译等鲁棒性缺陷，归因于训练数据分布偏差和指标范式倾向，并提出词元级约束以增强指标鲁棒性并提升机器翻译性能。
2023-07-10 cs.CL
PAEG: Phrase-level Adversarial Example Generation for Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
虽然端到端神经机器翻译（NMT）已经取得了令人印象深刻的进展，但噪声输入通常会导致模型变得脆弱和不稳定。生成对抗性示例作为增强数据已被证明有助于缓解这个问题。现有的对抗性示例生成方法都是基于词或字符的，忽略了普遍存在的短语结构。在本文中，我们提出了一个短语级对抗性示例生成（PAEG）框架，以提高翻译模型的鲁棒性。我们的方法通过采用短语级替换策略进一步改进了基于梯度的词级AEG方法。我们验证了我们的方法在三个基准，包括LDC中文-英文，IWSLT 14德语-英语，和WMT 14英语-德语的任务。实验结果表明，我们的方法显着提高翻译性能和鲁棒性噪声相比，以前的强基线。
2022-10-24 cs.CL
Why don't people use character-level machine translation?
Faculty of Mathematics and Physics, Charles Univeristy（查理大学数学与物理学院）；Center for Information and Speech Processing, LMU Munich（慕尼黑大学信息与语音处理中心）
我们提出了一个文献和实证调查，批判性地评估了机器翻译（MT）的字符级建模的艺术状态。尽管文献中有证据表明字符级系统与子字系统相当，但它们实际上从未在WMT比赛中用于竞争性设置。我们的经验表明，即使最近在字符级自然语言处理的建模创新，字符级MT系统仍然难以匹配他们的子字为基础的同行。尽管经常被激励，但更高级别的MT系统既没有表现出更好的域鲁棒性，也没有表现出更好的形态学泛化。然而，我们能够显示出对源侧噪声的鲁棒性，并且在解码时，翻译质量不会随着波束大小的增加而降低。
2022-04-27 cs.CL
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research（谷歌研究院）
神经机器翻译（NMT）模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能，但它们对包括各种类型错误的输入仍然敏感。具体而言，在长形式语音翻译系统的上下文中，其中输入转录来自自动语音识别（ASR），NMT模型必须处理包括音素替换、语法结构和句子边界的错误，所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析，我们表明，句子边界分割质量的影响最大，我们开发了一个简单的数据增强策略，以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
Who Watches the Watchmen? Humans Disagree With Translation Metrics on Unseen Domains
University of Göttingen（哥廷根大学）
本文通过跨领域误差跨度标注数据集分析，发现自动度量在领域转移下表现稳健，但需考虑人类标注变异，建议比较度量与人类一致性和标注者间一致性。
2026-04-21 cs.CL
Training on Synthetic Noise Improves Robustness to Natural Noise in Machine Translation
Facebook Artificial Intelligence Research（脸书人工智能研究院）
我们考虑的问题，使机器翻译更强大的字符水平的变化在源端，如错别字。现有的方法通过应用子字模型如字节对编码（BPE）和字符级编码器来实现更大的覆盖率，但是这些方法对拼写错误高度敏感。我们展示了如何在少量随机合成噪声上进行训练，可以显着提高对这些变化的鲁棒性，而不会降低对干净文本的性能。我们专注于自然噪声的翻译性能，如维基百科编辑日志中的频繁更正所捕获的那样，并表明在训练时使用简单合成噪声的均衡饮食可以实现对这种噪声的鲁棒性，而无需访问自然噪声数据或分布。
2019-02-05 cs.CL cs.LG stat.ML
Multilingual LLM Prompting Strategies for Medical English-Vietnamese Machine Translation
本研究在MedEV数据集上系统评估了六种多语言大语言模型（0.5B-9B参数）的提示策略，发现模型规模是性能主因，术语感知提示和嵌入检索能提升医学英越翻译质量。
2025-10-23 cs.CL
Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms
School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典）；Instituto de Telecomunicações（电信研究所）；Department of Social Policy, Panteion University of Social and Political Sciences（社会政策系，帕内翁社会与政治科学大学）
本文提出基于概率的指标GRAPE和基准数据集GAMBIT，用于量化机器翻译系统在处理性别模糊职业术语时的系统性性别偏见，并评估其在希腊语和法语中的表现。
2025-09-22 cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur（国家理工学院（哈姆普尔））；Anu（阿努）
针对现有评测多用英语源句或性别中立句的问题，本文构建两套印地语性别特定句集，自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术高等学院）；Unbabel
本文首次系统研究机器翻译质量评估（QE）指标的性别偏见，发现其在性别未披露时偏向阳性屈折、惩罚中性表达，并在上下文消歧和下游数据过滤与解码中产生不利影响，呼吁开发以性别为中心的QE指标。
2025-06-02 cs.CL
Robust Open-Vocabulary Translation from Visual Text Representations
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
机器翻译模型具有离散的词汇表，并且通常使用子词切分技术来实现“开放词汇表”。“这种方法依赖于一致且正确的底层unicode序列，并使模型容易受到常见类型的噪音和变化的影响。出于人类语言处理的鲁棒性，我们提出了使用视觉文本表示，它免除了一组有限的文本嵌入有利于连续的词汇表通过处理视觉呈现的文本与滑动窗口。我们表明，使用视觉文本表示的模型在小型和大型数据集上接近或匹配传统文本模型的性能。更重要的是，具有视觉嵌入的模型对各种类型的噪声表现出显著的鲁棒性，例如，25.9 BLEU在字符排列的德语-英语任务中，子词模型降级为1.9。
2021-12-09 cs.CL
Lost In Translation: Generating Adversarial Examples Robust to Round-Trip Translation
RV College of Engineering（RV工程学院）；IBM Research（IBM研究院）
该研究针对文本对抗样本经往返翻译后失效的问题，全面验证了6种主流文本对抗攻击的跨翻译鲁棒性不足，提出将机器翻译融入生成过程的干预方案提升鲁棒性，为多语言语言模型缺陷识别与对抗攻击研究提供参考。
2023-07-24 cs.CL cs.LG
Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
通过释放意义保持限制，为神经机器翻译（NMT）生成具有单个往返翻译（RTT）的对抗性示例已经取得了令人鼓舞的结果。然而，这种方法的一个潜在陷阱是，我们无法决定生成的示例是与目标NMT模型还是辅助后向模型对抗，因为通过RTT的重建误差可能与两者都有关。为了解决这个问题，我们提出了一个新的标准NMT对抗性的例子的基础上双往返翻译（DRTT）。具体来说，除了源-目标-源RTT之外，我们还考虑了目标-源-目标RTT，它用于为目标NMT模型挑选真实的对抗性示例。此外，为了提高NMT模型的鲁棒性，我们引入了基于DRTT的掩蔽语言模型来构造双语对抗对，并直接用于NMT模型的训练。在干净和有噪声的测试集（包括人工噪声和自然噪声）上的大量实验表明，该方法大大提高了NMT模型的鲁棒性。
2022-04-19 cs.CL
Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
University of Potsdam（波茨坦大学）
本研究探讨极低资源下多语言神经机器翻译的跨语言知识迁移，通过顺序迁移学习提升性能，并利用 TX-Ray 分析剪枝对鲁棒性与泛化的影响。
2024-12-18 cs.AI cs.CL
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
On Adversarial Examples for Character-Level Neural Machine Translation
University of Oregon（俄勒冈大学）
对抗性样本的评估已经成为衡量深度学习模型鲁棒性的标准程序。由于为离散文本输入创建白盒对抗示例的困难，大多数对NLP模型鲁棒性的分析都是通过黑盒对抗示例完成的。我们研究了字符级神经机器翻译（NMT）的对抗性示例，并将黑盒对手与一种新的白盒对手进行了对比，该白盒对手采用可区分的字符串编辑操作来对对抗性变化进行排名。我们提出了两种新的攻击类型，旨在删除或更改翻译中的单词，而不是简单地破坏NMT。我们证明，在不同的攻击场景中，白盒对抗性示例明显强于黑盒对抗性示例，这些攻击场景显示出比以前已知的更严重的漏洞。此外，在进行对抗性训练后，只需要比常规训练长3倍的时间，我们可以显着提高模型的鲁棒性。
2018-06-23 cs.AI cs.CL
Doubly-Trained Adversarial Data Augmentation for Neural Machine Translation
Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
神经机器翻译（NMT）模型受到噪声输入的影响。为了使模型鲁棒，我们生成对抗性增强样本，攻击模型，同时保留源端语义。为了生成这样的样本，我们提出了一种双重训练的架构，该架构将两个具有相反翻译方向的NMT模型与联合损失函数配对，该联合损失函数结合了目标端攻击和源端语义相似性约束。我们在三种不同语言对和两种评估指标上的实验结果表明，这些对抗性样本提高了模型的鲁棒性。
2021-10-12 cs.CL
Neural Machine Translation for Coptic-French: Strategies for Low-Resource Ancient Languages
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Université Laval（拉瓦尔大学）
本文系统研究了科普特语到法语翻译策略，评估了中介翻译与直接翻译、预训练影响、多版本微调效益及模型对噪声的鲁棒性，证明了使用风格多样且噪声敏感的训练语料能显著提升翻译质量。
2025-08-14 cs.CL
Neural Machine Translation of Text from Non-Native Speakers
University of Notre Dame（圣母大学）
神经机器翻译（NMT）系统在面对噪声数据时会降级，特别是当系统仅在干净数据上训练时。在本文中，我们表明，增加训练数据的句子包含人工引入的语法错误，可以使系统更强大的错误。结合自动语法错误纠正系统，我们可以恢复1.5 BLEU出2.4 BLEU由于语法错误丢失。我们还提出了一套西班牙语翻译的JFLEG语法纠错语料库，它允许测试NMT鲁棒性真正的语法错误。
2019-03-11 cs.CL
Assessing the Tolerance of Neural Machine Translation Systems Against Speech Recognition Errors
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Interactions, LLC（Interactions有限责任公司）
机器翻译系统传统上是在不对口语中发生的现象进行建模的文本资源上训练的。虽然在文献中积极研究了神经机器翻译系统对文本输入的评估，但很少发现使用神经模型翻译口语数据的复杂性。我们介绍和激励有趣的问题时，考虑到神经机器翻译（NMT）系统的自动语音识别（ASR）输出的翻译。我们测试了NMT编码器-解码器建模的句子编码方法的鲁棒性，重点是基于单词的字节对编码。我们将最先进的NMT编码器-解码器系统中包含ASR错误的话语的翻译与基于短语的机器翻译基线进行比较，以便更好地理解ASR输出中存在的哪些现象在NMT框架下比将翻译表示为线性模型的方法更好地表示。
2019-04-24 cs.CL
Adversarial Subword Regularization for Robust Neural Machine Translation
Korea University（高丽大学）
将不同的子词切分暴露给神经机器翻译（NMT）模型通常提高了机器翻译的鲁棒性，因为NMT模型可以经历各种候选子词。然而，子词切分的多样化主要依赖于预训练的子词语言模型，从该预训练的子词语言模型中，不太可能对未看见的词的错误切分进行采样。在本文中，我们提出了对抗子词正则化（ADVSR），以研究在训练过程中的梯度信号是否可以作为一个替代标准，暴露不同的子词切分。我们的实验表明，我们基于模型的对抗样本有效地鼓励NMT模型对分割错误不太敏感，并提高了NMT模型在低资源和域外数据集中的性能。
2020-10-08 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam（阿姆斯特丹大学）
本研究针对文档级翻译中需句外上下文的词汇翻译问题，通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力，发现其文档翻译性能提升未体现在代词翻译上，强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT
Meta AI.（Meta AI）
本文提出一种基于对齐的级联流式机器翻译方法，通过利用ASR语言线索和束搜索剪枝技术，在端侧实时语音翻译中有效平衡质量与延迟，缩小了与非流式系统的差距。
2025-08-18 cs.AI cs.CL
Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
提出Epi-Curriculum方法，结合情节训练框架与去噪课程学习，提升神经机器翻译在低资源领域适应中的鲁棒性与适应性，实验验证其在英德、英罗翻译上的有效性。
2023-09-06 cs.CL cs.LG
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
University of Maryland, College Park（马里兰大学学院公园分校）
通过跨语言问答框架研究用户对语音翻译系统的心理模型，发现用户通过实践和源语言知识能更好地预测系统错误，且提供语音转录有助于改善心理模型。
2026-06-24 cs.CL cs.HC
Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation
Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
神经机器翻译（NMT）目前表现出诸如产生太短的翻译和过度生成频繁词的偏差，并且对训练数据中的复制噪声或域移位表现出较差的鲁棒性。最近的工作将这些缺点与束搜索（NMT中的事实标准推理算法）联系在一起，Eikema & Aziz（2020）提出对无偏样本使用最小贝叶斯风险（MBR）解码。在本文中，我们经验性地研究了MBR解码的一些先前报道的偏见和失败的情况下，束搜索的属性。我们发现，MBR仍然表现出的长度和令牌的频率偏差，由于MT度量作为效用函数，但MBR也增加了对复制噪声的鲁棒性在训练数据和域移位。
2021-05-18 cs.CL cs.LG
