AdvAug: Robust Adversarial Augmentation for Neural Machine Translation
Google Research（谷歌研究院）
在本文中，我们提出了一种新的对抗增强方法的神经机器翻译（NMT）。其主要思想是最小化从两个邻近分布中采样的虚拟句子的邻近风险，其中关键的一个是用于对抗性句子的新颖邻近分布，该邻近分布描述了以观察到的训练句子对为中心的平滑内插嵌入空间。然后，我们讨论了我们的方法，AdvAug，训练NMT模型使用序列到序列学习中的虚拟句子的嵌入。在中英、英法和英德翻译基准测试上的实验表明，AdvAug在Transformer上实现了显著的改进（高达4.9个BLEU点），并且在不使用额外语料的情况下，大大优于其他数据增强技术（例如回译）。
2020-07-03 cs.CL
Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021
NTT Corporation（日本电信电话株式会社）
本文介绍了我们的系统，提交给限制翻译任务在WAT 2021。在这个任务中，系统需要输出包含所有给定单词约束的翻译句子。我们的系统结合了输入增强和约束束搜索算法。通过实验，我们发现，这种组合显着提高翻译精度，并可以节省推理时间，同时包含所有的约束在输出中。对于En->Ja和Ja->En，我们的系统在自动评估中获得了最好的评估性能。
2021-06-10 cs.CL
Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution
University of Notre Dame（圣母大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们研究了拼接背后的驱动因素，这是一种简单但有效的低资源神经机器翻译数据增强方法。我们的实验表明，话语语境不太可能是四种语言对的BLEU提高约+1的原因。相反，我们证明，改善来自其他三个因素无关的话语：上下文的多样性，长度的多样性，（在较小程度上）的位置转移。
2021-07-02 cs.CL
Zero-pronoun Data Augmentation for Japanese-to-English Translation
The University of Tokyo（东京大学）
对于日语到英语的翻译，日语中的零代词构成了一个挑战，因为模型需要在英语句子的目标侧推断并产生相应的代词。然而，尽管零代词的完全解析往往需要话语语境，但在某些情况下，句子中的局部语境为零代词的推断提供了线索。在这项研究中，我们提出了一种数据增强方法，为翻译模型提供额外的训练信号，以学习本地上下文和零代词之间的相关性。通过会话领域的机器翻译实验，我们证明了该方法显著提高了零代词翻译的准确性。
2021-07-01 cs.CL
Deterministic Reversible Data Augmentation for Neural Machine Translation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
针对增强数据语义不一致问题，本文提出DRDA，利用确定性分词、可逆操作和多视图学习生成多粒度子词表示，在无需额外语料或改模的情况下显著提升翻译性能与鲁棒性。
2025-02-20 cs.CL
From Scarcity to Efficiency: Investigating the Effects of Data Augmentation on African Machine Translation
ML Collective（ML集体）
针对低资源非洲语言机器翻译，本文评估结合回译的句子拼接与 switch-out 两种数据增强方法，在六种语言上使 BLEU 至少提升 25%。
2025-10-18 cs.CL
SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
在这项工作中，我们研究了基于文本的任务，如神经机器翻译（NMT）的数据增强方法。我们制定了一个数据增强政策与理想的性能作为一个优化问题的设计，并得出一个通用的解析解。该解决方案不仅包含了一些现有的增强方案，而且还导致了一个非常简单的数据增强策略NMT：随机替换源句子和目标句子中的词与其他随机词从其相应的词汇。我们将此方法命名为SwitchOut。在三个不同规模的翻译数据集上的实验表明，SwitchOut产生了约0.5 BLEU的一致改进，实现了比强替代方案（如单词丢失）更好或相当的性能（Sennrich等人，2016年a）。实现此方法的代码包含在附录中。
2018-08-28 cs.CL
Textual Augmentation Techniques Applied to Low Resource Machine Translation: Case of Swahili
African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Pretoria（比勒陀利亚大学）
本研究针对低资源机器翻译平行语料不足的问题，以英斯语对为例，对比三种文本增强技术与基线NMT的性能，发现上下文数据增强在两个翻译方向均有提升，验证了该类方法的应用潜力。
2023-06-12 cs.CL
Doubly-Trained Adversarial Data Augmentation for Neural Machine Translation
Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
神经机器翻译（NMT）模型受到噪声输入的影响。为了使模型鲁棒，我们生成对抗性增强样本，攻击模型，同时保留源端语义。为了生成这样的样本，我们提出了一种双重训练的架构，该架构将两个具有相反翻译方向的NMT模型与联合损失函数配对，该联合损失函数结合了目标端攻击和源端语义相似性约束。我们在三种不同语言对和两种评估指标上的实验结果表明，这些对抗性样本提高了模型的鲁棒性。
2021-10-12 cs.CL
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
CipherDAug: Ciphertext based Data Augmentation for Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
提出了一种新的基于ROT- $k$密文的神经机器翻译数据增强技术。ROT- $k$是一种简单的字母替换密码，它将明文中的一个字母替换为字母表中该字母之后的第$k$个字母。我们首先生成多个ROT- $k$密文使用不同的值的$k$的明文，这是并行数据的源端。然后，我们通过多源训练来利用这个加密训练数据以及原始并行数据来改进神经机器翻译。我们的方法CipherDAg使用了一个受共同正则化启发的训练过程，除了原始训练数据之外，不需要外部数据源，并使用标准的Transformer在几个数据集上以显著的优势胜过强大的数据增强技术。这种技术很容易与现有的数据增强方法相结合，在资源不足的情况下产生特别强的结果。
2022-04-01 cs.CL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Target-Side Augmentation for Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Westlake Institute for Advanced Study（西湖高等研究院）
针对文档级机器翻译的数据稀疏问题，提出用DA模型生成多个潜在目标译文以平滑训练分布，并在News和Europarl上取得新SOTA。
2023-06-04 cs.CL
Multi-Source Neural Machine Translation with Data Augmentation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）
多源翻译系统将多种语言翻译成单一目标语言。通过使用来自这些多个来源的信息，这些系统在准确性上获得了很大的增益。为了训练这些系统，需要有多个源和目标语言的平行文本语料库。然而，这些语料库在实践中很少是完整的，因为很难提供所有相关语言的人工翻译。在本文中，我们提出了一种数据增强的方法来填补这些不完整的部分，使用多源神经机器翻译（NMT）。在我们的实验中，不同的语言组合的结果不同，但显着的收益时，使用源语言类似的目标语言观察。
2018-11-08 cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao（网易有道）
本文介绍了一种新的神经机器翻译的数据增强方法，可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型（CMLM），这是双向的，可以是条件的左右上下文，以及标签。我们证明了CMLM是一个很好的技术，用于生成上下文相关的词分布。特别是，我们表明，CMLM是能够强制执行语义一致性的条件源和目标在替代。此外，为了提高多样性，我们将软字替换的想法，数据增强，取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明，该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比，并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
Improved Data Augmentation for Translation Suggestion
Beijing Jiaotong University（北京交通大学）；Harbin Institute of Technology（哈尔滨工业大学）
翻译建议（TS）模型用于自动地为由机器翻译生成的句子中的不正确跨度提供替代建议。本文介绍了我们在提交WMT'22翻译建议共享任务时所使用的系统。我们的系统是基于不同的翻译架构，包括Transformer，SA-Transformer，和DynamicConv的合奏。我们使用三种策略从平行语料库中构造合成数据，以弥补监督数据的不足。此外，我们还引入了一个多阶段预训练策略，增加了一个额外的预训练阶段与域内数据。我们在英德和英汉双向任务中分别排名第二和第三。
2022-10-12 cs.CL
TreeSwap: Data Augmentation for Machine Translation via Dependency Subtree Swapping
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
针对低资源语言机器翻译训练数据不足的问题，提出基于源目标句依存子树同步交换的TreeSwap数据增强方法，在4个语言对资源受限数据集上稳定提升翻译性能，与同类方法效果相当，生成译文多数正确，代码已开源。
2023-11-04 cs.CL
Dictionary-based Data Augmentation for Cross-Domain Neural Machine Translation
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
现有的神经机器翻译（NMT）数据增强方法主要依赖于域内（IND）单语语料库的回译。这些方法遭受与域信息差距相关的问题，这导致低频和词汇表外术语的翻译错误。提出了一种基于字典的跨域NMT数据增强方法。DDA将领域词典与通用领域语料库相结合，自动生成大规模的伪IND并行语料库。生成的伪IND数据可用于增强一般领域训练的基线。实验表明，DDA增强的NMT模型表现出一致的显着改善，优于基线模型3.75-11.53 BLEU。所提出的方法也能够进一步提高性能的反向平移和IND微调的NMT模型。这种改进与DDA产生的增强域覆盖有关。
2020-04-06 cs.CL
Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
针对文档级神经机器翻译的数据稀疏问题，提出基于词元重要性的IADA数据增强算法，在三个基准上的表现优于现有基线与其他增强方法。
2024-01-27 cs.CL
Data Augmentation Techniques for Machine Translation of Code-Switched Texts: A Comparative Study
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）
本文比较了词汇替换、语言学理论和回译三种数据增强方法在埃及阿拉伯语-英语语码转换机器翻译中的效果，发现回译和基于CSW预测的词汇替换在有并行数据时表现最佳，而语言学理论和随机词汇替换在无并行数据时同样有效。
2023-10-23 cs.CL
Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
序列级知识蒸馏（SLKD）是一种模型压缩技术，它利用大型、准确的教师模型来训练较小的、参数化不足的学生模型。为什么使用SLKD预处理MT数据有助于我们训练更小的模型？我们测试的共同假设，SLKD解决能力不足的学生通过“简化”嘈杂的数据点，并发现它不太可能在我们的情况下。在原始数据集和“简化”数据集的连接上训练的模型与基线SLKD一样通用。然后，我们提出了一个替代假设的镜头下的数据增强和正则化。我们尝试了各种增强策略，并观察到dropout正则化可能变得不必要。我们的方法在TED演讲中实现了0.7-1.2的BLEU增益。
2019-12-06 cs.CL
Soft Contextual Data Augmentation for Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
虽然数据增强是提高深度学习方法在计算机视觉任务中准确性的重要手段，但其在自然语言任务中的研究仍然非常有限。本文提出了一种新的神经机器翻译数据增强方法。与以前随机删除，交换或替换句子中的其他单词的增强方法不同，我们通过多个相关单词的上下文混合来柔和地增强句子中随机选择的单词。更准确地说，我们用词汇表上的分布（由语言模型提供）替换单词的独热表示，即，用多个语义相似的词的加权组合来替换该词的嵌入。由于这些词的权重取决于要替换的词的上下文信息，因此新生成的句子捕获的信息比以前的增强方法丰富得多。在小规模和大规模机器翻译数据集上的实验结果表明，该方法优于强基线。
2019-05-25 cs.CL
Neural Machine Translation Data Generation and Augmentation using ChatGPT
University of British Columbia（不列颠哥伦比亚大学）
该研究探索用 ChatGPT 生成幻觉平行语料库，以替代昂贵的人工平行数据；实验表明，尽管生成结果缺乏多样性且可能存在领域冲突，仍能增强翻译信号。
2023-07-11 cs.CL
Data Augmentation for Sign Language Gloss Translation
Bar-Ilan University（巴伊兰大学）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）
手语翻译（英语：Sign language translation，缩写为手语翻译）通常被分解为视频到注释识别和注释到文本翻译，其中注释是按照它们被签名的顺序转录的口语单词的序列。我们在这里专注于注释到文本的翻译，我们将其视为低资源神经机器翻译（NMT）问题。然而，与传统的低资源NMT不同，注释到文本的翻译不同，因为注释-文本对通常具有比口语对更高的词汇重叠和更低的句法重叠。我们利用这种词汇重叠和处理句法分歧，提出了两个基于规则的语法生成伪平行的单语口语文本的注释文本对。通过对由此获得的合成数据进行预训练，我们将美国手语（ASL）到英语和德国手语（DGS）到德语的翻译分别提高了3.14和2.20 BLEU。
2021-05-16 cs.CL
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
Alibaba DAMO Academy（阿里巴巴达摩院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
有监督神经机器翻译（NMT）的主要任务是学习从一组平行句子对中生成以源输入为条件的目标句子，从而产生能够推广到未见过实例的模型。然而，通常观察到模型的泛化性能受到训练中使用的并行数据量的高度影响。虽然数据增强被广泛用于丰富训练数据，但传统的离散操作方法无法生成多样化和忠实的训练样本。在本文中，我们提出了一种新的数据增强范例，称为连续语义增强（CsaNMT），它增加了每个训练实例与相邻的语义区域，可以覆盖足够的变体下相同的含义的字面表达。我们在丰富资源和低资源环境下进行了广泛的实验，涉及各种语言对，包括WMT 14英语-{德语，法语}，NIST中文-英语和多个低资源的IWITOS翻译任务。所提供的经验证据表明，CsaNMT在现有增强技术中设置了新的性能水平，大大提高了最先进的水平。核心代码见附录E。
2022-04-14 cs.CL
Data Augmentation for Machine Translation via Dependency Subtree Swapping
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
本文提出通过交换双语句对中语义对应的依存子树来增强机器翻译数据，并结合图相似度与启发式过滤，在4个语言对中3个取得稳定 BLEU 提升。
2023-07-13 cs.CL
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
VinUniversity（Vin大学）；University of Technology Sydney（悉尼技术大学）；Monash University（莫纳什大学）
针对级联语音翻译中ASR错误传播问题，提出基于语音信息的数据增强方法PiDA，通过语音词嵌入生成相似音替换，在FLEURS越南语-英语上提升错误ASR输出翻译质量（BLEU+2.04）。
2026-06-12 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo（东京大学）
无监督跨语言词嵌入（CLWE）方法学习线性变换矩阵，该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设，这通常不一定成立。在本文中，我们认为，使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性，提高质量的CLWEs在无监督映射方法。我们表明，在相同的数据量下，我们的方法优于其他替代方法，并且，通过详细的分析，我们表明，使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效，因为（1）伪数据使源语料库和目标语料库（部分）并行;（2）伪数据包含关于原始语言的信息，其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法，解决巴拿语翻译中的资源限制问题，提升翻译准确性和可及性。
2026-01-27 cs.CL
Crossing the Threshold: Idiomatic Machine Translation through Retrieval Augmentation and Loss Weighting
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对机器翻译难以处理习语的问题，研究构建了多语言习语数据集，并提出训练损失加权和检索增强两种方法，使预训练模型在习语翻译上的绝对准确率最高提升13%。
2023-10-20 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。
2022-05-18 cs.CL
Syntax-based data augmentation for Hungarian-English machine translation
Department of Automation and Applied Informatics（自动化与应用信息学系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）；Institute for Computer Science and Control（计算机科学与控制研究所）
我们使用Hunglish 2语料库为匈牙利语-英语和英语-匈牙利语训练基于transformer的神经机器翻译模型。我们最好的模型在匈牙利语英语和英语匈牙利语上的BLEU得分分别为40.0和33.4。此外，我们目前正在进行的工作，基于语法的增强神经机器翻译的结果。我们的代码和模型都是公开的。
2022-01-18 cs.CL cs.LG
Data Augmentation for Neural Machine Translation using Generative Language Model
Hanyang University（汉阳大学）
针对神经机器翻译平行语料稀缺问题，提出利用ChatGPT等生成式语言模型基于提示的数据增强方法，无需额外训练成本，使BLEU提升0.68。
2023-11-13 cs.AI cs.CL
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center（IBM研究AI托马斯·J·沃森研究中心）
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型（LM）来执行zero-shot语言学习：训练英语QA模型并测试其他语言。在这项工作中，我们探索的策略，提高跨语言迁移，使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外，我们提出了两种新的策略，语言对抗训练和语言仲裁框架，显着提高（零资源）跨语言迁移的性能，并导致LM嵌入的语言变量较少。从经验上讲，我们表明，所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL
Rethinking Data Augmentation for Low-Resource Neural Machine Translation: A Multi-Task Learning Approach
Universitat d’Alacant（阿利坎特大学）
在神经机器翻译的上下文中，当可用并行数据稀缺时，数据增强（DA）技术可用于生成附加训练样本。许多DA方法旨在通过生成包含不频繁单词的新句子对来扩展经验数据分布的支持，从而使其更接近并行句子的真实数据分布。在本文中，我们建议遵循一个完全不同的方法，并提出了一个多任务DA方法，在该方法中，我们生成新的句子对转换，如反转的目标句子，产生不流利的目标句子的顺序。在训练过程中，这些增强的句子被用作多任务框架中的辅助任务，目的是提供新的上下文，其中目标前缀的信息量不足以预测下一个单词。这加强了编码器，并迫使解码器更加关注编码器的源表示。在六个低资源翻译任务上进行的实验表明，与基线和DA方法相比，旨在扩展对经验数据分布的支持的改进是一致的。用我们的方法训练的系统更多地依赖于源令牌，对域转移更鲁棒，并且遭受更少的幻觉。
2021-09-08 cs.CL
High-Quality Data Augmentation for Low-Resource NMT: Combining a Translation Memory, a GAN Generator, and Filtering
Waseda University（早稻田大学）
本文提出一种结合GAN、翻译记忆和过滤流程的新方法，在源端利用单语语料进行高质量数据增强，有效提升了低资源神经机器翻译的性能。
2024-08-22 cs.AI cs.CL
A Morphologically-Aware Dictionary-based Data Augmentation Technique for Machine Translation of Under-Represented Languages
George Mason University（乔治梅森大学）；University of Zurich（苏黎世大学）；RC Athena（希腊雅典娜研究中心）；Archimedes AI Research Unit（阿基米德人工智能研究单元）
针对低资源语言机器翻译数据稀缺问题，提出利用形态句法信息与双语词典合成平行数据的方法，在14种语言上稳定提升翻译性能。
2024-02-02 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent（赛博代理）
针对非英语单语语义文本相似度性能落后的问题，对比跨语言迁移与机器翻译两种数据增强技术，发现二者性能相当，且维基百科领域数据优于NLI领域数据，结合后可提升单语STS性能。
2024-03-08 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法，它们是结构感知的，这意味着不是随机选择单词进行空白或替换，而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后，本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9，而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG
Exploring Prediction Uncertainty in Machine Translation Quality Estimation
University of Sheffield（谢菲尔德大学）；University of Melbourne（墨尔本大学）
机器翻译质量评估是一项非常困难的任务，这降低了它在现实世界翻译环境中的实用性。如果质量预测伴随着不确定性的测量，这种情况可以得到改善。然而，在这个任务中的模型，传统上只评估的点估计指标，不考虑预测的不确定性。我们研究质量估计的概率方法，可以提供校准良好的不确定性估计，并根据其完整的后验预测分布对其进行评估。我们还展示了这种后验信息如何在不对称风险场景中发挥作用，该场景旨在捕捉翻译工作流程中的典型情况。
2016-06-30 cs.CL
Synthetic Source Language Augmentation for Colloquial Neural Machine Translation
Kata.ai Research Team（Kata.ai研究团队）；Sekolah Tinggi Informatika & Komputer Indonesia (STIKI)（印度尼西亚信息与计算机高等学院（STIKI））；Beijing Institute of Technology（北京理工大学）；Faculty of Computer Science, Universitas Indonesia（印度尼西亚大学计算机学院）
神经机器翻译（NMT）具有典型的领域依赖性和风格依赖性，需要大量的训练数据。国家的最先进的NMT模型往往不足以处理口语的变化，其源语言和缺乏并行数据在这方面是一个具有挑战性的障碍，在系统地改善现有的模型。在这项工作中，我们开发了一个新的口语化的英语测试集，从YouTube的成绩单和Twitter收集。我们执行合成风格增强正式印尼语的源，并表明它提高了基线Id-En模型（在BLEU）在新的测试数据。
2020-12-30 cs.CL cs.LG
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research（谷歌研究院）
神经机器翻译（NMT）模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能，但它们对包括各种类型错误的输入仍然敏感。具体而言，在长形式语音翻译系统的上下文中，其中输入转录来自自动语音识别（ASR），NMT模型必须处理包括音素替换、语法结构和句子边界的错误，所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析，我们表明，句子边界分割质量的影响最大，我们开发了一个简单的数据增强策略，以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
Low-resource neural machine translation with morphological modeling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出一种面向低资源神经机器翻译的形态建模框架，采用双层Transformer编码形态信息、多任务多标签训练与束搜索解码，并通过注意力增强集成预训练语言模型及数据增强，在基尼亚卢旺达语—英语翻译上取得与大型多语言模型相当的竞争力。
2024-04-03 cs.CL
Uncertainty Quantification for Evaluating Machine Translation Bias
University of Cambridge（剑桥大学）
提出用语义不确定性量化机器翻译性别偏见，可同时评估歧义和无歧义句子，并揭示准确率与不确定性表现及去偏倚效果的差异。
2025-10-21 cs.CL
Analyzing Uncertainty in Neural Machine Translation
Facebook AI Research（脸书人工智能研究院）
机器翻译是研究神经序列到序列模型的流行测试平台，但尽管最近有很多研究，但仍然缺乏对这些模型的理解。从业者报告说，大波束的性能下降，对罕见单词的估计不足，以及最终翻译缺乏多样性。我们的研究涉及到这些问题的任务的固有的不确定性，由于存在多个有效的翻译为一个单一的源语句，和噪声训练数据所造成的外在的不确定性。我们提出了工具和指标来评估模型分布如何捕获数据中的不确定性，以及它如何影响生成翻译的搜索策略。我们的研究结果表明，搜索效果非常好，但模型往往会在假设空间中传播太多的概率质量。接下来，我们提出了评估模型校准的工具，并展示了如何轻松修复当前模型的一些缺点。作为这项研究的一部分，我们为两个流行的基准测试发布了多个人类参考翻译。
2018-08-13 cs.CL
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）在过去几年中发展迅速，现代模型能够仅使用单语文本数据实现相对较高的质量，这种方法被称为无监督机器翻译（UNMT）。然而，这些模型仍然在各种各样的方面挣扎，包括对人类来说最简单的翻译方面-例如，正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题：双语词汇。我们在真实世界的设置中测试了双语词典的功效，在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现：（1）使用词汇数据增强，我们证明了无监督翻译的可观性能增益;（2）我们比较了几个数据增强家族，证明它们产生了类似的改进，并且可以组合以获得更大的改进;（3）我们证明了精心策划的词汇相对于更大，更嘈杂的词汇的重要性，特别是对于更大的模型;（4）比较了多语种词典数据和人工翻译的平行数据的有效性。最后，我们开源了GATITOS（可在https：//github.com/google-research/url-nlp/tree/main/gatitos获得），这是一个新的多语言词典，适用于26种低资源语言，在我们的实验中，它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
Translation as Augmentation: Effect of Translated Data on Assessment of Difficulty
University of Helsinki（赫尔辛基大学）
针对低资源欧洲语言数据稀缺致文本难度评估模型发展受阻的问题，提出利用机器翻译进行跨语言数据增强的策略，训练基于BERT的回归模型，实验证明该方法能显著提高难度估计准确性，为相关语言提供可行方案。
2026-07-22 cs.CL cs.LG
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai（快手）
汉语形音转换（G2 P）在汉语文语转换（TTS）系统中占有重要地位，其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的，并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发，本文分别建立了一个用于多音字发音预测的字-音（G2 P）模型和一个用于语音文本预测的音-字（P2 G）模型。同时，提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况，设计了一种数据均衡策略，以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model
Monash University（蒙纳士大学）
在神经机器翻译模型中解释句法信息是一种补偿其对大量并行训练文本的需求的方法，特别是对于低资源语言对。以前的工作使用（不可避免地容易出错）解析器提供的语法信息一直很有前途。在本文中，我们提出了一个森林到序列的注意力神经机器翻译模型，利用指数级的源句子的分析树来补偿分析错误。我们的方法将解析树的集合表示为一个打包的森林，并学习从森林到目标句子的神经注意力转导模型。在英语到德语、汉语和波斯语的翻译实验中，我们的方法比树到序列和香草序列到序列神经翻译模型的优越性。
2017-11-24 cs.CL
Towards Santali Linguistic Inclusion: Building the First Santali-to-English Translation Model using mT5 Transformer and Data Augmentation
BRAC University（BRAC大学）
针对桑塔利语缺乏翻译模型的问题，本文使用mT5 Transformer和数据增强构建首个桑塔利语-英语翻译模型，解决低资源挑战，验证迁移学习有效性及数据增强的性能提升作用。
2024-11-29 cs.CL cs.LG
Disentangling Uncertainty in Machine Translation Evaluation
Instituto de Telecomunicações（电信研究所）；Unbabel；INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））
机器翻译（MT）的可训练评估指标与人类判断具有很强的相关性，但它们通常很难解释，并且可能在噪声或域外数据下产生不可靠的分数。最近的工作试图用简单的不确定性量化技术（蒙特卡洛丢弃和深度集成）来减轻这一点，但是这些技术（如我们所示）在几个方面受到限制-例如，它们无法区分不同类型的不确定性，并且它们消耗时间和内存。在本文中，我们提出了更强大，更有效的不确定性预测MT评估，我们评估他们的能力，针对不同来源的任意和认识的不确定性。为此，我们开发和比较COMET度量的训练目标，以增强其不确定性预测输出，包括异方差回归，发散最小化和直接不确定性预测。我们的实验表明，WMT指标任务数据集的不确定性预测结果得到了改善，计算成本大幅降低。此外，他们证明了这些预测的能力，以解决特定的不确定性原因在MT评价，如低质量的参考和域外数据。
2022-11-30 cs.CL
Uncertainty-Aware Balancing for Multilingual and Multi-Domain Neural Machine Translation Training
Monash University（莫纳什大学）；Huawei Technologies Co Ltd（华为技术有限公司）
多语言多领域翻译模型的学习是一个挑战，因为异构和不平衡的数据使得模型在现实世界中的不同语料库上收敛不一致。一种常见的做法是调整训练中每个语料库的份额，以便学习过程平衡，低资源案例可以从高资源案例中受益。然而，自动平衡方法通常取决于数据集内和数据集间的特征，这通常是不可知的或需要人为先验。在这项工作中，我们提出了一种方法，MultiUAT，动态调整训练数据的使用模型的不确定性的基础上的一小部分可信的清洁数据的多语料库机器翻译。我们用两类不确定性度量对多语言（16种语言，4种设置）和多域设置（4种用于域内，2种用于英德翻译的域外）进行了实验，并证明了我们的方法MultiUAT大大优于其基线，包括静态和动态策略。我们分析了跨域传输，并显示静态和基于相似性的方法的不足。
2021-09-06 cs.CL
