Ukrainian-to-English folktale corpus: Parallel corpus creation and augmentation for machine translation in low-resource languages
针对民间故事翻译文本稀疏的问题，创建并增强了一个词句对齐的Ukrainian-to-English平行语料库，专为机器翻译模型提供训练数据。
2024-10-14 cs.AI cs.CL
Leveraging Domain Adaptation and Data Augmentation to Improve Qur'anic IR in English and Arabic
本文针对英语和阿拉伯语古兰经信息检索数据稀缺问题，采用领域自适应训练、数据增强及伊斯兰语料库与领域 LM 预训练，提升 MRR@10 和 NDCG@5 并取得双语最先进结果。
2023-12-05 cs.AI cs.CL
Language Agnostic Code-Mixing Data Augmentation by Predicting Linguistic Patterns
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们专注于内部语义代码混合，并提出了几种不同的合成代码混合（SCM）数据增强方法，在不同数量的标记黄金数据的下游情感分析任务上优于基线。最重要的是，我们提出的方法表明，战略性地替换部分句子在矩阵语言与一个常数掩码显着提高分类精度，激励进一步的语言学见解的现象代码混合。我们在各种低资源和跨语言环境中测试了我们的数据增强方法，在极其稀缺的英语-马拉雅拉姆语数据集上达到了7.73%的相对改善。我们得出结论，语码转换模式在语码混合句中也是重要的模型学习。最后，我们提出了一个语言无关的SCM算法，是廉价的，但非常有助于低资源的语言。
2022-11-14 cs.CL
Study of Encoder-Decoder Architectures for Code-Mix Search Query Translation
Flipkart Data Science（Flipkart数据科学部门）
随着互联网和智能手机的广泛普及，电子商务平台的用户群越来越多样化。由于母语用户不熟悉英语，他们的首选浏览模式是他们的区域语言或他们的区域语言和英语的组合。从我们最近对查询数据的研究中，我们注意到我们收到的许多查询都是代码混合的，特别是Hinglish，即用英语（拉丁语）脚本编写的一个或多个印地语单词的查询。我们提出了一个基于转换器的方法代码混合查询翻译，使用户能够搜索这些查询。我们证明了在大型未标记英语文本语料库上训练的预训练编码器-解码器模型的有效性。使用通用域翻译模型，我们创建了一个伪标签数据集，用于在搜索查询上训练模型，并验证了各种数据增强技术的有效性。此外，为了减少模型的延迟，我们使用知识蒸馏和权重量化。通过实验评估和A/B测试验证了该方法的有效性。该模型目前在Flipkart应用程序和网站上运行，为数百万个查询提供服务。
2022-08-07 cs.CL
High-Resource Translation:Turning Abundance into Accessibility
ABV-IIITM Gwalior（ABV-IIITM 瓜廖尔）
本文提出利用迁移学习和迭代回译扩充BPCC数据，构建英语到泰卢固语的低资源翻译模型，以提升翻译质量并改善实际交流。
2025-04-08 cs.CL
Together We Can: Multilingual Automatic Post-Editing for Low-Resource Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Surrey（萨里大学）
本文利用英语-印地语和英语-马拉地语的语言相似性，通过合成三元组和QE-APE多任务学习构建多语言自动后编辑模型，显著提升了低资源语言的机器翻译质量。
2024-10-23 cs.CL
AI-Driven Generation of Old English: A Framework for Low-Resource Languages
Universidad de Ingeniería y Tecnología (UTEC)（Ingeniería y Tecnología大学（UTEC））；Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)（国家科学与技术研究理事会（CONICET））；Instituto de Investigaciones en Biodiversidad y Medioambiente (INIBIOMA), Universidad Nacional del Comahue（生物多样性与环境研究所（INIBIOMA），Comahue国立大学）；Universidad de La Rioja（拉里奥ja大学）
针对古英语低资源问题，提出融合LoRA微调、回译增强与双智能体生成翻译流程的LLM框架，显著提升翻译质量并为濒危语言保护提供可扩展方案。
2025-07-27 cs.AI cs.CL
IndiText Boost: Text Augmentation for Low Resource India Languages
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出IndiText Boost，在6种印度低资源语言上系统比较简易数据增强、回译、释义及大语言模型文本生成与扩展等方法，发现基础增强技术在文本分类中超越大语言模型。
2024-01-23 cs.AI cs.CL cs.LG
Semi-supervised transfer learning for language expansion of end-to-end speech recognition models to low-resource languages
Samsung Research（三星研究院）
在本文中，我们提出了一个三阶段的训练方法，以提高低资源语言的语音识别的准确性。我们探索并提出了一种有效的技术组合，如迁移学习，编码器冻结，使用文本到语音（TTS）的数据增强和半监督学习（SSL）。为了提高低资源意大利语ASR的准确性，我们利用经过良好训练的英语模型，分别使用迁移学习，TTS增强和SSL的未标记文本语料库和未标记音频语料库。在第一阶段，我们使用来自训练有素的英语模型的迁移学习。这主要有助于从资源丰富的语言中学习声学信息。这个阶段实现了比基线降低约24%的相对字错误率（WER）。在第二阶段，我们利用未标记的文本数据，通过TTS数据增强，将语言信息纳入模型。我们还探索在这个阶段冻结声学编码器。TTS数据增强有助于我们进一步降低WER约21%。最后，在第三阶段，我们通过使用SSL从未标记的音频数据中将WER降低了另外4%。总的来说，我们的两遍语音识别系统在第一遍中具有单调组块注意力（MoChA），在第二遍中具有完全注意力，相对于基线，WER降低了约42%。
2021-11-19 cs.CL cs.SD eess.AS
STRATA: Word Boundaries & Phoneme Recognition From Continuous Urdu Speech using Transfer Learning, Attention, & Data Augmentation
FAST-NUCES（巴基斯坦国家科技大学（FAST-NUCES））
音素识别是NLP中一个很大程度上尚未解决的问题，特别是对于像乌尔都语这样的低资源语言。试图从音频语音中提取音素的系统需要手工标记的音标。这就要求语言学家用语音数据的相关语音表示来注释语音数据，这是一项既昂贵又繁琐的任务。在本文中，我们提出了STRATA，监督音素识别的框架，克服了低资源语言的数据稀缺问题，使用集成了迁移学习，注意力机制和数据增强的seq2seq神经架构。STRATA采用迁移学习将网络损耗减少一半。它使用注意力机制进行词边界和帧对齐检测，进一步减少了4%的网络损耗，并且能够以92.2%的准确率识别词边界。STRATA使用各种数据增强技术，进一步将损失减少1.5%，并且在泛化和准确性方面对新信号更加稳健。STRATA能够实现16.5%的音素出错率，并在TIMIT数据集（英语）和CSaLT数据集（乌尔都语）的最新水平上分别提高了1.1%和11.5%。
2022-04-16 cs.CL cs.SD eess.AS
Advancing AI with Integrity: Ethical Challenges and Solutions in Neural Machine Translation
Handong（韩东大学）
该研究聚焦神经机器翻译的伦理挑战，通过实证研究、文献综述等方法考察开发各阶段伦理问题，明确人机责任分配与人类监督的重要性，强调开发者需承担相应社会责任。
2024-04-01 cs.AI cs.CL
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation
European Commission – DG-JRC（欧盟委员会联合研究中心）
与一般文本相比，推文是特定的文本数据。尽管在过去的十年中，对英语的tweets进行情感分析已经变得非常流行，但是仍然很难找到针对非英语语言的大型注释语料库。自然语言处理中最近兴起的Transformer模型允许在许多任务中实现无与伦比的性能，但这些模型需要相应的文本量来适应tweet域。我们建议使用多语言Transformer模型，我们对英语推文进行预训练，并使用自动翻译应用数据增强，以使模型适应非英语语言。我们在法语，西班牙语，德语和意大利语的实验表明，所提出的技术是一种有效的方法来提高结果的Transformers在非英语语言的小语料库的推文。
2020-10-07 cs.CL
Zero-pronoun Data Augmentation for Japanese-to-English Translation
The University of Tokyo（东京大学）
对于日语到英语的翻译，日语中的零代词构成了一个挑战，因为模型需要在英语句子的目标侧推断并产生相应的代词。然而，尽管零代词的完全解析往往需要话语语境，但在某些情况下，句子中的局部语境为零代词的推断提供了线索。在这项研究中，我们提出了一种数据增强方法，为翻译模型提供额外的训练信号，以学习本地上下文和零代词之间的相关性。通过会话领域的机器翻译实验，我们证明了该方法显著提高了零代词翻译的准确性。
2021-07-01 cs.CL
Sentence-level Feedback Generation for English Language Learners: Does Data Augmentation Help?
Georgetown University（乔治城大学）
在本文中，我们提出了强大的基线的任务，反馈意见生成写作学习。给定一个句子和一个错误跨度，任务是生成一个解释错误的反馈评论。句子和反馈意见都是英文的。我们使用LLM进行实验，并为任务创建多个伪数据集，研究它如何影响我们系统的性能。我们提出了我们的研究结果的任务，以及广泛的分析所产生的评论，以帮助未来的研究反馈评论生成的英语语言学习者的目的。
2022-12-18 cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven（鲁汶大学）
本文介绍了我们的系统，题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别（OffensEval 2）。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言，我们使用两个微调的BERT模型的组合。对于其他语言，我们提出了一种跨语言的增强方法，以丰富训练数据，我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Fast Training of NMT Model with Data Sorting
Handong Global University（韩东国际大学）
针对 Transformer 训练中空 token 造成的无效计算，本文提出按句长部分排序后分批的数据组织方法，在英语—韩语和英语—卢干达语翻译任务上保持性能并缩短训练时间，且架构无关、易于集成。
2023-08-16 cs.CL
AdvAug: Robust Adversarial Augmentation for Neural Machine Translation
Google Research（谷歌研究院）
在本文中，我们提出了一种新的对抗增强方法的神经机器翻译（NMT）。其主要思想是最小化从两个邻近分布中采样的虚拟句子的邻近风险，其中关键的一个是用于对抗性句子的新颖邻近分布，该邻近分布描述了以观察到的训练句子对为中心的平滑内插嵌入空间。然后，我们讨论了我们的方法，AdvAug，训练NMT模型使用序列到序列学习中的虚拟句子的嵌入。在中英、英法和英德翻译基准测试上的实验表明，AdvAug在Transformer上实现了显著的改进（高达4.9个BLEU点），并且在不使用额外语料的情况下，大大优于其他数据增强技术（例如回译）。
2020-07-03 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。
2022-05-18 cs.CL
Investigating Lexical Replacements for Arabic-English Code-Switched Data Augmentation
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；The German International University in Cairo（开罗德国国际大学）
本文研究了基于词对齐平行语料库的词汇替换方法来合成方言阿拉伯语-英语语码转换文本，发现预测模型和随机选择CS点在MT、ASR和ST等下游任务中表现相当且优于字典替换，显著提升了系统性能。
2023-04-04 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI（阿拉纳人工智能）
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能，发现部分技术带来了一定改进，但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent（赛博代理）
针对非英语单语语义文本相似度性能落后的问题，对比跨语言迁移与机器翻译两种数据增强技术，发现二者性能相当，且维基百科领域数据优于NLI领域数据，结合后可提升单语STS性能。
2024-03-08 cs.CL
Syntax-based data augmentation for Hungarian-English machine translation
Department of Automation and Applied Informatics（自动化与应用信息学系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）；Institute for Computer Science and Control（计算机科学与控制研究所）
我们使用Hunglish 2语料库为匈牙利语-英语和英语-匈牙利语训练基于transformer的神经机器翻译模型。我们最好的模型在匈牙利语英语和英语匈牙利语上的BLEU得分分别为40.0和33.4。此外，我们目前正在进行的工作，基于语法的增强神经机器翻译的结果。我们的代码和模型都是公开的。
2022-01-18 cs.CL cs.LG
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；reciTAL（reciTAL公司）
再加上大规模数据集的可用性，深度学习架构使问答任务取得了快速进展。然而，这些数据集中的大多数都是英语，并且在非英语数据上进行评估时，最先进的多语言模型的性能显着降低。由于高数据汇集成本，获得希望支持的每种语言的注释数据是不现实的。我们提出了一种方法来提高跨语言问答性能，而不需要额外的注释数据，利用问题生成模型，以跨语言的方式产生合成样本。我们表明，所提出的方法允许显着优于仅在英语数据上训练的基线。我们报告了四个多语言数据集的最新技术水平：MLQA，XQuAD，SQuAD-it和PIAF（fr）。
2021-10-14 cs.CL
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法，它们是结构感知的，这意味着不是随机选择单词进行空白或替换，而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后，本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9，而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG
Improved Data Augmentation for Translation Suggestion
Beijing Jiaotong University（北京交通大学）；Harbin Institute of Technology（哈尔滨工业大学）
翻译建议（TS）模型用于自动地为由机器翻译生成的句子中的不正确跨度提供替代建议。本文介绍了我们在提交WMT'22翻译建议共享任务时所使用的系统。我们的系统是基于不同的翻译架构，包括Transformer，SA-Transformer，和DynamicConv的合奏。我们使用三种策略从平行语料库中构造合成数据，以弥补监督数据的不足。此外，我们还引入了一个多阶段预训练策略，增加了一个额外的预训练阶段与域内数据。我们在英德和英汉双向任务中分别排名第二和第三。
2022-10-12 cs.CL
CST5: Data Augmentation for Code-Switched Semantic Parsing
Google（谷歌）
将语义解析器扩展到代码交换输入一直是一个具有挑战性的问题，主要是由于缺乏监督的训练数据。在这项工作中，我们介绍了CST5，一种新的数据增强技术，微调T5模型使用一个小的种子集（$\approx$ 100话语），以产生代码转换的话语从英语话语。我们表明，CST5生成高质量的代码转换数据，无论是内在的（每人的评价）和extraderior通过比较基线模型，没有数据增强的训练模型与增强的数据。根据经验，我们观察到使用CST 5，可以通过使用多达20倍的标记数据来实现相同的语义解析性能。为了帮助这一领域的进一步研究，我们还发布了（a）Hinglish-TOP，迄今为止最大的人类注释代码转换语义解析数据集，包含10k人类注释印地语-英语（Hinglish）代码转换话语，以及（b）超过170K CST 5从TOPv2数据集生成的代码转换话语。人工评估表明，人工注释的数据以及CST 5生成的数据质量良好。
2022-11-14 cs.CL
Data Augmentation for Neural Online Chat Response Selection
Carnegie Mellon University（卡内基梅隆大学）
数据增强试图操纵可用的数据进行训练，以提高模型的泛化能力。我们研究了两个数据增强代理，置换和翻转，神经对话反应选择任务的各种模型上的多个数据集，包括中文和英文。不同于标准的数据增强技术，我们的方法结合了原始和合成数据进行预测。实证结果表明，我们的方法可以获得1到3召回在1点基线模型在全规模和小规模的设置。
2018-09-03 cs.CL
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
Alibaba DAMO Academy（阿里巴巴达摩院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
有监督神经机器翻译（NMT）的主要任务是学习从一组平行句子对中生成以源输入为条件的目标句子，从而产生能够推广到未见过实例的模型。然而，通常观察到模型的泛化性能受到训练中使用的并行数据量的高度影响。虽然数据增强被广泛用于丰富训练数据，但传统的离散操作方法无法生成多样化和忠实的训练样本。在本文中，我们提出了一种新的数据增强范例，称为连续语义增强（CsaNMT），它增加了每个训练实例与相邻的语义区域，可以覆盖足够的变体下相同的含义的字面表达。我们在丰富资源和低资源环境下进行了广泛的实验，涉及各种语言对，包括WMT 14英语-{德语，法语}，NIST中文-英语和多个低资源的IWITOS翻译任务。所提供的经验证据表明，CsaNMT在现有增强技术中设置了新的性能水平，大大提高了最先进的水平。核心代码见附录E。
2022-04-14 cs.CL
BAN-Cap: A Multi-Purpose English-Bangla Image Descriptions Dataset
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）；University of Alberta（阿尔伯塔大学）
随着计算机在理解视觉信息并将其转换为书面表示方面变得高效，对自动图像描述等任务的研究兴趣在过去几年中已经出现了重大飞跃。虽然大多数研究关注的是单语环境中的英语，但像孟加拉语这样的资源受限语言仍然没有得到关注，主要是由于缺乏标准数据集。为了解决这个问题，我们在广泛使用的Flickr 8 k数据集之后提出了一个新的数据集BAN-Cap，在那里我们收集了合格注释者提供的图像的孟加拉语标题。我们的数据集代表了由来自不同背景的受过训练的人注释的各种各样的图像标题样式。我们提出了一个定量和定性分析的数据集和孟加拉国图像描述的最新模型的基线评估。我们调查的文本增强的效果，并证明了一个自适应的基于注意力的模型结合文本增强使用上下文文字替换（CWR）优于所有国家的最先进的模型孟加拉语图像描述。我们还介绍了这个数据集的多用途性质，特别是对孟加拉语-英语和英语-孟加拉语的机器翻译。该数据集和所有模型将有助于进一步的研究。
2022-05-28 cs.CL
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center（IBM研究AI托马斯·J·沃森研究中心）
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型（LM）来执行zero-shot语言学习：训练英语QA模型并测试其他语言。在这项工作中，我们探索的策略，提高跨语言迁移，使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外，我们提出了两种新的策略，语言对抗训练和语言仲裁框架，显着提高（零资源）跨语言迁移的性能，并导致LM嵌入的语言变量较少。从经验上讲，我们表明，所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL
Towards Santali Linguistic Inclusion: Building the First Santali-to-English Translation Model using mT5 Transformer and Data Augmentation
BRAC University（BRAC大学）
针对桑塔利语缺乏翻译模型的问题，本文使用mT5 Transformer和数据增强构建首个桑塔利语-英语翻译模型，解决低资源挑战，验证迁移学习有效性及数据增强的性能提升作用。
2024-11-29 cs.CL cs.LG
RILEC: Detection and Generation of L1 Russian Interference Errors in English Learner Texts
Higher School of Economics（俄罗斯高等经济学院）；Université Claude Bernard Lyon 1（克莱尔蒙特大学里昂1分校）；Université Lumière Lyon 2（里昂2大学路易斯大学）；ERIC（教育研究与创新中心）
RILEC通过生成语言模型和增强方法，有效检测和生成英语学习者文本中的L1俄语干扰错误。
2026-03-07 cs.CL
Leveraging Large Language Models for Code-Mixed Data Augmentation in Sentiment Analysis
The Harker School（哈克尔学校）
本研究提出利用大型语言模型生成合成代码混合数据以增强情感分析性能，在西班牙语-英语中F1提升9.32%，并验证了少样本提示方法的有效性，尤其对低基线场景有益。
2024-11-01 cs.CL
IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
University of Stavanger（斯塔万格大学）
本文介绍IAI团队在CheckThat! 2024任务1中，利用Transformer模型、少样本链式思维、微调、数据增强和跨语言迁移学习，在英荷阿三语可核查声明检测中分别取得第九、第三和第一的成绩。
2024-08-02 cs.CL
Generating High-Quality Surface Realizations Using Data Augmentation and Factored Sequence Models
ADAPT Centre（ADAPT研究中心）；Dublin City University（都柏林城市大学）；Aylien Ltd.（Aylien有限公司）
这项工作提出了一个新的国家的最先进的表面实现从混淆的文本重建。我们发现缺乏足够的训练数据是训练高性能模型的主要障碍，并通过生成大量的合成训练数据来解决这个问题。我们还提出了预处理技术，使结构中包含的输入功能更容易访问的序列模型。我们的模型在2018年Surface Realization共享任务的英语部分的所有评估指标中排名第一。
2018-05-20 cs.CL
TADA: Task-Agnostic Dialect Adapters for English
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文提出任务无关方言适配器（TADA），通过对齐非标准英语方言并组合任务特定适配器，提升GLUE基准上4个方言变体的鲁棒性，无需任务特定监督。
2023-05-26 cs.CL
Cross-language Sentence Selection via Data Augmentation and Rationale Training
Columbia University（哥伦比亚大学）；University of Maryland（马里兰大学）；Penn State University（宾夕法尼亚州立大学）
本文提出了一种低资源环境下的跨语言句子选择方法。它使用数据增强和负采样技术的噪音平行句子数据直接学习跨语言嵌入的查询相关性模型。结果表明，该方法的性能与在相同并行数据上训练的多个最先进的机器翻译+单语检索系统一样好或更好。此外，当应用基本原理训练次要目标以鼓励模型匹配来自基于短语的统计机器翻译模型的单词对齐提示时，在各种最先进的基线上，在三种语言对（英语-索马里语、英语-斯瓦希里语和英语-塔吉语）中看到了一致的改进。
2021-06-04 cs.CL cs.IR
On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中，我们研究了端到端（E2 E）的方法，以普通话-英语码转换语音识别（CSSR）的任务。我们首先检查使用数据增强和字节对编码（BPE）子字单元的有效性。更重要的是，我们提出了一个多任务的学习配方，语言识别任务是明确学习除了E2 E语音识别任务。此外，我们引入了一个有效的词汇扩展方法的语言建模，以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
A Lightweight Method to Generate Unanswerable Questions in English
Saarland University（萨尔兰大学）
本文提出一种无需训练的轻量级数据增强方法，通过对可回答问题进行反义词和实体替换生成不可回答问题，在 SQuAD 2.0 和 TydiQA-MinSpan 上以 BERT-large 分别提升 1.6 和 9.3 个 F1 点，证明简单替换即可作为强基线。
2023-10-30 cs.CL
LLM-powered Data Augmentation for Enhanced Cross-lingual Performance
City, University of London（伦敦城市大学）；Microsoft（微软）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文利用大语言模型对多语言常识推理数据集进行数据增强，通过微调较小多语言模型验证其有效性，发现LLM生成数据能显著提升性能，并评估了生成文本的自然度与逻辑一致性。
2023-10-22 cs.CL
LMN at SemEval-2022 Task 11: A Transformer-based System for English Named Entity Recognition
Van Ho Middle School（范和中学）
处理复杂且有歧义的命名实体是一个具有挑战性的研究问题，但它还没有得到自然语言处理界的足够重视。在这篇简短的论文中，我们介绍了我们参与SemEval-2022任务11：多语言复杂命名实体识别的英语轨道。受预训练的Transformer语言模型的最新进展的启发，我们提出了一个简单而有效的基于Transformer的任务基线。尽管它很简单，我们提出的方法在排行榜上显示出有竞争力的结果，因为我们在30个团队中排名12。我们的系统实现了宏观F1分数为72.50%的举行了测试集。我们还探索了使用实体链接的数据增强方法。虽然这种方法并没有提高最终的性能，我们也讨论了它在本文中。
2022-02-13 cs.CL
VietMix: A Naturally-Occurring Parallel Corpus and Augmentation Framework for Vietnamese-English Code-Mixed Machine Translation
University of Maryland, College Park（马里兰大学帕克分校）；Harvard University（哈佛大学）
VietMix为越南语-英语混合机器翻译提供首个自然发生的平行语料库及增强框架，通过数据增强提升模型性能。
2026-01-09 cs.AI cs.CL cs.LG
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta（马耳他大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距，本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强，显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL
Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
Yildiz Technical University（伊尔德兹技术大学）；Kadir Has University（卡迪尔哈斯大学）
本研究针对数学应用题求解提出多种数据增强方法，并引入基于Llama-7b的上下文学习增强，在9个基线模型上验证了其有效性，且拼接多源增强示例可进一步提升性能。
2024-04-05 cs.CL
Data Augmentation Techniques for Machine Translation of Code-Switched Texts: A Comparative Study
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）
本文比较了词汇替换、语言学理论和回译三种数据增强方法在埃及阿拉伯语-英语语码转换机器翻译中的效果，发现回译和基于CSW预测的词汇替换在有并行数据时表现最佳，而语言学理论和随机词汇替换在无并行数据时同样有效。
2023-10-23 cs.CL
The University of Edinburgh's Submission to the WMT22 Code-Mixing Shared Task (MixMT)
University of Edinburgh（爱丁堡大学）
爱丁堡大学参与了WMT 22关于代码混合翻译的共享任务。这包括两个子任务：i）从平行的印地语和英语句子生成代码混合的印地语/英语（Hinglish）文本生成，以及ii）从Hinglish到英语的机器翻译。由于这两个子任务都被认为是低资源的，我们将精力集中在仔细的数据生成和管理上，特别是使用单语资源的反向翻译。在子任务1中，我们探讨了限制性解码对英语和音译子词的影响，以产生印度式英语。对于子任务2，我们研究了不同的预训练技术，即比较现有机器翻译模型的简单初始化和对齐增强。对于这两个子任务，我们发现我们的基线系统工作得最好。我们的两个子任务系统都是整体表现最好的提交系统之一。
2022-10-20 cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
文本到SQL的语义解析是一项重要的自然语言处理任务，它极大地方便了用户与数据库之间的交互，成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的，但其中大多数都集中在英语上。在这项工作中，我们提出了MultiSpider，最大的多语言文本到SQL数据集，涵盖七种语言（英语，德语，法语，西班牙语，日语，中文和越南语）。在MultiSpider上，我们进一步确定了文本到SQL的词汇和结构挑战（由特定的语言属性和方言谚语引起）及其在不同语言中的强度。在三种典型设置（zero-shot、单语和多语言）下的实验结果显示，非英语语言的准确率绝对下降了6.1%。定性和定量分析进行，以了解每种语言的性能下降的原因。除了数据集之外，我们还提出了一个简单的模式增强框架SAVe（Schema-Augmentation-with-Verification），它将整体性能显著提高了约1.8%，并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
Style Transfer as Data Augmentation: A Case Study on Named Entity Recognition
University of Houston（休斯顿大学）；Snap Inc.（色拉布公司）
在这项工作中，我们以英语中的命名实体识别任务为案例研究，并探索风格转移作为一种数据增强方法，以增加低资源场景中训练数据的大小和多样性。我们提出了一种新的方法，有效地将文本从一个高资源域到一个低资源域，通过改变其风格相关的属性，以生成合成数据的训练。此外，我们设计了一个约束的解码算法，以及一组关键成分的数据选择，以保证生成的有效和一致的数据。在不同数据机制下对五个不同领域对的实验和分析表明，与当前最先进的数据增强方法相比，我们的方法可以显着改善结果。我们的方法是解决数据稀缺问题的实用方法，我们希望它也适用于其他NLP任务。
2022-10-14 cs.CL
Counterfactual Data Augmentation for Mitigating Gender Stereotypes in Languages with Rich Morphology
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
性别陈规定型观念在世界上大多数语言中都很明显，因此被NLP系统传播或放大。尽管研究的重点是减轻英语中的性别刻板印象，但常用的方法会在形态丰富的语言中产生不合语法的句子。我们提出了一种新的方法，在这些语言中的男性和女性的曲折变化的句子之间的转换。对于西班牙语和希伯来语，我们的方法在标签水平上达到了82%和73%的F1分数，在形式水平上达到了90%和87%的准确度。通过使用四种不同的语言评估我们的方法，我们表明，平均而言，它减少了2.5倍的性别刻板印象，而不牺牲语法。
2020-05-27 cs.CL
