Aspect-Based Sentiment Analysis with Explicit Sentiment Augmentations
Jilin University（吉林大学）
针对ABSA任务中的隐式情感问题，提出融合显式情感增强的方法，通过后训练T5结合句法距离加权等技术生成增强样本，在两个基准上的隐式、显式情感准确率均超SOTA。
2023-12-18 cs.AI cs.CL
Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models
Sogang University（西江大学）
针对自然语言推理模型依赖非因果线索、在反事实样本上不鲁棒的问题，本文结合基于 token 与句子的反事实增强及对比学习，提升模型在反事实和通用 NLI 数据集上的性能与鲁棒性。
2024-10-28 cs.AI cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Learn to Code-Switch: Data Augmentation using Copy Mechanism on Language Modeling
构建用于训练代码转换语言模型的大规模数据集具有挑战性并且非常昂贵。为了缓解这个问题，使用并行语料库一直是一个主要的解决方案。然而，现有的解决方案使用的语言约束，可能无法捕捉到真实的数据分布。在这项工作中，我们提出了一种新的方法来学习如何生成代码转换句子从平行语料库。我们的模型使用Seq2Seq模型与指针网络相结合，从单语句子中对齐和选择单词，并形成语法代码转换句子。在我们的实验中，我们表明，通过使用增强的句子训练语言模型，与LSTM基线相比，我们将困惑分数提高了10%。
2018-10-30 cs.CL
Data Augmentation for Text Generation Without Any Augmented Data
Tencent AI Lab（腾讯人工智能实验室）
数据增强是提高许多神经文本生成模型性能的有效方法。然而，目前的数据增强方法需要定义或选择适当的数据映射函数，将原始样本映射到增强样本。在这项工作中，我们得出一个目标，制定文本生成任务的数据增强的问题，而不使用任何增强的数据构造特定的映射函数。我们提出的目标可以有效地优化，并适用于流行的损失函数的文本生成任务的收敛速度保证。在两个文本生成任务的五个数据集上的实验表明，我们的方法可以接近甚至超过流行的数据增强方法。
2021-05-28 cs.AI cs.CL
An Empirical Survey of Data Augmentation for Limited Data Learning in NLP
Georgia Institute of Technology（佐治亚理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
在过去的十年中，通过使用神经模型和大型标记数据集，NLP取得了很大的进步。对大量数据的依赖阻止了NLP模型应用于低资源环境或新任务，这些任务需要大量的时间，金钱或专业知识来标记大量的文本数据。最近，数据增强方法已经被探索作为提高NLP中的数据效率的手段。到目前为止，还没有系统的经验概述数据增强的NLP在有限的标记数据设置，很难理解哪些方法在哪些设置工作。在本文中，我们提供了一个实证调查的最新进展数据增强的NLP在有限的标记数据设置，总结了景观的方法（包括标记级增强，扩展级增强，对抗性增强，隐藏空间增强），并进行了实验，11个数据集涵盖主题/新闻分类，推理任务，释义任务，单句任务。基于这些结果，我们得出了几个结论，以帮助从业者在不同的环境中选择适当的增强，并讨论了NLP中有限数据学习的当前挑战和未来方向。
2021-06-14 cs.AI cs.CL
Does Data Augmentation Improve Generalization in NLP?
Brown University（布朗大学）
神经模型通常利用表面特征来实现良好的性能，而不是导出更一般的特征。克服这种趋势是表示学习和ML公平性等领域的核心挑战。最近的工作已经提出使用数据增强，即，生成表面特征失效的训练样本，作为鼓励模型偏好更强特征的手段。我们设计了一系列的玩具学习问题来测试这样一个假设，即数据增强会导致模型忘记较弱的特征，但不会学习更强的特征。我们发现部分支持这一假设：数据增强往往在它帮助之前就伤害了，当首选的强特征比竞争的弱特征更难提取时，它的效果就不那么好了。
2020-10-09 cs.CL
Cheap and Good? Simple and Effective Data Augmentation for Low Resource Machine Reading
University of Arizona（亚利桑那大学）；IBM Research（IBM研究院）
我们提出了一个简单而有效的策略，用于低资源机器阅读理解（MRC）的数据增强。我们的方法首先在包含正确答案的近似上下文的增强数据上预训练MRC系统的答案提取组件，然后在确切的答案跨度上训练它。近似上下文有助于QA方法组件缩小答案的位置。我们证明，我们简单的策略，通过提供更大的上下文的答案和额外的训练数据，大大提高了文档检索和答案提取性能。特别是，我们的方法显着提高性能的BERT为基础的检索器（15.12\%），和答案提取器（4.33\% F1）TechQA，一个复杂的，低资源的MRC任务。此外，我们的数据增强策略产生了显着的改善高达3.9\%的精确匹配（EM）和2.7\%的F1的答案提取PolicyQA，另一个实用的，但中等大小的QA数据集，也包含长的答案跨度。
2021-06-08 cs.AI cs.CL cs.LG
FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
大多数以前的文本数据增强方法仅限于简单的任务和弱基线。我们在硬任务上探索数据增强（即，Few-Shot自然语言理解）和强基线（即，具有超过十亿个参数的预训练模型）。在此设置下，我们复制了大量以前的增强方法，发现这些方法带来的边际收益最好，有时会降低性能很多。为了解决这一挑战，我们提出了一种新的数据增强方法FlipDA，它联合使用生成模型和分类器来生成标签翻转数据。FlipDA的核心思想是发现生成标签翻转数据比生成标签保留数据对性能更重要。实验表明，FlipDA在有效性和鲁棒性之间实现了良好的平衡-它大大改善了许多任务，同时不会对其他任务产生负面影响。
2022-03-15 cs.CL
Deterministic Reversible Data Augmentation for Neural Machine Translation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
针对增强数据语义不一致问题，本文提出DRDA，利用确定性分词、可逆操作和多视图学习生成多粒度子词表示，在无需额外语料或改模的情况下显著提升翻译性能与鲁棒性。
2025-02-20 cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao（网易有道）
本文介绍了一种新的神经机器翻译的数据增强方法，可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型（CMLM），这是双向的，可以是条件的左右上下文，以及标签。我们证明了CMLM是一个很好的技术，用于生成上下文相关的词分布。特别是，我们表明，CMLM是能够强制执行语义一致性的条件源和目标在替代。此外，为了提高多样性，我们将软字替换的想法，数据增强，取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明，该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比，并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；University of Pittsburgh（匹兹堡大学）
该研究比较了few-shot学习中的多种样本选择策略在基于LLM的文本增强中的效果，发现“信息量”策略带来的性能提升微乎其微，建议目前仍以随机选择为默认方案。
2024-10-14 cs.CL
A fully automated and scalable Parallel Data Augmentation for Low Resource Languages using Image and Text Analytics
Infosys（英矽斯）；BITS Pilani（比斯·皮兰）
本文提出一种全自动可扩展方法，利用图像和文本分析从报纸中提取双语平行语料，构建两种语言组合的数据集，并在机器翻译任务上提升近3个BLEU点。
2025-10-15 cs.CL
Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties
University of Zurich（苏黎世大学）；Lia Rumantscha（利亚·罗曼什语协会）
本研究发现，LLMs在生成罗曼什语言变体合成数据时存在不对称性，通过调整数据增强方向以匹配语言资源梯度，提升了罗曼什最低资源变体的翻译质量，BLEU得分提高23分。
2026-08-28 cs.CL
Mask-then-Fill: A Flexible and Effective Data Augmentation Framework for Event Extraction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；HKUST（香港科技大学）；Tsinghua University（清华大学）；Paradigm. Inc.（第四范式公司）
我们提出了屏蔽然后填充，一个灵活而有效的事件提取数据增强框架。我们的方法允许更灵活的文本操作，从而可以生成更多样化的数据，同时尽可能保持原始事件结构不变。具体来说，它首先随机屏蔽出一个附加句片段，然后用一个微调的填充模型填充一个可变长度的文本跨度。它的主要优点在于可以用可变长度的片段替换文本中任意长度的片段，而现有的方法只能替换单个单词或固定长度的片段。在触发和参数提取任务，建议的框架是更有效的基线方法，它表现出特别强的结果在低资源设置。我们进一步的分析表明，它实现了多样性和分布相似性之间的良好平衡。
2023-01-06 cs.CL
Parallel Corpus Augmentation using Masked Language Models
School of Computer and Information Sciences（计算机与信息科学学院）；University of Hyderabad（海得拉巴大学）
本文提出利用多语言掩码语言模型和句子嵌入增强平行语料库，无需额外单语数据，可显著缓解语言对的数据稀缺问题。
2024-10-04 cs.CL
Data Augmentation Supporting a Conversational Agent Designed for Smoking Cessation Support Groups
University of California, Irvine（加州大学尔湾分校）
本文提出了一种两级数据增强策略，通过合成和真实数据提升对话代理在戒烟支持小组中的表现，验证了数据增强对F1分数提升的有效性。
2025-12-18 cs.CL
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
儿童的自动语音识别（ASR）一直是困难的，部分原因是数据稀缺的问题，特别是对于10岁的孩子。当数据稀缺时，模型可能会过拟合训练数据，因此良好的训练起点至关重要。最近，元学习被提出来学习不同语言的ASR任务的模型初始化（MI）。当模型适应于看不见的语言时，这种方法会带来良好的性能。然而，MI容易受到训练任务的过度拟合（学习者过度拟合）。也不知道MI是否推广到其他低资源任务。在本文中，我们验证了MI在儿童ASR中的有效性，并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习（MAML），我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面，我们提出了一种任务级增强方法，通过使用频率弯曲技术模拟新的年龄。详细的实验表明，任务增强对每个年龄段的10岁以上的言语的影响。其结果是，我们的方法实现了相对字错误率（WER）的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP
University of Antwerp（安特卫普大学）
本文提出自动化方法FairFlow，通过自动生成并行数据来训练反事实文本生成器模型，有效克服了传统基于字典的词替换方法易脱离语境的局限，在减少人工干预的同时保持良好性能。
2024-07-23 cs.CL
UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
迁移学习已经在许多有监督的NLP任务中产生了最先进的（SoTA）结果。然而，在每一种目标语言中的每一个目标任务的注释数据是罕见的，特别是对于低资源语言。我们提出了UXLA，一种新的无监督数据增强框架的零资源迁移学习的情况下。特别地，UXLA旨在解决从源语言任务分布到未知目标语言任务分布的跨语言适应问题，假设目标语言中没有训练标签。在其核心，UXLA执行同时自我训练与数据增强和无监督的样本选择。为了证明其有效性，我们进行了广泛的实验上三个不同的零资源跨语言迁移任务。UXLA在所有任务中都实现了SoTA结果，远远优于基线。通过深入的框架解剖，我们展示了不同组件对其成功的累积贡献。
2021-06-26 cs.CL cs.LG
Data Augmentation for Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering（ALTA研究所，工程系）
针对SGEC标注数据稀缺问题，提出全自动生成含语法错误与不流利现象音频-文本对的方法及客观评估指标，并在S&I Corpus上验证其对书面GEC和SGEC的增强价值。
2025-07-25 cs.AI cs.CL cs.SD
Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
对话理解任务往往需要大量的注释数据才能取得良好的绩效，这在资源匮乏的环境中提出了挑战。为了缓解这一障碍，我们探索了Few-Shot数据增强的对话理解，提示大型预训练的语言模型，并提出了一种新的方法，迭代增强质量，通过应用弱监督过滤器。我们在DailyDialog中的情感和行为分类任务以及Facebook多语言任务导向对话中的意图分类任务上评估了我们的方法。在我们的增强数据与Few-Shot地面实况数据混合的基础上进行微调的模型能够在两个数据集上接近或超过现有的最先进性能。特别是对于DailyDialog，使用10%的地面真实数据，我们的表现优于使用100%数据的当前最先进的模型。
2022-11-02 cs.AI cs.CL cs.LG
Self-Compositional Data Augmentation for Scientific Keyphrase Generation
Nantes University（南特大学）；CNRS（法国国家科学研究中心）；National Institute of Informatics（国立信息学研究所）
提出一种自组合数据增强方法，通过共享关键短语组合相似文档生成合成样本，无需外部数据，在多个领域数据集上持续提升关键短语生成性能。
2024-11-06 cs.CL cs.IR
Interactive Machine Learning for Image Captioning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Oldenburg University（奥尔登堡大学）
我们提出了一种交互式学习的图像描述模型的方法。由于人的反馈是昂贵的，现代神经网络的方法往往需要大量的监督数据进行训练，我们设想一个系统，利用人的反馈，尽可能好地利用反馈使用数据增强的方法，并集成所产生的训练样本到模型中的智能方式。这种方法有三个关键组成部分，我们需要找到合适的实际实现：反馈收集，数据增强和模型更新。我们概述了我们的想法，并审查了解决这些任务的不同可能性。
2022-02-28 cs.CL cs.CV
Unsupervised Paraphrase Generation using Pre-trained Language Models
Fidelity Investments（富达投资）
大规模预训练语言模型已被证明是各种自然语言任务中非常强大的方法。OpenAI的GPT-2 \cite{radford2019language}以其生成流畅，良好表达，语法一致的文本和短语完成的能力而闻名。在本文中，我们利用GPT-2的这种生成能力来生成释义，而无需对标记数据进行任何监督。我们研究了结果与其他监督和无监督方法的比较，以及使用释义进行数据增强对下游任务（如分类）的影响。我们的实验表明，与我们的模型生成的释义是质量好，是多样的，并提高下游任务的性能时，用于数据增强。
2020-06-09 cs.CL cs.LG
Learning Multimodal Data Augmentation in Feature Space
Rice University（莱斯大学）；Amazon Web Services（亚马逊云科技）；New York University（纽约大学）
针对多模态数据增强难以保持语义且依赖模态定制的问题，提出 LeMDA，在特征空间中自动学习联合增强，并在图像、文本和表格任务上取得最先进结果。
2023-04-24 cs.CL cs.CV cs.LG
