Dialog State Tracking with Reinforced Data Augmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经对话状态跟踪器通常由于缺乏带注释的训练数据的数量和多样性而受到限制。在本文中，我们通过提出一个基于强化学习（RL）的数据增强框架来解决这个困难，该框架可以生成高质量的数据来改进神经状态跟踪器。具体来说，我们引入了一种新的上下文强盗生成器来学习细粒度的增强策略，可以通过为特定上下文选择合适的替代品来生成新的有效实例。此外，通过在生成器和状态跟踪器之间交替学习，我们可以不断改进生成策略，为神经状态跟踪器生成更多高质量的训练数据。在WoZ和MultiWoZ（餐厅）数据集上的实验结果表明，该框架显著提高了现有模型的性能，特别是在训练数据有限的情况下。
2019-11-18 cs.AI cs.CL cs.LG
Data Augmentation Methods for Anaphoric Zero Pronouns
Queen Mary University of London（伦敦玛丽女王大学）；Qassim University（卡西姆大学）
在阿拉伯语、汉语、意大利语、日语、西班牙语等亲降语言中，某些句法位置的未实现（空）论元可以指代先前引入的实体，因此被称为回指零代词。然而，现有的研究回指零代词解释的资源仍然有限。本文使用五种数据增强方法自动生成和检测回指零代词。我们使用增强的数据作为额外的训练材料的两个照应零代词系统阿拉伯语。我们的实验结果表明，数据增强提高了两个系统的性能，超过了最先进的结果。
2021-09-20 cs.AI cs.CL cs.LG
Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks
KAIST（韩国科学技术院）
针对低资源场景下数据增强种子样本少、生成数据多样性不足的问题，提出检索增强数据增强框架RADA，通过检索其他数据集相关实例并结合LLM生成更相关且多样的合成数据，在多个数据集上超越现有基线。
2024-02-21 cs.AI cs.CL cs.LG
Constructing Contrastive samples via Summarization for Text Classification with limited annotations
Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Squirrel AI Learning（松鼠AI）
对比学习已经成为一种功能强大的表示学习方法，并促进了各种下游任务，特别是当监督数据有限时。如何通过数据增强构造有效的对比样本是其成功的关键。与视觉任务不同，用于对比学习的数据增强方法在语言任务中还没有得到充分的研究。在本文中，我们提出了一种新的方法来构建对比样本的语言任务，使用文本摘要。我们使用这些样本进行监督对比学习，以获得更好的文本表示，这极大地有利于有限注释的文本分类任务。为了进一步改进该方法，我们混合了来自不同类别的样本，并在交叉熵损失之外添加了一个额外的正则化，名为Mixsum。在真实文本分类数据集（Amazon-5、Yelp-5、AG News和IMDb）上的实验证明了所提出的基于摘要的数据增强和Mixsum正则化的对比学习框架的有效性。
2021-11-29 cs.CL cs.LG
Evaluating the Effectiveness of Data Augmentation for Emotion Classification in Low-Resource Settings
Columbia University（哥伦比亚大学）
本研究在低资源多标签情感分类任务中评估数据增强技术，发现 Back Translation 优于自编码器方法，且生成多个样本能进一步提升性能，验证了其在资源受限场景中的有效性。
2024-06-07 cs.AI cs.CL cs.LG
Limited Effectiveness of LLM-based Data Augmentation for COVID-19 Misinformation Stance Detection
University of Southern California（南加州大学）
本研究探讨使用LLMs进行可控虚假信息生成（CMG）作为数据增强方法在COVID-19虚假信息立场检测中的效果，发现受限于LLMs内置安全防护机制，其性能提升有限且不稳定。
2025-03-04 cs.CL cs.CY cs.HC
Good-Enough Example Extrapolation
Google Research（谷歌研究院）
本文提出了一个问题，是否外推隐藏的空间分布的文本例子从一个类到另一个是一个有效的归纳偏见数据增强。为了使这个问题可操作化，我提出了一个简单的数据增强协议，称为“足够好的示例外推”（GE 3）。GE3是轻量级的，没有超参数。应用于三个文本分类数据集的各种数据不平衡的情况下，GE3提高性能比上采样和其他隐藏空间数据增强方法。
2021-09-15 cs.CL
KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Low-Resource NLP
Macquarie University（麦考瑞大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）
本文主要研究训练集有限的低资源NLP任务的数据增强。现有的解决方案或者利用与任务无关的启发式规则（例如，同义词替换）或微调通用预训练语言模型（例如，GPT 2）使用有限的训练实例来产生新的合成数据。因此，它们具有琐碎的特定于任务的知识，并且限于产生低质量的合成数据。为了解决这个问题，我们提出了知识混合数据增强模型（KnowDA），这是一个Seq 2Seq语言模型，在知识混合训练（KoMT）的新框架下，对不同的NLP任务进行了预训练。KoMT的目标是将不同的NLP任务特定知识浓缩到单个KnowDA模型中（即，使KnowDA能够利用这些知识，通过有限的训练实例，快速掌握目标任务的内在合成规律。具体而言，KoMT将来自各种异构NLP任务的输入示例重新格式化为统一的文本到文本格式，并采用不同粒度的去噪训练目标来学习重建部分或完整样本。据我们所知，我们是第一次尝试将100+ NLP多任务训练应用于数据增强。广泛的实验表明i）由KnowDA产生的合成数据成功地提高了强预训练语言模型的性能（即，BERT，ALBert和Deberta）在低资源的NLP基准FewGLUE，CoNLL'03和WikiAnn上获得了很大的优势; ii）KnowDA成功地将任务知识转移到NLP任务，其类型在KoMT中可见和不可见。
2023-01-27 cs.CL
Effectiveness of Data Augmentation for Parameter Efficient Tuning with Limited Data
Queen’s University（女王大学）；National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）
本文研究了在数据稀缺下，EDA、Back Translation 和 Mixup 等数据增强技术对 P-tuning v2 和 LoRA 等参数高效微调方法的影响，发现其效果因技术而异，并指出添加对比损失函数可有效缓解 P-tuning 对增强数据分离能力不足的问题。
2023-06-29 cs.CL
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
Pune Institute of Computer Technology (PICT)（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本研究针对低资源语言马拉地语，采用MahaBERT模型结合领域自适应预训练与回译数据增强方法，提升了其跨领域情感分析的准确率，最小提升0.12%、最大1.74%，验证了策略的有效性。
2026-10-14 cs.CL cs.LG
Optimizing Alignment with Less: Leveraging Data Augmentation for Personalized Evaluation
University of Tehran（德黑兰大学）
针对个性化评估中数据稀缺、开源LLM难适配人类偏好的问题，提出从有限数据中筛选有效样本的数据增强技术，在数学推理任务上显著提升与参考裁判的皮尔逊相关系数。
2024-12-10 cs.AI cs.CL
A Survey on Data Augmentation for Text Classification
Technical University of Darmstadt（达姆施塔特工业大学）
数据增强，即通过变换人工创建用于机器学习的训练数据，是跨机器学习学科的广泛研究的研究领域。虽然它有助于提高模型的泛化能力，但它也可以解决许多其他挑战和问题，从克服有限的训练数据，到规范目标，再到限制用于保护隐私的数据量。基于对数据增强的目标和应用的精确描述以及对现有作品的分类，本调查关注文本分类的数据增强方法，旨在为研究者和从业者提供一个简明而全面的概述。从分类学中，我们将100多种方法分为12个不同的组，并给出了最先进的参考文献，通过将它们相互关联来阐述哪些方法是非常有前途的。最后，研究的角度，可能构成一个积木为今后的工作提供。
2022-09-08 cs.AI cs.CL
SDA: Simple Discrete Augmentation for Contrastive Sentence Representation Learning
Baidu Inc.（百度公司）；SenseTime Research（商汤科技研究院）；Fudan University（复旦大学）
本文针对无监督对比句表示学习提出 SDA 离散增强框架，通过标点插入、情态动词和双重否定平衡语义一致性与表达多样性，并用标准否定构造负样本以缓解特征抑制，在多个语义文本相似度数据集上稳定优于现有方法。
2024-06-14 cs.CL
Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
基于神经元的模型在有相当大的域内训练数据时，在槽填充和意图分类方面取得了优异的性能。然而，由于新的域被频繁地添加，创建相当大的数据是昂贵的。我们表明，轻量级的增强，一组增强方法，涉及词跨度和句子级别的操作，解决数据稀缺的问题。我们在有限的数据设置上的实验表明，轻量级增强在ATIS和SNIPS数据集上的插槽填充上产生了显着的性能改善，并且相对于更复杂的、最先进的增强方法，实现了具有竞争力的性能。此外，当与预先训练的基于LM的模型结合时，轻量级增强也是有益的，因为它改进了基于BERT的联合意图和槽填充模型。
2020-09-08 cs.CL
Few-Shot Text Classification with Triplet Networks, Data Augmentation, and Curriculum Learning
ProtagoLabs；International Monetary Fund（国际货币基金组织）；Dartmouth College（达特茅斯学院）；Microsoft AI（微软人工智能研究院）
Few-Shot文本分类是一项基本的NLP任务，其中模型的目标是将文本分类为大量类别，每个类别只有几个训练样本。本文探讨了数据增强-一种特别适合于有限数据训练的技术-用于这种Few-Shot，高度多类文本分类设置。在四个不同的文本分类任务中，我们发现常见的数据增强技术可以将三元组网络的性能平均提高3.0%。为了进一步提高性能，我们提出了一种简单的训练策略，称为课程数据增强，它通过首先只在原始示例上进行训练，然后随着训练的进行引入增强数据来利用课程学习。我们探索了一个两阶段和一个渐进的时间表，并发现，与标准的单阶段训练相比，课程数据增强训练更快，提高了性能，并保持稳健的大量噪声增强。
2021-03-12 cs.CL
FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
大多数以前的文本数据增强方法仅限于简单的任务和弱基线。我们在硬任务上探索数据增强（即，Few-Shot自然语言理解）和强基线（即，具有超过十亿个参数的预训练模型）。在此设置下，我们复制了大量以前的增强方法，发现这些方法带来的边际收益最好，有时会降低性能很多。为了解决这一挑战，我们提出了一种新的数据增强方法FlipDA，它联合使用生成模型和分类器来生成标签翻转数据。FlipDA的核心思想是发现生成标签翻转数据比生成标签保留数据对性能更重要。实验表明，FlipDA在有效性和鲁棒性之间实现了良好的平衡-它大大改善了许多任务，同时不会对其他任务产生负面影响。
2022-03-15 cs.CL
Multimodal Learning with Augmentation Techniques for Natural Disaster Assessment
Romanian Hub for Artificial Intelligence - HRIA（罗马尼亚人工智能枢纽 - HRIA）
本文针对自然灾害评估数据集类别不平衡和样本有限的问题，在CrisisMMD数据集上探索了基于扩散的图像增强和多种文本增强技术，实验证明这些方法有效提升了多模态分类性能，为构建稳健的灾害评估系统提供了策略。
2025-10-04 cs.AI cs.CL cs.CV
Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation
University of Washington（华盛顿大学）
选择放射学检查协议是一个重复且耗时的过程。在本文中，我们提出了一种深度学习方法，通过预训练特定于领域的BERT模型（$BERT_{rad}$）来自动为计算机断层扫描检查分配协议。为了处理检查协议之间的高数据不平衡，我们使用了一种知识蒸馏方法，通过数据增强对少数类进行上采样。我们使用支持向量机（SVM），梯度提升机（GBM），随机森林（RF）分类器，以及谷歌的$BERT_{base}$模型的统计n-gram模型的分类性能进行了比较。SVM、GBM和RF的宏观平均F1评分分别为0.45、0.45和0.6，而$BERT_{base}$和$BERT_{rad}$分别为0.61和0.63。知识蒸馏提高了少数民族班的整体表现，达到了0.66的F1分数。
2021-07-06 cs.CL
Dual-Class Prompt Generation: Enhancing Indonesian Gender-Based Hate Speech Detection through Data Augmentation
School of Computer Science（计算机学院）；Bina Nusantara University（宾纳南塔大学）
本文提出双类提示生成数据增强方法，通过结合仇恨与非仇恨言论示例，有效缓解印尼语性别仇恨言论检测的类别不平衡与数据稀缺问题，在准确率和F1分数上达到最优。
2025-03-06 cs.CL
KnowDis: Knowledge Enhanced Data Augmentation for Event Causality Detection via Distant Supervision
National Laboratory of Pattern Recognition, Institute of AutomationChinese Academy of Sciences（中国科学院自动化研究所模式识别国家实验室）；School of Artificial IntelligenceUniversity of Chinese Academy of Sciences（中国科学院大学人工智能学院）
现代事件因果关系检测（ECD）模型主要基于小型手工标注语料库的监督学习。然而，手工标记的训练数据生产成本高，因果表达式的覆盖率低，规模有限，这使得监督方法难以检测事件之间的因果关系。为了解决这一数据缺乏的问题，我们研究了一个数据增强框架ECD，被称为知识增强的远程数据增强（KnowDis）。在EventStoryLine语料库和Cause-TimeBank上的实验结果表明：1）KnowDis可以通过远程监督，在词汇和因果常识知识的辅助下，对已有的训练数据进行扩充; 2）在自动标注训练数据的辅助下，该方法的性能明显优于已有方法.
2020-10-21 cs.CL
Enhancing NER Performance in Low-Resource Pakistani Languages using Cross-Lingual Data Augmentation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对低资源巴基斯坦语言NER因缺乏标注数据和PLM支持不足的问题，提出跨语言数据增强技术生成文化合理句子，微调多语言掩码LLMs后在四种语言中显著提升性能，尤其沙姆基语和普什图语。
2025-04-07 cs.CL cs.IR
Evaluating the Effectiveness and Scalability of LLM-Based Data Augmentation for Retrieval
Microsoft Research India（微软研究院印度分部）
本文通过100多种实验设置系统研究LLM数据增强对检索的有效性与可扩展性，发现增强收益随规模递减、小模型增强可媲美大模型，且对预训练不足的模型收益最大。
2025-09-19 cs.CL cs.IR
