Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers
CID GmbH（CID有限公司）；Technical University of Darmstadt（达姆施塔特工业大学）
在机器学习的许多情况下，研究表明，训练数据的开发可能比分类器本身的选择和建模具有更高的相关性。因此，已经开发了数据增强方法以通过人工创建的训练数据来改进分类器。在NLP中，存在为提供新语言模式的文本转换建立通用规则的挑战。在本文中，我们提出并评估了一种文本生成方法，适合于提高分类器的性能，为长文本和短文本。通过我们的文本生成方法的增强，我们在评估短文本和长文本任务时取得了很好的改进。特别是对于小数据分析，与无增强基线和另一种数据增强技术相比，在构建的低数据范围内实现了高达15.53%和3.56%的附加准确度增益。由于这些构建机制的当前轨道并不普遍适用，我们还在几个现实世界的低数据任务（高达+4.84 F1分数）中显示了重大改进。由于我们从多个角度（总共11个数据集）评估该方法，因此我们还观察到该方法可能不适合的情况。我们讨论了成功应用我们的方法对不同类型的数据集的影响和模式。
2022-07-22 cs.AI cs.CL
Text generation for dataset augmentation in security classification tasks
针对安全分类任务中正类样本不足导致分类器性能下降的问题，评估GPT-3文本生成用于数据增强，发现其微调策略在样本受限时显著提升多种安全检测分类器的性能。
2023-10-22 cs.CL cs.CR
SDA: Improving Text Generation with Self Data Augmentation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
数据增强已被广泛用于改进许多研究领域中的深度神经网络，例如计算机视觉。然而，较少的工作已经做了文本的上下文中，部分原因是其离散的性质和自然语言的复杂性。在本文中，我们提出了改进标准的最大似然估计（MLE）的范例，通过纳入一个自我模仿学习阶段的自动数据增强。与大多数现有的仅适用于特定模型的增强策略不同，我们的方法更通用，可以轻松地适应任何基于MLE的训练过程。此外，我们的框架允许设计特定于任务的评估指标，以灵活地控制生成的句子，例如，在控制词汇的使用和避免非平凡的重复。大量的实验结果表明，我们的方法在两个合成和几个标准的真实数据集上的优越性，显着改善相关基线。
2021-01-02 cs.CL cs.LG
Text Generation with Speech Synthesis for ASR Data Augmentation
Meta AI
本文探索用大规模预训练神经网络进行ASR文本增强，再经TTS合成语音扩充训练数据，在三个数据集上相对WER降低9%-15%，优于传统方法。
2023-05-22 cs.AI cs.CL cs.LG
Revisiting Interpolation Augmentation for Speech-to-Text Generation
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；ByteDance（字节跳动）；NiuTrans Research（NiuTrans研究院）
针对低资源场景下语音转文本生成系统标注数据不足的问题，本文深入研究插值增强技术的效用，发现采用合适策略可在多种任务、架构和数据规模下显著提升性能，为资源受限场景下的鲁棒S2T系统提供新方向。
2024-06-22 cs.CL eess.AS
Multi-Aspect Controllable Text Generation with Disentangled Counterfactual Augmentation
Nanjing University（南京大学）；National Institute of Healthcare Data Science, Nanjing University（南京大学国家医疗数据科学研究院）
针对多方面可控文本生成中因属性相关性不平衡导致的刻板印象问题，提出MAGIC方法，通过解耦反事实增强缓解训练阶段的不平衡并在推理阶段强化属性相关性，在多种场景下优于基线。
2024-05-30 cs.AI cs.CL
PAGE: Prompt Augmentation for text Generation Enhancement
Universidad Tecnológica Nacional（国立技术大学）；Centro de I+D de Ing. en Sistemas de Información（信息系统工程研发中心）
本文提出PAGE框架，利用轻量级辅助模块（如分类器）增强输入提示，提升文本生成质量与可控性，无需辅助生成模型，并在需求工程领域验证其有效性。
2025-10-13 cs.AI cs.CL
Controlled Text Generation for Data Augmentation in Intelligent Artificial Agents
Amazon Alexa AI（亚马逊Alexa AI）
数据可用性是智能人工代理新功能开发早期阶段的瓶颈。我们研究使用文本生成技术来增加训练数据的一个流行的商业人工代理跨类别的功能，以更快地开发新的功能的目标。我们探索了各种编码器-解码器生成模型的合成训练数据生成，并提出使用条件变分自动编码器。我们的方法只需要直接优化，工程以及有限的数据和显着优于以前的控制文本生成技术。此外，生成的数据被用作额外的训练样本在一个外在的意图分类任务，导致提高性能高达5\%的绝对f分数在低资源的情况下，验证我们的方法的有用性。
2019-10-04 cs.CL cs.LG stat.ML
Heavy-tailed Representations, Text Polarity Classification & Data Augmentation
LTCI（信息与通信技术实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；IBM France（IBM法国公司）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
自然语言中文本表示的主要方法依赖于在大量语料库上学习嵌入，这些语料库具有组合性和距离保持性等便利属性。在本文中，我们开发了一种新的方法来学习一个重尾嵌入与理想的规律性属性的分布尾部，它允许使用多元极值理论的框架来分析远离分布块的点。特别是，一个分类器专用于建议的嵌入的尾部获得的性能优于基线。该分类器具有尺度不变性，我们通过引入一种新的文本生成方法来增强标签保留数据集，从而利用该属性。在合成文本和真实文本数据上的数值实验证明了所提出的框架的相关性，并证实该方法生成具有可控属性（例如积极或消极情感）的有意义的句子。
2021-03-25 cs.CL cs.LG stat.ML
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Augmenty: A Python Library for Structured Text Augmentation
本文介绍基于 spaCy 的 Python 库 Augmenty，支持文本与标注联合增强、增强器灵活组合及自定义增强器，服务于 NER、词性标注和依存分析等任务。
2023-12-09 cs.CL
Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
在进入神经网络之前，令牌通常被转换为对应的独热表示，该独热表示是词汇表的离散分布。平滑表示是从预训练的掩蔽语言模型获得的候选标记的概率，其可以被视为对独热表示的更多信息的替代。我们提出了一个有效的数据增强方法，称为文本平滑，通过转换一个句子从它的一个热表示到一个可控的平滑表示。我们评估文本平滑在不同的基准在低资源制度。实验结果表明，文本平滑明显优于各种主流的数据增强方法。此外，文本平滑可以与这些数据增强方法相结合，以实现更好的性能。
2022-02-28 cs.CL
Few-Shot Text Classification with Triplet Networks, Data Augmentation, and Curriculum Learning
ProtagoLabs；International Monetary Fund（国际货币基金组织）；Dartmouth College（达特茅斯学院）；Microsoft AI（微软人工智能研究院）
Few-Shot文本分类是一项基本的NLP任务，其中模型的目标是将文本分类为大量类别，每个类别只有几个训练样本。本文探讨了数据增强-一种特别适合于有限数据训练的技术-用于这种Few-Shot，高度多类文本分类设置。在四个不同的文本分类任务中，我们发现常见的数据增强技术可以将三元组网络的性能平均提高3.0%。为了进一步提高性能，我们提出了一种简单的训练策略，称为课程数据增强，它通过首先只在原始示例上进行训练，然后随着训练的进行引入增强数据来利用课程学习。我们探索了一个两阶段和一个渐进的时间表，并发现，与标准的单阶段训练相比，课程数据增强训练更快，提高了性能，并保持稳健的大量噪声增强。
2021-03-12 cs.CL
Sequence Generation with Label Augmentation for Relation Extraction
National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
序列生成在最近的信息抽取努力中表现出有前途的性能，通过结合大规模的预训练的Seq2Seq模型。本文研究了序列生成在关系抽取中的优点，发现以关系名称或同义词为生成对象，它们的文本语义和它们之间的相关性（词序列模式）影响模型的性能。然后，我们提出了关系抽取与标签增强（RELA），Seq2Seq模型与自动标签增强RE。所谓标签扩充，我们的意思是为作为生成目标的每个关系名称生成语义上的同义词。此外，我们提出了一个深入的分析Seq2Seq模型的行为时，处理RE。实验结果表明，RELA取得了竞争力的结果与以前的方法相比，在四个RE数据集。
2023-02-10 cs.CL
Text Augmentation in a Multi-Task View
ProtagoLabs（Protago实验室）；International Monetary Fund（国际货币基金组织）；Dartmouth College（达特茅斯学院）
传统的数据增强旨在通过在线生成与原始样本非常相似的增强样本来增加输入分布的覆盖率，其中增强样本主导训练。在本文中，我们提出了另一种观点--数据增强的多任务视图（MTV）--其中主要任务在原始示例上训练，辅助任务在增强示例上训练。在MTV数据增强中，原始样本和增强样本在训练过程中都进行了实质性的加权，放松了增强样本必须与原始数据相似的约束，从而允许我们应用更强的增强级别。在三个基准文本分类数据集上使用四种常见的数据增强技术进行的实证实验中，我们发现MTV比传统增强带来更高，更强大的性能改进。
2021-01-14 cs.CL
BootAug: Boosting Text Augmentation via Hybrid Instance Filtering Framework
University of Exeter（埃克塞特大学）
BootAug提出基于预训练语言模型的混合实例过滤框架，通过保持特征空间一致性解决现有文本增强方法在大型数据集上的性能下降问题，可迁移至多种增强方法并提升分类准确率约2-3%。
2024-04-01 cs.CL
Empirical Study of Text Augmentation on Social Media Text in Vietnamese
University of Information Technology（信息技术大学）；VNU-HCM（越南胡志明市国家大学）
在文本分类问题中，数据集中标签的不平衡性影响了文本分类模型的性能。实际上，有关社交网站上用户评论的数据并没有完全出现-管理员通常只允许正面评论，隐藏负面评论。因此，当收集关于社交网络上的用户评论的数据时，数据通常围绕一个标签倾斜，这导致数据集变得不平衡并降低模型的能力。应用数据增强技术解决数据集类别间的不平衡问题，提高了预测模型的精度。在本文中，我们对VLSP 2019越南社交文本的仇恨语音检测和UIT-VSFC：越南学生情感分析反馈语料库进行了增强技术。增强的结果在两个语料库上的F1-macro得分中增加了约1.5%。
2020-10-09 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI（阿拉纳人工智能）
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能，发现部分技术带来了一定改进，但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
Learning towards Selective Data Augmentation for Dialogue Generation
KAUST（阿卜杜拉国王科技大学）；Ant Group（蚂蚁集团）；Xiaomi AI Lab（小米AI实验室）；University of Notre Dame（圣母大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
由于获取用于训练神经对话模型的大量数据是繁琐且昂贵的，因此提出了数据增强以有效地利用现有训练样本。然而，当前对话生成任务上的数据增强技术大多增强训练数据集中的所有案例，而不考虑不同案例之间的内在属性。我们认为，并非所有的情况下，是有益的增强任务，并适用于增强的情况下，应该遵守以下两个属性：（1）低质量（对话模型不能生成一个高质量的响应的情况下），（2）代表性（情况下，应代表整个数据集的属性）。在这里，我们探索这个想法，提出了一个选择性的数据增强框架（SDA）的响应生成任务。SDA采用双对抗网络来选择最低质量和最具代表性的数据点，以便在一个阶段中进行增强。在两个公开的数据集上进行了广泛的实验，即，DailyDialog和OpenSubtitles表明，我们的框架可以提高响应生成性能的各种指标。
2023-03-17 cs.CL
Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；University of Ottawa（渥太华大学）
本文提出对抗性词语稀释方法，通过极小极大优化生成困难正样本用于低资源文本分类数据增强，在三个基准数据集上优于现有方法，并具备可解释性和免训练扩展能力。
2023-08-09 cs.CL
PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation
The Ohio State University（俄亥俄州立大学）；The Hong Kong Polytechnic University（香港理工大学）
去识别是识别临床文本中受保护的健康信息（PHI）的任务。现有的神经去识别模型通常无法推广到新的数据集。我们提出了一个简单而有效的数据增强方法PHICON，以减轻泛化问题。PHICON由PHI增强和上下文增强组成，其分别通过用从外部源采样的命名实体替换PHI实体以及通过同义词替换或随机词插入来改变背景上下文来创建增强的训练语料库。在i2b2 2006和2014去识别挑战数据集上的实验结果表明，PHICON可以帮助三个选定的去识别模型在交叉数据集测试设置上提高F1分数（最多8.6%）。我们还讨论了使用多少增强以及每种增强方法如何影响性能。
2020-10-11 cs.CL
Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation
Sun Yat-sen University（中山大学）；Sinovation Ventures（创新工场）
特征词提取的目的是从评论文本中提取特征词作为情感分析的意见目标。这项任务的一大挑战是缺乏足够的注释数据。虽然数据增强可能是解决上述问题的有效技术，但它是不可控制的，因为它可能会意外地改变特征词和特征标签。在本文中，我们制定了数据增强作为一个条件生成任务：生成一个新的句子，同时保留原来的意见目标和标签。我们提出了一个掩蔽序列到序列的方法，有条件增强方面的条款提取。与现有的增强方法不同，我们的方法是可控的，允许我们生成更多样化的句子。实验结果表明，我们的方法解决了数据稀缺问题显着。它也有效地提高了性能的几个当前模型的方面的条款提取。
2020-05-01 cs.CL
Text Augmentation for Language Models in High Error Recognition Scenario
Brno University of Technology（布尔诺理工大学）
我们研究了数据增强对语音识别的语言模型训练的影响。我们将基于全局错误统计的增强与基于ASR错误的每个字的单字统计的增强进行比较，并观察到最好只关注全局替换、删除和插入率。这个简单的方案也始终优于标签平滑及其采样变量。此外，我们调查的行为的困惑估计的扩增数据，但得出的结论是，它没有更好的预测最终的出错率。我们的最佳增强方案在CHiMe-6挑战上将来自第二遍重新评分的绝对WER改善从1.1%增加到1.9%。
2020-11-11 cs.CL
EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks
Protago Labs Research（Protago实验室研究院）；Dartmouth College（达特茅斯学院）；Georgetown University（乔治城大学）
我们提出了EDA：简单的数据增强技术，提高性能的文本分类任务。EDA由四个简单但功能强大的操作组成：同义词替换、随机插入、随机交换和随机删除。在五个文本分类任务中，我们证明了EDA提高了卷积神经网络和递归神经网络的性能。EDA在较小的数据集上表现出了特别强的效果;平均而言，在五个数据集上，使用EDA训练，同时只使用50%的可用训练集，与使用所有可用数据的正常训练达到了相同的准确性。我们还进行了广泛的消融研究，并提出了实际使用的参数。
2019-08-25 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics（上海财经大学）
文本增强技术被广泛应用于文本分类问题，以提高分类器的性能，特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法，但它们以非选择性的方式增强文本，这意味着不太重要或嘈杂的词与信息词有相同的机会被增强，从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词，并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字，我们提出STA（选择性文本增强）选择性地增强文本，其中信息，类指示词被强调，但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明，STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
AEDA: An Easier Data Augmentation Technique for Text Classification
University of Parma（帕尔马大学）
本文提出了一种改进的数据增强（AEDA）技术来提高文本分类的性能。AEDA只包括在原始文本中随机插入标点符号。这是一种比EDA方法（Wei和Zou，2019）更容易实现数据增强的技术，我们将结果与EDA方法进行了比较。此外，它保持了单词的顺序，同时改变了它们在句子中的位置，从而获得了更好的泛化性能。此外，EDA中的删除操作可能会导致信息丢失，从而误导网络，而AEDA保留所有输入信息。在基线之后，我们在五个不同的文本分类数据集上进行了实验。我们表明，使用AEDA增强数据进行训练，与使用所有五个数据集中的EDA增强数据相比，模型表现出更好的性能。源代码可供进一步研究和复制的结果。
2021-08-30 cs.CL
DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification
Singapore University of Technology and Design（新加坡科技设计大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种简单有效的基于插值的数据增强方法DoubleMix，以提高文本分类模型的鲁棒性。DoubleMix首先利用几个简单的增强操作为每个训练数据生成几个扰动样本，然后使用扰动数据和原始数据在神经模型的隐藏空间中进行两步插值。具体地说，它首先将扰动数据混合成一个合成样本，然后将原始数据和合成扰动数据混合。DoubleMix通过学习隐藏空间中的“移位”特征来增强模型的鲁棒性。在六个文本分类基准数据集上，我们的方法优于几种流行的文本增强方法，包括标记级，隐藏级数据增强技术。此外，在低资源设置的实验表明，我们的方法一致地提高模型的性能时，训练数据是稀缺的。广泛的消融研究和案例研究证实，我们的方法的每个组成部分有助于最终的性能，并表明我们的方法具有优越的性能，具有挑战性的反例。此外，视觉分析表明，我们的方法生成的文本特征是高度可解释的。本文的代码可以在https://github.com/declare-lab/DoubleMix.git上找到。
2022-09-12 cs.CL
Named Entity Recognition for Social Media Texts with Semantic Augmentation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Electronic Science and Technology of China（电子科技大学）；University of Washington（华盛顿大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
现有的用于命名实体识别的方法在对短的和非正式的文本（特别是用户生成的社交媒体内容）进行时遭受数据稀疏问题。语义增强是缓解这一问题的一种潜在方法。由于预训练的词嵌入隐含了丰富的语义信息，因此它们是语义增强的潜在理想资源。在本文中，我们提出了一种基于神经元的方法，以NER的社交媒体文本，同时考虑到本地（从运行文本）和增强语义。特别地，我们从大规模语料库中获得增强的语义信息，并提出了一个专注的语义增强模块和门模块来编码和聚合这些信息，分别。在从英语和中文社交媒体平台收集的三个基准数据集上进行了广泛的实验，结果表明我们的方法优于所有三个数据集上的先前研究。
2020-10-29 cs.CL
Sentence-level Feedback Generation for English Language Learners: Does Data Augmentation Help?
Georgetown University（乔治城大学）
在本文中，我们提出了强大的基线的任务，反馈意见生成写作学习。给定一个句子和一个错误跨度，任务是生成一个解释错误的反馈评论。句子和反馈意见都是英文的。我们使用LLM进行实验，并为任务创建多个伪数据集，研究它如何影响我们系统的性能。我们提出了我们的研究结果的任务，以及广泛的分析所产生的评论，以帮助未来的研究反馈评论生成的英语语言学习者的目的。
2022-12-18 cs.CL
Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach
Wuhan University（武汉大学）；Monash University（莫纳什大学）
针对多标签文本分类模型对组合概念泛化能力不足的问题，提出利用两个创新文本生成模型进行数据增强的方法，在三个基准上显著提升组合泛化性能。
2023-12-20 cs.CL
Text Data Augmentation for Large Language Models: A Comprehensive Survey of Methods, Challenges, and Opportunities
Lingnan University（岭南大学）；School of Data Science, Lingnan University（岭南大学数据科学学院）
本综述全面分析了大型语言模型（LLMs）的文本数据增强方法，将其分为简单增强、基于提示、基于检索和混合增强四类，并总结了后处理技术、评估指标及未来挑战与机遇。
2025-01-31 cs.CL
German Phoneme Recognition with Text-to-Phoneme Data Augmentation
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
在这项研究中，我们进行了实验，以检查的效果，增加最频繁的n音素二元组的基本词汇上的德语音素识别模型，使用文本到音素数据增强策略。结果表明，与基线模型相比，元音30模型和const20模型的BLEU得分增加了1分以上，而total30模型的BLEU得分显著降低了20分以上，表明音素二元组对模型性能有积极或消极的影响。此外，我们通过误差分析确定了模型重复显示的误差类型。
2022-11-24 cs.CL
How to choose "Good" Samples for Text Data Augmentation
Guangdong University of Foreign Studies（广东外语外贸大学）；Guangdong University of Technology（广东工业大学）；Guangzhou Key Laboratory of Multilingual Intelligent Processing（广州市多语言智能处理重点实验室）
基于深度学习的文本分类模型需要大量的标记数据才能获得有竞争力的性能。然而，对大规模语料库进行标注费时费力。为了解决这个问题，许多研究试图使用数据增强来扩大语料库的大小。然而，数据增强可能潜在地产生一些噪声增强样本。在自然语言处理领域，目前还没有研究增强样本的样本选择问题。在本文中，我们提出了一种新的自训练选择框架，具有两个选择器，以选择高质量的样本从数据增强。具体来说，我们首先使用基于熵的策略和模型预测来选择增强样本。考虑到在上述步骤中，一些高质量的样本可能会被错误地过滤，我们提出从词重叠和语义相似度两个角度来召回它们。实验结果表明，我们的框架的有效性和简单性。
2023-02-02 cs.CL
Class-Structure Preservation Beats Diversity: A Comprehensive Benchmark of Text Augmentation Methods for Imbalanced Text Classification
Faculty of Business and Commerce, Kansai University（关西大学商学部）
该研究构建含11种增强方法的基准，在7个数据集上测试后发现，基于LLM的增强性能不优于经典的EmbSMOTE，类结构保真度而非表面多样性是关键，建议检索式过采样作为不平衡多分类默认方法。
2026-08-14 cs.CL
Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；University of Pittsburgh（匹兹堡大学）
该研究比较了few-shot学习中的多种样本选择策略在基于LLM的文本增强中的效果，发现“信息量”策略带来的性能提升微乎其微，建议目前仍以随机选择为默认方案。
2024-10-14 cs.CL
Data Augmentation for Low-Resource Keyphrase Generation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文针对低资源关键短语生成提出基于文章全文的数据增强策略，在三个数据集上验证其能持续提升最先进性能。
2023-05-29 cs.CL
Textual Augmentation Techniques Applied to Low Resource Machine Translation: Case of Swahili
African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Pretoria（比勒陀利亚大学）
本研究针对低资源机器翻译平行语料不足的问题，以英斯语对为例，对比三种文本增强技术与基线NMT的性能，发现上下文数据增强在两个翻译方向均有提升，验证了该类方法的应用潜力。
2023-06-12 cs.CL
Creating Targeted, Interpretable Topic Models with LLM-Generated Text Augmentation
Wellesley College（韦尔斯利学院）
本研究利用LLM生成的文本增强改进主题模型的可解释性和实用性，通过政治学案例验证，GPT-4增强能创建高度可解释的类别，支持特定领域研究。
2025-04-24 cs.CL
Code-switching Sentence Generation by Generative Adversarial Networks and its Application to Data Augmentation
National Taiwan University（台湾大学）
语码转换是指在言语或文本中处理替代语言。它部分地依赖于说话人和领域，因此完全用语言规则来解释这一现象是具有挑战性的。与大多数单语任务相比，数据不足是语码转换的一个问题。为了在没有昂贵的人工注释的情况下缓解这个问题，我们提出了一种用于代码切换数据增强的无监督方法。通过使用生成对抗网络，我们可以从单语句子生成内部语码转换句子。将该方法应用于两个语料库，实验结果表明，生成的语码转换语句提高了语码转换语言模型的性能。
2019-06-19 cs.CL
BDA: Bangla Text Data Augmentation Framework
Islamic University of Technology（伊斯兰科技大学）；The University of Manchester（曼彻斯特大学）
本文提出孟加拉语文本数据增强框架BDA，结合预训练模型与规则方法生成文本变体并过滤保义，在五个分类数据集上仅用50%训练数据即达到与全量数据训练相当的性能。
2024-12-26 cs.CL
CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP
University of Maryland（马里兰大学）；NVIDIA（英伟达公司）
CoDa通过从低资源数据中提取简单约束并提示大语言模型生成多样化训练样本，实现无需训练的可控数据增强，在11个数据集上优于基线方法。
2024-03-30 cs.CL
Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text
Fudan University（复旦大学）；Sun Yat-Sen University（中山大学）；Microsoft（微软）；Sinovation Ventures（创新工场）
文本的逻辑推理需要理解文本中的关键逻辑信息并对其进行推理。用于逻辑推理的大规模预训练模型主要关注文本的单词级语义，而难以捕获符号逻辑。在本文中，我们建议理解文本中的逻辑符号和表达式来得出答案。基于这些逻辑信息，我们不仅提出了一个上下文扩展框架，并提出了一个数据增强算法。前者将上下文扩展到涵盖遵循逻辑等价律的隐式逻辑表达式。后者增加了字面上相似但逻辑上不同的实例，以更好地捕获逻辑信息，特别是逻辑否定和条件关系。我们在ReClor数据集上进行了实验。实验结果表明，该方法具有较好的性能，逻辑驱动的上下文扩展框架和数据增强算法都有助于提高准确率。我们的多模型集成系统是第一个在ReClor的EASY集和HARD集上超过人类性能的系统。
2021-05-08 cs.CL
DG2: Data Augmentation Through Document Grounded Dialogue Generation
Columbia University（哥伦比亚大学）；ASAPP（ASAPP公司）；IBM Research AI（IBM人工智能研究院）
收集用于训练对话系统的数据可能是极其昂贵的，这是由于人类参与者的参与以及对大量注释的需要。特别是在基于文档的对话系统中，人类专家需要仔细阅读非结构化文档来回答用户的问题。因此，现有的基于文档的对话数据集规模相对较小，阻碍了对话系统的有效训练。在本文中，我们提出了一个自动数据增强技术的基础上，通过生成对话模型的文件。对话模型由用户机器人和代理机器人组成，它们可以在给定输入文档的情况下合成各种对话，然后用于训练下游模型。当补充原始数据集时，我们的方法比传统的数据增强方法有了显著的改进。我们还在低资源环境中实现了出色的性能。
2021-12-15 cs.CL
LLMs vs Established Text Augmentation Techniques for Classification: When do the Benefits Outweight the Costs?
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）；University of Pittsburgh（匹兹堡大学）
本文在6个数据集、3个分类器和2种微调方法上对比了LLM与成熟文本增强技术，通过成本效益分析发现LLM增强仅在种子数量极少时才具部署价值，成熟方法往往能达到相似或更优的准确率。
2024-08-29 cs.CL
Data Augmentation Techniques for Machine Translation of Code-Switched Texts: A Comparative Study
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）
本文比较了词汇替换、语言学理论和回译三种数据增强方法在埃及阿拉伯语-英语语码转换机器翻译中的效果，发现回译和基于CSW预测的词汇替换在有并行数据时表现最佳，而语言学理论和随机词汇替换在无并行数据时同样有效。
2023-10-23 cs.CL
EDDA: A Encoder-Decoder Data Augmentation Framework for Zero-Shot Stance Detection
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Xi'an Jiaotong University（西安交通大学）；Shenzhen x-nstitute（深圳x-研究院）
针对零样本立场检测中数据增强泛化不足的问题，提出编码器-解码器数据增强框架EDDA，利用大语言模型生成逻辑关联并增强句法多样性，显著提升了检测性能与可解释性。
2024-03-23 cs.CL
Boosting Event Extraction with Denoised Structure-to-Text Augmentation
Beijing Institute of Technology（北京理工大学）；Ministry of Industry and Information Technology（工业和信息化部）；Beijing University of Technology（北京工业大学）；Baidu Inc.（百度公司）
针对事件抽取数据稀缺及现有数据增强存在语法错误、结构错位和语义漂移的问题，提出去噪结构到文本增强框架DAEE，结合知识生成模型与深度强化学习筛选有效数据，提升了文本多样性与性能。
2023-05-16 cs.CL
Data Augmentation with Hierarchical SQL-to-Question Generation for Cross-domain Text-to-SQL Parsing
Soochow University（苏州大学）；Baidu Inc.（百度公司）
数据增强在深度学习时代因其缓解数据稀疏性的能力而引起了大量的研究关注。对于看不见的评估数据库来说，缺乏标记数据正是跨域文本到SQL解析的主要挑战。以前的工作要么需要人工干预来保证生成数据的质量，要么无法处理复杂的SQL查询。本文提出了一个简单而有效的数据增强框架。首先，给定一个数据库，我们自动产生大量的SQL查询的基础上，一个抽象的语法树语法。为了更好的分布匹配，我们要求训练数据中至少80%的SQL模式被生成的查询覆盖。其次，我们提出了一个分层SQL到问题生成模型，以获得高质量的自然语言的问题，这是这项工作的主要贡献。最后，我们设计了一个简单的采样策略，可以在生成大量数据的情况下大大提高训练效率。在三个跨域数据集上的实验，即，英文的WikiSQL和Spider以及中文的DuSQL表明，我们提出的数据增强框架可以在强基线上持续提高性能，而分层生成组件是改进的关键。
2022-11-15 cs.CL
A Multi-cascaded Model with Data Augmentation for Enhanced Paraphrase Detection in Short Texts
Lahore University of Management Sciences（拉合尔管理科学大学）
释义检测是文本分析中的一项重要任务，有许多应用，如剽窃检测，重复问题识别和增强的客户支持服务台。已经提出了用于表示和分类释义的深度模型。然而，这些模型需要大量的人工标记数据，这是昂贵的获得。在这项工作中，我们提出了一个数据增强策略和一个多级联模型，以改善在短文本中的释义检测。我们的数据增强策略将释义和非释义的概念视为文本集上的二元关系。随后，它使用图论的概念，有效地产生额外的释义和非释义对在一个声音的方式。我们的多级联模型采用了三个基于CNN和LSTM网络的有监督特征学习器（级联），有和没有软注意。然后，将学习到的特征与手工制作的语言特征一起转发到一个神经网络进行最终分类。我们的模型既宽又深，并且在干净和嘈杂的短文本中提供更大的鲁棒性。我们在三个基准数据集上评估了我们的方法，并表明它在所有三个数据集上都产生了可比的或最先进的性能。
2019-12-27 cs.CL
Evaluation Metrics for Text Data Augmentation in NLP
Alana AI Research（阿拉纳人工智能研究院）
本文针对NLP文本数据增强缺乏统一评估标准的问题，提出了评估指标分类体系，为实现不同增强方法的统一基准与标准化提供方向。
2024-02-09 cs.AI cs.CL
GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation
Microsoft Azure AI（微软Azure人工智能部门）；Shanghai University of Finance and Economics（上海财经大学）
我们介绍天才：使用草图作为输入的条件文本生成模型，可以填充给定草图的缺失上下文（由文本跨度、短语或单词组成的关键信息，由掩码标记连接）。GENIUS在大规模文本语料库上进行了预训练，使用极端和选择性掩蔽策略从草图目标进行了新颖的重建，使其能够在给定草图的情况下生成多样化和高质量的文本。与其他竞争性条件语言模型（CLM）的比较揭示了GENIUS文本生成质量的优越性。我们进一步表明，GENIUS可以作为一个强大的和现成的数据增强工具，用于各种自然语言处理（NLP）任务。大多数现有的文本数据增强方法要么过于保守，对原始文本进行小的更改，要么过于激进，创建全新的样本。使用GENIUS，我们提出了GeniusAug，它首先从原始训练集中提取目标感知的草图，然后基于草图生成新的样本。在6个文本分类数据集上的实验表明，GeniusAug显著提高了模型在分布内（ID）和分布外（OOD）环境下的性能。我们还证明了GeniusAug在命名实体识别（NER）和机器阅读理解（MRC）任务上的有效性。(Code和模型可在https://github.com/microsoft/SCGLab和https：//github.com/beyondguo/genius上公开获得）
2022-11-18 cs.CL
PCC: Paraphrasing with Bottom-k Sampling and Cyclic Learning for Curriculum Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
课程数据增强（CDA）通过呈现难度从易到难逐渐增加的合成数据来改进神经模型。然而，传统的批评性话语分析只是简单地将词的扰动率作为难度度量，并且只经过一次测试。本文提出了\textbf{PCC}：\textbf{P} araphrasing with Bottom-k Sampling and \textbf{C} cyclic Learning for \textbf{C} urgmentation数据增强，这是一种新的基于释义的CDA框架，它利用文本释义相似度作为课程难度的度量。我们提出了一个具有语义感知的释义生成模块，该模块由三个部分组成：一个具有bottom-k采样的释义候选生成器，一个过滤机制和一个难度度量。我们还提出了一个循环的学习策略，多次通过的cumulus。提出了bottom-k采样方法来生成超硬实例。对Few-Shot文本分类和对话生成的实验结果表明，PCC优于竞争基准。人类评估和大量的案例研究表明，bottom-k采样有效地生成超硬实例，PCC显着提高了基线对话代理。
2023-01-31 cs.CL
Self-training with Two-phase Self-augmentation for Few-shot Dialogue Generation
University of Virginia（弗吉尼亚大学）
在面向任务的对话系统中，由于标注MR到文本对的高成本，从意义表示（MR）生成响应通常受到有限的训练样本的影响。以前的自我训练工作利用微调的会话模型来自动生成伪标记的MR到文本对，以进行进一步的微调。然而，一些自增强数据可能是嘈杂的或没有信息的模型学习。在这项工作中，我们提出了一个两阶段的自增强过程来生成高质量的伪标记MR到文本对：第一阶段根据模型的预测不确定性选择信息量最大的MR;利用所选择的MR，第二阶段通过聚集来自每个MR的多个扰动的潜在表示来生成准确的响应。在两个基准数据集FewShotWOZ和FewShotSGD上的经验实验，表明我们的方法在自动和人工评估方面通常优于现有的自训练方法。
2022-10-12 cs.CL
Error syntax aware augmentation of feedback comment generation dataset
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Pompeu Fabra University（庞培法布拉大学）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
本文提出了一个解决方案，GenChal 2022共享任务，致力于反馈评论生成写作学习。根据这个任务，给定一个错误和错误的跨度的文本，系统生成一个解释性的注释，帮助作者（语言学习者）提高他们的写作技巧。我们的解决方案是基于微调的T5模型的初始数据集根据位于指示的错误跨度内的单词的语法依赖性增强。我们的团队“nigula”的解决方案根据组织者的人工评估获得了第二名。
2022-12-29 cs.CL
