Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science（计算机科学学院）；University of Texas（德克萨斯大学）
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题，本文提出不依赖测试分布的数据增强与预处理方法，以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
Data Augmentation using Transformers and Similarity Measures for Improving Arabic Text Classification
Princess Sumaya University for Technology (PSUT)（公主SUMaya技术大学（PSUT））
提出基于 AraGPT-2 的阿拉伯语文本数据增强方法，并结合多种相似度度量评估生成句，用 AraBERT 验证其在四个情感数据集上的分类增益。
2023-08-20 cs.AI cs.CL cs.LG
SDA: Improving Text Generation with Self Data Augmentation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
数据增强已被广泛用于改进许多研究领域中的深度神经网络，例如计算机视觉。然而，较少的工作已经做了文本的上下文中，部分原因是其离散的性质和自然语言的复杂性。在本文中，我们提出了改进标准的最大似然估计（MLE）的范例，通过纳入一个自我模仿学习阶段的自动数据增强。与大多数现有的仅适用于特定模型的增强策略不同，我们的方法更通用，可以轻松地适应任何基于MLE的训练过程。此外，我们的框架允许设计特定于任务的评估指标，以灵活地控制生成的句子，例如，在控制词汇的使用和避免非平凡的重复。大量的实验结果表明，我们的方法在两个合成和几个标准的真实数据集上的优越性，显着改善相关基线。
2021-01-02 cs.CL cs.LG
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation
The Ohio State University（俄亥俄州立大学）；The Hong Kong Polytechnic University（香港理工大学）
去识别是识别临床文本中受保护的健康信息（PHI）的任务。现有的神经去识别模型通常无法推广到新的数据集。我们提出了一个简单而有效的数据增强方法PHICON，以减轻泛化问题。PHICON由PHI增强和上下文增强组成，其分别通过用从外部源采样的命名实体替换PHI实体以及通过同义词替换或随机词插入来改变背景上下文来创建增强的训练语料库。在i2b2 2006和2014去识别挑战数据集上的实验结果表明，PHICON可以帮助三个选定的去识别模型在交叉数据集测试设置上提高F1分数（最多8.6%）。我们还讨论了使用多少增强以及每种增强方法如何影响性能。
2020-10-11 cs.CL
DREAM: Improving Video-Text Retrieval Through Relevance-Based Augmentation Using Large Foundation Models
University of Waterloo（滑铁卢大学）；Duke University（杜克大学）；City University of Hong Kong（香港城市大学）；Netflix Eyeline Studios（Netflix Eyeline工作室）
本文提出DREAM范式，利用大型语言模型和视觉生成模型对视频与文本进行基于相关性的增强，从而学习更具泛化性的特征，并在多个视频-文本检索基准上取得优于现有方法的结果。
2025-02-04 cs.CL cs.CV cs.IR
Improving Conversational Recommendation Systems via Bias Analysis and Language-Model-Enhanced Data Augmentation
University College London（伦敦大学学院）；The University of Oklahoma（俄克拉荷马大学）
本研究分析了对话推荐系统基准数据集中的选择偏差和流行度偏差，提出了两种基于语言模型的数据增强策略'Once-Aug'和'PopNudge'，在ReDial和TG-ReDial数据集上有效提升了模型性能并缓解了多种偏差。
2023-10-25 cs.CL cs.IR
Improving Small Language Models on PubMedQA via Generative Data Augmentation
MIT（麻省理工学院）
本文提出利用基于LLM的生成式数据增强方法提升小语言模型在医疗领域的表现，在PubMedQA数据集上，参数量不到16亿的最优SLM性能优于少样本GPT-4。
2023-08-01 cs.CL cs.LG
SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
University of Toronto（多伦多大学）；Vector Institute；New York University（纽约大学）
在训练域上表现良好的模型通常无法推广到域外（OOD）示例。数据增强是一种常用的防止过拟合和提高面向对象方法泛化能力的方法。然而，在自然语言中，很难生成停留在底层数据流形上的新示例。我们介绍SMBA，一个数据增强方法，用于生成合成的训练样本，通过使用一对腐败和重建功能随机移动的数据流形。我们研究了SMBA在自然语言领域的应用，利用流形假设来重建带掩码的语言模型的损坏文本。在3个任务和9个数据集的鲁棒性基准测试实验中，SMBA在域内和OOD数据上始终优于现有的数据增强方法和基线模型，在OOD Amazon评论上获得了0.8%的准确率，在OOD MNLI上获得了1.8%的准确率，在域内IWSLT 14德语-英语上获得了1.4 BLEU。
2020-10-04 cs.CL cs.LG stat.ML
Improving Data Driven Inverse Text Normalization using Data Augmentation
University of California Merced（加州大学默塞德分校）；Meta Inc.（Meta公司）
反向文本规范化（ITN）用于将自动语音识别（ASR）系统的口语形式输出转换为书面形式。传统的手工ITN规则可能很复杂，难以转录和维护。同时，神经建模方法需要在与ASR系统相同或相似的域中的高质量的大规模讲写对示例（域内数据）来进行训练。这两种方法都需要昂贵且复杂的注释。在本文中，我们提出了一个数据增强技术，有效地产生丰富的口语，书面数字对从域外的文本数据与最少的人的注释。我们的经验表明，使用我们的数据增强技术训练的ITN模型在所有数字表面（如基数，货币和分数）上始终优于仅使用域内数据训练的ITN模型，总体准确率为14.44%。
2022-07-20 cs.CL cs.LG cs.SD
COLA: Improving Conversational Recommender Systems by Collaborative Augmentation
The Hong Kong Polytechnic University（香港理工大学）
会话式推荐系统（CRS）的目标是利用自然语言会话向用户推荐合适的产品。了解用户对预期项目的偏好并学习有效的项目表示对于CRS至关重要。尽管有各种尝试，早期的研究主要是学习项目表征的基础上，个人的对话，忽略了项目的受欢迎程度体现在所有其他人。此外，他们仍然需要支持，以有效地捕捉用户的喜好，因为在一个单一的对话反映的信息是有限的。受协同过滤的启发，我们提出了一种协同增强（COLA）方法，同时提高项目表示学习和用户偏好建模，以解决这些问题。我们从所有对话中构建了一个交互式用户-项目图，该图用用户感知信息增强了项目表示，即，物品人气。为了提高用户偏好建模，我们从训练语料库中检索类似的对话，其中所涉及的项目和属性，反映用户的潜在利益是用来增强用户表示通过门控制。在两个基准数据集上的实验证明了该方法的有效性。我们的代码和数据可在https://github.com/DongdingLin/COLA上获得。
2022-12-15 cs.CL cs.IR
Nostra Domina at EvaLatin 2024: Improving Latin Polarity Detection through Data Augmentation
University of Notre Dame（圣母大学）
针对拉丁语低资源及修辞体裁情感复杂的问题，Nostra Domina团队在EvaLatin 2024极性检测任务中，基于k-means算法做数据增强并结合多种拉丁语LLMs，取得测试集宏平均Macro-F1第二的成绩。
2024-04-11 cs.CL cs.LG
Improving Keyphrase Extraction with Data Augmentation and Information Filtering
University of Oregon（俄勒冈大学）；Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
关键词提取是自然语言处理中文档理解的重要任务之一。虽然大多数先前的作品都致力于正式的设置，例如，书籍、新闻或网络博客、视频记录等非正式文本的研究较少。为了解决这一限制，在这项工作中，我们提出了一种新的语料库和方法，用于从Behance平台上流式传输的视频的抄本中提取关键短语。更具体地说，在这项工作中，提出了一种新的数据增强，以丰富的模型与背景知识的关键词提取任务从其他领域。在所提出的数据集上进行的大量实验表明了该方法的有效性。
2022-09-11 cs.CL
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Improving Chinese Named Entity Recognition by Search Engine Augmentation
Shanghai Jiao Tong University（上海交通大学）；The University of Melbourne（墨尔本大学）
与英语相比，汉语存在着较多的语法歧义，如词边界模糊、词的多义等。在这种情况下，上下文信息是不足以支持中文命名实体识别（NER），特别是对罕见的和新兴的命名实体。使用外部知识的语义增强是缓解这一问题的潜在方法，而如何获得和利用外部知识的NER任务仍然是一个挑战。在本文中，我们提出了一种基于神经网络的方法来执行语义增强使用外部知识的搜索引擎为中文NER。特别地，采用多通道语义融合模型来生成增强的输入表示，其聚合从搜索引擎检索的外部相关文本。实验表明，我们的模型在4个NER数据集上的优越性，包括正式和社交媒体语言环境，这进一步证明了我们的方法的有效性。
2022-10-23 cs.AI cs.CL
Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning
Zhejiang University（浙江大学）；IBM Research（IBM研究院）
面向现实世界的信息抽取场景，关系抽取的研究正在向文档级关系抽取（DocRE）发展。现有的DocRE方法旨在通过新的模型架构对长上下文中的各种信息源进行编码来提取关系。然而，DocRE固有的长尾分布问题被以前的工作所忽视。我们认为，减轻长尾分布问题是至关重要的DocRE在现实世界中的场景。受长尾分布问题的启发，我们提出了一种简单的关系增强（ERA）方法，通过增强尾部关系的性能来改进DocRE。此外，我们进一步提出了一个新的对比学习框架，即基于我们的ERA，ERACL，它可以进一步提高模型在尾关系上的性能，并实现与最先进的DocRE相比具有竞争力的整体性能。
2022-05-21 cs.AI cs.CL
Plan, Generate and Complicate: Improving Low-resource Dialogue State Tracking via Easy-to-Difficult Zero-shot Data Augmentation
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）
本文提出 EDZ-DA 框架，利用大语言模型按领域关系进行由易到难的零样本对话数据增强，并通过复杂化对话和槽位值排列提升低资源对话状态追踪性能，在 MultiWOZ 上优于已有基线。
2024-06-13 cs.CL
Context-Gloss Augmentation for Improving Arabic Target Sense Verification
Birzeit University（比尔泽特大学）
阿拉伯语缺乏语义数据集和感觉库存。阿拉伯语最常见的语义标记数据集是ArabGlossBERT，这是一个相对较小的数据集，由167 K上下文注释对（大约60 K正对和107 K负对）组成，从阿拉伯语词典中收集。本文提出了一种丰富的ArabGlossBERT数据集，通过使用（阿拉伯语-英语-阿拉伯语）机器回译来增强它。增强将数据集大小增加到352 K对（149 K阳性和203 K阴性对）。我们使用不同的数据配置，以微调目标感测验证（TSV）任务的BERT测量增强的影响。总体而言，对于不同的数据配置，准确率范围在78%到84%之间。虽然我们的方法与基线表现相当，但我们在一些实验中确实观察到一些POS标签的一些改进。此外，我们的微调模型是在涵盖更大词汇和上下文的更大数据集上训练的。我们对每个词性（POS）的准确性进行了深入分析。
2023-02-06 cs.CL
Selective Augmentation: Improving Universal Automatic Phonetic Transcription via G2P Bootstrapping
Fraunhofer Institute IAIS（弗劳恩霍夫研究所IAIS）；University of Bonn（波恩大学）
本文提出选择性增强方法，通过语言间差异转移提升语音转录准确性，引入爆破音气声识别，提升转录精度并减少混淆。
2026-04-29 cs.CL cs.LG
Improving Grammatical Error Correction via Contextual Data Augmentation
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）
本文提出一种基于上下文增强的合成数据构建方法和重新标记清洗方法，解决了GEC微调阶段数据稀缺和噪声标签问题，在少量数据下达到SOTA。
2024-06-25 cs.AI cs.CL
Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation
Shanghai Jiao Tong University（上海交通大学）
针对端到端ASR在语码转换、命名实体识别场景的不足，以及传统数据增强生成语音质量差的问题，提出基于文本语音编辑的增强方法，效果优于现有方案。
2023-06-14 cs.CL cs.SD eess.AS
You Do Not Need More Data: Improving End-To-End Speech Recognition by Text-To-Speech Data Augmentation
ITMO University（ITMO大学）；STC-innovations Ltd（STC创新有限公司）
数据增强是使端到端自动语音识别（ASR）性能接近传统混合方法的最有效方法之一，特别是在处理低资源任务时。利用语音合成（文本转语音，或TTS）的最新进展，我们建立我们的TTS系统的ASR训练数据库，然后扩展数据与合成语音训练的识别模型。我们认为，当训练数据量相对较低时，这种方法可以使端到端模型达到混杂系统的质量。对于一个人工的低到中等的资源设置，我们比较了所提出的增强与半监督学习技术。我们还研究了声码器的使用对最终ASR性能的影响，通过比较Griffin-Lim算法与我们修改后的LPCNet。当应用外部语言模型时，我们的方法优于LibriSpeech测试干净的半监督设置，并且仅比可比的监督设置差33%。我们的系统为在LibriSpeech train-clean-100上训练的端到端ASR建立了具有竞争力的结果，其中测试-清洁的WER为4.3%，测试-其他的WER为13.5%。
2020-07-30 cs.CL cs.LG cs.SD
The use of Data Augmentation as a technique for improving neural network accuracy in detecting fake news about COVID-19
Instituto de Informática – Universidade Católica do Salvador (UCSAL)（萨尔瓦多天主教大学信息学院）
本文旨在介绍自然语言处理（NLP）和数据增强技术的应用如何提高神经网络的性能，以更好地检测葡萄牙语中的假新闻。假新闻是过去十年互联网发展过程中的主要争议之一。事实证明，辨别真伪是一项艰巨的任务，而虚假新闻的传播速度要快得多，这导致需要创建自动化工具，协助核实真伪。为了解决这个问题，人们用神经网络开发了一个实验，使用人工智能（AI）从未见过的真实和虚假的新闻。应用上述技术后，在新闻分类方面有显著的效果。
2022-05-01 cs.CL
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting
BITS Pilani, Goa Campus（博拉理工学院果阿校区）；Pune University（浦那大学）；APP Centre for AI Research（APP人工智能研究中心）
在这篇文章中，我们提出了我们的方法SemEval-2021任务-4：阅读理解的抽象意义。给定一个填空式问题和相应的上下文，任务是从5个选项中预测最合适的单词。这个任务中有三个子任务：不可感知性（子任务-I），非特异性（子任务-II）和交叉（子任务-III）。我们使用基于transformers的模型的编码器，这些模型在掩码语言建模（MLM）任务上进行了预训练，以构建我们的填空（FitB）模型。此外，模型的不可感知性，我们定义了某些语言特征，和模型的非特异性，我们利用词汇数据库提供的上位词和下位词的信息。具体来说，对于非特异性，我们尝试增强技术和其他统计技术。我们还提出了变体，即块投票和最大上下文，以照顾输入长度限制BERT等，此外，我们进行了彻底的消融研究，并使用集成的解释我们的预测在几个样本。我们最好的提交达到75.31%和77.84%的准确率，在测试集的subtask-I和subtask-II，分别。对于子任务III，我们实现了65.64%和62.27%的准确率。
2021-06-26 cs.CL cs.LG
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Improving Systematic Generalization Through Modularity and Augmentation
University College London（伦敦大学学院）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
系统泛化是将已知部分组合成新意义的能力;这是人类有效学习的一个重要方面，但却是神经网络学习的一个弱点。在这项工作中，我们研究了两个著名的建模原则-模块化和数据增强-如何影响扎根语言学习中神经网络的系统泛化。我们分析了需要多大的词汇量来实现系统的泛化，以及增强数据需要与手头的问题有多相似。我们的研究结果表明，即使在一个合成基准的控制设置，实现系统的泛化仍然非常困难。在使用比原始问题多近40倍的副词的增强数据集进行训练后，非模块化基线无法系统地推广到已知动词和副词的新颖组合。当将任务分离为感知和导航等认知过程时，模块化神经网络能够利用增强的数据并更系统地进行概括，在两个先前未改进的gSCAN测试上实现了70%和40%的精确匹配。我们希望这项工作能让我们深入了解系统泛化的驱动因素，以及我们仍然需要改进的神经网络，以便像人类一样学习。
2022-02-22 cs.AI cs.CL cs.LG
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）
成对句子评分有两种方法：交叉编码器，它对输入对执行完全关注，以及双编码器，它将每个输入独立地映射到稠密向量空间。虽然交叉编码器通常可以实现更高的性能，但对于许多实际用例来说，它们太慢了。另一方面，双编码器需要大量的训练数据和对目标任务的微调以实现有竞争力的性能。我们提出了一种简单而有效的数据增强策略，称为增强SBERT，其中我们使用交叉编码器来标记更大的一组输入对，以增强双向编码器的训练数据。我们表明，在这个过程中，选择的句子对是不平凡的，关键的方法的成功。我们评估我们的方法在多个任务（在域），以及在一个领域自适应任务。与原始双编码器性能相比，增强的SBERT实现了域内高达6点的改进和领域自适应任务高达37点的改进。
2021-04-12 cs.CL
Improving Knowledge Graph Entity Alignment with Graph Augmentation
National University of Defense Technology（国防科技大学）
针对现有基于GNN的实体对齐方法存在结构异质性、易过拟合等问题，提出基于图增强的GAEA方法，通过ER编码器和双视图对比学习提升对齐效果，经基准实验验证有效。
2023-04-28 cs.CL cs.SI
UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation
Utrecht University（乌得勒支大学）；Arab Academy for Science, Technology, and Maritime Transport（阿拉伯科技与海运学院）；Leiden University Medical Center（莱顿大学医学中心）；Leiden University（莱顿大学）
本文介绍了我们的策略，以解决SemEval-2022任务3 PreTENS：预设分类评估神经网络语义。任务的目标是根据句子中包含的名词对之间的分类关系来确定句子是否被认为是可接受的。对于子任务1 --二进制分类--我们提出了一种有效的方法来增强语言模型的鲁棒性和泛化能力，以便在这个下游任务上进行更好的分类。我们设计了一个两阶段的微调程序的ELECTRA语言模型使用数据增强技术。使用多任务学习和数据丰富的微调进行了严格的实验。实验结果表明，我们提出的模型，UU-Tax，确实能够很好地推广我们的下游任务。对于子任务2 -回归-我们提出了一个简单的分类器，它训练从通用句子编码器（USE）获得的特征。除了描述提交的系统之外，我们还讨论了采用预训练语言模型和数据增强技术的其他实验。对于这两个子任务，我们执行错误分析，以进一步了解所提出的模型的行为。我们在子任务1中实现了91.25%的全局F1_Binary得分，在子任务2中实现了0.221的rho得分。
2022-10-07 cs.AI cs.CL cs.LG
Improving Reading Comprehension Question Generation with Data Augmentation and Overgenerate-and-rank
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
针对同一答案对应多类问题、生成结果难匹配教育者偏好的挑战，提出数据增强与过生成-排序结合的阅读理解问题生成方法，在FairytaleQA数据集上ROUGE-L较现有最优方法提升5%，且能有效生成隐含式问题。
2023-06-15 cs.CL cs.CY cs.LG
GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation
ASAPP；Columbia University（哥伦比亚大学）
实用的对话系统需要检测范围外（OOS）话语的鲁棒方法，以避免会话中断和相关的故障模式。直接用标记的OOS示例训练模型会产生合理的性能，但获取此类数据是一个资源密集型过程。为了解决这个有限的数据问题，以前的方法集中在更好地建模范围内（INS）的例子的分布。我们引入黄金作为一个正交技术，增加现有的数据，训练更好的OOS检测器在低数据制度。GOLD使用来自辅助数据集的样本生成伪标记候选项，并通过一种新的过滤机制只保留最有益的候选项进行训练。在三个目标基准的实验中，顶级GOLD模型在所有关键指标上都优于所有现有方法，与基线性能中位数相比，相对增益分别为52.4%、48.9%和50.3%。我们还分析了OOS数据的独特属性，以确定最佳应用我们提出的方法的关键因素。
2021-09-07 cs.CL
Improving Socratic Question Generation using Data Augmentation and Preference Optimization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对大模型生成苏格拉底式问题时的无效输出问题，提出数据增强和直接偏好优化方法，使7B Llama 2模型优于现有提示方法。
2024-04-19 cs.CL cs.CY cs.LG
Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation
确定小句之间因果关系的可解释性是一项需要复杂推理能力的常识推理任务。此任务的一般方法是在特定数据集上训练大型预训练语言模型。然而，任务的可用训练数据往往是稀缺的，这导致模型训练的不稳定性或依赖于数据集的浅层特征。本文提出了一些技术，使模型更强大的因果推理领域。首先，我们通过同义词替换生成扰动输入来进行对抗训练。其次，基于语篇连接词的语言学理论，我们使用语篇分析器来检测大文本中的因果连接子句，并使用生成语言模型来生成干扰词，从而执行数据增强。这两种方法都提高了模型在合理选择（COPA）数据集和平衡COPA数据集上的性能，平衡COPA数据集是原始数据的修改版本，旨在避免表面线索，从而产生更具挑战性的基准。我们在两个数据集上的性能和鲁棒性都有统计学上的显著改善，即使只有少量额外生成的数据点。
2021-01-13 cs.CL
Leveraging Expert Guided Adversarial Augmentation For Improving Generalization in Named Entity Recognition
Georgia Institute of Technology（佐治亚理工学院）；Pionetechs, Inc.（Pionetechs公司）
命名实体识别（NER）系统通常在分布数据上表现出很好的性能，但在从移动分布中提取的示例上表现不佳。评估NER模型泛化能力的一种方法是使用对抗性示例，其中很少考虑与命名实体相关的特定变化。为此，我们建议利用专家指导的反欺诈来改变实体令牌及其周围的上下文，从而改变它们的实体类型作为对抗攻击。使用专家指导的语义学，我们增强了CoNLL 2003测试集，并手动注释它，以构建一个高质量的挑战集。我们发现，最先进的NER系统在CoNLL 2003训练数据上训练，在我们具有挑战性的集合上性能急剧下降。通过对对抗性增强训练样本进行训练并使用mixup进行正则化，我们能够显着提高挑战集的性能，并改善我们使用OntoNotes数据评估的领域泛化。我们已在https://github.com/GT-SALT/Guided-Adversarial-Augmentation上公开发布了我们的数据集和代码。
2022-03-21 cs.AI cs.CL
ConFit: Improving Resume-Job Matching using Data Augmentation and Contrastive Learning
Columbia University（哥伦比亚大学）；Intellipro Group Inc.（英特利普罗集团）
针对简历-岗位匹配数据交互稀疏的问题，提出ConFit方法，通过文本改写数据增强结合对比学习扩充训练样本，在两个真实数据集上的排序任务性能显著优于BM25等现有方法。
2024-01-29 cs.CL cs.CY
Improving Automated Evaluation of Open Domain Dialog via Diverse Reference Augmentation
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
对于给定的开放域对话上下文，多个不同的响应通常是合理的。先前的工作已经表明，具有多个有效的参考响应对于有意义和强大的自动化评估的重要性。在这种情况下，通常的做法是收集更多的人类书面参考资料。然而，这样的收集可能是昂贵的、耗时的并且不容易扩展。相反，我们提出了一种新的技术，用于自动扩展人类生成的参考一组候选参考。我们从知识源中获取合理的引用，并调整它们，使它们在所讨论的对话实例的上下文中更加流畅。更具体地说，我们使用（1）常识知识库，以引出大量的合理的反应，给定的对话历史（2）从对话语料库检索的相关实例，使用类似的过去以及未来的上下文。我们证明，我们的自动扩展的参考集导致DailyDialog数据集的自动化指标与系统输出的人类评级的相关性有很大的改善。
2021-06-05 cs.CL
Improving Persian Relation Extraction Models by Data Augmentation
Shahid Beheshti University（沙希德·贝赫什提大学）
关系抽取是自然语言处理中的一项重要任务，它是预测句子或文档中实体之间语义关系类型的任务。虽然有很多研究和数据集的英语，波斯语的研究和全面的数据集不足。此任务唯一可用的波斯语数据集是PERLEX，它是SemEval-2010-Task-8数据集的波斯语专家翻译版本。在本文中，我们提出了我们的增强数据集和我们的系统的结果和发现，参加了NSURL 2021研讨会的波斯语关系抽取共享任务。我们使用PERLEX作为基础数据集，并通过应用一些文本预处理步骤和通过数据增强技术增加其大小来增强它，以提高应用模型的泛化性和鲁棒性。然后，我们采用两种不同的模型，包括Pars BERT和多语言BERT的关系抽取的增强PERLEX数据集。我们的最佳模型在比赛测试阶段获得了64.67%的Macro-F1，在PERLEX测试集上获得了83.68%的Macro-F1。
2022-03-29 cs.CL
Improving Aspect Sentiment Quad Prediction via Template-Order Data Augmentation
Nankai University（南开大学）；Tsinghua University（清华大学）
近年来，方面情感四元预测（ASQP）已成为方面级情感分析领域的热门任务。以前的工作利用一个预定义的模板来释义成一个结构的目标序列，它可以很容易地解码为四元组的形式（方面类别，方面术语，意见术语，情感极性）的原始句子。模板以固定的顺序包含这四个元素。然而，我们观察到这种解决方案与ASQP任务的无顺序属性相矛盾，因为只要正确提取四元组，就不需要固定模板顺序。受此启发，我们研究了模板阶数的影响，发现一些阶数有助于生成模型获得更好的性能。据推测，不同的顺序提供了四胞胎的各种观点。因此，我们提出了一个简单但有效的方法来确定最合适的订单，并进一步结合多个适当的模板作为数据增强，以改善ASQP任务。具体来说，我们使用预先训练好的语言模型来选择熵最小的顺序。通过使用这些模板顺序微调预训练的语言模型，我们的方法提高了四元预测的性能，并且在低资源设置中显着优于最先进的方法。
2022-10-19 cs.CL
Data Augmentation for Improving Tail-traffic Robustness in Skill-routing for Dialogue Systems
Georgia Institute of Technology（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
针对技能路由的长尾异构数据问题，提出用条件编码器-解码器生成框架增强训练数据，实验证明可显著改善低流量意图的路由鲁棒性。
2023-06-07 cs.CL
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Improving Logical-Level Natural Language Generation with Topic-Conditioned Data Augmentation and Logical Form Generation
Tokyo Institute of Technology（东京工业大学）；University of Electronic Science and Technology of China（电子科技大学）
逻辑自然语言生成，即，由于生成的低保真度，生成可以由结构化表逻辑地包含的文本描述一直是一个挑战。\citet{chen2020logic2text}通过对中间逻辑程序进行注释来控制生成内容和语义，提出了将表感知逻辑形式的任务转化为文本生成（Logic 2 text）的方法。然而，尽管现实世界中有大量的表实例，但与文本描述配对的逻辑形式需要昂贵的人工注释工作，这限制了神经模型的性能。为了缓解这一问题，我们提出了主题条件数据增强（TopicDA），它利用GPT-2直接从表中生成不成对的逻辑形式和文本描述。我们进一步介绍了逻辑表单生成（LG），这是Logic 2 text的一个双重任务，需要根据表的文本描述生成有效的逻辑表单。我们还提出了一种半监督学习方法，联合训练一个Logic 2 text和LG模型的标记和增强数据。这两种模型通过反向翻译提供额外的监督信号，从而相互受益。在Logic 2 text数据集和LG任务上的实验结果表明，我们的方法可以有效地利用增强的数据，并大大优于监督基线。
2021-12-12 cs.CL
Random Utterance Concatenation Based Data Augmentation for Improving Short-video Speech Recognition
ByteDance Research（字节跳动研究院）
针对短视频语音识别中训练与测试话语长度不匹配问题，提出随机话语拼接数据增强方法，在15种语言上平均降低5.72%词错误率并提升长度鲁棒性。
2023-05-25 cs.CL cs.SD eess.AS
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom（SK电信）
本文针对ASR生成口语文本的域外问题，提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略，显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Improving Disease Detection from Social Media Text via Self-Augmentation and Contrastive Learning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨技术大学）
本文提出一种结合自增强与对比学习的语言模型方法，通过双分支表示增强和对比优化提升社交媒体疾病检测性能，在多个NLP任务上F1分数最高提升2.48%。
2024-04-30 cs.CL
Improving the Robustness of Summarization Systems with Dual Augmentation
Ant Group（蚂蚁集团）；University of Notre Dame（圣母大学）；Microsoft（微软）
本文提出 SummAttacker 生成语义一致的对抗样本，并结合输入空间增强与隐藏空间 manifold softmixing 双重增强，显著提升摘要系统在噪声、攻击及干净数据上的鲁棒性。
2023-06-01 cs.CL
Improving Low-Resource Dialect Classification Using Retrieval-based Voice Conversion
Research Center Deutscher Sprachatlas（德国语言地图研究中心）
本文提出用基于检索的语音转换（RVC）进行数据增强，通过统一说话人减少说话人变异，并结合频率掩蔽等方法提升低资源德语方言分类性能。
2025-07-04 cs.AI cs.CL cs.SD
Improving Audiovisual Speech Recognition through Synthetic Visual Data Augmentation
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
本研究利用音频驱动的说话人头像生成合成视觉数据，作为增强和独立训练资源，在西班牙语和加泰罗尼亚语上实现最高16.2%的相对词错误率降低，证明其可扩展解决AVSR数据稀缺问题。
2026-09-29 cs.CL cs.SD eess.AS
Improving Factuality for Dialogue Response Generation via Graph-Based Knowledge Augmentation
针对大模型对话响应易产生幻觉的问题，提出TG-DRG和GA-DRG两种图知识增强框架，结合推理引导重构、语义知识选择和图增强生成，并引入对话事实分数，在OpendialKG和HybriDialogue上分别提升3.47%和3.12%的事实性。
2025-08-07 cs.CL cs.HC
A little goes a long way: Improving toxic language classification despite data scarcity
University of Waterloo（滑铁卢大学）；Aalto University（阿尔托大学）；Huawei Technologies Oy (Finland) Co Ltd（华为技术有限公司（芬兰））
某些类型的有毒语言的检测受到标记训练数据极度缺乏的阻碍。数据增强-从标记的种子数据集生成新的合成数据-可以提供帮助。数据增强对有毒语言分类的有效性尚未得到充分探讨。我们提出了关于数据增强技术如何影响有毒语言分类器性能的第一个系统性研究，从浅层逻辑回归架构到BERT -最先进的预训练Transformer网络。我们比较了八种技术在非常稀缺的种子数据集上的性能。我们发现，虽然BERT表现最好，但浅层分类器在使用三种技术（包括GPT-2生成的句子）组合增强的数据上进行训练时表现不佳。我们讨论了性能和计算开销的相互作用，这可以告知在不同的约束下的技术的选择。
2020-10-24 cs.CL
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation（微软公司）
我们以前提出了上下文拼写校正（CSC），以纠正输出端到端（E2 E）自动语音识别（ASR）模型与上下文信息，如姓名，地点等，虽然CSC已经取得了合理的改善偏置问题，仍然有两个缺点，进一步提高准确性。首先，由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能，CSC模型可能无法纠正具有相似发音的短语或反上下文情况，其中所有偏见短语都不存在于话语中。第二，CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的，但在推理中，地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题，本文提出了一种改进的非自回归（NAR）拼写纠正模型，用于E2 E神经元ASR系统中的语境偏差问题，从两个方面对已有的CSC模型进行了改进：首先，在CSC模型中加入了带有外部注意力的声学信息以及文本假设，以更好地区分目标短语和不相似或不相关的短语。其次，我们在训练短语中设计了一个语义感知的数据增强模式，以减少训练和推理之间的不匹配，从而进一步提高偏置精度。实验结果表明，在不同的偏置列表名字覆盖率下，改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%，并且与之前的CSC方法相比，取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
A Multi-cascaded Model with Data Augmentation for Enhanced Paraphrase Detection in Short Texts
Lahore University of Management Sciences（拉合尔管理科学大学）
释义检测是文本分析中的一项重要任务，有许多应用，如剽窃检测，重复问题识别和增强的客户支持服务台。已经提出了用于表示和分类释义的深度模型。然而，这些模型需要大量的人工标记数据，这是昂贵的获得。在这项工作中，我们提出了一个数据增强策略和一个多级联模型，以改善在短文本中的释义检测。我们的数据增强策略将释义和非释义的概念视为文本集上的二元关系。随后，它使用图论的概念，有效地产生额外的释义和非释义对在一个声音的方式。我们的多级联模型采用了三个基于CNN和LSTM网络的有监督特征学习器（级联），有和没有软注意。然后，将学习到的特征与手工制作的语言特征一起转发到一个神经网络进行最终分类。我们的模型既宽又深，并且在干净和嘈杂的短文本中提供更大的鲁棒性。我们在三个基准数据集上评估了我们的方法，并表明它在所有三个数据集上都产生了可比的或最先进的性能。
2019-12-27 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）；Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而，这些模型通常在数十万个数据点上进行微调，这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中，我们介绍了一种新颖的和可推广的方法，称为WikiTransfer，用于微调预训练模型，以无监督的，特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调，伪摘要是从通用维基百科数据中产生的，其中包含目标数据集的特征，例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能，并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒，并且与来自其他摘要数据集的Few-Shot传输相比，使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能，我们通过往返转换采用数据增强，并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用，我们进一步研究了无监督微调数据的组件的影响，并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures
Technische Universität Darmstadt（达姆施塔特工业大学）；Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））
现有的NLP数据集包含各种偏见，模型往往会快速学习这些偏见，这反过来又限制了它们的鲁棒性。现有的提高对数据集偏差的鲁棒性的方法主要集中在改变训练目标，以便模型从有偏差的示例中学习更少。此外，它们大多专注于解决特定的偏差，虽然它们提高了目标偏差的对抗性评估集的性能，但它们可能会以其他方式使模型产生偏差，从而损害整体鲁棒性。在本文中，我们建议增加训练数据中的输入句子与其相应的谓词参数结构，这提供了一个更高层次的抽象不同的实现相同的含义，并帮助模型识别句子的重要部分。我们表明，在不针对特定偏见的情况下，我们的句子增强提高了Transformer模型对多种偏见的鲁棒性。此外，我们发现，即使训练数据不包含这种偏差，模型仍然容易受到词汇重叠偏差的影响，并且句子增强也提高了这种情况下的鲁棒性。我们将在https://github.com/UKPLab/data-augmentation-for-robustness上发布我们的对抗数据集来评估这种情况下的偏见以及我们的增强脚本。
2020-10-23 cs.CL
