A Survey of Data Augmentation Approaches for NLP
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Dartmouth College(达特茅斯学院)
数据增强最近在NLP中引起了越来越多的兴趣,这是由于在低资源领域的更多工作、新任务以及需要大量训练数据的大规模神经网络的流行。尽管最近出现了这种激增,但这一领域的探索仍然相对不足,这可能是由于语言数据的离散性带来的挑战。在本文中,我们提出了一个全面和统一的调查数据增强的NLP通过总结文献结构化的方式。我们首先介绍和激励自然语言处理的数据增强,然后讨论主要的方法论代表性的方法。接下来,我们将重点介绍用于流行的NLP应用程序和任务的技术。最后,我们概述了当前的挑战和未来的研究方向。总的来说,我们的论文旨在澄清现有文献中的自然语言处理数据增强的景观,并激励在这一领域的额外工作。我们还提供了一个GitHub存储库和一个纸质列表,该列表将在https://github.com/styfeng/DataAug4NLP上不断更新。
2021-12-01 cs.AI cs.CL cs.LG
Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chinese Academy of Sciences(中国科学院大学);Cornell University(康奈尔大学)
本文提出一个结合伪标签生成与模型集成的分层框架,利用外部数据、交叉注意力与数据增强技术,显著提升了句子嵌入任务的准确率和 F1 分数。
2025-01-27 cs.AI cs.CL
TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise
University of the Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);University of Electronic Science and Technology of China(电子科技大学);The University of Hong Kong(香港大学);Beijing University of Posts and Telecommunications(北京邮电大学);SenseTime Research(商汤科技研究院)
本文提出TeacherLM-7.1B模型,通过为NLP样本标注基础、思维链和常见错误,增强数据以教导小型模型理解“为什么”,在MMLU上零样本得分52.3,超越百亿参数模型,并显著提升多任务学生模型性能。
2024-07-16 cs.AI cs.CL
Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning
Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学);University of Michigan(密歇根大学)
本文针对 GoEmotions 细粒度文本情感识别难题,结合数据增强与迁移学习提升大语言模型分类性能,并总结洞见、展望跨数据集综述研究。
2024-04-09 cs.AI cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University(卡内基梅隆大学)
以前的工作表明,深度NLP模型并不总是概念上合理的:它们并不总是学习正确的语言概念。具体来说,他们可能对词序不敏感。为了系统地评估模型的概念合理性,相对于词序,我们介绍了一种新的解释方法:顺序敏感Shapley值(OSV)。我们进行了广泛的实证评估,以验证该方法,并揭示各种深度NLP模型学习词序的效果。使用合成数据,我们首先表明,OSV是更忠实地解释模型的行为比基于梯度的方法。其次,应用于HANS数据集,我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性,但OSV表明,增强模型并没有从根本上提高模型的阶次学习。第三,我们发现并非所有的情感分析模型都能正确地学习否定:有些模型无法捕捉到否定结构的正确语法。最后,我们证明了预训练的语言模型,如BERT,可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务,我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
RAC: Efficient LLM Factuality Correction with Retrieval Augmentation
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出检索增强校正(RAC)方法,通过将大语言模型输出分解为原子事实并进行细粒度验证与校正,在不微调的情况下以低延迟提升事实性,实验显示最高提升30%。
2024-10-21 cs.AI cs.CL cs.LG
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence(博世人工智能中心);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
许多自然语言处理(NLP)任务自然是不平衡的,因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下,当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题,然而,为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查,我们首次对基于深度学习的NLP中的类不平衡进行了概述,为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后,我们的调查涵盖了为类不平衡的NLP任务明确提出的方法,或者起源于计算机视觉社区的方法,已经对其进行了评估。我们组织的方法,无论是基于采样,数据增强,选择损失函数,分阶段学习,或模型设计。最后,我们讨论了开放的问题,如处理多标签场景,并提出系统的基准和报告,以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges
Nanyang Technological University(南洋理工大学);Princeton University(普林斯顿大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Salesforce AI
该综述从数据与学习视角系统梳理利用 LLM 进行数据增强的策略、训练范式及开放挑战,旨在呈现 LLM 带来的范式转变并指导相关研究与实践。
2024-07-02 cs.AI cs.CL
An Empirical Evaluation of Prompting Strategies for Large Language Models in Zero-Shot Clinical Natural Language Processing
University of Pittsburgh(匹兹堡大学)
本文对GPT-3.5、BARD和LLAMA2在五个零样本临床NLP任务上的提示工程进行了系统评估,提出了启发式和集成提示,并对比零样本与少样本提示,为临床NLP的提示设计提供了新见解。
2023-09-14 cs.AI cs.CL
On the (In)effectiveness of AMR Augmentation for Large Language Models
Saarland University(萨尔大学);University of Trento(特伦托大学)
本文通过复现实验发现 AMR 增强对 LLM 下游任务无益,并引入困惑度探针证实其未提升关系理解,表明该增强无效。
2026-10-01 cs.AI cs.CL
Backtranslation and paraphrasing in the LLM era? Comparing data augmentation methods for emotion classification
Department of Artificial Intelligence, Wrocław University of Science and Technology(人工智能系,波兹南理工大学)
本文系统比较了基于GPT等大语言模型的回译、释义与零样本/少样本生成等数据增强方法在情感分类任务中的效果,发现传统回译和释义方法可取得相当甚至更优的性能。
2025-07-19 cs.AI cs.CL
Diversity-oriented Data Augmentation with Large Language Models
Computer Network Information Center, CAS(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);Portland State University(波特兰州立大学)
针对现有数据增强忽视样本分布多样性的问题,提出面向多样性的DoAug框架,通过微调LLM生成多样化改写并整合核心集,在12个数据集上平均性能提升10.52%。
2025-06-02 cs.AI cs.CL cs.LG
Structure-Preserving Document-Level Data Augmentation via Discourse Parsing
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
该研究针对现有数据增强忽略语篇结构的问题,提出基于LLMs和语篇解析的结构保留型文档级数据增强框架,在文本摘要和问答任务中提升了混合数据训练效果。
2026-10-15 cs.AI cs.CL
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology(哈尔滨工业大学)
作为一种有效的策略,数据增强(DA)可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用,然后被引入到自然语言处理中,并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性,从而帮助模型更好地推广到看不见的测试数据。在这项调查中,我们框架DA方法分为三类的基础上增强数据的多样性,包括释义,噪声和采样。我们的论文开始详细分析DA方法,根据上述类别。此外,我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
KIT-TIP-NLP at MultiPride: Continual Learning with Multilingual Foundation Model
Text Information Processing Lab, Kitami Institute of Technology, Kitami, Hokkaido 090-0015, Japan(函授信息处理实验室,Kitami理工学院,日本北海道Kitami,090-0015)
本文提出了一种多阶段框架,用于检测社交媒体中多语言的重新使用侮辱性语言。该框架解决了跨英语、西班牙语和意大利语推文中识别重新使用与非重新使用LGBTQ+相关侮辱性语言的挑战,通过数据驱动的模型选择、语义保留的增强、归纳迁移学习和领域特定知识注入等方法,提高了多语言情感表达的识别能力。
2026-05-18 cs.AI cs.CL cs.LG
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
Substructure Substitution: Structured Data Augmentation for NLP
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们研究了一系列的数据增强方法,子结构替换(SUB2),自然语言处理(NLP)任务。SUB2通过替换子结构(例如,子树或连续性)与具有相同标签的子树,这可以应用于许多结构化的NLP任务,例如词性标注和解析。对于更一般的任务(例如,文本分类),没有显式注释的子结构,我们提出了基于选区解析树的SUB2的变体,将结构感知的数据增强方法引入到一般的NLP任务中。在大多数情况下,使用SUB2的增强数据集进行训练比使用原始训练集进行训练获得更好的性能。进一步的实验表明,在不同的任务和种子数据集的大小上,SUB2比其他研究的增强方法具有更一致的性能。
2021-01-02 cs.CL
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Empirical Analysis on Effectiveness of NLP Methods for Predicting Code Smell
BITS Pilani(印度理工学院 Pilani 分校);BITS Pilani, Hyderabad Campus(印度理工学院 Pilani 分校海得拉巴校区)
代码气味是系统中固有问题的表面指标,通常是由于开发人员在开发阶段偏离了标准编码实践。研究发现,与不包含代码气味的代码相比,代码气味使代码更容易被要求修改和更正。在开发的早期阶段重新构造代码可以节省大量的工作,而这些工作需要以指数级增长的方式来解决这些代码气味所产生的问题。我们不使用传统的特征来检测代码气味,而是使用用户注释来手动构造特征来预测代码气味。我们使用三个极限学习机器内核超过629包,以确定八个代码气味,利用功能工程方面和使用采样技术。我们的研究结果表明,径向基函数核表现最好的三个核方法的平均精度为98.52。
2021-08-08 cs.AI cs.LG cs.SE
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta(马耳他大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距,本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强,显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL
Does Data Augmentation Improve Generalization in NLP?
Brown University(布朗大学)
神经模型通常利用表面特征来实现良好的性能,而不是导出更一般的特征。克服这种趋势是表示学习和ML公平性等领域的核心挑战。最近的工作已经提出使用数据增强,即,生成表面特征失效的训练样本,作为鼓励模型偏好更强特征的手段。我们设计了一系列的玩具学习问题来测试这样一个假设,即数据增强会导致模型忘记较弱的特征,但不会学习更强的特征。我们发现部分支持这一假设:数据增强往往在它帮助之前就伤害了,当首选的强特征比竞争的弱特征更难提取时,它的效果就不那么好了。
2020-10-09 cs.CL
KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Low-Resource NLP
Macquarie University(麦考瑞大学);Peking University(北京大学);Microsoft Corporation(微软公司)
本文主要研究训练集有限的低资源NLP任务的数据增强。现有的解决方案或者利用与任务无关的启发式规则(例如,同义词替换)或微调通用预训练语言模型(例如,GPT 2)使用有限的训练实例来产生新的合成数据。因此,它们具有琐碎的特定于任务的知识,并且限于产生低质量的合成数据。为了解决这个问题,我们提出了知识混合数据增强模型(KnowDA),这是一个Seq 2Seq语言模型,在知识混合训练(KoMT)的新框架下,对不同的NLP任务进行了预训练。KoMT的目标是将不同的NLP任务特定知识浓缩到单个KnowDA模型中(即,使KnowDA能够利用这些知识,通过有限的训练实例,快速掌握目标任务的内在合成规律。具体而言,KoMT将来自各种异构NLP任务的输入示例重新格式化为统一的文本到文本格式,并采用不同粒度的去噪训练目标来学习重建部分或完整样本。据我们所知,我们是第一次尝试将100+ NLP多任务训练应用于数据增强。广泛的实验表明i)由KnowDA产生的合成数据成功地提高了强预训练语言模型的性能(即,BERT,ALBert和Deberta)在低资源的NLP基准FewGLUE,CoNLL'03和WikiAnn上获得了很大的优势; ii)KnowDA成功地将任务知识转移到NLP任务,其类型在KoMT中可见和不可见。
2023-01-27 cs.CL
Data Augmentation for Neural NLP
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Text Analysis and Knowledge Engineering Lab(文本分析与知识工程实验室)
数据稀缺是一个问题,发生在语言和任务中,我们没有大量的标记数据,但希望使用最先进的模型。此类模型通常是需要大量数据来进行训练的深度学习模型。获取各种机器学习问题的数据伴随着高标签成本。数据增强是解决数据稀缺问题的一种低成本方法。本文概述了当前用于自然语言处理的最先进的数据增强方法,重点是神经和基于转换器的模型的方法。此外,它还讨论了数据增强的实际挑战,可能的缓解措施和未来研究的方向。
2023-02-22 cs.CL cs.LG
UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
迁移学习已经在许多有监督的NLP任务中产生了最先进的(SoTA)结果。然而,在每一种目标语言中的每一个目标任务的注释数据是罕见的,特别是对于低资源语言。我们提出了UXLA,一种新的无监督数据增强框架的零资源迁移学习的情况下。特别地,UXLA旨在解决从源语言任务分布到未知目标语言任务分布的跨语言适应问题,假设目标语言中没有训练标签。在其核心,UXLA执行同时自我训练与数据增强和无监督的样本选择。为了证明其有效性,我们进行了广泛的实验上三个不同的零资源跨语言迁移任务。UXLA在所有任务中都实现了SoTA结果,远远优于基线。通过深入的框架解剖,我们展示了不同组件对其成功的累积贡献。
2021-06-26 cs.CL cs.LG
CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP
University of Maryland(马里兰大学);NVIDIA(英伟达公司)
CoDa通过从低资源数据中提取简单约束并提示大语言模型生成多样化训练样本,实现无需训练的可控数据增强,在11个数据集上优于基线方法。
2024-03-30 cs.CL
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
Lehigh University(理海大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(赛富时研究院);Hangzhou Dianzi University(杭州电子科技大学)
Mixup是一种最新的数据增强技术,它对输入示例和相应的标签进行线性插值。它通过在像素级对图像进行插值,在图像分类中显示出很强的有效性。受这条研究路线的启发,在本文中,我们探讨了i)如何将mixup应用于自然语言处理任务,因为文本数据很难以原始格式混合; ii)如果mixup在基于transformer的学习模型中仍然有效,例如,BERT。为了实现这一目标,我们将mixup合并到基于transformer的预训练架构中,名为“mixup-transformer”,用于广泛的NLP任务,同时保持整个端到端的训练系统。我们通过在GLUE基准上进行广泛的实验来评估所提出的框架。此外,我们还通过以一定比例减少训练数据来检查混合变换器在低资源场景中的性能。我们的研究表明,mixup是一种与预训练语言模型无关的领域数据增强技术,可以显著提高基于transformer的模型的性能。
2020-11-10 cs.CL cs.LG
CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Harbin Institute of Technology(哈尔滨工业大学)
多语言上下文嵌入,如多语言BERT(mBERT),已在各种zero-shot跨语言任务中显示出成功。然而,这些模型受到不同语言的子词的上下文表示不一致的限制。现有的工作解决这个问题的双语投影和微调技术。我们提出了一个数据增强框架来生成多语言的代码切换数据,以微调mBERT,它鼓励模型对齐表示从源和多个目标语言一次混合他们的上下文信息。与现有的工作相比,我们的方法不依赖于双语句子进行训练,对于多个目标语言只需要一个训练过程。对5个任务19种语言的实验结果表明,我们的方法导致显着提高性能的所有任务相比,mBERT。
2020-07-13 cs.CL
AttentionMix: Data augmentation method that relies on BERT attention mechanism
Warsaw University of Technology(华沙工业大学);Faculty of Mathematics and Information Science(数学与信息科学学院)
本文提出AttentionMix数据增强方法,利用BERT注意力信息进行文本混合,在3个情感分类数据集上优于Mixup类基准和原始BERT。
2023-09-20 cs.AI cs.CL
Text Data Augmentation Made Simple By Leveraging NLP Cloud APIs
TÉLUQ / UQAM(魁北克大学远程教学学院 / 魁北克大学蒙特利尔分校);Lingua Technologies Inc.(Lingua技术公司);DataFranca(DataFranca公司)
在实践中,通常发现自己的文本数据太少,无法训练深度神经网络。这种“大数据墙”对互联网上的少数民族语言社区、组织、实验室和与GAFAM竞争的公司(谷歌、亚马逊、Facebook、苹果、微软)构成了挑战。虽然文本数据增强的大部分研究工作都是着眼于寻找端到端学习解决方案的长期目标,这相当于“使用神经网络来喂养神经网络“,但这项工程工作侧重于使用实用,健壮,可扩展和易于实现的数据增强预处理技术,类似于计算机视觉中成功的技术。已经试验了几种文本增强技术。一些现有的测试是为了比较的目的,比如噪声注入或正则表达式的使用。另一些是修改或改进的技术,如词汇替换。最后,更具创新性的方法,例如使用反向翻译或通过语法树转换生成释义,都是基于强大,可扩展和易于使用的NLP云API。研究的所有文本增强技术,放大因子仅为5,在文本极性预测的标准化任务上,结果的准确性提高了4.3%至21.6%,具有显著的统计波动。测试了一些标准的深度神经网络架构:多层感知器(MLP),长短期记忆递归网络(LSTM)和双向LSTM(biLSTM)。经典的XGBoost算法已经过测试,最多有2.5%的改进。
2018-12-05 cs.CL cs.LG
A Comprehensive Study on NLP Data Augmentation for Hate Speech Detection: Legacy Methods, BERT, and LLMs
University of Oulu(奥卢大学)
本文系统比较了仇恨言论检测中传统与基于BERT和LLM的数据增强方法,并提出上下文余弦相似度过滤方案,在降低标签改变率的同时提升分类性能。
2024-03-30 cs.CL
FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP
University of Antwerp(安特卫普大学)
本文提出自动化方法FairFlow,通过自动生成并行数据来训练反事实文本生成器模型,有效克服了传统基于字典的词替换方法易脱离语境的局限,在减少人工干预的同时保持良好性能。
2024-07-23 cs.CL
TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding
Fudan University(复旦大学);CMU(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
数据增强是解决过拟合问题的有效方法。许多以前的工作已经提出了不同的数据增强策略的自然语言处理,如噪声注入,单词替换,回译等,虽然有效,他们错过了一个重要的特征-组合性,一个复杂的表达式的意义是建立在它的子部分。出于这一动机,我们提出了一种组合数据增强方法称为TreeMix的自然语言理解。具体而言,TreeMix利用选区解析树将句子分解为组成子结构,并利用Mixup数据增强技术将它们重新组合以生成新句子。与以前的方法相比,TreeMix为生成的样本引入了更大的多样性,并鼓励模型学习NLP数据的组合性。在文本分类和SCAN上的大量实验表明,TreeMix优于当前最先进的数据增强方法。
2022-07-12 cs.CL
Enhancing Romanian Offensive Language Detection through Knowledge Distillation, Multi-Task Learning, and Data Augmentation
Faculty of Automatic Control and Computers, National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学自动控制与计算机学院)
本文针对罗马尼亚语攻击性语言检测,提出结合知识蒸馏、多任务学习、数据增强与教师退火的方法,在保持性能的同时获得更小、更高效的 Transformer 模型。
2024-09-30 cs.CL
SoftEDA: Rethinking Rule-Based Data Augmentation with Soft Labels
Chung-Ang University(中央大学)
针对基于规则的数据增强可能损害文本原义的问题,提出软标签技术,在七个分类任务上验证其有效性,并公开源码。
2024-02-08 cs.AI cs.CL
Data Augmentation for Automated Essay Scoring using Transformer Models
BITS Pilani(比尔拉科学技术学院)
作文自动评分是自然语言处理中的一个重要问题。这个问题已经探索了很多年,仍然部分得到解决。除了经济和教育用途外,它还提出了研究问题。迁移学习已被证明是有益的NLP。数据增强技术也帮助建立了最先进的自动作文评分模型。过去的许多作品都试图通过使用RNN,LSTM等来解决这个问题。这项工作研究了Transformer模型,如BERT,RoBERTa等。我们经验性地证明了Transformer模型和数据增强的有效性,用于使用单个模型在许多主题中进行自动论文评分。
2023-02-06 cs.AI cs.CL
Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling
Yildiz Technical University(耶尔德兹技术大学)
本文提出一种基于BERT模型Fill-Mask功能的迭代掩码文本增强方法,通过迭代掩码句子中的单词并用模型预测替换,在多种NLP任务上显著提升性能,尤其在主题分类数据集上效果突出。
2024-01-03 cs.AI cs.CL cs.LG
A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks
Peking University(北京大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出统一的 KnowledgeDA 服务,通过知识图谱实体定位、双视角实体替换增强和置信度筛选,在微调阶段注入领域知识,并在医疗与软件开发任务上验证其有效性。
2023-06-05 cs.CL
NLP-LTU at SemEval-2023 Task 10: The Impact of Data Augmentation and Semi-Supervised Learning Techniques on Text Classification Performance on an Imbalanced Dataset
Luleå University of Technology(吕勒奥理工大学)
该研究面向 SemEval-2023 在线性别歧视检测任务,构建 BERTweet、RoBERTa 与 DeBERTa 微调集成模型,并评估回译增强和半监督学习对不平衡数据分类性能的影响。
2023-04-25 cs.CL
Rethink the Effectiveness of Text Data Augmentation: An Empirical Analysis
University College London(伦敦大学学院)
该研究针对数据增强对语言模型微调效果存疑的问题,通过7类NLP任务结合回译的实验,证实增强数据上的持续预训练可提升下游微调性能,少样本场景下最优提升超10%。
2023-06-13 cs.AI cs.CL cs.LG
Comparing Data Augmentation Methods for End-to-End Task-Oriented Dialog Systems
Athens University of Economics and Business(雅典经济与商业大学);Omilia Natural Language Solutions Ltd.(奥米利亚自然语言解决方案有限公司);Archimedes/Athena RC(阿基米德/雅典娜研究中心)
本文在端到端任务导向对话系统上系统比较了词级、句子级和对话级共八种数据增强方法,通过MultiWOZ和KVRET数据集验证其有效性,并进一步在少样本跨领域设置下确认结论,为实践者提供方法选择建议。
2024-06-10 cs.AI cs.CL
When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications
Peking University(北京大学)
本文针对NLP应用中MAML的效果受数据量、任务相似性等因素影响的问题,通过实证研究调查了这些因素,并总结了MAML的最佳适用条件。
2024-04-24 cs.CL
An Advanced NLP Framework for Automated Medical Diagnosis with DeBERTa and Dynamic Contextual Positional Gating
K.N. Toosi University of Technology(科努西理工大学);Islamic Azad University(伊斯兰阿扎德大学);Shahed University(沙希德大学)
本文提出整合数据增强、特征提取与分类技术的NLP框架,通过回译生成复述数据集,结合DeBERTa与DCPG捕捉细粒度关系,用ABFNN分类,在医疗文本诊断中取得99.78%准确率等优异结果,优于现有方法。
2025-02-11 cs.AI cs.CL
An Empirical Study of Memorization in NLP
Singapore Management University(新加坡管理大学)
Feldman(2020)最近的一项研究提出了长尾理论来解释深度学习模型的记忆行为。然而,记忆并没有在NLP的背景下进行经验验证,这项工作解决了一个空白。在本文中,我们使用三个不同的NLP任务来检查长尾理论是否成立。我们的实验表明,排名靠前的记忆的训练实例可能是非典型的,和删除记忆的训练实例导致更严重的测试准确率下降相比,随机删除训练实例。此外,我们开发了一种归因方法,以更好地理解为什么一个训练实例被记住。我们的经验表明,我们的记忆归因方法是忠实的,并分享我们有趣的发现,即训练实例的顶部记忆部分往往是与类别标签负相关的特征。
2022-03-23 cs.CL
Investigating Masking-based Data Generation in Language Models
本文探究了基于掩码语言模型(MLM)的数据增强方法在自然语言处理下游任务中的更广泛应用,指出该技术能简单高效地提升模型性能。
2023-06-16 cs.AI cs.CL
Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics
University of Cambridge(剑桥大学);Amazon AI(亚马逊人工智能)
测量偏差是更好地理解和解决NLP/ML模型中不公平性的关键。这通常是通过公平性指标来实现的,这些指标量化了模型在一系列人口统计学群体中的行为差异。在这项工作中,我们更多地阐明了NLP中使用的公平性度量之间的差异和相似之处。首先,我们统一了广泛的现有指标下的三个广义公平性指标,揭示它们之间的联系。接下来,我们对现有指标进行了广泛的实证比较,并证明了所观察到的偏差测量差异可以通过我们的广义指标的参数选择差异来系统地解释。
2021-06-28 cs.CL
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company(现代汽车公司);New York University(纽约大学);Genentech(基因泰克公司);CIFAR Fellow(加拿大高等研究院研究员)
尽管mixup在数据增强方面取得了成功,但由于自然语言的离散和可变长度性质,其对自然语言处理(NLP)任务的适用性受到限制。因此,最近的研究依赖于特定领域的语言学和手工制作的资源,如字典,以便在NLP中应用mixup。在本文中,我们提出了一种用于数据增强的文本插值的无监督学习方法,我们称之为“学习插值数据增强“(LINDA),它不需要任何语法分析,也不需要手动制作的资源,而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后,我们表明LINDA确实允许我们在NLP中无缝地应用mixup,并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University(台湾大学)
近年来,预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发,大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素,但经常被随意讨论。因此,本文对主流的预训练Transformers的职位嵌入进行了实证研究,主要关注两个问题:1)职位嵌入是否真的学习了职位的含义?2)这些不同的学习位置嵌入如何影响NLP任务的Transformers?本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验,为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作,选择合适的位置编码功能,为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
EPiDA: An Easy Plug-in Data Augmentation Framework for High Performance Text Classification
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Tongji University(同济大学)
最近的工作经验表明,数据增强(DA)在NLP任务中的有效性,特别是对于那些遭受数据稀缺。直觉上,鉴于生成的数据的大小,其多样性和质量对于目标任务的性能至关重要。然而,据我们所知,大多数现有的方法只考虑了多样性或增强数据的质量,因此不能充分挖掘DA的NLP的潜力。在本文中,我们提出了一个简单的插件数据增强框架EPiDA,以支持有效的文本分类。EPiDA采用两种机制:相对熵最大化(REM)和条件熵最小化(CEM)来控制数据生成,其中REM被设计为增强增强数据的多样性,而CEM被利用来确保它们的语义一致性。EPiDA可以支持有效和连续的数据生成,以进行有效的分类器训练。大量的实验表明,EPiDA优于现有的SOTA方法在大多数情况下,虽然没有使用任何代理网络或预先训练的生成网络,它与各种DA算法和分类模型。代码可在https://github.com/zhaominyiz/EPiDA上获得。
2022-04-24 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Visually-augmented pretrained language models for NLP tasks without images
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Renmin University of China(中国人民大学)
本文提出VAWI方法,在不使用任何图像的情况下为预训练语言模型引入视觉语义增强,并在多个模型和任务上验证了其有效性。
2023-05-26 cs.CL
Distributional Data Augmentation Methods for Low Resource Language
Department of Computer and Systems Sciences(计算机与系统科学系)
针对低资源语言同义词词典匮乏导致EDA方法受限的问题,提出EDDA和TSSR两种利用语义上下文与词性标签的分布式数据增强方法,实验证明其在瑞典语数据集上有效提升了分类性能。
2023-09-09 cs.AI cs.CL
Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis
University of Toledo(托莱多大学);George Mason University(乔治梅森大学)
本文提出用于LLM文本增强的原则性评估框架,包含可扩展性分析和迭代增强与摘要精炼(IASR),在真实主题建模任务中使主题粒度增加400%并消除重叠,验证了其有效性。
2025-07-16 cs.CL cs.LG
LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning
Google DeepMind(谷歌DeepMind);Tehran Institute for Advanced Studies, Khatam University(德黑兰高级研究学院,哈塔姆大学)
针对预训练语言模型小数据集微调效果差的问题,提出LM-CPPF方法,借助大语言模型的少样本释义能力做数据增强,结合对比提示微调,在多个文本分类基准上优于现有增强方法。
2023-07-05 cs.CL
Differentiable Retrieval Augmentation via Generative Language Modeling for E-commerce Query Intent Classification
针对检索器与下游模型异步训练导致的性能下降问题,提出可微检索增强方法Dragan,通过可微重构实现端到端联合训练,在电商查询意图分类的离线与在线实验中均显著优于基线。
2023-09-15 cs.CL cs.IR