Adverb Is the Key: Simple Text Data Augmentation with Adverb Deletion
Chung-Ang University(中央大学)
本文提出一种通过删除副词来保持语义的简单文本数据增强方法,实验证明其在文本分类和自然语言推理任务上均有效且高效。
2024-03-29 cs.AI cs.CL
Advancing NLP Models with Strategic Text Augmentation: A Comprehensive Study of Augmentation Methods and Curriculum Strategies
Yildiz Technical University(伊兹迪克技术大学)
本研究全面评估了多种文本增强技术与课程策略在NLP任务中的效果,提出了新颖的Modified Cyclical Curriculum Learning (MCCL)方法,证明其结合特定增强技术能显著提升模型分类性能并优化训练质量与速度的平衡。
2024-02-14 cs.AI cs.CL
Entity-to-Text based Data Augmentation for various Named Entity Recognition Tasks
Tsinghua University(清华大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出基于实体到文本的数据增强方法EnTDA,通过增删替换实体并引入多样性束搜索生成语义连贯且保留实体的文本,在多种NER任务中提升性能。
2023-05-26 cs.AI cs.CL
Transplant Then Regenerate: A New Paradigm for Text Data Augmentation
Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学)
本文提出了一种名为LMTransplant的文本数据增强新范式,通过将种子文本移植到LLM扩展的上下文中并重新生成变体,在保留原文核心属性的同时,利用LLM知识生成更多样化的内容级变体,性能优于现有方法且具备良好可扩展性。
2025-09-14 cs.AI cs.CL
AugGPT: Leveraging ChatGPT for Text Data Augmentation
University of Georgia(佐治亚大学);South China University of Technology(华南理工大学);Lehigh University(利哈伊大学);Carnegie Mellon University(卡内基梅隆大学);Mayo Clinic(梅奥诊所);University of Virginia(弗吉尼亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
文本数据增强是克服自然语言处理(NLP)任务中样本量有限的挑战的有效策略。这种挑战在少样本学习场景中尤为突出,其中目标域中的数据通常更稀缺且质量更低。一个自然和广泛使用的策略,以减轻这种挑战是执行数据增强,以更好地捕捉数据的不变性和增加样本量。然而,当前的文本数据增强方法要么不能确保所生成的数据的正确标记(缺乏忠实性),要么不能确保所生成的数据的足够多样性(缺乏紧凑性),或者两者兼而有之。受最近大语言模型的成功,特别是ChatGPT的发展,它表现出提高语言理解能力的启发,在这项工作中,我们提出了一种基于ChatGPT的文本数据增强方法(名为AugGPT)。AugGPT将训练样本中的每个句子重组为多个概念相似但语义不同的样本。然后,可以在下游模型训练中使用增强的样本。在少样本学习文本分类任务上的实验结果表明,所提出的AugGPT方法在测试精度和增强样本分布方面优于现有的文本数据增强方法.
2023-03-20 cs.AI cs.CL cs.LG
Leveraging Few-Shot Data Augmentation and Waterfall Prompting for Response Generation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Leiden University(莱顿大学)
本文针对使用主观知识的面向任务对话建模,提出基于少样本学习的数据增强方法及三种DSTC11响应生成策略,包括任务特定模型探索、高频问题纳入和结合GPT-3与ChatGPT的瀑布式提示技术。
2023-08-02 cs.CL
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Leveraging QA Datasets to Improve Generative Data Augmentation
University of California San Diego(加州大学圣地亚哥分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Meta AI Research(Meta人工智能研究院);Halıcıoğlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利哲奥卢数据科学研究所)
生成语言模型(GLM)生成文本的能力在过去几年中有了很大的提高,使其能够用于生成数据增强。在这项工作中,我们提出了CONDA,一种方法,以进一步提高GLM的能力,生成合成数据,通过重新制定数据生成为上下文生成一个给定的问答(QA)对和利用QA数据集训练上下文生成器。然后,我们将下游任务转换为相同的问答格式,并使微调的上下文生成器适应目标任务域。最后,我们使用微调的GLM生成相关的上下文,这反过来又被用作合成训练数据,其相应的任务。我们在多个分类数据集上进行了大量的实验,并证明了在几次和zero-shot设置下性能的显著改善。我们的分析表明,需要高水平推理能力的QA数据集(例如,抽象的和常识的QA数据集)倾向于在Few-Shot和zero-shot设置中给出性能的最佳提升。
2022-10-25 cs.CL
TEAM-Atreides at SemEval-2022 Task 11: On leveraging data augmentation and ensemble to recognize complex Named Entities in Bangla
SUST(沙赫贾拉尔科技大学);University of Arizona(亚利桑那大学);BRAC University(BRAC大学)
许多领域,如生物和医疗保健领域,艺术作品和组织名称,具有嵌套,重叠,不连续的实体提及,甚至在实践中可能在句法或语义上模糊不清。传统的序列标记算法无法识别这些复杂的提及,因为它们可能违反序列标记方案所基于的假设。在本文中,我们描述了我们对SemEval 2022任务11的贡献,以识别这种复杂的命名实体。我们利用了多个基于ELECTRA的模型的集合,这些模型专门在孟加拉语上进行了预训练,并利用基于ELECTRA的模型在英语上进行了预训练,以在Track-11上实现有竞争力的性能。除了提供系统描述外,我们还将介绍我们在架构决策,数据集增强和竞争后发现方面的实验结果。
2022-04-21 cs.CL
Leveraging Open Data and Task Augmentation to Automated Behavioral Coding of Psychotherapy Conversations in Low-Resource Scenarios
University of Southern California(南加州大学);Apple Inc.(苹果公司);University of Utah(犹他大学);University of Washington(华盛顿大学)
在心理治疗互动中,通过人工观察和注释,将参与者在对话期间的交流行为编入法典,从而评估会话的质量。开发自动行为编码的计算方法可以减轻人类编码人员的负担,并促进对干预措施的客观评估。然而,在现实世界中,实现这样的算法与数据稀疏性挑战相关联,因为隐私问题导致有限的可用域内数据。在本文中,我们利用一个公开的基于对话的数据集,并通过元学习执行中间语言模型训练,将知识转移到低资源的行为编码任务。我们引入了一个任务增强的方法来产生大量的“类比任务”-任务类似的目标之一-并证明,所提出的框架预测目标行为比所有其他基线模型更准确。
2022-10-25 cs.CL
Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers
CID GmbH(CID有限公司);Technical University of Darmstadt(达姆施塔特工业大学)
在机器学习的许多情况下,研究表明,训练数据的开发可能比分类器本身的选择和建模具有更高的相关性。因此,已经开发了数据增强方法以通过人工创建的训练数据来改进分类器。在NLP中,存在为提供新语言模式的文本转换建立通用规则的挑战。在本文中,我们提出并评估了一种文本生成方法,适合于提高分类器的性能,为长文本和短文本。通过我们的文本生成方法的增强,我们在评估短文本和长文本任务时取得了很好的改进。特别是对于小数据分析,与无增强基线和另一种数据增强技术相比,在构建的低数据范围内实现了高达15.53%和3.56%的附加准确度增益。由于这些构建机制的当前轨道并不普遍适用,我们还在几个现实世界的低数据任务(高达+4.84 F1分数)中显示了重大改进。由于我们从多个角度(总共11个数据集)评估该方法,因此我们还观察到该方法可能不适合的情况。我们讨论了成功应用我们的方法对不同类型的数据集的影响和模式。
2022-07-22 cs.AI cs.CL
Enhancing Psychotherapy Counseling: A Data Augmentation Pipeline Leveraging Large Language Models for Counseling Conversations
本文提出利用LLM将单轮心理治疗咨询转为多轮对话的两阶段数据增强流水线,并通过零样本与少样本实验验证其可提升心理健康咨询多轮对话生成质量。
2024-06-13 cs.CL
IndiText Boost: Text Augmentation for Low Resource India Languages
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出IndiText Boost,在6种印度低资源语言上系统比较简易数据增强、回译、释义及大语言模型文本生成与扩展等方法,发现基础增强技术在文本分类中超越大语言模型。
2024-01-23 cs.AI cs.CL cs.LG
A Guide To Effectively Leveraging LLMs for Low-Resource Text Summarization: Data Augmentation and Semi-supervised Approaches
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切尔顿计算机科学学院);ServiceNow Research(ServiceNow研究院);University of British Columbia(不列颠哥伦比亚大学)
本文提出MixSumm数据增强和PPSL半监督伪标签两种方法,利用LLaMA-3-70b-Instruct模型在低资源场景下有效提升文本摘要性能,仅用5%标注数据即可达到全监督效果。
2025-01-23 cs.AI cs.CL
Empowering Large Language Models for Textual Data Augmentation
Google DeepMind(谷歌DeepMind);Worcester Polytechnic Institute(伍斯特理工学院);Northwestern University(西北大学)
本文提出一种自动生成并选择任务感知指令的解决方案,赋能LLMs为不同下游任务创建高质量增强数据,在26个少样本学习任务上取得最佳性能。
2024-04-26 cs.AI cs.CL
A Survey on Data Augmentation for Text Classification
Technical University of Darmstadt(达姆施塔特工业大学)
数据增强,即通过变换人工创建用于机器学习的训练数据,是跨机器学习学科的广泛研究的研究领域。虽然它有助于提高模型的泛化能力,但它也可以解决许多其他挑战和问题,从克服有限的训练数据,到规范目标,再到限制用于保护隐私的数据量。基于对数据增强的目标和应用的精确描述以及对现有作品的分类,本调查关注文本分类的数据增强方法,旨在为研究者和从业者提供一个简明而全面的概述。从分类学中,我们将100多种方法分为12个不同的组,并给出了最先进的参考文献,通过将它们相互关联来阐述哪些方法是非常有前途的。最后,研究的角度,可能构成一个积木为今后的工作提供。
2022-09-08 cs.AI cs.CL
Node Importance Estimation Leveraging LLMs for Semantic Augmentation in Knowledge Graphs
School of Computing and Artificial Intelligence(计算与人工智能学院);Fuyao University of Science and Technology(福耀科技大学);Department of Automation Tsinghua University(清华大学自动化系);National Engineering Laboratory for Big Data System Computing Technology Shenzhen University(深圳大学大数据系统计算技术国家工程实验室)
针对知识图谱语义信息不足、缺失和不准确限制节点重要性估计(NIE)性能的问题,提出首个将大语言模型(LLMs)融入NIE的LENIE方法,通过聚类采样、自适应提示增强语义并初始化嵌入,提升NIE模型性能至最先进水平。
2024-11-30 cs.AI cs.CL
GenAug: Data Augmentation for Finetuning Text Generators
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
在本文中,我们研究数据增强的文本生成,我们称之为GenAug。文本生成和语言建模是自然语言处理中的重要任务,对于低数据状态尤其具有挑战性。我们提出并评估了各种增强方法,包括一些结合外部知识的方法,用于在Yelp评论的一个子集上微调GPT-2。我们还研究了增强量和生成的文本质量之间的关系。我们利用几个指标来评估生成的文本的重要方面,包括其多样性和流畅性。我们的实验表明,插入字符级的合成噪声和关键字替换与上位词是有效的增强方法,和代的质量提高到一个峰值,约三倍的原始数据量。
2020-10-10 cs.AI cs.CL cs.LG
Leveraging Domain Adaptation and Data Augmentation to Improve Qur'anic IR in English and Arabic
本文针对英语和阿拉伯语古兰经信息检索数据稀缺问题,采用领域自适应训练、数据增强及伊斯兰语料库与领域 LM 预训练,提升 MRR@10 和 NDCG@5 并取得双语最先进结果。
2023-12-05 cs.AI cs.CL
To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP
Technical University of Darmstadt(达姆施塔特工业大学)
数据饥渴的深度神经网络已经成为许多NLP任务的标准,包括传统的序列标记任务。尽管它们在高资源语言上具有最先进的性能,但在低资源场景中仍然落后于统计对手。对付这个问题的一种方法是文本增强,即,从现有数据生成新的合成训练数据点。虽然NLP最近见证了大量的文本增强技术,但该领域仍然缺乏对各种语言和序列标记任务的系统性能分析。为了填补这一空白,我们研究了三种类型的文本增强方法,它们对语法进行更改(例如,裁剪子句子),标记(例如,随机字插入)和字符(例如,字符交换)级别。我们系统地比较了他们的词性标记,依赖性分析和语义角色标注的一组不同的语言家族使用各种模型,包括依赖于预训练的多语言上下文语言模型,如mBERT的架构。增强最显着地提高了依存关系分析,其次是词性标注和语义角色标注。我们发现实验技术是有效的形态丰富的语言,而不是分析语言,如越南语。我们的研究结果表明,增强技术可以进一步改善基于mBERT的强基线。我们确定的字符级的方法是最一致的表演者,而同义词替换和语法增强提供不一致的改进。最后,我们讨论的结果最严重地依赖于任务,语言对,和模型类型。
2021-11-18 cs.AI cs.CL
Leveraging Large Language Models for Code-Mixed Data Augmentation in Sentiment Analysis
The Harker School(哈克尔学校)
本研究提出利用大型语言模型生成合成代码混合数据以增强情感分析性能,在西班牙语-英语中F1提升9.32%,并验证了少样本提示方法的有效性,尤其对低基线场景有益。
2024-11-01 cs.CL
Leveraging Data Augmentation for Process Information Extraction
University of Bayreuth(拜罗伊特大学)
针对从自然语言文本生成业务流程模型领域的数据稀缺问题,本文研究数据增强技术的应用,证明其可有效提升流程信息抽取的F1值,并公开了相关代码与实验结果。
2024-04-11 cs.CL
Multi-Aspect Controllable Text Generation with Disentangled Counterfactual Augmentation
Nanjing University(南京大学);National Institute of Healthcare Data Science, Nanjing University(南京大学国家医疗数据科学研究院)
针对多方面可控文本生成中因属性相关性不平衡导致的刻板印象问题,提出MAGIC方法,通过解耦反事实增强缓解训练阶段的不平衡并在推理阶段强化属性相关性,在多种场景下优于基线。
2024-05-30 cs.AI cs.CL
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation
Heidelberg University(海德堡大学)
针对端到端语音翻译配对数据稀缺问题,提出基于音频对齐的Sample, Translate, Recombine数据增强法,仅用现成组件即可稳定提升多语言对BLEU值。
2022-03-16 cs.CL eess.AS
Fairness for Text Classification Tasks with Identity Information Data Augmentation Methods
LinkedIn Corporation(领英公司)
反事实公平方法解决了这样一个问题:如果文本实例中引用的敏感身份属性不同,预测会如何变化?这些方法完全基于为给定的训练集和测试集实例生成反事实。反事实实例通常通过替换敏感的身份术语来准备,即,用属于同一敏感类别的其它身份项来替换该实例中存在的身份项。因此,这些方法的有效性在很大程度上取决于身份对的质量和全面性。在本文中,我们提供了一个两步数据增强过程,其中(1)前一阶段包括一个新的方法,准备一个全面的身份对列表与词嵌入,和(2)后者包括利用准备身份对列表,以提高训练实例,通过应用三个简单的操作(即身份对替换,身份项盲,身份对交换)。我们的经验表明,两阶段的增强过程导致不同的身份对和增强的训练集,与两个著名的文本分类任务的改进的基于反事实标记的公平性度量得分。
2022-02-04 cs.AI cs.CL
CoBA: Counterbias Text Augmentation for Mitigating Various Spurious Correlations via Semantic Triples
DATUMO;AITRICS;Brainventures;Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系)
CoBA通过语义三元组层面的反偏增强,有效缓解多种虚假相关性,提升模型鲁棒性和任务性能。
2025-11-20 cs.AI cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
DAGAM: Data Augmentation with Generation And Modification
NHN Diquest;Seoul National University(首尔国立大学)
文本分类是自然语言处理的典型下游任务,自基于Transformer架构的预训练语言模型出现以来,文本分类表现出了优异的性能。然而,在预训练的语言模型中,由于模型的大小与可用的训练数据的量相比非常大,因此经常发生欠拟合。随着数据汇集在现代机器学习范式中的重要性,已经积极地进行了针对自然语言数据增强的研究。鉴于此,我们介绍了三个数据增强计划,有助于减少大规模语言模型的欠拟合问题。首先,我们使用一个生成模型的数据增强,这是定义为数据增强与生成(DAG)。接下来,我们使用文本修改技术(如损坏和词序更改)(带修改的数据增强,DAM)来增强数据。最后,我们提出了数据增强与生成和修改(DAGAM),它结合了DAG和DAM技术,以提高性能。我们对文本分类任务的六个基准数据集进行了数据增强,并通过基于BERT的微调和评估验证了DAG、DAM和DAGAM的有效性,与原始数据集的性能相比,得到了更好的结果。
2022-04-06 cs.AI cs.CL
Textual Data Augmentation for Patient Outcomes Prediction
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
深度学习模型在各种医疗保健应用中表现出卓越的性能。然而,这些深度模型的主要限制通常是由于该领域的私有和敏感性质而缺乏高质量的训练数据。在这项研究中,我们提出了一种新的文本数据增强方法来生成人工临床笔记在患者的电子健康记录(EHRs),可用作额外的训练数据患者的结果预测。从本质上讲,我们微调生成语言模型GPT-2,以合成标记文本与原始训练数据。更具体地说,我们提出了一个教师-学生框架,我们首先在原始数据上预训练教师模型,然后在教师的指导下在GPT增强的数据上训练学生模型。我们根据最常见的患者结局评估我们的方法,即,30天的再入院率实验结果表明,深度模型可以提高其预测性能与增强的数据,表明所提出的架构的有效性。
2022-11-13 cs.AI cs.CL
Augmenty: A Python Library for Structured Text Augmentation
本文介绍基于 spaCy 的 Python 库 Augmenty,支持文本与标注联合增强、增强器灵活组合及自定义增强器,服务于 NER、词性标注和依存分析等任务。
2023-12-09 cs.CL
Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
在进入神经网络之前,令牌通常被转换为对应的独热表示,该独热表示是词汇表的离散分布。平滑表示是从预训练的掩蔽语言模型获得的候选标记的概率,其可以被视为对独热表示的更多信息的替代。我们提出了一个有效的数据增强方法,称为文本平滑,通过转换一个句子从它的一个热表示到一个可控的平滑表示。我们评估文本平滑在不同的基准在低资源制度。实验结果表明,文本平滑明显优于各种主流的数据增强方法。此外,文本平滑可以与这些数据增强方法相结合,以实现更好的性能。
2022-02-28 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法,解决巴拿语翻译中的资源限制问题,提升翻译准确性和可及性。
2026-01-27 cs.CL
Text Data Augmentation Made Simple By Leveraging NLP Cloud APIs
TÉLUQ / UQAM(魁北克大学远程教学学院 / 魁北克大学蒙特利尔分校);Lingua Technologies Inc.(Lingua技术公司);DataFranca(DataFranca公司)
在实践中,通常发现自己的文本数据太少,无法训练深度神经网络。这种“大数据墙”对互联网上的少数民族语言社区、组织、实验室和与GAFAM竞争的公司(谷歌、亚马逊、Facebook、苹果、微软)构成了挑战。虽然文本数据增强的大部分研究工作都是着眼于寻找端到端学习解决方案的长期目标,这相当于“使用神经网络来喂养神经网络“,但这项工程工作侧重于使用实用,健壮,可扩展和易于实现的数据增强预处理技术,类似于计算机视觉中成功的技术。已经试验了几种文本增强技术。一些现有的测试是为了比较的目的,比如噪声注入或正则表达式的使用。另一些是修改或改进的技术,如词汇替换。最后,更具创新性的方法,例如使用反向翻译或通过语法树转换生成释义,都是基于强大,可扩展和易于使用的NLP云API。研究的所有文本增强技术,放大因子仅为5,在文本极性预测的标准化任务上,结果的准确性提高了4.3%至21.6%,具有显著的统计波动。测试了一些标准的深度神经网络架构:多层感知器(MLP),长短期记忆递归网络(LSTM)和双向LSTM(biLSTM)。经典的XGBoost算法已经过测试,最多有2.5%的改进。
2018-12-05 cs.CL cs.LG
ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Changwon National University(昌原大学)
数据增强是提高学习模型性能的重要因素。用于Few-Shot文本分类的先前数据增强方法已经导致了巨大的性能提升。然而,它们并没有被设计成捕捉自然语言的复杂组成结构。因此,他们无法生成具有合理和多样化句子结构的样本。基于此,我们提出了使用词汇化概率上下文无关文法(ALP)的数据增强方法,该方法可以生成具有不同句法结构的增强样本。词汇化的PCFG分析树考虑成分和依赖关系,以产生一个句法框架,最大限度地提高了各种单词的选择,在句法上可重复的方式,没有特定的领域专家。在Few-Shot文本分类任务上的实验表明,ALP增强了许多最先进的分类方法。作为第二个贡献,我们深入研究了训练值分裂方法时,数据增强方法发挥作用。我们凭经验认为,传统的训练和验证集的分裂是次优的相比,我们的新的基于增强的分裂策略,进一步扩大训练分裂相同数量的标记数据。总之,我们对数据增强策略的贡献为Few-Shot文本分类任务提供了强大的训练配方。
2021-12-16 cs.AI cs.CL cs.LG
Few-Shot Text Classification with Triplet Networks, Data Augmentation, and Curriculum Learning
ProtagoLabs;International Monetary Fund(国际货币基金组织);Dartmouth College(达特茅斯学院);Microsoft AI(微软人工智能研究院)
Few-Shot文本分类是一项基本的NLP任务,其中模型的目标是将文本分类为大量类别,每个类别只有几个训练样本。本文探讨了数据增强-一种特别适合于有限数据训练的技术-用于这种Few-Shot,高度多类文本分类设置。在四个不同的文本分类任务中,我们发现常见的数据增强技术可以将三元组网络的性能平均提高3.0%。为了进一步提高性能,我们提出了一种简单的训练策略,称为课程数据增强,它通过首先只在原始示例上进行训练,然后随着训练的进行引入增强数据来利用课程学习。我们探索了一个两阶段和一个渐进的时间表,并发现,与标准的单阶段训练相比,课程数据增强训练更快,提高了性能,并保持稳健的大量噪声增强。
2021-03-12 cs.CL
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Text Augmentation in a Multi-Task View
ProtagoLabs(Protago实验室);International Monetary Fund(国际货币基金组织);Dartmouth College(达特茅斯学院)
传统的数据增强旨在通过在线生成与原始样本非常相似的增强样本来增加输入分布的覆盖率,其中增强样本主导训练。在本文中,我们提出了另一种观点--数据增强的多任务视图(MTV)--其中主要任务在原始示例上训练,辅助任务在增强示例上训练。在MTV数据增强中,原始样本和增强样本在训练过程中都进行了实质性的加权,放松了增强样本必须与原始数据相似的约束,从而允许我们应用更强的增强级别。在三个基准文本分类数据集上使用四种常见的数据增强技术进行的实证实验中,我们发现MTV比传统增强带来更高,更强大的性能改进。
2021-01-14 cs.CL
BootAug: Boosting Text Augmentation via Hybrid Instance Filtering Framework
University of Exeter(埃克塞特大学)
BootAug提出基于预训练语言模型的混合实例过滤框架,通过保持特征空间一致性解决现有文本增强方法在大型数据集上的性能下降问题,可迁移至多种增强方法并提升分类准确率约2-3%。
2024-04-01 cs.CL
STA: Self-controlled Text Augmentation for Improving Text Classifications
University College Dublin(都柏林大学);Huawei Ireland Research Centre(华为爱尔兰研究中心)
尽管最近在机器学习方面取得了进展,但许多任务仍然涉及在低数据状态下工作,这可能使解决自然语言问题变得困难。最近,在自然语言处理(NLP)领域出现了许多文本增强技术,这些技术可以用新的示例来丰富训练数据,尽管它们并非没有警告。例如,简单的基于规则的探试法是有效的,但缺乏相对于原始文本的语义内容和句法结构的变化。另一方面,更复杂的深度学习方法可能会导致文本内在含义的极端变化,并将不必要的噪声引入训练数据中。为了更可靠地控制增强示例的质量,我们引入了一种最先进的自控文本增强(STA)方法。我们的方法严格控制的生成过程中,通过引入一个自我检查的过程,以确保生成的例子保留原始文本的语义内容。多个基准测试数据集上的实验结果表明,STA大大优于现有的国家的最先进的技术,而定性分析表明,生成的例子都是词汇多样性和语义可靠。
2023-02-24 cs.AI cs.CL cs.LG
Empirical Study of Text Augmentation on Social Media Text in Vietnamese
University of Information Technology(信息技术大学);VNU-HCM(越南胡志明市国家大学)
在文本分类问题中,数据集中标签的不平衡性影响了文本分类模型的性能。实际上,有关社交网站上用户评论的数据并没有完全出现-管理员通常只允许正面评论,隐藏负面评论。因此,当收集关于社交网络上的用户评论的数据时,数据通常围绕一个标签倾斜,这导致数据集变得不平衡并降低模型的能力。应用数据增强技术解决数据集类别间的不平衡问题,提高了预测模型的精度。在本文中,我们对VLSP 2019越南社交文本的仇恨语音检测和UIT-VSFC:越南学生情感分析反馈语料库进行了增强技术。增强的结果在两个语料库上的F1-macro得分中增加了约1.5%。
2020-10-09 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI(阿拉纳人工智能)
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能,发现部分技术带来了一定改进,但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);University of Ottawa(渥太华大学)
本文提出对抗性词语稀释方法,通过极小极大优化生成困难正样本用于低资源文本分类数据增强,在三个基准数据集上优于现有方法,并具备可解释性和免训练扩展能力。
2023-08-09 cs.CL
Text Generation with Speech Synthesis for ASR Data Augmentation
Meta AI
本文探索用大规模预训练神经网络进行ASR文本增强,再经TTS合成语音扩充训练数据,在三个数据集上相对WER降低9%-15%,优于传统方法。
2023-05-22 cs.AI cs.CL cs.LG
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University(法政大学)
我们提出了一个新的基于字符的文本分类框架的非字母的语言,如中文和日语。我们的框架包括一个变分字符编码器(VCE)和字符级文本分类器。VCE由一个$β$ -变分自动编码器($β$ -VAE)组成,该编码器学习所提出的字形感知解纠缠字符嵌入(GDCE)。由于GDCE提供了零均值单位方差的特征嵌入,是维度独立的,它适用于我们的可解释的数据增强,即语义子字符增强(SSA)。在本文中,我们评估了我们的框架,使用日本文本分类任务的文件和文件级别。我们证实,我们的GDCE和SSA不仅提供了嵌入的可解释性,但也提高了分类性能。我们的建议取得了竞争力的结果,国家的最先进的模型,同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
Text Data Augmentation: Towards better detection of spear-phishing emails
Vade Secure(韦德安全公司)
文本数据增强,即,从现有文本创建新的文本数据是具有挑战性的。实际上,增强变换应当在与目标自然语言处理(NLP)任务(例如,机器翻译、文本分类)。最初的商业电子邮件妥协(BEC)检测的应用程序的动机,我们提出了一个语料库和任务不可知的增强框架,作为一项服务,以增加我们公司内的英语文本。我们的建议结合了不同的方法,利用BERT语言模型,多步回译和语法。我们表明,我们的增强框架使用公开的模型和语料库以及BEC检测任务提高了几个文本分类任务的性能。我们还提供了一个全面的论证我们的增强框架的局限性。
2021-03-25 cs.CL cs.IR cs.LG
PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation
The Ohio State University(俄亥俄州立大学);The Hong Kong Polytechnic University(香港理工大学)
去识别是识别临床文本中受保护的健康信息(PHI)的任务。现有的神经去识别模型通常无法推广到新的数据集。我们提出了一个简单而有效的数据增强方法PHICON,以减轻泛化问题。PHICON由PHI增强和上下文增强组成,其分别通过用从外部源采样的命名实体替换PHI实体以及通过同义词替换或随机词插入来改变背景上下文来创建增强的训练语料库。在i2b2 2006和2014去识别挑战数据集上的实验结果表明,PHICON可以帮助三个选定的去识别模型在交叉数据集测试设置上提高F1分数(最多8.6%)。我们还讨论了使用多少增强以及每种增强方法如何影响性能。
2020-10-11 cs.CL
QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
本文提出面向密集检索的统一文本增强框架QAEA-DR,利用LLM零样本提示生成问答对与元素驱动事件作为原始文本补充,并引入打分评估与重生成机制,有效缓解了长文本信息丢失与低质量文本匹配不佳的问题。
2025-03-01 cs.AI cs.CL cs.IR
Probabilistic Linguistic Knowledge and Token-level Text Augmentation
Stony Brook University(石溪大学)
本文开发了REDA和REDA$_{NG}$两种词元级文本增强程序,通过中英文二元问题匹配任务实验发现,五种词元级增强技术及概率语言学知识均缺乏一般有效性。
2023-07-03 cs.CL
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab(贝林实验室)
本文针对低资源爱尔兰语到英语语音翻译,提出基于 Whisper 的端到端系统,利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
EdinburghNLP at WNUT-2020 Task 2: Leveraging Transformers with Generalized Augmentation for Identifying Informativeness in COVID-19 Tweets
University of Edinburgh(爱丁堡大学)
Twitter和一般社交媒体已成为紧急情况下不可或缺的沟通渠道。无处不在的智能手机小工具使人们能够宣布实时观察到的紧急情况。因此,越来越多的机构有兴趣以编程方式监控Twitter(救灾组织和新闻机构)。因此,识别推文的信息量可以帮助过滤大量推文中的噪声。在本文中,我们提交了WNUT-2020任务2:识别信息性COVID-19英语推文的提交内容。我们最成功的模型是一组Transformers,包括在半监督学习(SSL)设置中训练的RoBERTa、XLNet和BERTweet。该系统在测试集上的F1得分为0.9011(排行榜上排名第7),与使用FastText嵌入的基线系统相比,该系统的性能有了显着提高。
2021-04-18 cs.CL cs.IR cs.LG
Text Augmentation for Language Models in High Error Recognition Scenario
Brno University of Technology(布尔诺理工大学)
我们研究了数据增强对语音识别的语言模型训练的影响。我们将基于全局错误统计的增强与基于ASR错误的每个字的单字统计的增强进行比较,并观察到最好只关注全局替换、删除和插入率。这个简单的方案也始终优于标签平滑及其采样变量。此外,我们调查的行为的困惑估计的扩增数据,但得出的结论是,它没有更好的预测最终的出错率。我们的最佳增强方案在CHiMe-6挑战上将来自第二遍重新评分的绝对WER改善从1.1%增加到1.9%。
2020-11-11 cs.CL
EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks
Protago Labs Research(Protago实验室研究院);Dartmouth College(达特茅斯学院);Georgetown University(乔治城大学)
我们提出了EDA:简单的数据增强技术,提高性能的文本分类任务。EDA由四个简单但功能强大的操作组成:同义词替换、随机插入、随机交换和随机删除。在五个文本分类任务中,我们证明了EDA提高了卷积神经网络和递归神经网络的性能。EDA在较小的数据集上表现出了特别强的效果;平均而言,在五个数据集上,使用EDA训练,同时只使用50%的可用训练集,与使用所有可用数据的正常训练达到了相同的准确性。我们还进行了广泛的消融研究,并提出了实际使用的参数。
2019-08-25 cs.CL
Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning
University of Notre Dame(圣母大学);Harvard University(哈佛大学)
本文提出基于变异理论的反事实数据增强主动学习方法,利用神经符号管线合成数据点以解决冷启动问题,在标注数据较少时显著提升性能。
2025-06-02 cs.CL cs.HC cs.LG
TTIDA: Controllable Generative Data Augmentation via Text-to-Text and Text-to-Image Models
University of Hong Kong(香港大学);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Zhejiang University(浙江大学)
本文提出TTIDA,利用大规模预训练文本到文本和文本到图像模型进行可控生成式数据增强,在分类和图像描述任务中一致提升性能与鲁棒性。
2023-04-18 cs.CL cs.CV cs.LG