ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Changwon National University(昌原大学)
数据增强是提高学习模型性能的重要因素。用于Few-Shot文本分类的先前数据增强方法已经导致了巨大的性能提升。然而,它们并没有被设计成捕捉自然语言的复杂组成结构。因此,他们无法生成具有合理和多样化句子结构的样本。基于此,我们提出了使用词汇化概率上下文无关文法(ALP)的数据增强方法,该方法可以生成具有不同句法结构的增强样本。词汇化的PCFG分析树考虑成分和依赖关系,以产生一个句法框架,最大限度地提高了各种单词的选择,在句法上可重复的方式,没有特定的领域专家。在Few-Shot文本分类任务上的实验表明,ALP增强了许多最先进的分类方法。作为第二个贡献,我们深入研究了训练值分裂方法时,数据增强方法发挥作用。我们凭经验认为,传统的训练和验证集的分裂是次优的相比,我们的新的基于增强的分裂策略,进一步扩大训练分裂相同数量的标记数据。总之,我们对数据增强策略的贡献为Few-Shot文本分类任务提供了强大的训练配方。
2021-12-16 cs.AI cs.CL cs.LG
Few-Shot Text Classification with Triplet Networks, Data Augmentation, and Curriculum Learning
ProtagoLabs;International Monetary Fund(国际货币基金组织);Dartmouth College(达特茅斯学院);Microsoft AI(微软人工智能研究院)
Few-Shot文本分类是一项基本的NLP任务,其中模型的目标是将文本分类为大量类别,每个类别只有几个训练样本。本文探讨了数据增强-一种特别适合于有限数据训练的技术-用于这种Few-Shot,高度多类文本分类设置。在四个不同的文本分类任务中,我们发现常见的数据增强技术可以将三元组网络的性能平均提高3.0%。为了进一步提高性能,我们提出了一种简单的训练策略,称为课程数据增强,它通过首先只在原始示例上进行训练,然后随着训练的进行引入增强数据来利用课程学习。我们探索了一个两阶段和一个渐进的时间表,并发现,与标准的单阶段训练相比,课程数据增强训练更快,提高了性能,并保持稳健的大量噪声增强。
2021-03-12 cs.CL
Text Augmentation in a Multi-Task View
ProtagoLabs(Protago实验室);International Monetary Fund(国际货币基金组织);Dartmouth College(达特茅斯学院)
传统的数据增强旨在通过在线生成与原始样本非常相似的增强样本来增加输入分布的覆盖率,其中增强样本主导训练。在本文中,我们提出了另一种观点--数据增强的多任务视图(MTV)--其中主要任务在原始示例上训练,辅助任务在增强示例上训练。在MTV数据增强中,原始样本和增强样本在训练过程中都进行了实质性的加权,放松了增强样本必须与原始数据相似的约束,从而允许我们应用更强的增强级别。在三个基准文本分类数据集上使用四种常见的数据增强技术进行的实证实验中,我们发现MTV比传统增强带来更高,更强大的性能改进。
2021-01-14 cs.CL
STA: Self-controlled Text Augmentation for Improving Text Classifications
University College Dublin(都柏林大学);Huawei Ireland Research Centre(华为爱尔兰研究中心)
尽管最近在机器学习方面取得了进展,但许多任务仍然涉及在低数据状态下工作,这可能使解决自然语言问题变得困难。最近,在自然语言处理(NLP)领域出现了许多文本增强技术,这些技术可以用新的示例来丰富训练数据,尽管它们并非没有警告。例如,简单的基于规则的探试法是有效的,但缺乏相对于原始文本的语义内容和句法结构的变化。另一方面,更复杂的深度学习方法可能会导致文本内在含义的极端变化,并将不必要的噪声引入训练数据中。为了更可靠地控制增强示例的质量,我们引入了一种最先进的自控文本增强(STA)方法。我们的方法严格控制的生成过程中,通过引入一个自我检查的过程,以确保生成的例子保留原始文本的语义内容。多个基准测试数据集上的实验结果表明,STA大大优于现有的国家的最先进的技术,而定性分析表明,生成的例子都是词汇多样性和语义可靠。
2023-02-24 cs.AI cs.CL cs.LG
Empirical Study of Text Augmentation on Social Media Text in Vietnamese
University of Information Technology(信息技术大学);VNU-HCM(越南胡志明市国家大学)
在文本分类问题中,数据集中标签的不平衡性影响了文本分类模型的性能。实际上,有关社交网站上用户评论的数据并没有完全出现-管理员通常只允许正面评论,隐藏负面评论。因此,当收集关于社交网络上的用户评论的数据时,数据通常围绕一个标签倾斜,这导致数据集变得不平衡并降低模型的能力。应用数据增强技术解决数据集类别间的不平衡问题,提高了预测模型的精度。在本文中,我们对VLSP 2019越南社交文本的仇恨语音检测和UIT-VSFC:越南学生情感分析反馈语料库进行了增强技术。增强的结果在两个语料库上的F1-macro得分中增加了约1.5%。
2020-10-09 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI(阿拉纳人工智能)
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能,发现部分技术带来了一定改进,但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);University of Ottawa(渥太华大学)
本文提出对抗性词语稀释方法,通过极小极大优化生成困难正样本用于低资源文本分类数据增强,在三个基准数据集上优于现有方法,并具备可解释性和免训练扩展能力。
2023-08-09 cs.CL
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University(法政大学)
我们提出了一个新的基于字符的文本分类框架的非字母的语言,如中文和日语。我们的框架包括一个变分字符编码器(VCE)和字符级文本分类器。VCE由一个$β$ -变分自动编码器($β$ -VAE)组成,该编码器学习所提出的字形感知解纠缠字符嵌入(GDCE)。由于GDCE提供了零均值单位方差的特征嵌入,是维度独立的,它适用于我们的可解释的数据增强,即语义子字符增强(SSA)。在本文中,我们评估了我们的框架,使用日本文本分类任务的文件和文件级别。我们证实,我们的GDCE和SSA不仅提供了嵌入的可解释性,但也提高了分类性能。我们的建议取得了竞争力的结果,国家的最先进的模型,同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks
Protago Labs Research(Protago实验室研究院);Dartmouth College(达特茅斯学院);Georgetown University(乔治城大学)
我们提出了EDA:简单的数据增强技术,提高性能的文本分类任务。EDA由四个简单但功能强大的操作组成:同义词替换、随机插入、随机交换和随机删除。在五个文本分类任务中,我们证明了EDA提高了卷积神经网络和递归神经网络的性能。EDA在较小的数据集上表现出了特别强的效果;平均而言,在五个数据集上,使用EDA训练,同时只使用50%的可用训练集,与使用所有可用数据的正常训练达到了相同的准确性。我们还进行了广泛的消融研究,并提出了实际使用的参数。
2019-08-25 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
AEDA: An Easier Data Augmentation Technique for Text Classification
University of Parma(帕尔马大学)
本文提出了一种改进的数据增强(AEDA)技术来提高文本分类的性能。AEDA只包括在原始文本中随机插入标点符号。这是一种比EDA方法(Wei和Zou,2019)更容易实现数据增强的技术,我们将结果与EDA方法进行了比较。此外,它保持了单词的顺序,同时改变了它们在句子中的位置,从而获得了更好的泛化性能。此外,EDA中的删除操作可能会导致信息丢失,从而误导网络,而AEDA保留所有输入信息。在基线之后,我们在五个不同的文本分类数据集上进行了实验。我们表明,使用AEDA增强数据进行训练,与使用所有五个数据集中的EDA增强数据相比,模型表现出更好的性能。源代码可供进一步研究和复制的结果。
2021-08-30 cs.CL
DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification
Singapore University of Technology and Design(新加坡科技设计大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种简单有效的基于插值的数据增强方法DoubleMix,以提高文本分类模型的鲁棒性。DoubleMix首先利用几个简单的增强操作为每个训练数据生成几个扰动样本,然后使用扰动数据和原始数据在神经模型的隐藏空间中进行两步插值。具体地说,它首先将扰动数据混合成一个合成样本,然后将原始数据和合成扰动数据混合。DoubleMix通过学习隐藏空间中的“移位”特征来增强模型的鲁棒性。在六个文本分类基准数据集上,我们的方法优于几种流行的文本增强方法,包括标记级,隐藏级数据增强技术。此外,在低资源设置的实验表明,我们的方法一致地提高模型的性能时,训练数据是稀缺的。广泛的消融研究和案例研究证实,我们的方法的每个组成部分有助于最终的性能,并表明我们的方法具有优越的性能,具有挑战性的反例。此外,视觉分析表明,我们的方法生成的文本特征是高度可解释的。本文的代码可以在https://github.com/declare-lab/DoubleMix.git上找到。
2022-09-12 cs.CL
From Big to Small Without Losing It All: Text Augmentation with ChatGPT for Efficient Sentiment Analysis
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
本文提出用 ChatGPT 生成合成训练数据进行文本增强,使小型情感分析模型达到甚至超过大型模型性能,同时降低计算、推理和内存成本。
2023-12-07 cs.AI cs.CL cs.LG
Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach
Wuhan University(武汉大学);Monash University(莫纳什大学)
针对多标签文本分类模型对组合概念泛化能力不足的问题,提出利用两个创新文本生成模型进行数据增强的方法,在三个基准上显著提升组合泛化性能。
2023-12-20 cs.CL
How to choose "Good" Samples for Text Data Augmentation
Guangdong University of Foreign Studies(广东外语外贸大学);Guangdong University of Technology(广东工业大学);Guangzhou Key Laboratory of Multilingual Intelligent Processing(广州市多语言智能处理重点实验室)
基于深度学习的文本分类模型需要大量的标记数据才能获得有竞争力的性能。然而,对大规模语料库进行标注费时费力。为了解决这个问题,许多研究试图使用数据增强来扩大语料库的大小。然而,数据增强可能潜在地产生一些噪声增强样本。在自然语言处理领域,目前还没有研究增强样本的样本选择问题。在本文中,我们提出了一种新的自训练选择框架,具有两个选择器,以选择高质量的样本从数据增强。具体来说,我们首先使用基于熵的策略和模型预测来选择增强样本。考虑到在上述步骤中,一些高质量的样本可能会被错误地过滤,我们提出从词重叠和语义相似度两个角度来召回它们。实验结果表明,我们的框架的有效性和简单性。
2023-02-02 cs.CL
Class-Structure Preservation Beats Diversity: A Comprehensive Benchmark of Text Augmentation Methods for Imbalanced Text Classification
Faculty of Business and Commerce, Kansai University(关西大学商学部)
该研究构建含11种增强方法的基准,在7个数据集上测试后发现,基于LLM的增强性能不优于经典的EmbSMOTE,类结构保真度而非表面多样性是关键,建议检索式过采样作为不平衡多分类默认方法。
2026-08-14 cs.CL
Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation
Moody College of Communication, University of Texas at Austin(得克萨斯大学奥斯汀分校穆迪传播学院);Dartmouth College(达特茅斯学院)
数据增强在许多NLU任务中被证明是有效的,特别是对于那些数据稀缺的人。在本文中,我们提出了一个强大且易于部署的文本增强框架Data Boost,它通过强化学习引导的条件生成来增强数据。我们在五种不同的分类器架构下对三种不同的文本分类任务进行了评估。实验结果表明,Data Boost算法能够有效提高分类器的性能,尤其是在低资源数据的情况下。例如,当只提供10%的数据用于训练时,Data Boost将三个任务的F1平均提高了8.7%。我们还将Data Boost与六种先前的文本增强方法进行了比较。通过人工评估(N=178),我们确认Data Boost增强在可读性和类一致性方面具有与原始数据相当的质量。
2020-12-05 cs.CL cs.LG
TARDiS : Text Augmentation for Refining Diversity and Separability
School of Computer Science and Engineering, Korea University of Technology and Education (KOREATECH)(韩国技术教育大学计算机科学与工程学院(KOREATECH))
针对少样本文本分类,本文提出基于 LLM 的两阶段文本增强方法 TARDiS,通过 SEG、CEG 生成流程和类别适应机制提升样本多样性、可分离性与类别一致性,并在多项任务中超过现有方法。
2025-01-06 cs.AI cs.CL cs.LG
Improving short text classification through global augmentation methods
University of Pretoria(比勒陀利亚大学);Council for Scientific and Industrial Research(科学与工业研究委员会)
我们研究了不同的文本增强方法的效果。为此,我们使用了3个数据集,包括社交媒体和新闻文章形式的正式文本。我们的目标是为从业者和研究人员提供关于选择分类用例增强的见解。我们观察到,基于Word2vec的增强是一个可行的选择,当一个人不能访问一个正式的同义词模型(如基于WordNet的增强)。\emph{mixup}的使用进一步提高了所有基于文本的增强的性能,并减少了过拟合对测试的深度学习模型的影响。由于成本问题,使用翻译服务的往返翻译被证明更难使用,因此对于正常和低资源用例来说都不太容易获得。
2020-12-10 cs.CL cs.IR cs.LG
Improved Text Classification via Test-Time Augmentation
Massachusetts Institute of Technology (MIT)(麻省理工学院)
测试时增强--在测试输入的转换示例中聚合预测--是一种改进图像分类模型性能的成熟技术。重要的是,TTA可以用于事后改进模型性能,而无需额外的训练。虽然测试时增强(TTA)可以应用于任何数据模态,但它在NLP中的应用有限,部分原因是难以识别标签保持转换。在本文中,我们提出了增强政策,产生显着的准确性提高与语言模型。一个关键的发现是,扩增政策设计-例如,从一个单一的,不确定的扩增产生的样本数量-有相当大的影响,TTA的好处。跨二进制分类任务和数据集的实验表明,测试时增强可以比当前最先进的方法提供一致的改进。
2022-06-27 cs.CL cs.LG
Creating Targeted, Interpretable Topic Models with LLM-Generated Text Augmentation
Wellesley College(韦尔斯利学院)
本研究利用LLM生成的文本增强改进主题模型的可解释性和实用性,通过政治学案例验证,GPT-4增强能创建高度可解释的类别,支持特定领域研究。
2025-04-24 cs.CL
BDA: Bangla Text Data Augmentation Framework
Islamic University of Technology(伊斯兰科技大学);The University of Manchester(曼彻斯特大学)
本文提出孟加拉语文本数据增强框架BDA,结合预训练模型与规则方法生成文本变体并过滤保义,在五个分类数据集上仅用50%训练数据即达到与全量数据训练相当的性能。
2024-12-26 cs.CL
Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification
Peking University(北京大学);Tencent Inc(腾讯公司)
数据增强的目的是丰富训练样本,以减轻在低资源或类不平衡的情况下的过拟合问题。传统的方法首先设计特定任务的操作,如同义词替换,然后人为地预设相应的参数,如替换率,这需要大量的先验知识,容易陷入次优。此外,在以前的方法中,编辑操作的数量是有限的,这降低了增强数据的多样性,从而限制了性能增益。为了克服上述局限性,我们提出了一个名为文本自动增强(TAA)的框架,建立一个组合和可学习的范例数据增强。我们把各种操作的组合作为一种增强策略,并利用一种有效的贝叶斯优化算法来自动搜索最佳策略,这大大提高了模型的泛化能力。在六个基准数据集上的实验表明,TAA在低资源和类不平衡的情况下,分类准确率平均分别提高了8.8%和9.7%,优于强基线。
2021-09-01 cs.CL cs.LG
PCC: Paraphrasing with Bottom-k Sampling and Cyclic Learning for Curriculum Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
课程数据增强(CDA)通过呈现难度从易到难逐渐增加的合成数据来改进神经模型。然而,传统的批评性话语分析只是简单地将词的扰动率作为难度度量,并且只经过一次测试。本文提出了\textbf{PCC}:\textbf{P} araphrasing with Bottom-k Sampling and \textbf{C} cyclic Learning for \textbf{C} urgmentation数据增强,这是一种新的基于释义的CDA框架,它利用文本释义相似度作为课程难度的度量。我们提出了一个具有语义感知的释义生成模块,该模块由三个部分组成:一个具有bottom-k采样的释义候选生成器,一个过滤机制和一个难度度量。我们还提出了一个循环的学习策略,多次通过的cumulus。提出了bottom-k采样方法来生成超硬实例。对Few-Shot文本分类和对话生成的实验结果表明,PCC优于竞争基准。人类评估和大量的案例研究表明,bottom-k采样有效地生成超硬实例,PCC显着提高了基线对话代理。
2023-01-31 cs.CL
EPiDA: An Easy Plug-in Data Augmentation Framework for High Performance Text Classification
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Tongji University(同济大学)
最近的工作经验表明,数据增强(DA)在NLP任务中的有效性,特别是对于那些遭受数据稀缺。直觉上,鉴于生成的数据的大小,其多样性和质量对于目标任务的性能至关重要。然而,据我们所知,大多数现有的方法只考虑了多样性或增强数据的质量,因此不能充分挖掘DA的NLP的潜力。在本文中,我们提出了一个简单的插件数据增强框架EPiDA,以支持有效的文本分类。EPiDA采用两种机制:相对熵最大化(REM)和条件熵最小化(CEM)来控制数据生成,其中REM被设计为增强增强数据的多样性,而CEM被利用来确保它们的语义一致性。EPiDA可以支持有效和连续的数据生成,以进行有效的分类器训练。大量的实验表明,EPiDA优于现有的SOTA方法在大多数情况下,虽然没有使用任何代理网络或预先训练的生成网络,它与各种DA算法和分类模型。代码可在https://github.com/zhaominyiz/EPiDA上获得。
2022-04-24 cs.CL
Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification
Cardiff University(卡迪夫大学)
数据增强技术被广泛用于通过解决类不平衡问题和数据稀疏性来增强机器学习模型的性能。最先进的生成语言模型已被证明在不同的NLP任务中提供了显着的收益。然而,其适用性的文本分类任务在Few-Shot设置的数据增强尚未得到充分探讨,特别是对于专业领域。在本文中,我们利用GPT-2(Radford A et al,2019)来生成人工训练实例,以提高分类性能。我们的目的是分析种子训练样本的选择过程对GPT生成的样本质量以及分类器性能的影响。我们进行实验,几个种子选择策略,其中包括利用类层次结构和领域专家选择。我们的结果表明,在少数标签实例中微调GPT-2可以带来一致的分类改进并优于竞争基线。最后,我们表明,通过领域专家选择指导这一过程可以导致进一步的改进,这开辟了有趣的研究途径,结合生成模型和主动学习。
2023-01-09 cs.CL
Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation
National University of Singapore(新加坡国立大学);Institute of Infocomm Research (I2R), A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI Lab(Kriston人工智能实验室)
本文提出BT-Classifier,在无法获取LLMs梯度的情况下,利用小模型基于提示的数据增强生成训练数据,将黑盒模型作为特征提取器训练分类器,显著优于现有黑盒少样本方法且媲美全模型微调。
2023-10-20 cs.CL
Text clustering applied to data augmentation in legal contexts
Strategic Management Office, Brazilian Supreme Federal Court(巴西联邦最高法院战略管理办公室);Brasília University(巴西利亚大学);Internal Affairs Department of Justice, Roraima State Court of Justice(罗赖马州司法法院司法内务部)
本研究针对法律领域文本分类任务,提出基于聚类的数据增强策略,利用NLP工具优化专家整理的数据集,在联合国SDGs案例中实现分类性能超15%的提升,样本库最高扩至5倍,可高效扩充法律知识库。
2024-04-08 cs.CL cs.LG
Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks
National University of Defense Technology(国防科技大学);Wuhan University(武汉大学);JD Explore Academy(京东探索研究院);University of Sydney(悉尼大学)
针对少样本文本分类中mixup数据增强忽略学习难度变化及模型过度自信的问题,提出基于自演化学习的mixup方法,通过实例特定标签平滑生成自适应伪样本,有效提升了分类准确率与模型泛化能力。
2023-11-27 cs.CL cs.NI
An Empirical Survey of Data Augmentation for Limited Data Learning in NLP
Georgia Institute of Technology(佐治亚理工学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在过去的十年中,通过使用神经模型和大型标记数据集,NLP取得了很大的进步。对大量数据的依赖阻止了NLP模型应用于低资源环境或新任务,这些任务需要大量的时间,金钱或专业知识来标记大量的文本数据。最近,数据增强方法已经被探索作为提高NLP中的数据效率的手段。到目前为止,还没有系统的经验概述数据增强的NLP在有限的标记数据设置,很难理解哪些方法在哪些设置工作。在本文中,我们提供了一个实证调查的最新进展数据增强的NLP在有限的标记数据设置,总结了景观的方法(包括标记级增强,扩展级增强,对抗性增强,隐藏空间增强),并进行了实验,11个数据集涵盖主题/新闻分类,推理任务,释义任务,单句任务。基于这些结果,我们得出了几个结论,以帮助从业者在不同的环境中选择适当的增强,并讨论了NLP中有限数据学习的当前挑战和未来方向。
2021-06-14 cs.AI cs.CL
Evaluation Metrics for Text Data Augmentation in NLP
Alana AI Research(阿拉纳人工智能研究院)
本文针对NLP文本数据增强缺乏统一评估标准的问题,提出了评估指标分类体系,为实现不同增强方法的统一基准与标准化提供方向。
2024-02-09 cs.AI cs.CL
Data Augmentation for Text Generation Without Any Augmented Data
Tencent AI Lab(腾讯人工智能实验室)
数据增强是提高许多神经文本生成模型性能的有效方法。然而,目前的数据增强方法需要定义或选择适当的数据映射函数,将原始样本映射到增强样本。在这项工作中,我们得出一个目标,制定文本生成任务的数据增强的问题,而不使用任何增强的数据构造特定的映射函数。我们提出的目标可以有效地优化,并适用于流行的损失函数的文本生成任务的收敛速度保证。在两个文本生成任务的五个数据集上的实验表明,我们的方法可以接近甚至超过流行的数据增强方法。
2021-05-28 cs.AI cs.CL
GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation
NAVER AI Lab;NAVER Clova AI
像GPT-3这样的大规模语言模型是优秀的Few-Shot学习器,允许通过自然文本提示来控制它们。最近的研究报告,基于直接分类消除了微调的需要,但缺乏数据和推理的可扩展性。本文提出了一种新的数据增强技术,利用大规模的语言模型,从真实样本的混合生成逼真的文本样本。我们还建议利用软标签预测的语言模型,有效地从大规模的语言模型中提取知识,同时创建文本扰动。我们在不同的分类任务上进行了数据增强实验,并表明我们的方法大大优于现有的文本增强方法。消融研究和定性分析为我们的方法提供了更多见解。
2021-11-18 cs.AI cs.CL
Entity-to-Text based Data Augmentation for various Named Entity Recognition Tasks
Tsinghua University(清华大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出基于实体到文本的数据增强方法EnTDA,通过增删替换实体并引入多样性束搜索生成语义连贯且保留实体的文本,在多种NER任务中提升性能。
2023-05-26 cs.AI cs.CL
Transplant Then Regenerate: A New Paradigm for Text Data Augmentation
Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学)
本文提出了一种名为LMTransplant的文本数据增强新范式,通过将种子文本移植到LLM扩展的上下文中并重新生成变体,在保留原文核心属性的同时,利用LLM知识生成更多样化的内容级变体,性能优于现有方法且具备良好可扩展性。
2025-09-14 cs.AI cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers
CID GmbH(CID有限公司);Technical University of Darmstadt(达姆施塔特工业大学)
在机器学习的许多情况下,研究表明,训练数据的开发可能比分类器本身的选择和建模具有更高的相关性。因此,已经开发了数据增强方法以通过人工创建的训练数据来改进分类器。在NLP中,存在为提供新语言模式的文本转换建立通用规则的挑战。在本文中,我们提出并评估了一种文本生成方法,适合于提高分类器的性能,为长文本和短文本。通过我们的文本生成方法的增强,我们在评估短文本和长文本任务时取得了很好的改进。特别是对于小数据分析,与无增强基线和另一种数据增强技术相比,在构建的低数据范围内实现了高达15.53%和3.56%的附加准确度增益。由于这些构建机制的当前轨道并不普遍适用,我们还在几个现实世界的低数据任务(高达+4.84 F1分数)中显示了重大改进。由于我们从多个角度(总共11个数据集)评估该方法,因此我们还观察到该方法可能不适合的情况。我们讨论了成功应用我们的方法对不同类型的数据集的影响和模式。
2022-07-22 cs.AI cs.CL
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology(哈尔滨工业大学)
作为一种有效的策略,数据增强(DA)可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用,然后被引入到自然语言处理中,并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性,从而帮助模型更好地推广到看不见的测试数据。在这项调查中,我们框架DA方法分为三类的基础上增强数据的多样性,包括释义,噪声和采样。我们的论文开始详细分析DA方法,根据上述类别。此外,我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
IndiText Boost: Text Augmentation for Low Resource India Languages
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出IndiText Boost,在6种印度低资源语言上系统比较简易数据增强、回译、释义及大语言模型文本生成与扩展等方法,发现基础增强技术在文本分类中超越大语言模型。
2024-01-23 cs.AI cs.CL cs.LG
Empowering Large Language Models for Textual Data Augmentation
Google DeepMind(谷歌DeepMind);Worcester Polytechnic Institute(伍斯特理工学院);Northwestern University(西北大学)
本文提出一种自动生成并选择任务感知指令的解决方案,赋能LLMs为不同下游任务创建高质量增强数据,在26个少样本学习任务上取得最佳性能。
2024-04-26 cs.AI cs.CL
Text Data Augmentation for Large Language Models: A Comprehensive Survey of Methods, Challenges, and Opportunities
Lingnan University(岭南大学);School of Data Science, Lingnan University(岭南大学数据科学学院)
本综述全面分析了大型语言模型(LLMs)的文本数据增强方法,将其分为简单增强、基于提示、基于检索和混合增强四类,并总结了后处理技术、评估指标及未来挑战与机遇。
2025-01-31 cs.CL
A Survey of Data Augmentation Approaches for NLP
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Dartmouth College(达特茅斯学院)
数据增强最近在NLP中引起了越来越多的兴趣,这是由于在低资源领域的更多工作、新任务以及需要大量训练数据的大规模神经网络的流行。尽管最近出现了这种激增,但这一领域的探索仍然相对不足,这可能是由于语言数据的离散性带来的挑战。在本文中,我们提出了一个全面和统一的调查数据增强的NLP通过总结文献结构化的方式。我们首先介绍和激励自然语言处理的数据增强,然后讨论主要的方法论代表性的方法。接下来,我们将重点介绍用于流行的NLP应用程序和任务的技术。最后,我们概述了当前的挑战和未来的研究方向。总的来说,我们的论文旨在澄清现有文献中的自然语言处理数据增强的景观,并激励在这一领域的额外工作。我们还提供了一个GitHub存储库和一个纸质列表,该列表将在https://github.com/styfeng/DataAug4NLP上不断更新。
2021-12-01 cs.AI cs.CL cs.LG
GenAug: Data Augmentation for Finetuning Text Generators
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
在本文中,我们研究数据增强的文本生成,我们称之为GenAug。文本生成和语言建模是自然语言处理中的重要任务,对于低数据状态尤其具有挑战性。我们提出并评估了各种增强方法,包括一些结合外部知识的方法,用于在Yelp评论的一个子集上微调GPT-2。我们还研究了增强量和生成的文本质量之间的关系。我们利用几个指标来评估生成的文本的重要方面,包括其多样性和流畅性。我们的实验表明,插入字符级的合成噪声和关键字替换与上位词是有效的增强方法,和代的质量提高到一个峰值,约三倍的原始数据量。
2020-10-10 cs.AI cs.CL cs.LG
Multi-Aspect Controllable Text Generation with Disentangled Counterfactual Augmentation
Nanjing University(南京大学);National Institute of Healthcare Data Science, Nanjing University(南京大学国家医疗数据科学研究院)
针对多方面可控文本生成中因属性相关性不平衡导致的刻板印象问题,提出MAGIC方法,通过解耦反事实增强缓解训练阶段的不平衡并在推理阶段强化属性相关性,在多种场景下优于基线。
2024-05-30 cs.AI cs.CL
CoBA: Counterbias Text Augmentation for Mitigating Various Spurious Correlations via Semantic Triples
DATUMO;AITRICS;Brainventures;Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系)
CoBA通过语义三元组层面的反偏增强,有效缓解多种虚假相关性,提升模型鲁棒性和任务性能。
2025-11-20 cs.AI cs.CL
DAGAM: Data Augmentation with Generation And Modification
NHN Diquest;Seoul National University(首尔国立大学)
文本分类是自然语言处理的典型下游任务,自基于Transformer架构的预训练语言模型出现以来,文本分类表现出了优异的性能。然而,在预训练的语言模型中,由于模型的大小与可用的训练数据的量相比非常大,因此经常发生欠拟合。随着数据汇集在现代机器学习范式中的重要性,已经积极地进行了针对自然语言数据增强的研究。鉴于此,我们介绍了三个数据增强计划,有助于减少大规模语言模型的欠拟合问题。首先,我们使用一个生成模型的数据增强,这是定义为数据增强与生成(DAG)。接下来,我们使用文本修改技术(如损坏和词序更改)(带修改的数据增强,DAM)来增强数据。最后,我们提出了数据增强与生成和修改(DAGAM),它结合了DAG和DAM技术,以提高性能。我们对文本分类任务的六个基准数据集进行了数据增强,并通过基于BERT的微调和评估验证了DAG、DAM和DAGAM的有效性,与原始数据集的性能相比,得到了更好的结果。
2022-04-06 cs.AI cs.CL
Textual Data Augmentation for Patient Outcomes Prediction
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
深度学习模型在各种医疗保健应用中表现出卓越的性能。然而,这些深度模型的主要限制通常是由于该领域的私有和敏感性质而缺乏高质量的训练数据。在这项研究中,我们提出了一种新的文本数据增强方法来生成人工临床笔记在患者的电子健康记录(EHRs),可用作额外的训练数据患者的结果预测。从本质上讲,我们微调生成语言模型GPT-2,以合成标记文本与原始训练数据。更具体地说,我们提出了一个教师-学生框架,我们首先在原始数据上预训练教师模型,然后在教师的指导下在GPT增强的数据上训练学生模型。我们根据最常见的患者结局评估我们的方法,即,30天的再入院率实验结果表明,深度模型可以提高其预测性能与增强的数据,表明所提出的架构的有效性。
2022-11-13 cs.AI cs.CL
Augmenty: A Python Library for Structured Text Augmentation
本文介绍基于 spaCy 的 Python 库 Augmenty,支持文本与标注联合增强、增强器灵活组合及自定义增强器,服务于 NER、词性标注和依存分析等任务。
2023-12-09 cs.CL
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Source Code Data Augmentation for Deep Learning: A Survey
Monash University(莫纳什大学);Singapore Management University(新加坡管理大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Beihang University(北京航空航天大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Australian National University(澳大利亚国立大学)
本文综述了源代码数据增强用于深度学习的方法,涵盖代表性技术、优化策略、实际应用及未来挑战,并提供了持续更新的论文资源库。
2023-11-13 cs.AI cs.CL cs.SE
BootAug: Boosting Text Augmentation via Hybrid Instance Filtering Framework
University of Exeter(埃克塞特大学)
BootAug提出基于预训练语言模型的混合实例过滤框架,通过保持特征空间一致性解决现有文本增强方法在大型数据集上的性能下降问题,可迁移至多种增强方法并提升分类准确率约2-3%。
2024-04-01 cs.CL
Distributional Data Augmentation Methods for Low Resource Language
Department of Computer and Systems Sciences(计算机与系统科学系)
针对低资源语言同义词词典匮乏导致EDA方法受限的问题,提出EDDA和TSSR两种利用语义上下文与词性标签的分布式数据增强方法,实验证明其在瑞典语数据集上有效提升了分类性能。
2023-09-09 cs.AI cs.CL
Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges
Nanyang Technological University(南洋理工大学);Princeton University(普林斯顿大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Salesforce AI
该综述从数据与学习视角系统梳理利用 LLM 进行数据增强的策略、训练范式及开放挑战,旨在呈现 LLM 带来的范式转变并指导相关研究与实践。
2024-07-02 cs.AI cs.CL