Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);University of Ottawa(渥太华大学)
本文提出对抗性词语稀释方法,通过极小极大优化生成困难正样本用于低资源文本分类数据增强,在三个基准数据集上优于现有方法,并具备可解释性和免训练扩展能力。
2023-08-09 cs.CL
Automatic Counterfactual Augmentation for Robust Text Classification Based on Word-Group Search
Jilin University(吉林大学);University of Trento(特伦托大学)
本文提出基于词群搜索和束搜索的因果特征挖掘方法,并结合反事实增强与自适应投票机制,以缓解捷径学习,提升文本分类的鲁棒性和公平性。
2023-07-01 cs.AI cs.CL
Filling the Gaps: Selective Knowledge Augmentation for LLM Recommenders
Pohang University of Science and Technology(釜山科学技术大学);Korea University(韩国大学)
本文提出KnowSA_CKP方法,通过选择性注入知识来缓解LLM推荐中的知识差距问题,提升推荐准确性和上下文效率。
2026-04-19 cs.AI cs.IR
Exploring Selective Retrieval-Augmentation for Long-Tail Legal Text Classification
University of Cambridge(剑桥大学)
针对法律文本分类中的长尾标签问题,本文提出仅从训练集检索并增强低频标签样本的 SRA 方法,在 LEDGAR 和 UNFAIR-ToS 上相较 LexGLUE 基线持续提升 micro-F1 与 macro-F1。
2025-08-29 cs.CL cs.IR
Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations
2 The Bredesen Center for Interdisciplinary Research;3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916;4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830
本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧,提升MRR和命中率,验证了精确提示的有效性。
2026-02-06 cs.CL
Selective Sampling for Example-based Word Sense Disambiguation
提出了一种基于实例的词义消歧系统中的实例采样方法。为了构建实际大小的数据库,需要相当大的用于手动意义消歧的开销(用于监督的开销)。此外,搜索大型数据库的时间复杂度造成了相当大的问题(搜索开销)。为了解决这些问题,我们的方法选择性地从一个给定的例子集用于词义消歧的样本较小的有效子集。我们的方法的特点是依赖于训练效用的概念:在何种程度上,每个例子是为未来的例子采样时,用于系统的训练信息。该系统通过选择具有最大效用的示例来逐步收集示例。本文通过对一千多个句子的实验,证明了该方法的有效性。与其他示例采样方法的实验相比,我们的方法既减少了监督开销,又减少了搜索开销,而不会降低系统的性能。
1999-10-23 cs.CL
Aspect-Based Sentiment Analysis with Explicit Sentiment Augmentations
Jilin University(吉林大学)
针对ABSA任务中的隐式情感问题,提出融合显式情感增强的方法,通过后训练T5结合句法距离加权等技术生成增强样本,在两个基准上的隐式、显式情感准确率均超SOTA。
2023-12-18 cs.AI cs.CL
Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings
Bina Nusantara University(比娜努桑塔拉大学)
Sarcasm是一种通常用于嘲笑或惹恼某人或出于幽默目的的词语。讽刺主要用于社交网络和微博网站,在这些网站上,人们嘲笑或谴责的方式甚至让人难以分辨所说的是什么意思。在情感分析和意见挖掘等自然语言处理应用中,如果无法识别讽刺性话语,将混淆分类算法并生成错误结果。关于讽刺检测的一些研究利用了不同的学习算法。然而,这些学习模式大多只关注表达的内容,而孤立地忽略了语境信息。因此,他们未能捕捉到讽刺表情中的语境信息。此外,在一些研究中使用的一些数据集具有影响模型结果的不平衡数据集。在本文中,我们提出了一个上下文模型,在Twitter上使用Roberta的讽刺识别,并通过应用全局向量表示(GloVe)的词嵌入和上下文学习的建设,以产生更多的数据和平衡的数据集,以增加数据集。使用各种数据集和数据增强设置来测试该技术的有效性。特别是,当使用数据增强来增加20%标记为讽刺的数据时,我们在iSarcasm数据集中实现了3.2%的性能增益,与没有数据增强的37.2%相比,F分数为40.4%。
2021-08-31 cs.CL cs.LG
Exploring ChatGPT-based Augmentation Strategies for Contrastive Aspect-based Sentiment Analysis
Hong Kong Metropolitan University(香港都会大学);Lingnan University(岭南大学);University of Southern Queensland(南昆士兰大学)
针对方面级情感分析中标注数据稀缺的问题,提出三种基于ChatGPT的数据增强策略并结合对比学习,实验验证其均能提升性能,其中上下文-方面增强策略效果最优。
2024-09-17 cs.CL
Selective Sampling of Effective Example Sentence Sets for Word Sense Disambiguation
针对基于实例的词义消歧系统,提出了一种有效的实例选择方法。为了构建一个实际大小的数据库,需要相当大的开销用于手动意义消歧。我们的方法的特点是依赖于训练实用程序的概念:在何种程度上,每个例子是信息的未来的例子选择时,用于系统的训练。该系统通过选择具有最大效用的示例来逐步收集示例。本文通过对近千个句子的实验,报告了该方法的有效性。与随机样本选择的实验相比,该方法在不降低系统性能的前提下,降低了系统开销。
1997-02-17 cmp-lg cs.CL
UAlberta at SemEval-2023 Task 1: Context Augmentation and Translation for Multilingual Visual Word Sense Disambiguation
Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
阿尔伯塔大学团队为SemEval-2023 V-WSD任务提出结合BabelNet释义与多模态编码器的新算法,通过语言模型生成描述增强短上下文以提升准确率,最终在56支队伍中排名第18。
2023-06-24 cs.CL
Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院);Southern University of Science and Technology(南方科技大学)
联合提取方面和情感可以有效地制定为一个序列标记问题。然而,由于在许多领域中缺乏注释的序列数据,这种制定阻碍了监督方法的有效性。为了解决这个问题,我们首先探索了一个无监督的领域自适应设置这个任务。以往的工作只能利用体貌词和观点词之间的共同句法关系来弥补领域空缺,这对外部语言资源的依赖性很大。为了解决这个问题,我们提出了一种新的选择性对抗学习(SAL)方法来对齐推断的相关向量,自动捕获它们的潜在关系。SAL方法可以动态地学习每个单词的对齐权重,使得更重要的单词可以拥有更高的对齐权重,以实现细粒度(单词级)自适应。大量的实验证明了所提出的SAL方法的有效性。
2019-10-31 cs.CL
Atalaya at TASS 2019: Data Augmentation and Robust Embeddings for Sentiment Analysis
Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
在本文中,我们描述了我们参与TASS 2019的情况,这是一项旨在检测西班牙推文情感极性的共享任务。我们结合了不同的表示,如词袋,字符袋和推文嵌入。特别是,我们训练了鲁棒的子词感知词嵌入,并使用加权平均策略计算了推文表示。我们还使用了两种数据增强技术来处理数据稀缺性:双向翻译增强和实例交叉增强,这是一种通过组合推文的一半来生成新实例的新技术。在实验中,我们训练了线性分类器和集成模型,尽管我们的方法很简单,但仍然获得了极具竞争力的结果。
2019-09-25 cs.CL cs.LG
How Does Selective Mechanism Improve Self-Attention Networks?
Harbin Institute of Technology(哈尔滨工业大学);Tencent AI Lab(腾讯AI实验室);Peng Cheng Laboratory(鹏城实验室)
具有选择机制的自我注意网络(SAN)通过集中于输入词的子集,在各种NLP任务中产生了实质性的改进。然而,它们业绩强劲的根本原因尚未得到很好的解释。在本文中,我们通过评估选择性SAN(SSANs)的优势来弥合这一差距,这些SAN是用灵活和通用的Gumbel-Softmax实现的。几个代表性的NLP任务,包括自然语言推理,语义角色标注,和机器翻译的实验结果表明,SSANs始终优于标准SAN。通过精心设计的探测实验,我们经验验证,SSANS的改善可以部分归因于减轻SAN的两个常见的弱点:词序编码和结构建模。具体来说,选择性机制通过更加关注对句子意义有贡献的实词来改善SAN。代码和数据在https://github.com/xwgeng/SSAN上发布。
2020-05-03 cs.CL cs.LG
Syntactic Data Augmentation Increases Robustness to Inference Heuristics
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
预训练的神经模型,如BERT,当被微调以执行自然语言推理(NLI)时,通常在标准数据集上显示出高准确性,但在受控挑战集上显示出惊人的对词序缺乏敏感性。我们假设这个问题主要不是由预训练模型的局限性引起的,而是由于缺乏可能在微调阶段传达句法结构重要性的众包NLI示例。我们探讨了几种方法来增加标准的训练集与句法信息的例子,通过应用句法转换从MNLI语料库的句子。表现最好的增强方法,主语/宾语倒置,提高了BERT的准确性控制的例子,诊断敏感性从0.28到0.73,不影响性能的MNLI测试集。这种改进超出了用于数据增强的特定结构,表明增强导致BERT招募抽象语法表示。
2020-04-24 cs.CL
Building on Huang et al. GlossBERT for Word Sense Disambiguation
University of Southern California(南加州大学)
我们提出了词义消歧(WSD)问题。在语言中,同一形式的单词根据上下文可以有不同的含义。虽然人类很容易通过上下文推断出这些单词的含义或注释,但机器却在这项任务上遇到了困难。因此,我们打算复制并扩展Huang等人的结果。GlossBERT是他们设计的一种消除这些单词歧义的模型(Huang等人,2019年)。具体来说,我们提出了以下增强:数据集调整(阿尔法超参数),合奏方法,并更换BERT与BART和AL BERT。以下GitHub存储库包含本报告中使用的所有代码,这些代码扩展了Huang等人提供的代码。
2021-12-14 cs.AI cs.CL
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London(伦敦大学学院)
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的,并且通常不利用来自语言知识库的句法和语义信息,这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法,通过数据增强学习词嵌入,从数据中执行语义关系,并系统地评估其对所产生的表示的影响。我们表明,我们的知识增强方法提高了学习嵌入的内在特征,同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
DALE: Generative Data Augmentation for Low-Resource Legal NLP
University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达)
本文提出DALE,一个面向低资源法律NLP的生成式数据增强框架,基于选择性掩码的Encoder-Decoder模型预训练,在13个数据集上较基线提升1%-50%。
2023-10-24 cs.AI cs.CL
Improving short text classification through global augmentation methods
University of Pretoria(比勒陀利亚大学);Council for Scientific and Industrial Research(科学与工业研究委员会)
我们研究了不同的文本增强方法的效果。为此,我们使用了3个数据集,包括社交媒体和新闻文章形式的正式文本。我们的目标是为从业者和研究人员提供关于选择分类用例增强的见解。我们观察到,基于Word2vec的增强是一个可行的选择,当一个人不能访问一个正式的同义词模型(如基于WordNet的增强)。\emph{mixup}的使用进一步提高了所有基于文本的增强的性能,并减少了过拟合对测试的深度学习模型的影响。由于成本问题,使用翻译服务的往返翻译被证明更难使用,因此对于正常和低资源用例来说都不太容易获得。
2020-12-10 cs.CL cs.IR cs.LG
Certified Robustness to Adversarial Word Substitutions
Stanford University(斯坦福大学)
最先进的NLP模型通常会被应用看似无害的标签保留转换(例如,释义)来输入文本。可能的转换数量随文本长度呈指数级增长,因此数据增强无法覆盖输入的所有转换。本文考虑一个指数级大的标签保持变换族,其中输入中的每个单词都可以用相似的单词替换。我们训练第一个模型,这些模型可证明对这个家族中的所有单词替换都是鲁棒的。我们的训练过程使用区间边界传播(IBP)来最小化任何单词替换组合可能引起的最坏情况损失的上限。为了评估模型对这些转换的鲁棒性,我们测量了应用于测试示例的逆向选择单词替换的准确性。我们的IBP训练模型在IMDB上的情感分析和SNLI上的自然语言推理上都达到了$75\%$对抗精度。相比之下,在IMDB上,正常训练的模型和使用数据增强训练的模型分别仅达到$8\%$和$35\%$的对抗精度。
2019-09-03 cs.CL cs.LG
SMSMix: Sense-Maintained Sentence Mixup for Word Sense Disambiguation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
词义消歧(WSD)是一个NLP任务,旨在从离散的意义选择中确定句子中单词的正确意义。虽然目前的系统已经达到了前所未有的性能,这样的任务,在训练过程中的词义的不均匀分布通常会导致系统在罕见的感觉表现不佳。为此,我们考虑数据增强来增加这些最不频繁的感觉(LFS)的频率,以减少训练过程中感觉的分布偏差。我们提出了一种新的保持目标词的意义的词级混合方法--句子保持混合(SMSMix)。SMSMix使用掩码预测平滑地混合两个句子,同时保留由显着性分数确定的相关跨度,以保持特定单词的意义。据我们所知,这是第一次尝试在NLP中应用mixup,同时保留特定单词的含义。通过大量的实验,我们验证了我们的增强方法可以有效地提供更多的信息,罕见的感觉在训练过程中保持目标的感觉标签。
2022-12-21 cs.CL cs.LG
From Sentiment Annotations to Sentiment Prediction through Discourse Augmentation
University of British Columbia(不列颠哥伦比亚大学)
情感分析,特别是对于长文档,必然需要捕获复杂语言学结构的方法。为了适应这一点,我们提出了一个新的框架,利用任务相关的话语的情感分析的任务。更具体地说,我们将大规模的情感依赖MEGA-DT树库与基于混合TreeLSTM分层注意力模型的新型情感预测神经架构相结合。实验表明,我们的框架使用情感相关的话语增强进行情感预测,提高了长文档的整体性能,甚至超过了以前使用基于人类注释数据训练的成熟话语解析器的方法。我们表明,一个简单的集成方法可以通过选择性地使用话语,根据文件的长度,进一步提高性能。
2020-11-05 cs.CL
PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
Graduate School of Informatics, Nagoya University(信息学研究科,名古屋大学);Information Technology Center, Nagoya University(信息科技中心,名古屋大学)
针对ASR模型对近音稀有词纠错准确率低及错误检测过检问题,提出带保留概率机制的音素增强多模态融合纠错方法PMF-CEC,在5个数据集上验证了其在同音词纠错、推理速度及鲁棒性上的优势。
2025-05-31 cs.AI cs.CL cs.SD
Octa: Omissions and Conflicts in Target-Aspect Sentiment Analysis
IBM Corporation(IBM公司);North Carolina State University(北卡罗来纳州立大学)
固执己见文本中的情感往往由体和目标词(或目标)决定。我们注意到,目标和方面以微妙的方式相互关联,往往产生相互矛盾的情绪。因此,如在现有的情感分析模型中那样,来自分开处理的方面和目标的情感的朴素聚集损害性能。我们提出了Octa,这是一种在推断情绪时共同考虑方面和目标的方法。为了捕捉和量化目标和上下文单词之间的关系,Octa使用了一种选择性的自我注意力机制来处理隐含或缺失的目标。具体来说,Octa涉及两层注意力机制,分别用于目标和上下文词之间的选择性注意和基于方面的对词的注意。在基准数据集上,Octa的表现远远优于领先的模型,准确率(绝对)提高了1.6%至4.3%。
2020-10-06 cs.CL
Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
基于神经元的模型在有相当大的域内训练数据时,在槽填充和意图分类方面取得了优异的性能。然而,由于新的域被频繁地添加,创建相当大的数据是昂贵的。我们表明,轻量级的增强,一组增强方法,涉及词跨度和句子级别的操作,解决数据稀缺的问题。我们在有限的数据设置上的实验表明,轻量级增强在ATIS和SNIPS数据集上的插槽填充上产生了显着的性能改善,并且相对于更复杂的、最先进的增强方法,实现了具有竞争力的性能。此外,当与预先训练的基于LM的模型结合时,轻量级增强也是有益的,因为它改进了基于BERT的联合意图和槽填充模型。
2020-09-08 cs.CL
TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding
Fudan University(复旦大学);CMU(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
数据增强是解决过拟合问题的有效方法。许多以前的工作已经提出了不同的数据增强策略的自然语言处理,如噪声注入,单词替换,回译等,虽然有效,他们错过了一个重要的特征-组合性,一个复杂的表达式的意义是建立在它的子部分。出于这一动机,我们提出了一种组合数据增强方法称为TreeMix的自然语言理解。具体而言,TreeMix利用选区解析树将句子分解为组成子结构,并利用Mixup数据增强技术将它们重新组合以生成新句子。与以前的方法相比,TreeMix为生成的样本引入了更大的多样性,并鼓励模型学习NLP数据的组合性。在文本分类和SCAN上的大量实验表明,TreeMix优于当前最先进的数据增强方法。
2022-07-12 cs.CL
Conditional BERT Contextual Augmentation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
我们提出了一种新的数据增强方法标记的句子称为条件BERT上下文增强。数据增强方法经常被应用于防止过拟合和提高深度神经网络模型的泛化能力。最近提出的上下文增强增强标记的句子随机替换的话与语言模型预测的更多样化的替代。BERT证明了深度双向语言模型比单向语言模型或前向和后向模型的浅层连接更强大。通过引入一个新的条件掩蔽语言模型\footnote{The term "conditional masked language model" appeared once in original BERT paper, which indicates context-conditional, is equivalent to term "masked language model". In our paper, "conditional masked language model" indicates we apply extra label-conditional constraint to the "masked language model".}任务,将BERT改进为条件BERT.经过良好训练的条件BERT可以应用于增强上下文增强。六个不同的文本分类任务的实验表明,我们的方法可以很容易地应用到卷积或递归神经网络分类器,以获得明显的改善。
2018-12-17 cs.AI cs.CL cs.LG
Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation
Sun Yat-sen University(中山大学);Sinovation Ventures(创新工场)
特征词提取的目的是从评论文本中提取特征词作为情感分析的意见目标。这项任务的一大挑战是缺乏足够的注释数据。虽然数据增强可能是解决上述问题的有效技术,但它是不可控制的,因为它可能会意外地改变特征词和特征标签。在本文中,我们制定了数据增强作为一个条件生成任务:生成一个新的句子,同时保留原来的意见目标和标签。我们提出了一个掩蔽序列到序列的方法,有条件增强方面的条款提取。与现有的增强方法不同,我们的方法是可控的,允许我们生成更多样化的句子。实验结果表明,我们的方法解决了数据稀缺问题显着。它也有效地提高了性能的几个当前模型的方面的条款提取。
2020-05-01 cs.CL
How to choose "Good" Samples for Text Data Augmentation
Guangdong University of Foreign Studies(广东外语外贸大学);Guangdong University of Technology(广东工业大学);Guangzhou Key Laboratory of Multilingual Intelligent Processing(广州市多语言智能处理重点实验室)
基于深度学习的文本分类模型需要大量的标记数据才能获得有竞争力的性能。然而,对大规模语料库进行标注费时费力。为了解决这个问题,许多研究试图使用数据增强来扩大语料库的大小。然而,数据增强可能潜在地产生一些噪声增强样本。在自然语言处理领域,目前还没有研究增强样本的样本选择问题。在本文中,我们提出了一种新的自训练选择框架,具有两个选择器,以选择高质量的样本从数据增强。具体来说,我们首先使用基于熵的策略和模型预测来选择增强样本。考虑到在上述步骤中,一些高质量的样本可能会被错误地过滤,我们提出从词重叠和语义相似度两个角度来召回它们。实验结果表明,我们的框架的有效性和简单性。
2023-02-02 cs.CL
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
AEDA: An Easier Data Augmentation Technique for Text Classification
University of Parma(帕尔马大学)
本文提出了一种改进的数据增强(AEDA)技术来提高文本分类的性能。AEDA只包括在原始文本中随机插入标点符号。这是一种比EDA方法(Wei和Zou,2019)更容易实现数据增强的技术,我们将结果与EDA方法进行了比较。此外,它保持了单词的顺序,同时改变了它们在句子中的位置,从而获得了更好的泛化性能。此外,EDA中的删除操作可能会导致信息丢失,从而误导网络,而AEDA保留所有输入信息。在基线之后,我们在五个不同的文本分类数据集上进行了实验。我们表明,使用AEDA增强数据进行训练,与使用所有五个数据集中的EDA增强数据相比,模型表现出更好的性能。源代码可供进一步研究和复制的结果。
2021-08-30 cs.CL
Sequence-Level Mixed Sample Data Augmentation
Harvard University(哈佛大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Cornell University(康奈尔大学)
尽管它们在经验上取得了成功,但神经网络仍然难以捕捉自然语言的组成方面。这项工作提出了一个简单的数据增强方法,以鼓励组合行为的神经模型的序列到序列的问题。我们的方法SeqMix通过将训练集中的输入/输出序列进行软组合来创建新的合成示例。我们将这种方法连接到现有的技术,如SwitchOut和字辍学,并表明这些技术都是一个单一的目标的近似变体。SeqMix在强大的Transformer基线上对五个不同的翻译数据集持续产生约1.0 BLEU的改进。对于需要强大的组合泛化的任务,如SCAN和语义解析,SeqMix还提供了进一步的改进。
2020-11-18 cs.CL cs.LG
Unsupervised Data Augmentation with Naive Augmentation and without Unlabeled Data
Northeastern University(东北大学);Sciome LLC(赛奥姆有限责任公司);Carnegie Mellon University(卡内基梅隆大学)
无监督数据增强(UDA)是一种半监督技术,它应用一致性损失来惩罚模型对(a)观察到的(未标记)示例的预测之间的差异;以及(b)通过数据增强产生的相应“噪声”示例。虽然UDA在文本分类方面已经很受欢迎,但仍然存在一些悬而未决的问题,包括哪些设计决策是必要的,以及如何将该方法扩展到序列标记任务。这种方法最近在文本分类中获得了牵引力。在本文中,我们重新审视UDA,并证明其有效性的几个连续的任务。我们的主要贡献是UDA的实证研究,以确定哪些组件的算法赋予NLP的好处。值得注意的是,尽管之前的工作强调了使用智能增强技术,包括回译,但我们发现,与这些复杂的扰动模型相比,在分配给观察到的单词和随机替换的单词的预测之间强制执行一致性通常会产生相当(或更大)的好处。此外,我们发现,应用其一致性损失提供了有意义的收益,而根本没有任何未标记的数据,即,在一个标准的监督设置。简而言之:UDA不需要是无监督的,并且不需要复杂的数据增强就能有效。
2020-10-22 cs.CL cs.LG
Leveraging Language Identification to Enhance Code-Mixed Text Classification
SCTR’S Pune Institute of Computer Technology(SCTR’S浦那计算机技术学院);L3Cube Pune(L3Cube浦那);Indian Institute of Technology Madaras(印度理工学院马德拉斯分校)
针对低资源印地语-英语代码混合文本,本文提出结合词级语言识别与语言增强的BERT分类流水线,并在五个下游数据集上验证其性能提升。
2023-06-08 cs.CL cs.LG
Improved Bayesian Logistic Supervised Topic Models with Data Augmentation
Tsinghua University(清华大学)
具有逻辑似然性的监督主题模型具有潜在地限制其实际用途:1)响应变量通常被文档字数过度加权;以及2)现有的变分推理方法进行严格的平均场假设。我们通过以下方式解决这些问题:1)基于贝叶斯推理的优化公式,引入正则化常数以更好地平衡这两个部分;以及2)通过引入辅助Polya-Gamma变量并折叠出Dirichlet变量来开发简单的Gibbs采样算法。我们的增广-塌陷抽样算法具有每个条件分布的解析形式,而不做任何限制性假设,并且可以很容易地并行化。实证结果表明,预测性能和时间效率显着改善。
2013-10-09 cs.CL cs.LG stat.AP
Learning towards Selective Data Augmentation for Dialogue Generation
KAUST(阿卜杜拉国王科技大学);Ant Group(蚂蚁集团);Xiaomi AI Lab(小米AI实验室);University of Notre Dame(圣母大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
由于获取用于训练神经对话模型的大量数据是繁琐且昂贵的,因此提出了数据增强以有效地利用现有训练样本。然而,当前对话生成任务上的数据增强技术大多增强训练数据集中的所有案例,而不考虑不同案例之间的内在属性。我们认为,并非所有的情况下,是有益的增强任务,并适用于增强的情况下,应该遵守以下两个属性:(1)低质量(对话模型不能生成一个高质量的响应的情况下),(2)代表性(情况下,应代表整个数据集的属性)。在这里,我们探索这个想法,提出了一个选择性的数据增强框架(SDA)的响应生成任务。SDA采用双对抗网络来选择最低质量和最具代表性的数据点,以便在一个阶段中进行增强。在两个公开的数据集上进行了广泛的实验,即,DailyDialog和OpenSubtitles表明,我们的框架可以提高响应生成性能的各种指标。
2023-03-17 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University(京都大学);Peking University(北京大学);Waseda University(早稻田大学)
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈,需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法,该方法反转数学应用题的数学逻辑,以产生新的高质量数学问题,并引入新的知识点,可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型,并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations
Infrrd AI Lab(Infrrd人工智能实验室)
我们提出了一种集成方法来预测线性规划应用题中的标签。实体识别和意义表征是NL4Opt竞赛中需要解决的两类任务。我们提出了ensembleCRF方法来识别命名实体的第一个任务。我们发现,在我们的分析中,单一模型并没有改善给定的任务。一组预测模型预测实体。在ensembleCRF方法中,将生成的结果合并以形成共识结果。我们提出了一个合奏文本生成器产生的代表性句子的第二个任务。由于输出中的溢出,我们考虑将问题划分为多个小任务。单个模型会根据提示生成不同的表示。所有生成的文本被组合以形成一个集合,并产生线性规划问题的数学意义。
2022-12-30 cs.AI cs.CL
Soft Contextual Data Augmentation for Neural Machine Translation
University of Science and Technology of China(中国科学技术大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
虽然数据增强是提高深度学习方法在计算机视觉任务中准确性的重要手段,但其在自然语言任务中的研究仍然非常有限。本文提出了一种新的神经机器翻译数据增强方法。与以前随机删除,交换或替换句子中的其他单词的增强方法不同,我们通过多个相关单词的上下文混合来柔和地增强句子中随机选择的单词。更准确地说,我们用词汇表上的分布(由语言模型提供)替换单词的独热表示,即,用多个语义相似的词的加权组合来替换该词的嵌入。由于这些词的权重取决于要替换的词的上下文信息,因此新生成的句子捕获的信息比以前的增强方法丰富得多。在小规模和大规模机器翻译数据集上的实验结果表明,该方法优于强基线。
2019-05-25 cs.CL
Distributional Data Augmentation Methods for Low Resource Language
Department of Computer and Systems Sciences(计算机与系统科学系)
针对低资源语言同义词词典匮乏导致EDA方法受限的问题,提出EDDA和TSSR两种利用语义上下文与词性标签的分布式数据增强方法,实验证明其在瑞典语数据集上有效提升了分类性能。
2023-09-09 cs.AI cs.CL
ACLM: A Selective-Denoising based Generative Data Augmentation Approach for Low-Resource Complex NER
NSUT Delhi(德里内塔吉·苏巴斯科技大学);University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达)
本文提出基于 BART 与注意力图选择性去噪的生成式数据增强方法 ACLM,以缓解低资源复杂 NER 的上下文—实体不匹配问题,并在单语、跨语言和多语设置中显著提升性能。
2023-06-01 cs.AI cs.CL cs.IR
Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
Yildiz Technical University(伊尔德兹技术大学);Kadir Has University(卡迪尔哈斯大学)
本研究针对数学应用题求解提出多种数据增强方法,并引入基于Llama-7b的上下文学习增强,在9个基线模型上验证了其有效性,且拼接多源增强示例可进一步提升性能。
2024-04-05 cs.CL
On the effectiveness of feature set augmentation using clusters of word embeddings
Kelkoo;Expedia
单词集群已经被经验证明在各种任务上提供重要的性能改进。尽管它们很重要,但它们在特征工程的标准管道中的结合更多地依赖于一个试错过程,其中一个评估几个超参数,如要使用的聚类数量。为了更好地理解这些功能的作用,我们系统地评估它们对四个任务的影响,即命名实体分割和分类以及五点情感分类和量化。我们的研究结果强烈表明,集群成员的功能,提高性能。
2018-07-30 cs.CL
Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation
Nanyang Technological University(南洋理工大学)
神经语言模型(NLM)通过学习词的密集表示并利用它们来估计概率分布函数,从而获得很强的泛化能力。然而,学习稀有词的表示是一个具有挑战性的问题,导致NLM产生不可靠的概率估计。为了解决这个问题,我们提出了一种方法来丰富预训练的NLM中稀有词的表示,从而提高其概率估计性能。该方法在保持其他参数不变的情况下,增加了预训练NLM的词嵌入矩阵。具体来说,我们的方法更新的嵌入向量的罕见的话,使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法,我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比,丰富的NLM将单词出错率相对降低了6%,并且将稀有单词的识别准确性绝对提高了16%。
2019-07-31 cs.CL
Improving Chinese Named Entity Recognition by Search Engine Augmentation
Shanghai Jiao Tong University(上海交通大学);The University of Melbourne(墨尔本大学)
与英语相比,汉语存在着较多的语法歧义,如词边界模糊、词的多义等。在这种情况下,上下文信息是不足以支持中文命名实体识别(NER),特别是对罕见的和新兴的命名实体。使用外部知识的语义增强是缓解这一问题的潜在方法,而如何获得和利用外部知识的NER任务仍然是一个挑战。在本文中,我们提出了一种基于神经网络的方法来执行语义增强使用外部知识的搜索引擎为中文NER。特别地,采用多通道语义融合模型来生成增强的输入表示,其聚合从搜索引擎检索的外部相关文本。实验表明,我们的模型在4个NER数据集上的优越性,包括正式和社交媒体语言环境,这进一步证明了我们的方法的有效性。
2022-10-23 cs.AI cs.CL
GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation
Microsoft Azure AI(微软Azure人工智能部门);Shanghai University of Finance and Economics(上海财经大学)
我们介绍天才:使用草图作为输入的条件文本生成模型,可以填充给定草图的缺失上下文(由文本跨度、短语或单词组成的关键信息,由掩码标记连接)。GENIUS在大规模文本语料库上进行了预训练,使用极端和选择性掩蔽策略从草图目标进行了新颖的重建,使其能够在给定草图的情况下生成多样化和高质量的文本。与其他竞争性条件语言模型(CLM)的比较揭示了GENIUS文本生成质量的优越性。我们进一步表明,GENIUS可以作为一个强大的和现成的数据增强工具,用于各种自然语言处理(NLP)任务。大多数现有的文本数据增强方法要么过于保守,对原始文本进行小的更改,要么过于激进,创建全新的样本。使用GENIUS,我们提出了GeniusAug,它首先从原始训练集中提取目标感知的草图,然后基于草图生成新的样本。在6个文本分类数据集上的实验表明,GeniusAug显著提高了模型在分布内(ID)和分布外(OOD)环境下的性能。我们还证明了GeniusAug在命名实体识别(NER)和机器阅读理解(MRC)任务上的有效性。(Code和模型可在https://github.com/microsoft/SCGLab和https://github.com/beyondguo/genius上公开获得)
2022-11-18 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇表外(Out-of-Vocabulary,OOV)是神经机器翻译(NMT)的一个难题。OOV指的是在训练数据中出现率低的单词,或者指的是在训练数据中不存在的单词。为了减轻这种情况,已经使用了基于单词或短语的数据增强(DA)技术。然而,现有的DA技术只解决了这些OOV类型之一,并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术,考虑这两种类型的OOV,通过增加(1)在现有的平行语料库中的罕见的话,和(2)从双语词典的新词。在增强过程中,我们考虑了词的句法和语义属性,以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到,只有语义约束的DA,结果是可比的分数考虑到句法约束,并有利于低资源的语言,缺乏语言工具的支持。此外,通过考虑句法和语义约束,可以进一步改善结果。
2022-05-18 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);National Institute of Information and Communications Technology(信息通信研究机构)
数据增强是神经机器翻译(NMT)中通过生成额外的双语数据来提高性能的一种有效方法。在本文中,我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同,我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索,以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明,我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation
Soochow University(苏州大学)
在神经机器翻译(NMT)中,诸如反向翻译的数据增强方法已经证明了它们在提高翻译性能方面的有效性。在本文中,我们提出了一种新的数据增强方法,这是独立于任何额外的训练数据的NMT。我们的方法,AdMix,包括两个部分:1)引入微弱的离散噪声(词替换,词丢弃,词交换)到原始的句子对,形成增强的样本; 2)产生新的合成训练数据,通过软混合的增强样本与它们的原始样本在训练语料库。在三个不同尺度的翻译数据集上的实验表明,AdMix在强Transformer基线上实现了显著的改进(1.0到2.7个BLEU点)。当与其他数据增强技术(例如,回译),我们的方法可以得到进一步的改进。
2022-05-10 cs.CL
Semantic-based Data Augmentation for Math Word Problems
Fudan University(复旦大学);DataGrand Inc.(达观数据有限公司);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
神经MWP求解器很难处理微小的局部方差。在MWP任务中,一些局部变化保持了原始语义,而另一些则可能完全改变底层逻辑。目前,MWP任务的现有数据集包含有限的样本,这是神经模型学习消除问题中不同类型的局部方差并正确解决问题的关键。在本文中,我们提出了一组新的数据增强方法,以补充现有的数据集与这样的数据,增强了不同种类的局部方差,并有助于提高当前的神经模型的泛化能力。通过知识引导的实体替换和逻辑引导的问题重组生成新样本。增强方法保证了新数据与其标签之间的一致性。实验结果表明了该方法的必要性和有效性。
2022-04-18 cs.CL
Selective Augmentation: Improving Universal Automatic Phonetic Transcription via G2P Bootstrapping
Fraunhofer Institute IAIS(弗劳恩霍夫研究所IAIS);University of Bonn(波恩大学)
本文提出选择性增强方法,通过语言间差异转移提升语音转录准确性,引入爆破音气声识别,提升转录精度并减少混淆。
2026-04-29 cs.CL cs.LG
Intended Target Identification for Anomia Patients with Gradient-based Selective Augmentation
Seoul National University(首尔国立大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能跨学科项目,首尔国立大学)
针对命名性失语患者意图目标识别中的术语缺失与语义错语扰动问题,提出基于梯度的选择性增强方法,在Tip-of-the-Tongue数据集和AphasiaBank真实数据上均优于基线,可辅助患者识别意图物品。
2025-06-17 cs.CL
Data augmentation using prosody and false starts to recognize non-native children's speech
Aalto University(阿尔托大学)
本文介绍了AaltoASR的语音识别系统,用于INTERSPEECH 2020共享任务,即针对非母语儿童语音的自动语音识别(ASR)。该任务是从不同年龄组的儿童中识别出有限数量的非母语语音。此外,语音是自发的,有错误的开始转录为部分单词,这在测试转录导致看不见的部分单词。为了应对这两个挑战,我们研究了一种基于数据增强的方法。首先,我们应用基于韵律的数据增强来补充音频数据。其次,我们通过在语言建模语料库中引入部分词噪声来模拟错误启动。在基于韵律的增强数据上训练的声学模型优于使用基线配方或基于SpecAugment的增强的模型。部分词噪声也有助于改进基线语言模型。我们的ASR系统,这些方案的组合,是在评估期内排名第三,并实现了18.71%的字错误率。评估后,我们观察到,增加基于韵律的增强数据的量会导致更好的性能。此外,从假设中去除低置信度分数的单词可以带来进一步的收益。这两项改进将ASR错误率降低到17.99%。
2020-08-29 cs.CL eess.AS