Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation
Nanyang Technological University(南洋理工大学)
神经语言模型(NLM)通过学习词的密集表示并利用它们来估计概率分布函数,从而获得很强的泛化能力。然而,学习稀有词的表示是一个具有挑战性的问题,导致NLM产生不可靠的概率估计。为了解决这个问题,我们提出了一种方法来丰富预训练的NLM中稀有词的表示,从而提高其概率估计性能。该方法在保持其他参数不变的情况下,增加了预训练NLM的词嵌入矩阵。具体来说,我们的方法更新的嵌入向量的罕见的话,使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法,我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比,丰富的NLM将单词出错率相对降低了6%,并且将稀有单词的识别准确性绝对提高了16%。
2019-07-31 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇表外(Out-of-Vocabulary,OOV)是神经机器翻译(NMT)的一个难题。OOV指的是在训练数据中出现率低的单词,或者指的是在训练数据中不存在的单词。为了减轻这种情况,已经使用了基于单词或短语的数据增强(DA)技术。然而,现有的DA技术只解决了这些OOV类型之一,并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术,考虑这两种类型的OOV,通过增加(1)在现有的平行语料库中的罕见的话,和(2)从双语词典的新词。在增强过程中,我们考虑了词的句法和语义属性,以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到,只有语义约束的DA,结果是可比的分数考虑到句法约束,并有利于低资源的语言,缺乏语言工具的支持。此外,通过考虑句法和语义约束,可以进一步改善结果。
2022-05-18 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);National Institute of Information and Communications Technology(信息通信研究机构)
数据增强是神经机器翻译(NMT)中通过生成额外的双语数据来提高性能的一种有效方法。在本文中,我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同,我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索,以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明,我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation
Soochow University(苏州大学)
在神经机器翻译(NMT)中,诸如反向翻译的数据增强方法已经证明了它们在提高翻译性能方面的有效性。在本文中,我们提出了一种新的数据增强方法,这是独立于任何额外的训练数据的NMT。我们的方法,AdMix,包括两个部分:1)引入微弱的离散噪声(词替换,词丢弃,词交换)到原始的句子对,形成增强的样本; 2)产生新的合成训练数据,通过软混合的增强样本与它们的原始样本在训练语料库。在三个不同尺度的翻译数据集上的实验表明,AdMix在强Transformer基线上实现了显著的改进(1.0到2.7个BLEU点)。当与其他数据增强技术(例如,回译),我们的方法可以得到进一步的改进。
2022-05-10 cs.CL
Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations
2 The Bredesen Center for Interdisciplinary Research;3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916;4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830
本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧,提升MRR和命中率,验证了精确提示的有效性。
2026-02-06 cs.CL
Context-gloss Augmentation for Improving Word Sense Disambiguation
National Tsing-Hua University(国立清华大学)
词义消歧的目的是确定一个多义词在特定语境中的词义。使用BERT的深度学习技术在该领域取得了非常有前途的成果,并且已经提出了不同的方法来整合结构化知识以提高性能。与此同时,越来越多的数据增强技术已被证明对NLP任务有用。在以前的作品利用BERT和WordNet知识的基础上,我们探索不同的数据增强技术的上下文光泽对,以提高性能的WSD。在我们的实验中,我们表明,无论是词级和词级的增强方法是有效的策略,词义消歧。此外,我们发现,可以通过添加从词汇知识库中获得的上位词的注释来提高性能。我们比较和分析了不同的上下文光泽增强技术,结果表明,应用回翻译光泽表现最好。
2021-10-14 cs.CL cs.LG
SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
在这项工作中,我们研究了基于文本的任务,如神经机器翻译(NMT)的数据增强方法。我们制定了一个数据增强政策与理想的性能作为一个优化问题的设计,并得出一个通用的解析解。该解决方案不仅包含了一些现有的增强方案,而且还导致了一个非常简单的数据增强策略NMT:随机替换源句子和目标句子中的词与其他随机词从其相应的词汇。我们将此方法命名为SwitchOut。在三个不同规模的翻译数据集上的实验表明,SwitchOut产生了约0.5 BLEU的一致改进,实现了比强替代方案(如单词丢失)更好或相当的性能(Sennrich等人,2016年a)。实现此方法的代码包含在附录中。
2018-08-28 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo(东京大学)
无监督跨语言词嵌入(CLWE)方法学习线性变换矩阵,该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设,这通常不一定成立。在本文中,我们认为,使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性,提高质量的CLWEs在无监督映射方法。我们表明,在相同的数据量下,我们的方法优于其他替代方法,并且,通过详细的分析,我们表明,使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效,因为(1)伪数据使源语料库和目标语料库(部分)并行;(2)伪数据包含关于原始语言的信息,其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时,情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而,由于双语列表包含基本形式的单词,因此它不会翻译形态丰富的语言(如僧伽罗语和泰米尔语)的屈折形式。本文主要研究统计机器翻译中的数据增强技术,即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
在真实的对话场景中,现有的槽填充模型,这往往是记忆实体模式,有一个显着降低泛化面临的词汇表(OOV)的问题。为了解决这个问题,我们提出了一个基于多级数据增强的OOV鲁棒槽填充模型,从词和槽的角度来解决OOV问题。我们提出了一个统一的对比学习框架,该框架将原始样本和增强样本的表示拉在一起,以使模型能够抵抗OOV问题。我们从一些特定的插槽评估模型的性能和精心设计的测试数据与OOV词扰动,以进一步证明OOV词的有效性。在两个数据集上的实验表明,我们的方法优于以前的SOTA方法在OOV槽和字。
2023-02-27 cs.CL
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics(上海财经大学)
数据增强技术被广泛应用于文本分类任务中,以提高分类器的性能,特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能,这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色,这启发我们有策略地选择合适的角色进行文本增强。在这项工作中,我们首先确定文本中的词和文本类别之间的关系,从统计相关性和语义相似性的角度,然后利用它们划分为四个角色的话-黄金,风险,奖金,和琐碎的话,这对文本分类具有不同的功能。基于这些词的角色,我们提出了一种新的增强技术,称为STA(选择性文本增强),不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本,同时保留原始的核心语义,并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明,STA产生的增强样本成功地提高了分类模型的性能,其性能显著优于以前的非选择性方法,包括两种基于大语言模型的技术。跨数据集实验进一步表明,STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst(马萨诸塞大学阿默斯特分校)
在这份技术报告中,我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说,我们尝试了几种类型的噪声干扰输入词嵌入,如高斯噪声,伯努利噪声,对抗噪声等,我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法,基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
BrightCookies at SemEval-2025 Task 9: Exploring Data Augmentation for Food Hazard Classification
Wageningen Food Safety Research(瓦赫宁根食品安全研究所);Centre for Language Studies(语言研究系);Radboud University(拉德堡德大学)
本文针对SemEval-2025食品危害检测挑战,提出三种词级数据增强技术改善少数类分类,发现transformer模型整体性能更优,其中上下文词插入显著提升了细粒度少数危害类的预测准确率。
2025-04-29 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Practice Makes a Solver Perfect: Data Augmentation for Math Word Problem Solvers
Data Sciences and Analytics Center, Kohli Center on Intelligent Systems(科利智能系统中心数据科学与分析中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
现有的数学应用题(MWP)求解器在基准数据集上已经达到了很高的精度。然而,先前的工作表明,这样的求解器不泛化以及依赖于表面的线索,以实现高性能。在本文中,我们首先进行实验,以展示这种行为主要与现有MWP数据集中存在的有限大小和多样性有关。接下来,我们提出了几种数据增强技术,大致分为替代和释义为基础的方法。通过部署这些方法,我们将现有数据集的大小增加了五倍。在三个最先进的MWP求解器的两个基准数据集上进行的大量实验表明,所提出的方法提高了现有求解器的泛化能力和鲁棒性。平均而言,在基准数据集上,所提出的方法将最先进的结果显著提高了5个百分点以上。此外,在增强数据集上训练的求解器在挑战测试集上的表现相对更好。我们还通过消融研究显示了所提出的技术的有效性,并通过人体评估验证了增强样本的质量。
2022-04-30 cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao(网易有道)
本文介绍了一种新的神经机器翻译的数据增强方法,可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型(CMLM),这是双向的,可以是条件的左右上下文,以及标签。我们证明了CMLM是一个很好的技术,用于生成上下文相关的词分布。特别是,我们表明,CMLM是能够强制执行语义一致性的条件源和目标在替代。此外,为了提高多样性,我们将软字替换的想法,数据增强,取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明,该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比,并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
Exploring ChatGPT-based Augmentation Strategies for Contrastive Aspect-based Sentiment Analysis
Hong Kong Metropolitan University(香港都会大学);Lingnan University(岭南大学);University of Southern Queensland(南昆士兰大学)
针对方面级情感分析中标注数据稀缺的问题,提出三种基于ChatGPT的数据增强策略并结合对比学习,实验验证其均能提升性能,其中上下文-方面增强策略效果最优。
2024-09-17 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
UAlberta at SemEval-2023 Task 1: Context Augmentation and Translation for Multilingual Visual Word Sense Disambiguation
Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
阿尔伯塔大学团队为SemEval-2023 V-WSD任务提出结合BabelNet释义与多模态编码器的新算法,通过语言模型生成描述增强短上下文以提升准确率,最终在56支队伍中排名第18。
2023-06-24 cs.CL
Enhancing Out-Of-Domain Utterance Detection with Data Augmentation Based on Word Embeddings
对于大多数智能辅助系统,必须具有自动检测域外(OOD)话语的机制,以正确处理嘈杂的输入。一种典型的方法是引入一个单独的类,该类包含与域内文本样本相结合的OOD话语示例。然而,由于OOD话语通常是看不见的训练数据集,检测性能在很大程度上取决于附加的OOD文本数据的质量,由于计算限制,样本的大小有限。在本文中,我们研究了如何增强的OOD数据的基础上采样的影响OOD话语检测与小样本量。我们假设,随机选择的OOD话语样本可以增加未知OOD话语空间的覆盖率,并提高检测精度,如果他们更分散。实验表明,在相同的数据集和相同的OOD样本大小下,OOD样本分布越分散,OOD话语检测性能越好。
2020-03-27 cs.CL
Data augmentation using prosody and false starts to recognize non-native children's speech
Aalto University(阿尔托大学)
本文介绍了AaltoASR的语音识别系统,用于INTERSPEECH 2020共享任务,即针对非母语儿童语音的自动语音识别(ASR)。该任务是从不同年龄组的儿童中识别出有限数量的非母语语音。此外,语音是自发的,有错误的开始转录为部分单词,这在测试转录导致看不见的部分单词。为了应对这两个挑战,我们研究了一种基于数据增强的方法。首先,我们应用基于韵律的数据增强来补充音频数据。其次,我们通过在语言建模语料库中引入部分词噪声来模拟错误启动。在基于韵律的增强数据上训练的声学模型优于使用基线配方或基于SpecAugment的增强的模型。部分词噪声也有助于改进基线语言模型。我们的ASR系统,这些方案的组合,是在评估期内排名第三,并实现了18.71%的字错误率。评估后,我们观察到,增加基于韵律的增强数据的量会导致更好的性能。此外,从假设中去除低置信度分数的单词可以带来进一步的收益。这两项改进将ASR错误率降低到17.99%。
2020-08-29 cs.CL eess.AS
RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding
Anhui Polytechnic University(安徽工程大学);Soochow University(苏州大学)
本文提出词向量级数据增强算法 RPN,通过向选定词向量引入噪声实现细粒度修改,无需梯度即可用于大规模数据,在七个 NLU 任务上取得最先进性能。
2023-07-05 cs.AI cs.CL
Training Data Augmentation for Context-Sensitive Neural Lemmatization Using Inflection Tables and Raw Text
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
词形化的目的是通过将词的变形形式与其字典形式相关联来减少稀疏数据问题。使用上下文可以帮助,无论是看不见的和模棱两可的话。然而,大多数上下文敏感的方法需要完整的词元注释的句子进行训练,这在低资源语言中可能是稀缺的或不可用的。此外(如此处所示),在低资源设置中,词形化器可以从$n$标记的不同单词(类型)的示例中学习到比从$n$(连续)标记的标记中更多的信息,因为后者包含的不同类型要少得多。为了将基于类型的学习的效率与上下文的好处相结合,我们提出了一种训练上下文敏感的lemmatizer的方法,该方法使用很少或没有标记的语料库数据,使用UniMorph项目的变形表和维基百科的原始文本示例,为明确的UniMorph示例提供句子上下文。尽管这些都是明确的例子,但该模型成功地从它们中概括出来,与不使用上下文的基线相比,结果得到了改善(总体上,特别是在看不见的单词上)。
2019-07-01 cs.CL
Syntactic Data Augmentation Increases Robustness to Inference Heuristics
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
预训练的神经模型,如BERT,当被微调以执行自然语言推理(NLI)时,通常在标准数据集上显示出高准确性,但在受控挑战集上显示出惊人的对词序缺乏敏感性。我们假设这个问题主要不是由预训练模型的局限性引起的,而是由于缺乏可能在微调阶段传达句法结构重要性的众包NLI示例。我们探讨了几种方法来增加标准的训练集与句法信息的例子,通过应用句法转换从MNLI语料库的句子。表现最好的增强方法,主语/宾语倒置,提高了BERT的准确性控制的例子,诊断敏感性从0.28到0.73,不影响性能的MNLI测试集。这种改进超出了用于数据增强的特定结构,表明增强导致BERT招募抽象语法表示。
2020-04-24 cs.CL
Few-shot learning through contextual data augmentation
Ecole Normale Supérieure(巴黎高等师范学院);Inria(法国国家信息与自动化研究所);University of Edinburgh(爱丁堡大学)
在主题不断变化的行业(如翻译或新闻机构)中使用的机器翻译(MT)模型需要适应新数据,以保持其性能。我们的目标是教一个预先训练好的MT模型准确地翻译以前看不见的单词,基于很少的例子。我们提出了(i)一个实验设置,允许我们模拟出现在人类提交的翻译中的新词汇,以及(ii)相应的评估指标来比较我们的方法。我们扩展了一个数据增强的方法,使用预先训练的语言模型,以创建训练样本与新的单词类似的上下文。我们比较了不同的微调和数据增强的方法,并表明,适应规模的一到五个例子是可能的。将数据增强与随机选择的训练句子相结合,可以获得最高的BLEU分数和准确性提高。令人印象深刻的是,仅使用1到5个示例,我们的模型报告的准确性分数比平均使用313个并行示例训练的参考系统更好。
2021-03-31 cs.CL
FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP
University of Antwerp(安特卫普大学)
本文提出自动化方法FairFlow,通过自动生成并行数据来训练反事实文本生成器模型,有效克服了传统基于字典的词替换方法易脱离语境的局限,在减少人工干预的同时保持良好性能。
2024-07-23 cs.CL
Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings
Bina Nusantara University(比娜努桑塔拉大学)
Sarcasm是一种通常用于嘲笑或惹恼某人或出于幽默目的的词语。讽刺主要用于社交网络和微博网站,在这些网站上,人们嘲笑或谴责的方式甚至让人难以分辨所说的是什么意思。在情感分析和意见挖掘等自然语言处理应用中,如果无法识别讽刺性话语,将混淆分类算法并生成错误结果。关于讽刺检测的一些研究利用了不同的学习算法。然而,这些学习模式大多只关注表达的内容,而孤立地忽略了语境信息。因此,他们未能捕捉到讽刺表情中的语境信息。此外,在一些研究中使用的一些数据集具有影响模型结果的不平衡数据集。在本文中,我们提出了一个上下文模型,在Twitter上使用Roberta的讽刺识别,并通过应用全局向量表示(GloVe)的词嵌入和上下文学习的建设,以产生更多的数据和平衡的数据集,以增加数据集。使用各种数据集和数据增强设置来测试该技术的有效性。特别是,当使用数据增强来增加20%标记为讽刺的数据时,我们在iSarcasm数据集中实现了3.2%的性能增益,与没有数据增强的37.2%相比,F分数为40.4%。
2021-08-31 cs.CL cs.LG
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business(雅典经济与商业大学);Institute for Language and Speech Processing, Research Center ‘Athena’(“雅典娜”研究中心语言与语音处理研究所);Institute of Informatics and Telecommunications, NCSR ‘Demokritos’(国家科学研究中心“德谟克利特”信息与电信研究所)
我们研究了七种数据增强(da)方法在模拟问答中的效果,主要集中在生物医学领域,在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验,我们用从人工生物医学机器阅读理解数据集获得的训练实例,或通过反向翻译,信息检索,基于word 2 vec嵌入的单词替换,或掩蔽语言建模,问题生成,或用额外的上下文扩展给定的段落。我们表明,DA可以导致非常显着的性能增益,即使使用大型预训练的Transformers,有助于更广泛的讨论,如果/当DA受益于大型预训练模型。最简单的da方法之一,基于word 2 vec的单词替换,性能最好,值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
In the LLM era, Word Sense Induction remains unsolved
本文提出基于大语言模型的词义诱导方法,发现无监督方法难以超越'每个词根一个聚类'启发式方法,同时表明数据增强和Wiktionary利用对提升性能有帮助。
2026-03-12 cs.CL
STRATA: Word Boundaries & Phoneme Recognition From Continuous Urdu Speech using Transfer Learning, Attention, & Data Augmentation
FAST-NUCES(巴基斯坦国家科技大学(FAST-NUCES))
音素识别是NLP中一个很大程度上尚未解决的问题,特别是对于像乌尔都语这样的低资源语言。试图从音频语音中提取音素的系统需要手工标记的音标。这就要求语言学家用语音数据的相关语音表示来注释语音数据,这是一项既昂贵又繁琐的任务。在本文中,我们提出了STRATA,监督音素识别的框架,克服了低资源语言的数据稀缺问题,使用集成了迁移学习,注意力机制和数据增强的seq2seq神经架构。STRATA采用迁移学习将网络损耗减少一半。它使用注意力机制进行词边界和帧对齐检测,进一步减少了4%的网络损耗,并且能够以92.2%的准确率识别词边界。STRATA使用各种数据增强技术,进一步将损失减少1.5%,并且在泛化和准确性方面对新信号更加稳健。STRATA能够实现16.5%的音素出错率,并在TIMIT数据集(英语)和CSaLT数据集(乌尔都语)的最新水平上分别提高了1.1%和11.5%。
2022-04-16 cs.CL cs.SD eess.AS
Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations
Infrrd AI Lab(Infrrd人工智能实验室)
我们提出了一种集成方法来预测线性规划应用题中的标签。实体识别和意义表征是NL4Opt竞赛中需要解决的两类任务。我们提出了ensembleCRF方法来识别命名实体的第一个任务。我们发现,在我们的分析中,单一模型并没有改善给定的任务。一组预测模型预测实体。在ensembleCRF方法中,将生成的结果合并以形成共识结果。我们提出了一个合奏文本生成器产生的代表性句子的第二个任务。由于输出中的溢出,我们考虑将问题划分为多个小任务。单个模型会根据提示生成不同的表示。所有生成的文本被组合以形成一个集合,并产生线性规划问题的数学意义。
2022-12-30 cs.AI cs.CL
Atalaya at TASS 2019: Data Augmentation and Robust Embeddings for Sentiment Analysis
Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
在本文中,我们描述了我们参与TASS 2019的情况,这是一项旨在检测西班牙推文情感极性的共享任务。我们结合了不同的表示,如词袋,字符袋和推文嵌入。特别是,我们训练了鲁棒的子词感知词嵌入,并使用加权平均策略计算了推文表示。我们还使用了两种数据增强技术来处理数据稀缺性:双向翻译增强和实例交叉增强,这是一种通过组合推文的一半来生成新实例的新技术。在实验中,我们训练了线性分类器和集成模型,尽管我们的方法很简单,但仍然获得了极具竞争力的结果。
2019-09-25 cs.CL cs.LG
Distributional Data Augmentation Methods for Low Resource Language
Department of Computer and Systems Sciences(计算机与系统科学系)
针对低资源语言同义词词典匮乏导致EDA方法受限的问题,提出EDDA和TSSR两种利用语义上下文与词性标签的分布式数据增强方法,实验证明其在瑞典语数据集上有效提升了分类性能。
2023-09-09 cs.AI cs.CL
Automatic Counterfactual Augmentation for Robust Text Classification Based on Word-Group Search
Jilin University(吉林大学);University of Trento(特伦托大学)
本文提出基于词群搜索和束搜索的因果特征挖掘方法,并结合反事实增强与自适应投票机制,以缓解捷径学习,提升文本分类的鲁棒性和公平性。
2023-07-01 cs.AI cs.CL
Text Augmentation for Language Models in High Error Recognition Scenario
Brno University of Technology(布尔诺理工大学)
我们研究了数据增强对语音识别的语言模型训练的影响。我们将基于全局错误统计的增强与基于ASR错误的每个字的单字统计的增强进行比较,并观察到最好只关注全局替换、删除和插入率。这个简单的方案也始终优于标签平滑及其采样变量。此外,我们调查的行为的困惑估计的扩增数据,但得出的结论是,它没有更好的预测最终的出错率。我们的最佳增强方案在CHiMe-6挑战上将来自第二遍重新评分的绝对WER改善从1.1%增加到1.9%。
2020-11-11 cs.CL
Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021
NTT Corporation(日本电信电话株式会社)
本文介绍了我们的系统,提交给限制翻译任务在WAT 2021。在这个任务中,系统需要输出包含所有给定单词约束的翻译句子。我们的系统结合了输入增强和约束束搜索算法。通过实验,我们发现,这种组合显着提高翻译精度,并可以节省推理时间,同时包含所有的约束在输出中。对于En->Ja和Ja->En,我们的系统在自动评估中获得了最好的评估性能。
2021-06-10 cs.CL
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
VinUniversity(Vin大学);University of Technology Sydney(悉尼技术大学);Monash University(莫纳什大学)
针对级联语音翻译中ASR错误传播问题,提出基于语音信息的数据增强方法PiDA,通过语音词嵌入生成相似音替换,在FLEURS越南语-英语上提升错误ASR输出翻译质量(BLEU+2.04)。
2026-06-12 cs.CL
Can LLMs assist with Ambiguity? A Quantitative Evaluation of various Large Language Models on Word Sense Disambiguation
Department of Computer Science, Swansea University(斯旺西大学计算机科学系)
本研究提出结合系统化提示增强机制与知识库(KB)的方法,利用少样本思维链(COT)提示引导大型语言模型(LLM)改进词义消歧(WSD),在FEWS测试数据上取得显著性能提升。
2025-09-15 cs.CL
CLEAR: Contrastive Learning for Sentence Representation
University of Michigan(密歇根大学);Facebook AI(脸书人工智能研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
预训练的语言模型已经证明了它们在捕捉隐式语言特征方面的独特能力。然而,大多数的预训练方法都集中在单词层面的训练目标,而词汇层面的目标却很少被研究。在本文中,我们提出了对比学习的句子表示(CLEAR),它采用多个层次的增强策略,以学习噪声不变的句子表示。这些扩充包括单词和跨度删除、重新排序和替换。此外,我们还通过大量的实验研究了对比学习有效的关键原因。我们观察到,在预训练过程中,不同的句子增强会导致不同的下游任务的性能提高。我们的方法在SentEval和GLUE基准测试中优于多种现有方法。
2020-12-31 cs.CL
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面,它引发了一系列关于不同任务的合成概括分析。然而,对数学应用题(MWPs)的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说,我们首先介绍了一种数据分割方法,从现有的MWP数据集创建组合分裂。同时,我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力,我们提出了一种迭代数据增强方法,该方法将不同的组合变化纳入训练数据中,并可与MWP方法协作。在评估过程中,我们检查了一组方法,发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
基于神经元的模型在有相当大的域内训练数据时,在槽填充和意图分类方面取得了优异的性能。然而,由于新的域被频繁地添加,创建相当大的数据是昂贵的。我们表明,轻量级的增强,一组增强方法,涉及词跨度和句子级别的操作,解决数据稀缺的问题。我们在有限的数据设置上的实验表明,轻量级增强在ATIS和SNIPS数据集上的插槽填充上产生了显着的性能改善,并且相对于更复杂的、最先进的增强方法,实现了具有竞争力的性能。此外,当与预先训练的基于LM的模型结合时,轻量级增强也是有益的,因为它改进了基于BERT的联合意图和槽填充模型。
2020-09-08 cs.CL
TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding
Fudan University(复旦大学);CMU(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
数据增强是解决过拟合问题的有效方法。许多以前的工作已经提出了不同的数据增强策略的自然语言处理,如噪声注入,单词替换,回译等,虽然有效,他们错过了一个重要的特征-组合性,一个复杂的表达式的意义是建立在它的子部分。出于这一动机,我们提出了一种组合数据增强方法称为TreeMix的自然语言理解。具体而言,TreeMix利用选区解析树将句子分解为组成子结构,并利用Mixup数据增强技术将它们重新组合以生成新句子。与以前的方法相比,TreeMix为生成的样本引入了更大的多样性,并鼓励模型学习NLP数据的组合性。在文本分类和SCAN上的大量实验表明,TreeMix优于当前最先进的数据增强方法。
2022-07-12 cs.CL
Statistical Augmentation of a Chinese Machine-Readable Dictionary
本文描述了一种利用语料库中自动收集的汉字组来扩充汉语词典的方法。该方法是特别有用的提取领域特定的和区域的话不容易在机器可读的字典。使用人类评估者和先前可用的字典对输出进行评估。我们还评估了自动中文分词的性能改进。结果表明,我们的方法输出合法的单词,缩略语结构,成语,名称和标题,以及技术化合物,其中许多是缺乏从原来的字典。
1994-06-07 cmp-lg cs.CL
Overlapping Word Removal is All You Need: Revisiting Data Imbalance in Hope Speech Detection
National Institute of Technology, Karnataka(卡纳塔克邦国立理工学院);Georgia Institute of Technology(佐治亚理工学院);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
希望语音检测,一个识别积极表达的任务,最近取得了重大进展。然而,目前的大部分工作都集中在模型开发上,而没有考虑数据中固有的不平衡问题。我们的工作重新审视这个问题,在语音检测中引入焦点损失,数据增强,和预处理策略。因此,我们发现,将焦点丢失作为多语言BERT(M-BERT)训练过程的一部分,减轻了类不平衡的影响,并将整体F1-Macro提高了0.11。与此同时,使用M-BERT的上下文和基于反向翻译的单词增强将结果提高了0.10,尽管存在不平衡。最后,我们证明了基于预处理的重叠词去除虽然简单,但可以将F1-Macro提高0.28。在适当的过程中,我们提出了详细的研究,描述了这些策略的各种行为,并总结了我们的实证结果的关键发现,为那些有兴趣在现实世界的数据不平衡条件下,最大限度地利用M-BERT的希望语音检测。
2022-04-12 cs.CL
Improving the Robustness of Summarization Systems with Dual Augmentation
Ant Group(蚂蚁集团);University of Notre Dame(圣母大学);Microsoft(微软)
本文提出 SummAttacker 生成语义一致的对抗样本,并结合输入空间增强与隐藏空间 manifold softmixing 双重增强,显著提升摘要系统在噪声、攻击及干净数据上的鲁棒性。
2023-06-01 cs.CL
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London(伦敦大学学院)
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的,并且通常不利用来自语言知识库的句法和语义信息,这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法,通过数据增强学习词嵌入,从数据中执行语义关系,并系统地评估其对所产生的表示的影响。我们表明,我们的知识增强方法提高了学习嵌入的内在特征,同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中,我们提出了一个反事实的数据增强方法,我们增加数据与扰动的摘要,增加训练数据的多样性。具体来说,我们提出了三种增强方法的基础上替换(i)实体从其他和相同的类别和(ii)名词与其相应的WordNet上位词。我们表明,增加训练数据与我们的方法提高了事实的正确性摘要,而不显着影响ROUGE分数。我们表明,在两个常用的摘要数据集(CNN/Dailymail和XSum)中,我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation
The Ohio State University(俄亥俄州立大学);The Hong Kong Polytechnic University(香港理工大学)
去识别是识别临床文本中受保护的健康信息(PHI)的任务。现有的神经去识别模型通常无法推广到新的数据集。我们提出了一个简单而有效的数据增强方法PHICON,以减轻泛化问题。PHICON由PHI增强和上下文增强组成,其分别通过用从外部源采样的命名实体替换PHI实体以及通过同义词替换或随机词插入来改变背景上下文来创建增强的训练语料库。在i2b2 2006和2014去识别挑战数据集上的实验结果表明,PHICON可以帮助三个选定的去识别模型在交叉数据集测试设置上提高F1分数(最多8.6%)。我们还讨论了使用多少增强以及每种增强方法如何影响性能。
2020-10-11 cs.CL
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting
BITS Pilani, Goa Campus(博拉理工学院果阿校区);Pune University(浦那大学);APP Centre for AI Research(APP人工智能研究中心)
在这篇文章中,我们提出了我们的方法SemEval-2021任务-4:阅读理解的抽象意义。给定一个填空式问题和相应的上下文,任务是从5个选项中预测最合适的单词。这个任务中有三个子任务:不可感知性(子任务-I),非特异性(子任务-II)和交叉(子任务-III)。我们使用基于transformers的模型的编码器,这些模型在掩码语言建模(MLM)任务上进行了预训练,以构建我们的填空(FitB)模型。此外,模型的不可感知性,我们定义了某些语言特征,和模型的非特异性,我们利用词汇数据库提供的上位词和下位词的信息。具体来说,对于非特异性,我们尝试增强技术和其他统计技术。我们还提出了变体,即块投票和最大上下文,以照顾输入长度限制BERT等,此外,我们进行了彻底的消融研究,并使用集成的解释我们的预测在几个样本。我们最好的提交达到75.31%和77.84%的准确率,在测试集的subtask-I和subtask-II,分别。对于子任务III,我们实现了65.64%和62.27%的准确率。
2021-06-26 cs.CL cs.LG
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo(滑铁卢大学)
上下文词嵌入模型,如BioBERT和Bio_ClinicalBERT,通过将其预训练过程集中在特定领域的语料库上,在生物医学自然语言处理任务中取得了最先进的结果。然而,这样的模型不考虑专家领域知识。在这项工作中,我们介绍了UmlsBERT,一个上下文嵌入模型,通过一种新的知识增强策略,在预训练过程中集成领域知识。更具体地说,用统一医学语言系统(UMLS)元词库对UmlsBERT进行增强是以两种方式进行的:i)连接UMLS中具有相同基础“概念”的单词,以及ii)利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略,UmlsBERT可以将临床领域知识编码到词嵌入中,并在常见的命名实体识别(NER)和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Improving Chinese Named Entity Recognition by Search Engine Augmentation
Shanghai Jiao Tong University(上海交通大学);The University of Melbourne(墨尔本大学)
与英语相比,汉语存在着较多的语法歧义,如词边界模糊、词的多义等。在这种情况下,上下文信息是不足以支持中文命名实体识别(NER),特别是对罕见的和新兴的命名实体。使用外部知识的语义增强是缓解这一问题的潜在方法,而如何获得和利用外部知识的NER任务仍然是一个挑战。在本文中,我们提出了一种基于神经网络的方法来执行语义增强使用外部知识的搜索引擎为中文NER。特别地,采用多通道语义融合模型来生成增强的输入表示,其聚合从搜索引擎检索的外部相关文本。实验表明,我们的模型在4个NER数据集上的优越性,包括正式和社交媒体语言环境,这进一步证明了我们的方法的有效性。
2022-10-23 cs.AI cs.CL
Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation
Sun Yat-sen University(中山大学);Sinovation Ventures(创新工场)
特征词提取的目的是从评论文本中提取特征词作为情感分析的意见目标。这项任务的一大挑战是缺乏足够的注释数据。虽然数据增强可能是解决上述问题的有效技术,但它是不可控制的,因为它可能会意外地改变特征词和特征标签。在本文中,我们制定了数据增强作为一个条件生成任务:生成一个新的句子,同时保留原来的意见目标和标签。我们提出了一个掩蔽序列到序列的方法,有条件增强方面的条款提取。与现有的增强方法不同,我们的方法是可控的,允许我们生成更多样化的句子。实验结果表明,我们的方法解决了数据稀缺问题显着。它也有效地提高了性能的几个当前模型的方面的条款提取。
2020-05-01 cs.CL
Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院);Kempelen Institute of Intelligent Technologies(坎佩伦智能技术研究院);University of Pittsburgh(匹兹堡大学)
本研究考察众包中成熟的三种文本多样性激励方法(禁忌词、异常值提示、异常值链式处理)在基于LLM的文本增强中的作用,发现禁忌词提升多样性最显著,提示方法则使下游模型性能最高。
2024-08-18 cs.CL