AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University(波士顿大学)
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的,不能用作通用工具。在我们的工作中,我们提出了AugCSE,一个统一的框架,利用不同的数据增强集,以实现更好的,通用的,句子嵌入模型。基于最新的句子嵌入模型,我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标,我们表明,不同的增强,这往往会导致冲突的对比信号,可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果,并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇表外(Out-of-Vocabulary,OOV)是神经机器翻译(NMT)的一个难题。OOV指的是在训练数据中出现率低的单词,或者指的是在训练数据中不存在的单词。为了减轻这种情况,已经使用了基于单词或短语的数据增强(DA)技术。然而,现有的DA技术只解决了这些OOV类型之一,并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术,考虑这两种类型的OOV,通过增加(1)在现有的平行语料库中的罕见的话,和(2)从双语词典的新词。在增强过程中,我们考虑了词的句法和语义属性,以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到,只有语义约束的DA,结果是可比的分数考虑到句法约束,并有利于低资源的语言,缺乏语言工具的支持。此外,通过考虑句法和语义约束,可以进一步改善结果。
2022-05-18 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);National Institute of Information and Communications Technology(信息通信研究机构)
数据增强是神经机器翻译(NMT)中通过生成额外的双语数据来提高性能的一种有效方法。在本文中,我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同,我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索,以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明,我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation
Soochow University(苏州大学)
在神经机器翻译(NMT)中,诸如反向翻译的数据增强方法已经证明了它们在提高翻译性能方面的有效性。在本文中,我们提出了一种新的数据增强方法,这是独立于任何额外的训练数据的NMT。我们的方法,AdMix,包括两个部分:1)引入微弱的离散噪声(词替换,词丢弃,词交换)到原始的句子对,形成增强的样本; 2)产生新的合成训练数据,通过软混合的增强样本与它们的原始样本在训练语料库。在三个不同尺度的翻译数据集上的实验表明,AdMix在强Transformer基线上实现了显著的改进(1.0到2.7个BLEU点)。当与其他数据增强技术(例如,回译),我们的方法可以得到进一步的改进。
2022-05-10 cs.CL
Semantic-based Data Augmentation for Math Word Problems
Fudan University(复旦大学);DataGrand Inc.(达观数据有限公司);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
神经MWP求解器很难处理微小的局部方差。在MWP任务中,一些局部变化保持了原始语义,而另一些则可能完全改变底层逻辑。目前,MWP任务的现有数据集包含有限的样本,这是神经模型学习消除问题中不同类型的局部方差并正确解决问题的关键。在本文中,我们提出了一组新的数据增强方法,以补充现有的数据集与这样的数据,增强了不同种类的局部方差,并有助于提高当前的神经模型的泛化能力。通过知识引导的实体替换和逻辑引导的问题重组生成新样本。增强方法保证了新数据与其标签之间的一致性。实验结果表明了该方法的必要性和有效性。
2022-04-18 cs.CL
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations
2 The Bredesen Center for Interdisciplinary Research;3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916;4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830
本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧,提升MRR和命中率,验证了精确提示的有效性。
2026-02-06 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Context-gloss Augmentation for Improving Word Sense Disambiguation
National Tsing-Hua University(国立清华大学)
词义消歧的目的是确定一个多义词在特定语境中的词义。使用BERT的深度学习技术在该领域取得了非常有前途的成果,并且已经提出了不同的方法来整合结构化知识以提高性能。与此同时,越来越多的数据增强技术已被证明对NLP任务有用。在以前的作品利用BERT和WordNet知识的基础上,我们探索不同的数据增强技术的上下文光泽对,以提高性能的WSD。在我们的实验中,我们表明,无论是词级和词级的增强方法是有效的策略,词义消歧。此外,我们发现,可以通过添加从词汇知识库中获得的上位词的注释来提高性能。我们比较和分析了不同的上下文光泽增强技术,结果表明,应用回翻译光泽表现最好。
2021-10-14 cs.CL cs.LG
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
在这项工作中,我们研究了基于文本的任务,如神经机器翻译(NMT)的数据增强方法。我们制定了一个数据增强政策与理想的性能作为一个优化问题的设计,并得出一个通用的解析解。该解决方案不仅包含了一些现有的增强方案,而且还导致了一个非常简单的数据增强策略NMT:随机替换源句子和目标句子中的词与其他随机词从其相应的词汇。我们将此方法命名为SwitchOut。在三个不同规模的翻译数据集上的实验表明,SwitchOut产生了约0.5 BLEU的一致改进,实现了比强替代方案(如单词丢失)更好或相当的性能(Sennrich等人,2016年a)。实现此方法的代码包含在附录中。
2018-08-28 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo(东京大学)
无监督跨语言词嵌入(CLWE)方法学习线性变换矩阵,该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设,这通常不一定成立。在本文中,我们认为,使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性,提高质量的CLWEs在无监督映射方法。我们表明,在相同的数据量下,我们的方法优于其他替代方法,并且,通过详细的分析,我们表明,使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效,因为(1)伪数据使源语料库和目标语料库(部分)并行;(2)伪数据包含关于原始语言的信息,其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时,情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而,由于双语列表包含基本形式的单词,因此它不会翻译形态丰富的语言(如僧伽罗语和泰米尔语)的屈折形式。本文主要研究统计机器翻译中的数据增强技术,即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
在真实的对话场景中,现有的槽填充模型,这往往是记忆实体模式,有一个显着降低泛化面临的词汇表(OOV)的问题。为了解决这个问题,我们提出了一个基于多级数据增强的OOV鲁棒槽填充模型,从词和槽的角度来解决OOV问题。我们提出了一个统一的对比学习框架,该框架将原始样本和增强样本的表示拉在一起,以使模型能够抵抗OOV问题。我们从一些特定的插槽评估模型的性能和精心设计的测试数据与OOV词扰动,以进一步证明OOV词的有效性。在两个数据集上的实验表明,我们的方法优于以前的SOTA方法在OOV槽和字。
2023-02-27 cs.CL
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics(上海财经大学)
数据增强技术被广泛应用于文本分类任务中,以提高分类器的性能,特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能,这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色,这启发我们有策略地选择合适的角色进行文本增强。在这项工作中,我们首先确定文本中的词和文本类别之间的关系,从统计相关性和语义相似性的角度,然后利用它们划分为四个角色的话-黄金,风险,奖金,和琐碎的话,这对文本分类具有不同的功能。基于这些词的角色,我们提出了一种新的增强技术,称为STA(选择性文本增强),不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本,同时保留原始的核心语义,并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明,STA产生的增强样本成功地提高了分类模型的性能,其性能显著优于以前的非选择性方法,包括两种基于大语言模型的技术。跨数据集实验进一步表明,STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);University of Liverpool, UK(英国利物浦大学)
从神经语言模型(NLM)(如BERT)生成的上下文化词嵌入表示具有向量的单词,该向量考虑目标单词的语义及其上下文。另一方面,静态词嵌入(如GloVe)通过相对低维、内存和计算效率高的向量表示词,但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义(CDES),一种方法,提取意义相关的信息,从上下文的嵌入,并将其注入到静态嵌入,以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明,CDES可以准确地学习特定于词义的静态嵌入,其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
我们提出了\textit{AutoExtend},一个系统来学习嵌入的同义词和词素。它是灵活的,因为它可以采取任何词嵌入作为输入,不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源,但AutoExtend可以很容易地应用于其他资源,如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst(马萨诸塞大学阿默斯特分校)
在这份技术报告中,我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说,我们尝试了几种类型的噪声干扰输入词嵌入,如高斯噪声,伯努利噪声,对抗噪声等,我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法,基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University(普渡大学)
静态词嵌入编码词关联,广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获,嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词,基于他们的词嵌入功能,揭示潜在的属性词的关联形成的嵌入空间,而不引入任何确认偏见。我们的研究结果表明,在嵌入训练(CBOW与skip-gram)的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外,经验表明,即使在相同的语料库上训练时,在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性,从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法,通用的任务,我们设计的特定任务的词嵌入方法,以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架,并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入(DWE),它选择依存关系树中的关键词和目标词的相邻词作为上下文,构建词-上下文矩阵。第二种方法,名为类增强依赖性为基础的词嵌入(CEDWE),学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估,以证明其有效性。实验结果表明,它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
TransAug: Translate as Augmentation for Sentence Embeddings
本文提出 TransAug,首次利用翻译句对作为数据增强,通过蒸馏中文编码器并结合跨语言对比学习更新英语编码器,在 STS 和 SentEval 迁移任务上取得最先进性能。
2025-06-01 cs.CL
BrightCookies at SemEval-2025 Task 9: Exploring Data Augmentation for Food Hazard Classification
Wageningen Food Safety Research(瓦赫宁根食品安全研究所);Centre for Language Studies(语言研究系);Radboud University(拉德堡德大学)
本文针对SemEval-2025食品危害检测挑战,提出三种词级数据增强技术改善少数类分类,发现transformer模型整体性能更优,其中上下文词插入显著提升了细粒度少数危害类的预测准确率。
2025-04-29 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology(奈良先端科学技术大学);Tokyo Metropolitan University(东京都立大学)
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性,特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验,使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明,我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
静态的词嵌入用一个向量来表示词,不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上,我们引入了动态上下文化的词嵌入,它代表了语言和语言外语境的函数。基于预训练的语言模型(PLM),动态上下文化的词嵌入联合建模时间和社会空间,这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析,我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
在越南语依存句法分析中,已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器,其取得了最先进的结果。在本文中,我们提出了一种新方法,该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank(VnDT)。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Unsupervised Document Embedding via Contrastive Augmentation
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Labs America(美国 NEC 实验室);University of Connecticut(康涅狄格大学)
我们提出了一种对比学习方法与数据增强技术,学习文档表示在无监督的方式。受最近用于图像和NLP预训练的对比自监督学习算法的启发,我们假设高质量的文档嵌入应该对保留原始文档语义的各种释义保持不变。通过不同的主干和对比学习框架,我们的研究揭示了对比增强对文档表示学习的巨大好处,并提供了两个额外的见解:1)以对比的方式包括数据增强可以显著地提高无监督文档表示学习中的嵌入质量,以及2)通常,由简单的单词级操作生成的随机增强比文档级和文档级操作好得多。我们将我们的方法插入分类器,并将其与六个基准数据集上的各种基线方法进行比较。我们的方法可以降低分类出错率高达6.4%,SOTA方法的文件分类任务,匹配,甚至超过完全监督的方法。
2021-03-26 cs.CL
Practice Makes a Solver Perfect: Data Augmentation for Math Word Problem Solvers
Data Sciences and Analytics Center, Kohli Center on Intelligent Systems(科利智能系统中心数据科学与分析中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
现有的数学应用题(MWP)求解器在基准数据集上已经达到了很高的精度。然而,先前的工作表明,这样的求解器不泛化以及依赖于表面的线索,以实现高性能。在本文中,我们首先进行实验,以展示这种行为主要与现有MWP数据集中存在的有限大小和多样性有关。接下来,我们提出了几种数据增强技术,大致分为替代和释义为基础的方法。通过部署这些方法,我们将现有数据集的大小增加了五倍。在三个最先进的MWP求解器的两个基准数据集上进行的大量实验表明,所提出的方法提高了现有求解器的泛化能力和鲁棒性。平均而言,在基准数据集上,所提出的方法将最先进的结果显著提高了5个百分点以上。此外,在增强数据集上训练的求解器在挑战测试集上的表现相对更好。我们还通过消融研究显示了所提出的技术的有效性,并通过人体评估验证了增强样本的质量。
2022-04-30 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge(剑桥大学)
本文提出了一种联合模型,用于对单词进行无监督的形态分析,并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分,并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务,也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后,我们表明,将形态显式地纳入字符级模型,帮助他们产生嵌入看不见的话,更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
通用词嵌入是在大规模通用语料库上训练的;领域特定(DS)词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入,称为域自适应(DA)词嵌入,通过使用典型相关分析(CCA)或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明,DA嵌入大大优于通用和DS嵌入时,作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益,而不支付严格的操作在子词汇水平的成本。我们的方法很简单:在任务特定的训练之前,我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务:词相似性,词的类比,和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下,人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法,而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同,我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式,并学习的约束,必须满足无偏词嵌入自动从字典定义的话。具体地,我们学习编码器以生成输入词嵌入的去偏版本,使得它(a)保留预训练的词嵌入的语义,(b)根据字典同意词的无偏定义,以及(c)保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明,该方法可以准确地去除预训练词嵌入中编码的不公平偏见,同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington(华盛顿大学);Nanjing University(南京大学)
众所周知,不同的算法、训练过程和语料库会产生不同的词嵌入。然而,对不同嵌入空间之间的关系知之甚少,即不同的嵌入集合彼此偏离多远。在本文中,我们提出了一种新的度量称为相对成对内积距离(RPD)量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质,我们系统地研究了不同算法的词嵌入之间的关系,并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足,并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs(铜城实验室)
在本文中,我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集,使用内部开发的高质量Web抓取语料库在word2vec,GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India(微软印度)
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序,以及用于构建句子,段落和文档的表示。最近,人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用,从而有益于若干现实世界的应用。在这项工作中,我们提出了一种新的算法,有效地结合了PCA的降维与最近提出的后处理算法,构建低维的词嵌入。对12个标准词相似度基准的实证评估表明,我们的算法将嵌入维数降低了50%,同时实现了类似或(更经常)更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo(东京大学);Microsoft Corporation(微软公司)
在自然语言处理中,以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合,其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而,现有的方法通常依赖于一个单一的增强策略,这导致学习捷径的增强偏见,从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素,而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习,但在文本字段中具有不均匀的增强质量。作为一个答案,我们提出了一种新的同行对比学习(PCL)与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作,这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago(芝加哥丰田技术研究院);IBM Research AI(IBM研究院人工智能部门)
用于端到端自动语音识别的直接声学到字(A2 W)系统比子字系统更易于训练,并且解码更有效。然而,A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点,我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵,并使用外部训练的词嵌入集来提高该矩阵的质量。特别是,我们介绍了两个想法:(1)在训练时间之间的外部嵌入和识别器的权重,以及(2)在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的,也就是说,它是与声学嵌入联合学习的,以便对词的声学语音内容进行编码;并且它是参数化的,因此它可以嵌入任何任意(可能超出词汇表)字符序列。我们发现,这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia(西波希米亚大学);NTIS—New Technologies for the Information Society(NTIS—新信息技术学会)
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了,但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为,捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务,检查语法,形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验,并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果,显著提高词相似性相关性,超越传统静态嵌入方法。
2025-12-07 cs.CL
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University(科奇大学)
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上,使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入,包括最近的表示,在命名实体识别(NER),组块,和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明,该方法与其他词嵌入方法相比,取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);Bank of Montréal(蒙特利尔银行)
词嵌入被训练来预测词的共现统计,这使得它们具有不同的词汇属性(句法,语义等)。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时,以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时,这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入,并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜:一种简单有效的元嵌入方法,它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入,这使得它们在推理时非常有效。我们评估字棱镜相比,其他元嵌入方法的六个外在的评价,并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
inversedMixup: Data Augmentation via Inverting Mixed Embeddings
Beihang University(北京航空航天大学)
提出 inversedMixup 框架,结合 Mixup 的可控性与 LLM 的可解释性,通过对齐嵌入空间将混合嵌入重构为可读句子,首次实证文本 Mixup 中的流形入侵现象,并扩展为三阶段数据增强方法,在少样本和全监督场景下有效。
2026-06-09 cs.CL
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo(东京大学);University College London(伦敦大学学院);Toyota Technological Institute(丰田工业大学)
我们提出了一种新的学习方法,词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务,我们的方法显着优于基线的基础上,以前介绍的词嵌入方法,并比较有利的是以前的国家的最先进的模型,使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL