SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors
Cardiff University(卡迪夫大学)
我们提出了SeVeN(语义向量网络),一种混合资源,以图形的形式编码单词之间的关系。与传统的语义网络不同,这些关系被表示为连续向量空间中的向量。我们提出了一个简单的管道学习这种关系向量,这是基于词向量平均结合一个特设的自动编码器。我们表明,通过显式编码的关系信息在一个专用的向量空间,我们可以捕捉到的单词的含义是互补的词嵌入所捕获的方面。例如,通过研究关系向量的集群,我们观察到,关系相似性可以在一个更抽象的层次上比传统的词向量差异。最后,我们在两个任务中测试了语义向量网络的有效性:词相似度测量和神经文本分类。SeVeN可在bitbucket.org/luisespinosa/seven上获得。
2018-08-18 cs.CL
Retrofitting Word Vectors to Semantic Lexicons
Carnegie Mellon University(卡内基梅隆大学)
向量空间词表示是从大型语料库中的词的分布信息中学习的。虽然这样的统计数据是语义信息,他们忽略了有价值的信息,是包含在语义词典,如WordNet,FrameNet和释义数据库。本文提出了一种利用语义词典中的关系信息来改进向量空间表示的方法,该方法通过鼓励链接词具有相似的向量表示来改进向量空间表示,并且不对输入向量的构造方式进行任何假设。在几种语言的标准词汇语义评估任务的电池上进行评估,我们从各种词向量模型开始获得了实质性的改进。我们的细化方法优于先前的技术,将语义词典到词向量训练算法。
2015-03-22 cs.CL
Principal Word Vectors
我们推广主成分分析嵌入到向量空间的话。概括起来主要有两个层次。第一种是将语料库的概念概括为一个计数过程,它由三个关键元素词汇集、特征(注释)集和上下文定义。这种概括使得主要的词嵌入方法能够生成关于为语料库提供的不同类型的上下文和不同类型的注释的词向量。第二个是概括大多数词嵌入方法中使用的转换步骤。为此,我们定义了两个层次的转换。第一种是二次变换,它考虑了词汇单元和上下文特征的不同类型的权重。第二种是自适应非线性变换,它重塑了数据分布,使其对主成分分析有意义。这些概括对词向量的影响本质上是关于词向量的传播和可辨别性的研究。我们还提供了一个外在的评价的贡献的主要词向量的词相似度基准和任务的依存句法分析。我们的实验最后通过比较的主要词向量和其他集的词向量与流行的词嵌入方法。从我们的内在评价指标得到的结果表明,传播和主词向量的区分度高于其他词嵌入方法。从外部评价指标获得的结果表明,主词向量优于某些词嵌入方法,并与流行的词嵌入方法相当。
2020-07-09 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
词向量专业化(也称为改造)是一种便携式,轻量级的方法,通过从丰富的词汇资源(如WordNet)注入外部知识来微调任意分布的词向量空间。通过设计,这些后处理方法只更新外部词典中出现的单词的向量,而保留所有未看到的单词的表示。在本文中,我们表明,约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法,该方法:a)保留了有用的语言知识,为看到的话;而b)传播这个外部信号,以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量,以深度神经网络的形式解释了非线性专业化函数。然后,学习的函数用于专门化未见过的单词的向量。这种方法,适用于任何后处理模型,产生相当大的收益,无论是在内在的词相似性任务,并在两个下游任务:对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在,表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Desiderata for Vector-Space Word Representations
University of Sheffield(谢菲尔德大学)
目前有大量的词的向量空间表示,而且还在不断增长。这些由包含实值的固定长度向量组成,表示一个单词。结果是一个表示,许多传统的信息处理和数据采掘技术的力量可以承担,只要表示设计有一些预见性,并符合一定的约束。本文详细介绍了词的向量空间表示的设计要求。
2016-08-06 cs.CL
Expansional Retrofitting for Word Vector Enrichment
LG Electronics(LG电子)
改造技术,注入外部资源到词表示,弥补了分布式表示的弱点,在语义和词之间的关系知识。在词向量泛化的词相似性任务中,通过扩展技术实现的词向量改进优于词向量改进。在本文中,我们提出了无监督的outrofitting:扩展改装(outrofitting)没有外部语义词典。我们还提出了深度外装:外装的深度堆叠以及外装与改造的进一步组合。当实验GloVe,我们表明,我们的方法优于以前的方法在大多数单词相似性任务,而只需要同义词作为外部资源。最后,我们展示了词向量丰富对文本分类任务的影响,作为下游任务。
2019-01-22 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
On the Importance of Word Order Information in Cross-lingual Sequence Labeling
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
语序差异普遍存在于不同的语言中。在本文中,我们假设,适合源语言词序的跨语言模型可能无法处理目标语言。为了验证这一假设,我们调查是否使模型不敏感的源语言的词序可以提高适应性能在目标语言。为了做到这一点,我们减少了源语言的词序信息适合序列编码器,并观察性能的变化。此外,基于这一假设,我们提出了一种新的方法微调多语言BERT在下游跨语言序列标记任务。在对话自然语言理解、词性标注和命名实体识别任务上的实验结果表明,减少模型拟合的词序信息可以获得更好的zero-shot跨语言性能。此外,我们提出的方法也可以应用于强跨语言基线,并提高其性能。
2020-12-08 cs.CL
Introduction of a novel word embedding approach based on technology labels extracted from patent data
EQMania UG
本文提出一种基于人工标注专利技术标签统计分析的词嵌入方法,生成语言无关的准确技术词向量,并展示初步定性结果。
2021-01-31 cs.CL
Enhancing Metaphor Detection through Soft Labels and Target Word Prediction
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院)
本文提出融合知识蒸馏与提示学习的隐喻检测框架,通过目标词遮蔽预测和教师模型软标签缓解规则误用与数据稀疏问题,并在多个数据集上达到最先进性能。
2024-04-09 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University(甲南大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo University of Foreign Studies(东京外国语大学);University of Tokyo(东京大学)
本文提出基于上下文化词向量范数的方法,无需训练和词对齐即可发现两个语料库中词语的语义差异,在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Efficient Estimation of Word Representations in Vector Space
Google Inc.(谷歌公司)
我们提出了两个新的模型架构计算连续的向量表示的话,从非常大的数据集。这些表示的质量是衡量在一个词的相似性任务,并将结果进行比较,以前最好的执行技术的基础上不同类型的神经网络。我们观察到准确性的大幅提高,计算成本低得多,即从16亿个单词的数据集中学习高质量的单词向量需要不到一天的时间。此外,我们表明,这些向量提供了最先进的性能,我们的测试集测量句法和语义词的相似性。
2013-09-07 cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词(在文本中)表示为携带语义信息的向量,但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练,除非需要单词边界。在本文中,我们扩展了音频Word2Vec从词级到话语级,提出了一个新的分段音频Word2Vec,其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强,所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器(SSAE)实现的,其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明,在无监督的口语分词和口语词检测应用中表现出非常好的性能(明显优于基于帧的DTW)。
2018-08-07 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
由于缺乏用于词的向量表示的标准化外部评估方法,NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联,这是有吸引力的,因为它在计算上是廉价的且快速的。在本文中,我们提出了几个问题与词相似度数据集上的词向量的评估,并总结现有的解决方案。我们的研究表明,使用词相似度任务来评估词向量是不可持续的,需要进一步研究评估方法。
2016-06-22 cs.CL
Correlation-based Intrinsic Evaluation of Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
我们引入QVEC-CCA-一种基于学习向量与从语言资源中提取的特征的相关性的词向量表示的内在评估度量。我们表明,QVEC-CCA分数是一个有效的代理范围内的外在语义和句法任务。我们还表明,所提出的评估获得更高和更一致的相关性与下游任务,现有的方法相比,内在的评价是基于词的相似性的词向量。
2016-06-21 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源,这些向量往往是由不可解释的组件,其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源(如WordNet,FrameNet等)构建可解释的词向量的方法。这些向量是二进制的(即仅包含0和1),并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量,并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
近年来,词嵌入在捕捉它们所代表的词的直观特征方面已经令人惊讶地有效。当训练语料库非常大时,这些向量可以达到最佳效果,有时甚至达到数十亿个单词。然而,临床自然语言处理数据集往往要小得多。即使是最大的公开可用的医疗笔记数据集也比常用的“Google News”词向量数据集小三个数量级。为了弥补有限的训练数据大小,我们将专家领域知识编码到我们的嵌入。基于word2vec以前的扩展,我们表明,概括一个词的“上下文”的概念,包括任意功能创建一个途径编码领域知识到词嵌入。我们表明,通过这种方法产生的词向量优于他们的纯文本同行全面与临床专家的相关性。
2017-12-05 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute(伊迪亚普研究所)
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型,有效地学习蕴涵的词嵌入,使用最近提出的框架,在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据,他们对这个短语向量的贡献,或作为一个单词短语向量的后验分布,并发现后验向量表现更好。在无监督和半监督实验中,所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas(普罗萨智能解决方案公司)
本文描述了英语-印尼语神经机器翻译(NMT)中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置:基于单词的、使用双向LSTM(bi-LSTM)的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算:加法、逐点乘法和平均。实验结果表明,除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外,所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型,范围在9.14到11.65分之间。达到的最高BLEU评分为42.48,而基线模型为30.83。
2020-09-13 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表(主题标签)。这项工作问是否可以开发一种替代方法,主题标签,更接近一个自然语言描述的主题比一个单词列表。为此,我们提出了一种方法来生成人类一样的主题标签,使用抽象的多文档摘要(MDS)。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题,以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明,除了更人性化的主题有额外的优势,评价使用聚类和总结措施,而不是主题模型的措施。然而,我们发现,有几个发展需要之前,我们可以设计一个强大的研究,以评估MDS的主题建模充分。即提高聚类的内聚性,提高MDS的真实性和可信度,增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法,并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Text comparison using word vector representations and dimensionality reduction
Aalto University(阿尔托大学)
本文描述了一种使用词向量表示(word 2 vec)和降维(t-SNE)比较大型文本源的技术,以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图,例如文本摘要及其源材料,并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性,如性别,时态,复数,甚至语义概念,如“首都”。使用降维,可以计算2D图,其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
语义专门化是使用外部词汇知识(例如,WordNet)来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量,但是它们限于仅更新出现在外部词典中的单词的向量(即,看到的单词),保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的:对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性:单词相似性,对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后,我们还提出了一个跨语言迁移方法zero-shot专业化,成功地专门化一个完整的目标分布空间,没有任何词汇知识的目标语言,没有任何双语数据。
2018-09-11 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近,机器学习和神经网络方法的使用得到了更多的考虑。因此,文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中,GloVe,CBOW和skip-gram方法更新,以产生嵌入向量的波斯语单词。为了训练一个神经网络,我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后,我们有342,362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Deriving a Representative Vector for Ontology Classes with Instance Word Vector Embeddings
University of Moratuwa(莫拉图瓦大学)
在许多算法任务中,为一组向量选择一个代表向量是一个非常常见的要求。传统上,选择均值或中值向量。本体类是可以通过词向量嵌入转换到向量空间的同构实例对象的集合。本研究提出了一种方法来获得一个代表性的向量本体类的实例转换到向量空间。我们首先导出五个候选向量,然后将其用于训练一个机器学习模型,该模型将计算该类的代表向量。我们表明,我们的方法优于传统的均值和中值向量表示。
2017-06-08 cs.CL
Sparse Overcomplete Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学)
当前单词的分布式表示与词汇语义理论几乎没有相似之处。前者是密集和不可解释的,后者主要基于熟悉的离散类(例如,超意义)和关系(例如,同义词和上位词)。我们提出了将词向量转换为稀疏(可选二进制)向量的方法。结果表示更类似于NLP中通常使用的可解释特征,尽管它们是从原始语料库中自动发现的。因为向量是高度稀疏的,所以它们在计算上很容易处理。最重要的是,我们发现它们在基准任务上的表现优于原始向量。
2015-06-05 cs.CL
Label Enhanced Event Detection with Heterogeneous Graph Attention Networks
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Beijing University of Posts and Telecommunications(北京邮电大学)
事件检测(ED)旨在识别文本中指定类型的事件触发器的实例。与英语ED不同的是,汉语ED由于词边界的不确定性而存在词触发不匹配的问题。现有的方法将单词信息注入到字符级模型中,已经取得了可喜的进展,以缓解这个问题,但它们受到两个问题的限制。首先,汉字和词汇之间的相互作用没有得到充分利用。其次,它们忽略了事件标签提供的语义信息。因此,我们提出了一种新的架构命名为标签增强异构图注意力网络(L-HGAT)。具体来说,我们将每个句子转化为一个图,其中字符节点和单词节点用不同类型的边连接,从而充分保留单词和字符之间的交互。然后引入异构图注意力网络来传播关系消息,丰富信息交互。此外,我们将每个标签转换成一个基于模糊原型的嵌入,并设计了一个边际损失,以指导模型区分混淆事件标签。在两个基准数据集上的实验表明,我们的模型在一系列有竞争力的基线方法上取得了显着的改进。
2020-12-03 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment
Facebook AI Research(Facebook人工智能研究院)
在本文中,我们专注于适应词向量为基础的模型,以新的文本数据的问题。给定一个在大型参考数据上预先训练的模型,我们如何使其适应语言分布略有不同的较小数据?我们将自适应问题视为单语词向量对齐问题,并在对齐后简单地对模型进行平均。我们使用RCSLS准则对齐向量。我们的配方结果在一个简单而有效的算法,允许适应通用模型不断变化的单词分布。在我们的评估中,我们考虑应用到词嵌入和文本分类模型。我们表明,所提出的方法在所有设置中都具有良好的性能,并且优于在新数据上微调模型的基线。
2019-10-15 cs.CL
Specialising Word Vectors for Lexical Entailment
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);PolyAI(PolyAI公司)
我们提出了LEAR(词汇蕴涵吸引排斥),一种新的后处理方法,转换任何输入词向量空间,强调词汇蕴涵(LE)的不对称关系,也被称为IS-A或上下义关系。通过注入外部语言约束(例如,WordNet链接)到初始向量空间中,LE专业化过程使真正的上下义关系对在变换后的欧几里得空间中更接近。建议的非对称距离测量调整规范的词向量,以反映实际的WordNet风格的概念层次结构。同时,联合目标使用对称余弦距离强制执行语义相似性,同时产生专门用于两个词汇关系的向量空间。LEAR专业化在上位词方向性、上位词检测和分级词汇蕴涵等任务中实现了最先进的性能,证明了所提出的非对称专业化模型的有效性和鲁棒性。
2018-04-19 cs.CL
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式,它具有巨大的文件大小和缓慢的读取速度,而word2vec格式是一种较小的二进制格式,它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题,我们用一种新的格式来解决,我们称之为Leader格式。我们包含了一个字长前缀,以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库,以方便阅读和编写各种单词向量格式,以及将预先训练的嵌入转换为我们新的Leader格式的工具。
2020-10-09 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.(达闼科技有限公司)
槽填充是口语语言理解(SLU)和自然语言处理(NLP)中的重要问题,其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法,并将其结合到卷积神经网络(CNN)中。我们考虑了18个单词特征,每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念,我们提出了一种特征集的方法,这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India(印度理工学院卡格拉普尔分校(IIT Kharagpur))
近年来,从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型(Word2vec)或基于密集计数的模型(GloVe)从文本计算的向量,但其他方法试图在分布式词库网络结构中表示这些,其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术(DeepWalk、LINE、node2vec等)研究激增的推动,我们把一个分布式词库网络转换成密集的词向量,并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合,有助于在针对单词相似性和相关性,同义词检测,类比检测等NLP任务进行评估时显着提高性能。此外,我们表明,即使不使用任何手工制作的词汇资源,我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比,表示的词汇资源已被使用。
2018-02-17 cs.CL
Joint Embedding of Words and Labels for Text Classification
Duke University(杜克大学)
词嵌入是在学习文本序列表示时捕捉词间语义重叠的有效中间表示。我们建议将文本分类视为标签-词联合嵌入问题:每个标签与词向量嵌入在同一空间中。我们引入了一个注意力框架,衡量文本序列和标签之间的嵌入的兼容性。注意力是在标记样本的训练集上学习的,以确保在给定文本序列的情况下,相关单词的权重高于不相关单词。我们的方法保持了词嵌入的可解释性,并且除了输入文本序列之外,还具有利用替代信息源的内置能力。在几个大型文本数据集上的广泛结果表明,所提出的框架在准确性和速度方面都大大优于最先进的方法。
2018-05-10 cs.CL cs.LG
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation
University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种新的表示文本文档的基础上聚合词嵌入向量到文档嵌入。我们的方法的灵感来自于用于图像表示的局部聚集描述符向量,它的工作原理如下。首先,从文档集合中收集的词嵌入通过k均值聚类,以学习语义相关的词嵌入的码本。然后,每个词嵌入与其最近的聚类质心(码字)相关联。然后,通过累加每个码字向量和与相应码字相关联的每个词向量(来自文档)之间的差来计算文档的局部聚集词嵌入向量(VLAWE)表示。我们将以无监督方式学习的VLAWE表示插入到分类器中,并表明它对各种文本分类任务都很有用。我们将我们的方法与最近广泛的最先进的方法进行比较,证明了我们方法的有效性。此外,我们在Movie Review数据集上获得了相当大的改进,报告的准确率为93.3%,比最先进的方法绝对提高了10%。我们的代码可在https://github.com/raduionescu/vlawe-boswe/上获得。
2019-05-06 cs.CL
Word Rotator's Distance
Tohoku University(东北大学);RIKEN(理化学研究所)
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的,然而,它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题,我们专注于并证明了这样一个事实,即词向量的范数是一个很好的代理字的重要性,和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们,而基于对齐向量的方法自动使用规范作为单词重要性。因此,我们提出了一种方法,该方法首先将词向量分解成它们的范数和方向,然后使用推土机的距离(即,最优传输成本),我们称之为单词旋转器距离。此外,我们发现如何增长的范数和方向的词向量(向量转换器),这是一个新的系统的方法,来自于搜索向量估计方法。在几个文本相似性数据集上,这些简单的方法的组合不仅优于基于验证的方法,而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University(卡迪夫大学)
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息,但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中,我们介绍了一种新的方法,直接学习关系向量的同现统计。为此,我们首先介绍GloVe的一个变体,其中单词向量和PMI加权同现向量之间存在显式连接。然后,我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Intapp Inc.(Intapp公司)
我们提出了一个架构,共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比,我们的方法不需要将标签嵌入作为输入的一部分,因此可以很好地适用于各种模型架构。此外,我们的架构计算单词和标签之间的上下文距离,以避免添加上下文窗口,从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法,并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
针对模型过度依赖词-标签虚假相关性的问题,提出少学捷径(LLS)训练策略,通过量化并降低有偏样本权重,在多个任务上提升对抗性数据性能且保持域内性能。
2023-06-22 cs.CL
Towards Understanding Linear Word Analogies
Vector Institute(向量研究所);University of Toronto(多伦多大学)
该研究针对非线性SGNS词向量模型中向量运算可求解词类比的现象,在无强假设下给出形式化解释,证明关系比率猜想对SGNS成立,解释词向量加法的降权特性及欧氏距离的信息论意义。
2026-09-07 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University(北京大学);Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(北京网络文化与数字传播重点实验室)
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而,当遇到生僻字和未见过字的问题时,它并不能很好地工作。在本文中,我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进,比国家的最先进的海德尔时间系统在时间表达识别,并获得了很大的增益在其他名称实体识别(NER)的任务。语义词典知网单独也显示出有前途的结果,在计算词汇相似度。
2018-01-27 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University(东北大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));Preferred Networks, Inc.(优选网络公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出了第一个研究,旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋(CBOW)模型(Mikolov等人,2013)来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外,我们还引入了一个新的任务来预测词汇风格相似性,并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设,并表明,所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Personalized word representations Carrying Personalized Semantics Learned from Social Network Posts
National Taiwan University(国立台湾大学)
分布式单词表示在各种自然语言处理(NLP)应用任务中已被证明是非常有用的。这些从大型语料库中获取的词向量往往同时携带了词的语义和句法信息。然而,众所周知,每个个体用户都有自己的语言模式,因为不同的因素,如感兴趣的话题,朋友群体,社交活动,措辞习惯等,这可能意味着某种个性化的语义。通过这种个性化的语义,同一个词对于不同的用户可能有稍微不同的含义。例如,单词“卡布奇诺”对于享受咖啡的用户而言可能意味着“休闲”、“快乐”、“极好”,而对于其他人而言只是一种饮料。这种个性化的语义当然不能由标准的通用词向量来承载,这些词向量是由许多人产生的庞大语料库训练的。在本文中,我们提出了一个框架,训练不同的个性化词向量,为不同的用户非常成功的连续跳语法模型的基础上,使用许多个人用户发布的社交网络数据。该框架首先从背景语料库中学习通用背景词向量,然后由个性化语料库对每个用户进行适配,以学习个性化词向量。我们使用两个应用程序任务来评估以这种方式获得的个性化词向量的质量,用户预测任务和句子完成任务。这些个性化的词向量被证明携带一些个性化的语义,并在这两个评估任务上提供更好的性能。
2017-10-29 cs.CL
Chinese Word Sense Embedding with SememeWSD and Synonym Set
Beijing University of Posts and Telecommunications(北京邮电大学)
词嵌入是自然语言处理的一项基本任务,它可以学习词的特征。然而,大多数词嵌入方法只为一个词分配一个向量,即使多义词具有多个含义。为了解决这个问题,我们提出了SememeWSD同义词(SWSDS)模型分配一个不同的向量的多义词的每一个意义的帮助下,词义消歧(WSD)和同义词集在OpenHowNet。使用基于OpenHowNet的无监督词义消歧模型SememeWSD进行词义消歧,并对多义词进行义项标识标注,然后从OpenHowNet中获取词义前10位的同义词,计算同义词的平均向量作为词义向量。在实验中,我们使用Gensim的wmdistance方法对SWSDS模型的语义相似度计算进行了评估。实现了精度的提高。我们还研究了SememeWSD模型在不同的BERT模型,以找到更有效的模型。
2022-06-29 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University(斯坦福大学);Salesforce Research(Salesforce 研究院)
句子或文档的无监督向量表示是许多语言任务(如情感分类)的主要构建块。然而,目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设,在词嵌入空间的距离是同样重要的,无论上下文。我们引入上下文显着性(CoSal),一个词的重要性,使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类,需要很少的计算来评估,只需要一个协方差计算来"训练“。“CoSal支持小上下文,上下文外的单词,在大多数基准测试中优于SkipThought,在所有基准测试中击败tf-idf,并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Are All Good Word Vector Spaces Isomorphic?
University of Cambridge(剑桥大学);DeepMind(深度思维);University of Copenhagen(哥本哈根大学);Google Research(谷歌研究院)
现有的跨语言词向量空间对齐算法假设向量空间是近似同构的。因此,它们在非同构空间上表现不佳或完全失败。这种非同构现象被认为是语言类型差异的结果。在这项工作中,我们问是否非同构也是至关重要的退化词向量空间的一个标志。我们提出了一系列的实验,在不同的语言表明,跨语言对的性能的差异不仅是由于类型的差异,但可以主要归因于可用的单语资源的大小,以及单语训练的属性和持续时间(例如“训练不足”)。
2020-10-20 cs.CL
Unsupervised Measure of Word Similarity: How to Outperform Co-occurrence and Vector Cosine in VSMs
The Hong Kong Polytechnic University(香港理工大学);University of Pisa(比萨大学)
在本文中,我们声称,向量余弦,这通常被认为是最有效的无监督措施,用于识别词的相似性在向量空间模型,可以优于一个无监督的措施,计算的交集之间的程度最相互依赖的上下文的目标词。为了证明这一点,我们描述并评估了APSyn,这是平均精度的一个变体,在没有任何优化的情况下,它在标准ESL测试集上的表现优于向量余弦和同现,其改进范围在+9.00%到+17.98%之间,具体取决于所选择的顶级上下文的数量。
2016-03-30 cs.CL
Network-Efficient Distributed Word2vec Training System for Large Vocabularies
Yahoo, Inc.(雅虎公司);Uber ATC(优步先进技术中心);Deco Software(Deco软件公司)
Word2vec是一个流行的算法家族,用于在大型文本语料库上对单词的密集向量表示进行无监督训练。所得到的向量已被证明可以捕获其对应单词之间的语义关系,并且在将许多自然语言处理(NLP)任务减少为对这些向量的数学运算方面显示出了希望。虽然迄今为止word2vec的应用都集中在具有几百万个单词的词汇表上,其中词汇表是同时训练向量的单词集合,但在NLP之外的领域中,新的应用正在出现,词汇表包括数亿个单词。现有的word2vec训练系统对于训练如此大的词汇表是不切实际的,因为它们要么要求所有词汇表单词的向量被存储在单个服务器的存储器中,要么由于大量的网络数据传输而遭受不可接受的训练延迟。在本文中,我们提出了一种新的分布式,并行训练系统,使前所未有的实际训练向量的词汇量有几个100万字的商品服务器上的共享集群,使用远低于现有的解决方案的网络流量。我们在一个基准数据集上对所提出的系统进行了评估,结果表明,相对于非分布式训练,向量的质量不会降低。最后,在几个季度里,该系统已被部署用于将查询与雅虎赞助搜索广告平台Gemini中的广告进行匹配,从而显著改善了业务指标。
2016-06-27 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts(马萨诸塞大学);Lexalytics(Lexalytics公司)
词义归纳(WSI)通过无监督地发现多个词义来解决一词多义问题,解决了下游NLP任务的歧义问题,也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法,该方法构建了一个全局非负向量嵌入基(可解释性类似主题),并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型,我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤,而不牺牲感簇的质量。在三个数据集上的实验表明,与以前的最先进的方法相比,我们提出的方法产生了类似或更好的意义聚类和嵌入,同时效率显着提高。
2018-05-29 cs.CL
An Investigation on Word Embedding Offset Clustering as Relationship Classification
Ritsumeikan University(立命馆大学)
本研究探索通过六种池化策略和多种聚类模型,利用词嵌入向量对间的关系进行分类,发现减法池化结合质心聚类效果最佳,为无监督关系识别提供方向。
2023-05-07 cs.CL
Morph-fitting: Fine-Tuning Word Vector Spaces with Simple Language-Specific Rules
University of Cambridge(剑桥大学);Technion, Israel Institute of Technology(以色列理工学院);Apple Inc.(苹果公司)
形态丰富的语言强调了分布向量空间模型的两个特性:1)难以对低频单词形式进行准确表示; 2)对具有相似分布特征的不同词汇关系不敏感。这些影响对于语言理解系统是有害的,其可以推断“廉价”是“昂贵”的改写,或者可以不将“获取”与“获取”相关联。在这项工作中,我们提出了一种新的变形拟合过程,它移动过去的使用策划语义词典,以改善分布向量空间。相反,我们的方法注入使用简单的语言特定的规则生成的形态约束,拉同一个词的曲折形式靠近在一起,推派生反义词远离。在对四种语言的内在评估中,我们表明我们的方法:1)提高了低频词的估计; 2)提高了整个词向量集合的语义质量。最后,我们表明,形态拟合向量产生很大的收益,在对话状态跟踪的下游任务,突出了形态处理长尾现象在语言理解任务的重要性。
2017-06-01 cs.CL
ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Xiaomi AI Lab(小米人工智能实验室);Peking University(北京大学)
以往的研究已经引入了一个弱监督的范式来解决数学应用题,只需要答案值注释。当这些方法搜索作为伪标签的正确值方程候选时,它们在巨大的方程空间的狭窄子空间中搜索。为了解决这个问题,我们提出了一种新的搜索算法与组合策略\textbf{ComSearch},它可以压缩搜索空间,排除数学等价方程。压缩允许搜索算法枚举所有可能的方程并获得高质量的数据。我们研究了伪标签中包含错误数学逻辑的噪声,我们称之为\textit{false-matching}问题,并提出了一个排序模型来消除伪标签。我们的方法拥有一个灵活的框架,利用现有的两个有监督的数学单词问题求解器训练伪标签,并在弱监督任务中实现最先进的性能。
2023-03-07 cs.CL
Reproducing and learning new algebraic operations on word embeddings using genetic programming
University of the Basque Country (UPV/EHU)(巴斯克大学)
词向量表示将高维实向量与语料库中的每个词相关联。最近,已经提出了基于神经网络的方法来从大型语料库中学习这种表示。这种类型的词到向量嵌入能够在学习的向量空间中保持原始词语料库中存在的一些句法和语义关系。这反过来又通过对向量进行定义的代数运算来解决不同类型的语言分类任务。一般的做法是假设词之间的语义关系可以通过应用先验指定的代数运算来推断。我们在本文中的总体目标是表明,它是可以学习的方法,在语义空间中的词组成。我们将把复合方法编码为一个程序,它可以是线性的,非线性的,或者涉及更复杂的表达式,而不是将其表示为代数运算。更值得注意的是,该程序将通过遗传编程(GP)从一组初始随机程序进化而来。我们表明,我们的方法能够再现与人类设计的代数运算符相同的行为。使用一个词的类比任务作为基准,我们还表明,GP生成的程序能够获得的准确度值以上的常用的人类设计的规则代数操作的词向量。最后,我们通过在word2vec GoogleNews向量上执行进化程序,学习了超过30亿个运行单词,并在相同的单词类比任务中评估其准确性,展示了我们方法的鲁棒性。
2017-02-18 cs.CL