Clustering Words with the MDL Principle
我们解决的问题，自动构建一个词库（分层聚类的话）的基础上语料库数据。我们认为，聚类词的问题，估计一组名词的分区和一组动词的分区的笛卡尔积的联合分布，并提出了一种估计算法，使用模拟退火的能量函数的基础上的最小描述长度（MDL）的原则。我们实证比较的性能，我们的方法的基础上的MDL原则与一个基于极大似然估计，发现前者优于后者。我们还评估了该方法进行PP附件消歧实验，使用自动构建的词库。我们的实验结果表明，我们可以通过使用这样的词库，以提高消歧的准确性。
1996-09-26 cmp-lg cs.CL
Word Clustering and Disambiguation Based on Co-occurrence Data
我们解决的问题，聚类词（或构建词库）的基础上共现数据，并使用所获得的词类，以提高句法消歧的准确性。我们认为这个问题的估计联合概率分布指定的联合概率的词对，如名词动词对。我们提出了一个有效的算法的基础上的最小描述长度（MDL）的原则，估计这样的概率分布。我们的方法是一个自然的扩展（布朗等人92）和（李和安倍96），并克服了他们的缺点，同时保留他们的优点。然后，我们结合这种聚类方法与消歧方法（李和安倍95），得到一个消歧方法，利用自动构建的词库和手工制作的词库。通过我们的方法实现的整体消歧准确率为85.2%，这与通过最先进的消歧方法（Brill & Resnik 94）获得的准确率（82.4%）相比是有利的。
1998-07-17 cmp-lg cs.CL
Automatic annotation of multilingual text collections with a conceptual thesaurus
从概念叙词表中自动标注具有受控词汇术语（描述符）的文档不仅对文档索引和检索有用。此外，将文本映射到相同的术语词库还可以在类似的文件之间建立联系。这也是语义Web的一个重要要求。本文提出了一个几乎独立于语言的系统，映射到同一个多语言概念词库，EUROVOC的文件写在不同的语言。概念叙词表与自然语言叙词表的不同之处在于，它们由相对较小的受控单词或短语列表组成，这些单词或短语具有相当抽象的含义。为了自动识别哪些词库描述符最好地描述了文档的内容，我们开发了一个统计的关联系统，该系统在以前手动索引的文本上进行训练。除了描述大量的经验优化的参数的全功能应用程序，我们提出的软件的性能，根据专业索引的人的评价。
2006-09-12 cs.CL cs.IR
Imparting Interpretability to Word Embeddings while Preserving Semantic Structure
ASELSAN Research Center（阿瑟兰研究中心）；Bilkent University（比尔肯特大学）；Ludwig Maximillian University（路德维希·马克西米利安大学）
词嵌入作为自然语言处理中一种普遍存在的方法，被广泛用于将词的语义属性映射到稠密的向量表示中。它们捕捉词之间的语义和句法关系，但对应于词的向量仅相对于彼此有意义。矢量和它的维数都没有任何绝对的、可解释的意义。我们引入了一个添加剂修改的嵌入学习算法，鼓励嵌入向量的单词，语义相关的一个预定义的概念，采取更大的值沿指定的维度，而原来的语义学习机制几乎不受影响的目标函数。换句话说，我们将已经确定相关的单词与预定义的概念对齐。因此，我们赋予解释性的词嵌入，其向量维度的意义。预定义的概念来自外部词汇资源，在本文中被选为Roget的词库。我们观察到，沿着所选概念的对齐不仅限于同义词词典中的词，还扩展到其他相关词。我们量化的程度的可解释性和分配的意义，从我们的实验结果。人工评估结果也已提交，以进一步验证所提出的方法增加了可解释性。我们还证明了使用词的类比和词的相似性测试，由此产生的向量空间的语义一致性的保存。这些测试表明，通过所提出的框架获得的可解释性赋予的词嵌入不会牺牲在常见的基准测试中的性能。
2020-07-02 cs.CL
Distributional Analysis of Polysemous Function Words
University of Stuttgart（斯图加特大学）
本文对汉语中的虚词多义现象进行了研究。我们采用分布式语义学的框架，通过观察大语料库中的出现上下文来表征词义，原则上可以很好地模拟多义词。然而，由于虚词的高度灵活的使用模式，传统上被认为是不可能进行分布分析的。我们建立的语境化词嵌入，最新一代的分布方法，在这方面提供了希望。以德语反身代词“sich”为例，我们发现，语境化的词嵌入捕捉理论动机的词的意义“sich”的程度上，这些意义是反映系统的语言使用。
2021-01-27 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源，这些向量往往是由不可解释的组件，其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源（如WordNet，FrameNet等）构建可解释的词向量的方法。这些向量是二进制的（即仅包含0和1），并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量，并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一种新的矢量表示，将词汇对比度的分布向量，并加强了最显着的功能，以确定程度的单词相似性。改进后的向量显著优于标准模型，并区分反义词和同义词，在词类（形容词，名词，动词）中的平均精度为0.66-0.76。此外，我们将词汇对比度向量整合到跳跃语法模型的目标函数中。新的嵌入在SimLex-999中预测单词相似性以及区分反义词和同义词方面优于最先进的模型。
2016-05-25 cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Experiential, Distributional and Dependency-based Word Embeddings have Complementary Roles in Decoding Brain Activity
University of Amsterdam（阿姆斯特丹大学）
我们评估了8种不同的词嵌入模型对预测与具体名词相关的神经激活模式的有用性。我们考虑的模型包括基于众包关联数据的经验模型，几种流行的神经和分布模型，以及反映单词句法上下文的模型（基于依赖分析）。我们的目标是评估这些不同的嵌入模型的认知能力，并了解我们如何进一步改进解释大脑成像数据的方法。我们发现，神经词嵌入模型在我们考虑的任务上表现出优越的性能，击败经验词表征模型。当从词嵌入预测大脑激活模式时，句法信息模型给出了整体最佳性能;而当在相反方向（来自大脑图像的词向量）预测时，GloVe分布方法给出了整体最佳性能。然而，有趣的是，这些不同模型的错误模式明显不同。这可能支持大脑使用不同的系统来处理不同类型的单词的想法。此外，我们认为，考虑到不同的嵌入模型的相对优势，将导致更好的模型与文字相关的大脑活动。
2017-11-25 cs.CL
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型，我们发现，第一次学习的总体结构在已知的数据中，在文本上下文和属性中，有助于一次性学习，并且个别上下文项可以是高度信息化的。我们的实验表明，我们的模型可以从一个单一的曝光时，给出了一个信息的话语学习属性。
2017-10-13 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts（马萨诸塞大学）；Lexalytics（Lexalytics公司）
词义归纳（WSI）通过无监督地发现多个词义来解决一词多义问题，解决了下游NLP任务的歧义问题，也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法，该方法构建了一个全局非负向量嵌入基（可解释性类似主题），并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型，我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤，而不牺牲感簇的质量。在三个数据集上的实验表明，与以前的最先进的方法相比，我们提出的方法产生了类似或更好的意义聚类和嵌入，同时效率显着提高。
2018-05-29 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Distributional Models and Deep Learning Embeddings: Combining the Best of Both Worlds
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
单词的分布式表示主要有两种方法：低维深度学习嵌入和高维分布模型，其中每个维度对应于一个上下文单词。在本文中，我们结合了这两种方法，通过学习基于分布式模型向量的嵌入-而不是深度学习中通常使用的独热向量。我们发现，结合的方法有更好的表现在一个词的相关性判断任务。
2014-02-18 cs.CL
Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim（曼海姆大学）
词嵌入最近被证明反映了许多明显的社会偏见（例如，性别偏见或种族偏见）。然而，现有的研究范围有限，并且没有调查嵌入模型，文本类型和不同语言等相关维度的偏差的一致性。在这项工作中，我们提出了一个系统的研究编码在分布式词向量空间的偏见：我们分析如何一致的偏见影响是跨语言，语料库和嵌入模型。此外，我们分析了双语嵌入空间中编码的跨语言偏差，表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现，例如，偏见可以通过不同的嵌入模型来强调或淡化，或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究，并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
Redefining part-of-speech classes with distributional semantic models
University of Oslo（奥斯陆大学）
本文研究了在英国国家语料库上训练的词嵌入如何与词性边界相互作用。我们的工作目标是通用PoS标签集，该标签集目前正积极用于一系列语言的注释。我们尝试训练分类器，根据它们的嵌入来预测单词的PoS标签。结果表明，PoS隶属关系的分布向量中所包含的信息，使我们能够发现与其他词的相同的词性的分布模式，不同的字组。这些数据经常揭示注释过程或指南中隐藏的不一致性。与此同时，它支持“软”或“分级”的词性归属的概念。最后，我们证明了关于PoS的信息分布在几十个向量分量中，而不仅仅限于一两个特征。
2016-08-12 cs.CL
What do you mean, BERT? Assessing BERT as a Distributional Semantics Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
语境化的词嵌入，即词在语境中的向量表示，自然被看作是以前的非语境分布语义模型的扩展。在这项工作中，我们专注于BERT，一个深度神经网络，产生语境化的嵌入，并设置了最先进的几个语义任务，并研究其嵌入空间的语义一致性。虽然表现出一致性的趋势，但BERT并不完全符合语义向量空间的自然期望。特别是，我们发现，一个词出现的句子的位置，而没有意义的相关性，留下了显着的痕迹上的词嵌入和干扰相似性关系。
2020-05-08 cs.CL
Feature2Vec: Distributional semantic modelling of human property knowledge
Queen’s University Belfast（贝尔法斯特女王大学）
人类概念知识的特征规范数据集，在人类志愿者的调查中收集，产生高度可解释的词义模型，并在语义认知的神经语言学研究中发挥重要作用。然而，这些数据集在大小上是有限的，这是由于与详尽地列出大量单词的属性相关联的实际障碍。相比之下，分布式建模技术的发展和大量文本语料库的可用性使研究人员能够在大型词典上构建有效的词义向量空间模型。然而，这是以可解释的、类似人类的关于词义的信息为代价的。我们提出了一种方法，将人类财产的知识映射到一个分布式的语义空间，它适应word2vec架构的任务建模的概念功能。我们的方法给出了一个单一的语义空间中的概念和特征的亲和力的措施，这使得容易和有效的候选人的人类派生的语义属性的任意单词的排名。我们将我们的模型与以前的方法进行比较，并表明它在几个评估任务上表现更好。最后，我们讨论了如何使用我们的方法来开发有效的采样技术，以可靠的方式扩展现有的特征范数数据集。
2019-08-29 cs.CL
Investigating Antigram Behaviour using Distributional Semantics
The Pennsylvania State University（宾夕法尼亚州立大学）
本文利用GloVe词嵌入和基于规则的可解释算法，从给定单词生成变位词并检测反义变位词关系，在12个样本上取得39%准确率，揭示了该任务的挑战性。
2023-10-25 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文针对数字人文领域，基于两部奇幻小说系列训练并比较多种词嵌入模型，联合专家构建术语类比与词语侵入数据集，证明小语料嵌入亦可表现良好。
2019-03-07 cs.CL
Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Tsinghua University（清华大学）
对上位关系的建模，如poodle is-a dog，是许多自然语言处理任务的重要泛化辅助工具，如蕴涵、共指、关系抽取和问答。从标记的上位词源（如WordNet）进行的监督学习限制了这些模型的覆盖范围，这可以通过从未标记的文本中学习上位词来解决。现有的无监督方法要么不能扩展到大的词汇表，要么产生不可接受的低精度。本文介绍了分布式包含向量嵌入（DIVE），一个简单的实现无监督的上位词发现方法，通过每个词的非负向量嵌入，保持包含属性的词上下文在一个低维和可解释的空间。在实验评估更全面，比任何以前的文献，我们知道11个数据集使用多个现有的以及新提出的评分功能评估，我们发现，我们的方法提供了两倍的精度以前的无监督嵌入，和最高的平均性能，使用更紧凑的词表示，并产生许多新的国家的最先进的结果。
2018-05-29 cs.CL
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development
为什么孩子会比别人先学会一些单词？了解儿童个体差异以及词汇差异，可能有助于了解语言学习过程。我们调查了基于项目的变化，在词汇发展中使用的词汇属性的分布统计数据来自一个大型语料库的儿童为导向的语音。与之前的分析不同，我们预测了横截面的单词轨迹，揭示了词汇发展的趋势，这些趋势在单个时间点可能并不明显。我们还表明，无论是在一个单一的年龄组或跨年龄作为一个整体，最好的分布预测一个孩子是否知道一个词是其他已知的单词的数量，该词往往共同出现。关键词：习得年龄;词汇发展;词汇多样性;儿童言语;
2021-11-21 cs.CL stat.OT
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bar-Ilan University（巴伊兰大学）
监督分布方法在词汇蕴涵中得到了成功的应用，但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说，Levy等人（2015）声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能，将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置，并建议一个合适的评估设置的任务，消除偏见存在于以前的。
2018-04-24 cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
词向量专业化（也称为改造）是一种便携式，轻量级的方法，通过从丰富的词汇资源（如WordNet）注入外部知识来微调任意分布的词向量空间。通过设计，这些后处理方法只更新外部词典中出现的单词的向量，而保留所有未看到的单词的表示。在本文中，我们表明，约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法，该方法：a）保留了有用的语言知识，为看到的话;而b）传播这个外部信号，以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量，以深度神经网络的形式解释了非线性专业化函数。然后，学习的函数用于专门化未见过的单词的向量。这种方法，适用于任何后处理模型，产生相当大的收益，无论是在内在的词相似性任务，并在两个下游任务：对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在，表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Reduplicative constructions in Mandarin: Socio-emotional profiling through distributional semantics
Beihang University（北京航空航天大学）；University of Tübingen（图宾根大学）
本研究利用分布语义学词嵌入分析汉语两种重叠构式，验证其能恢复语义语法属性，揭示语义语用分化，并证明嵌入可捕捉重叠的语义多样性与构式透明性。
2026-09-16 cs.CL
The aftermath of compounds: Investigating Compounds and their Semantic Representations
International Institute of Information Technology（国际信息研究所）
本研究比较了GloVe和BERT嵌入与人类对英语复合词语义判断的契合度，发现BERT在捕捉组合语义方面优于GloVe，且可预测性是语义透明度的强预测因子。
2025-10-31 cs.CL
Task-specific Word-Clustering for Part-of-Speech Tagging
Google, Inc.（谷歌公司）
虽然聚类特征的使用在核心NLP任务中变得无处不在，但NLP中的大多数聚类特征都基于分布相似性。我们提出了一种新类型的聚类标准，具体到词性标注的任务。而不是分布相似性，这些集群是基于一个基线标记时，适用于一个大型语料库的行为。这些集群功能提供了类似的收益，在准确性所取得的分布相似性派生的集群。同时使用这两种类型的聚类特征进一步提高了标记准确性。我们表明，该方法是有效的域和域外的情况下，英语，法语，德语和意大利语。域外文本的影响更大。
2012-05-19 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
Morph-fitting: Fine-Tuning Word Vector Spaces with Simple Language-Specific Rules
University of Cambridge（剑桥大学）；Technion, Israel Institute of Technology（以色列理工学院）；Apple Inc.（苹果公司）
形态丰富的语言强调了分布向量空间模型的两个特性：1）难以对低频单词形式进行准确表示; 2）对具有相似分布特征的不同词汇关系不敏感。这些影响对于语言理解系统是有害的，其可以推断“廉价”是“昂贵”的改写，或者可以不将“获取”与“获取”相关联。在这项工作中，我们提出了一种新的变形拟合过程，它移动过去的使用策划语义词典，以改善分布向量空间。相反，我们的方法注入使用简单的语言特定的规则生成的形态约束，拉同一个词的曲折形式靠近在一起，推派生反义词远离。在对四种语言的内在评估中，我们表明我们的方法：1）提高了低频词的估计; 2）提高了整个词向量集合的语义质量。最后，我们表明，形态拟合向量产生很大的收益，在对话状态跟踪的下游任务，突出了形态处理长尾现象在语言理解任务的重要性。
2017-06-01 cs.CL
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同，该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
Approches d'analyse distributionnelle pour améliorer la désambiguïsation sémantique
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧（WSD）改进了许多自然语言处理（NLP）应用，例如信息检索、机器翻译或词汇简化。词义消歧是指在一个多义词汇单位中，结合语境，从不同的词义中确定一个词义的能力。最直接的方法是在目标词的词义候选和其上下文的词义候选之间使用语义接近度。这种方法很容易导致组合爆炸。在本文中，我们提出了两种方法的基础上的分布分析，使减少指数复杂性，而不会失去的一致性。我们提出了一个比较之间的选择分布的邻居和线性最近的邻居。得到的数字表明，选择分布邻居导致更好的结果。
2017-02-27 cs.CL
Could the Road to Grounded, Neuro-symbolic AI be Paved with Words-as-Classifiers?
Department of Computer Science（计算机科学系）；Boise State University（博伊斯州立大学）；Department of Lingusitics（语言学系）；University of Potsdam（波茨坦大学）
本文论证“词即分类器”模型可作为统一形式、分布和具身语义学的路径，回顾文献、结合认知科学动机并描述实验，最终勾勒统一语义模型。
2025-07-08 cs.CL
Distributional Clustering of English Words
我们描述和实验评估的方法自动聚类的话，根据其分布在特定的句法环境。确定性退火是用来找到最低失真集的集群。随着退火参数的增加，现有的聚类变得不稳定并细分，产生数据的分层“软”聚类。聚类被用来作为单词共现类模型的基础，并根据测试数据对模型进行评估。
1994-08-22 cmp-lg cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Aff2Vec: Affect--Enriched Distributional Word Representations
Big Data Experience Lab（大数据体验实验室）；Adobe Research（奥多比研究院）
人际沟通包括信息、意见和反应。人们的反应往往是通过书面和口头交流中的情感信息来捕捉的。虽然在情感建模和一定程度上的情感内容生成方面已经有了一些工作，但情感词分布的研究还不够深入。同义词集和词汇表捕捉词之间的语义关系。然而，这些模型缺乏编码情感或情绪的词的解释。我们提出的模型，Aff 2 Vec提供了一种方法，丰富的词嵌入是情感的解释的话的代表。Aff 2 Vec在内在单词相似性任务中的表现优于最先进的水平。此外，Aff 2 Vec表示的使用在下游自然语言理解任务（包括情感分析、个性检测和挫折预测）中优于基线嵌入。
2018-05-21 cs.AI cs.CL
Polish phonology and morphology through the lens of distributional semantics
Adam Mickiewicz University（亚当·密茨凯维奇大学）；University of Tübingen（蒂宾根大学）
本文通过分布语义学研究波兰词的语音与形态结构与其意义的关系，探讨词形特征与意义的关联，并展示语义向量如何捕捉亚词级语言单位信息。
2026-03-31 cs.CL
A Distributional Perspective on Word Learning in Neural Language Models
ETH Zürich（苏黎世联邦理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对语言模型单词学习缺乏公认指标的问题，提出基于目标词学习分布特性的分布特征指标，通过小型模型实验发现指标具互补性，但模型学习轨迹与儿童无相关性。
2025-02-09 cs.AI cs.CL
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses
Masaryk University（马萨里克大学）
一些语言应用程序通常需要单词语义作为其处理管道的核心部分，无论是精确的含义推理还是语义相似性。多意义嵌入（M-SE）可以用于这一重要要求。M-SE试图通过它们不同的含义来表示每个词，以解决在不同上下文中使用的词的含义的混淆。以往的工作通常是通过在大型语料库上训练模型来完成这一任务，而往往忽略了词汇资源所提供的语义关系的作用和有用性。然而，即使有大量的训练数据，覆盖所有可能的词义仍然是一个问题。此外，相当大比例的上下文语义知识从来没有学习，因为大量的可能的分布语义结构从来没有探索。在本文中，我们利用WordNet中丰富的语义结构，使用基于图论的词意义行走技术来提高多意义嵌入的质量。该算法从原始文本组成丰富的文本。此外，我们从先前的M-SE得到新的分布语义相似性度量。我们适应这些措施，词义消歧（WSD）方面的我们的实验。我们报告了11个基准数据集的评估结果，包括WSD和单词相似性任务，并表明我们的方法，以提高分布式语义结构的嵌入质量的基线。尽管训练数据很小，但它在某些数据集上实现了最先进的性能。
2021-02-27 cs.CL cs.LG
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次构建完整评估框架，利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导，实验表明分化定律更具优势，最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research（微软研究院）
我们提出了一个特征向量形成技术的文件-稀疏复合文档向量（SCDV）-它克服了目前的分布式段落向量表示，被广泛用于文本表示的几个缺点。在SCDV中，词嵌入被聚类以捕获词出现的多个语义上下文。然后，它们被链接在一起，形成文档主题向量，可以表达复杂的多主题文档。通过对多类和多标签分类任务的广泛实验，我们的表现优于先前的最先进的方法NTSG（Liu et al.，2015年a）。我们还表明，SCDV嵌入的执行异构任务，如主题一致性，上下文敏感的学习和信息检索。此外，与其他表示方法相比，我们实现了训练和预测时间的显着减少。SCDV实现了两全其美--更好的性能和更低的时间和空间复杂度。
2017-05-12 cs.CL
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications（电子通信大学）
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而，很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时，这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法，试图揭示分布词向量的内在信息。’s（2016）brain-based vectors，基于神经生物学动机属性的显式结构化概念表征。在分析中，训练从基于文本的向量到基于大脑的向量的映射，并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明，社会和认知信息更好地编码在基于文本的词向量，但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University（博伊西州立大学）
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中，我们将探讨这样一个模型可以增量执行组合，以及如何将模型与分布式表示统一起来。对于后者，我们利用分类器系数作为嵌入。对于组合，我们利用三种不同分类器类型的底层机制（即，逻辑回归、决策树和多层感知器），以获得对每个分类器唯一的组合的几种系统方法，包括组合的外延和内涵方法。我们将这些方法相互比较，并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明，需要扩大现有的组成策略，并汇集接地和分布表示。
2019-11-08 cs.CL
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside（加州大学河滨分校）
一些研究者认为，语言的习得主要依赖于对语言输入的体验，而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络（SRN）来测试这个假设，该网络被训练用于预测CHILDES中的单词序列，CHILDES是一个针对儿童的500万单词的语音语料库。首先，我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来，我们比较了在CHILDES上训练的两组SRN的性能，这两组SRN要么是按年龄排序的，要么不是。具体来说，我们评估了语法和语义结构的学习，并表明，年龄顺序输入的培训有利于语义的学习，但不是顺序结构。我们发现，当模型在去除了话语边界信息的输入上训练时，这种优势就被消除了。
2018-02-02 cs.CL
