Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Vocab Diet: Reshaping the Vocabulary of LLMs via Vector Arithmetic
The Hebrew University of Jerusalem（海法大学）
本文提出通过向量运算重塑LLM词汇，利用变换向量替代单一词表，减少词汇槽位占用，提升多语言覆盖和多样性，同时保持下游性能。
2026-04-20 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一种新的矢量表示，将词汇对比度的分布向量，并加强了最显着的功能，以确定程度的单词相似性。改进后的向量显著优于标准模型，并区分反义词和同义词，在词类（形容词，名词，动词）中的平均精度为0.66-0.76。此外，我们将词汇对比度向量整合到跳跃语法模型的目标函数中。新的嵌入在SimLex-999中预测单词相似性以及区分反义词和同义词方面优于最先进的模型。
2016-05-25 cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Experiential, Distributional and Dependency-based Word Embeddings have Complementary Roles in Decoding Brain Activity
University of Amsterdam（阿姆斯特丹大学）
我们评估了8种不同的词嵌入模型对预测与具体名词相关的神经激活模式的有用性。我们考虑的模型包括基于众包关联数据的经验模型，几种流行的神经和分布模型，以及反映单词句法上下文的模型（基于依赖分析）。我们的目标是评估这些不同的嵌入模型的认知能力，并了解我们如何进一步改进解释大脑成像数据的方法。我们发现，神经词嵌入模型在我们考虑的任务上表现出优越的性能，击败经验词表征模型。当从词嵌入预测大脑激活模式时，句法信息模型给出了整体最佳性能;而当在相反方向（来自大脑图像的词向量）预测时，GloVe分布方法给出了整体最佳性能。然而，有趣的是，这些不同模型的错误模式明显不同。这可能支持大脑使用不同的系统来处理不同类型的单词的想法。此外，我们认为，考虑到不同的嵌入模型的相对优势，将导致更好的模型与文字相关的大脑活动。
2017-11-25 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts（马萨诸塞大学）；Lexalytics（Lexalytics公司）
词义归纳（WSI）通过无监督地发现多个词义来解决一词多义问题，解决了下游NLP任务的歧义问题，也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法，该方法构建了一个全局非负向量嵌入基（可解释性类似主题），并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型，我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤，而不牺牲感簇的质量。在三个数据集上的实验表明，与以前的最先进的方法相比，我们提出的方法产生了类似或更好的意义聚类和嵌入，同时效率显着提高。
2018-05-29 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Distributional Models and Deep Learning Embeddings: Combining the Best of Both Worlds
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
单词的分布式表示主要有两种方法：低维深度学习嵌入和高维分布模型，其中每个维度对应于一个上下文单词。在本文中，我们结合了这两种方法，通过学习基于分布式模型向量的嵌入-而不是深度学习中通常使用的独热向量。我们发现，结合的方法有更好的表现在一个词的相关性判断任务。
2014-02-18 cs.CL
Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim（曼海姆大学）
词嵌入最近被证明反映了许多明显的社会偏见（例如，性别偏见或种族偏见）。然而，现有的研究范围有限，并且没有调查嵌入模型，文本类型和不同语言等相关维度的偏差的一致性。在这项工作中，我们提出了一个系统的研究编码在分布式词向量空间的偏见：我们分析如何一致的偏见影响是跨语言，语料库和嵌入模型。此外，我们分析了双语嵌入空间中编码的跨语言偏差，表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现，例如，偏见可以通过不同的嵌入模型来强调或淡化，或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究，并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development
为什么孩子会比别人先学会一些单词？了解儿童个体差异以及词汇差异，可能有助于了解语言学习过程。我们调查了基于项目的变化，在词汇发展中使用的词汇属性的分布统计数据来自一个大型语料库的儿童为导向的语音。与之前的分析不同，我们预测了横截面的单词轨迹，揭示了词汇发展的趋势，这些趋势在单个时间点可能并不明显。我们还表明，无论是在一个单一的年龄组或跨年龄作为一个整体，最好的分布预测一个孩子是否知道一个词是其他已知的单词的数量，该词往往共同出现。关键词：习得年龄;词汇发展;词汇多样性;儿童言语;
2021-11-21 cs.CL stat.OT
Redefining part-of-speech classes with distributional semantic models
University of Oslo（奥斯陆大学）
本文研究了在英国国家语料库上训练的词嵌入如何与词性边界相互作用。我们的工作目标是通用PoS标签集，该标签集目前正积极用于一系列语言的注释。我们尝试训练分类器，根据它们的嵌入来预测单词的PoS标签。结果表明，PoS隶属关系的分布向量中所包含的信息，使我们能够发现与其他词的相同的词性的分布模式，不同的字组。这些数据经常揭示注释过程或指南中隐藏的不一致性。与此同时，它支持“软”或“分级”的词性归属的概念。最后，我们证明了关于PoS的信息分布在几十个向量分量中，而不仅仅限于一两个特征。
2016-08-12 cs.CL
What do you mean, BERT? Assessing BERT as a Distributional Semantics Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
语境化的词嵌入，即词在语境中的向量表示，自然被看作是以前的非语境分布语义模型的扩展。在这项工作中，我们专注于BERT，一个深度神经网络，产生语境化的嵌入，并设置了最先进的几个语义任务，并研究其嵌入空间的语义一致性。虽然表现出一致性的趋势，但BERT并不完全符合语义向量空间的自然期望。特别是，我们发现，一个词出现的句子的位置，而没有意义的相关性，留下了显着的痕迹上的词嵌入和干扰相似性关系。
2020-05-08 cs.CL
Feature2Vec: Distributional semantic modelling of human property knowledge
Queen’s University Belfast（贝尔法斯特女王大学）
人类概念知识的特征规范数据集，在人类志愿者的调查中收集，产生高度可解释的词义模型，并在语义认知的神经语言学研究中发挥重要作用。然而，这些数据集在大小上是有限的，这是由于与详尽地列出大量单词的属性相关联的实际障碍。相比之下，分布式建模技术的发展和大量文本语料库的可用性使研究人员能够在大型词典上构建有效的词义向量空间模型。然而，这是以可解释的、类似人类的关于词义的信息为代价的。我们提出了一种方法，将人类财产的知识映射到一个分布式的语义空间，它适应word2vec架构的任务建模的概念功能。我们的方法给出了一个单一的语义空间中的概念和特征的亲和力的措施，这使得容易和有效的候选人的人类派生的语义属性的任意单词的排名。我们将我们的模型与以前的方法进行比较，并表明它在几个评估任务上表现更好。最后，我们讨论了如何使用我们的方法来开发有效的采样技术，以可靠的方式扩展现有的特征范数数据集。
2019-08-29 cs.CL
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同，该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
Distributional Clustering of English Words
我们描述和实验评估的方法自动聚类的话，根据其分布在特定的句法环境。确定性退火是用来找到最低失真集的集群。随着退火参数的增加，现有的聚类变得不稳定并细分，产生数据的分层“软”聚类。聚类被用来作为单词共现类模型的基础，并根据测试数据对模型进行评估。
1994-08-22 cmp-lg cs.CL
Investigating Antigram Behaviour using Distributional Semantics
The Pennsylvania State University（宾夕法尼亚州立大学）
本文利用GloVe词嵌入和基于规则的可解释算法，从给定单词生成变位词并检测反义变位词关系，在12个样本上取得39%准确率，揭示了该任务的挑战性。
2023-10-25 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文针对数字人文领域，基于两部奇幻小说系列训练并比较多种词嵌入模型，联合专家构建术语类比与词语侵入数据集，证明小语料嵌入亦可表现良好。
2019-03-07 cs.CL
Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Tsinghua University（清华大学）
对上位关系的建模，如poodle is-a dog，是许多自然语言处理任务的重要泛化辅助工具，如蕴涵、共指、关系抽取和问答。从标记的上位词源（如WordNet）进行的监督学习限制了这些模型的覆盖范围，这可以通过从未标记的文本中学习上位词来解决。现有的无监督方法要么不能扩展到大的词汇表，要么产生不可接受的低精度。本文介绍了分布式包含向量嵌入（DIVE），一个简单的实现无监督的上位词发现方法，通过每个词的非负向量嵌入，保持包含属性的词上下文在一个低维和可解释的空间。在实验评估更全面，比任何以前的文献，我们知道11个数据集使用多个现有的以及新提出的评分功能评估，我们发现，我们的方法提供了两倍的精度以前的无监督嵌入，和最高的平均性能，使用更紧凑的词表示，并产生许多新的国家的最先进的结果。
2018-05-29 cs.CL
Aff2Vec: Affect--Enriched Distributional Word Representations
Big Data Experience Lab（大数据体验实验室）；Adobe Research（奥多比研究院）
人际沟通包括信息、意见和反应。人们的反应往往是通过书面和口头交流中的情感信息来捕捉的。虽然在情感建模和一定程度上的情感内容生成方面已经有了一些工作，但情感词分布的研究还不够深入。同义词集和词汇表捕捉词之间的语义关系。然而，这些模型缺乏编码情感或情绪的词的解释。我们提出的模型，Aff 2 Vec提供了一种方法，丰富的词嵌入是情感的解释的话的代表。Aff 2 Vec在内在单词相似性任务中的表现优于最先进的水平。此外，Aff 2 Vec表示的使用在下游自然语言理解任务（包括情感分析、个性检测和挫折预测）中优于基线嵌入。
2018-05-21 cs.AI cs.CL
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bar-Ilan University（巴伊兰大学）
监督分布方法在词汇蕴涵中得到了成功的应用，但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说，Levy等人（2015）声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能，将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置，并建议一个合适的评估设置的任务，消除偏见存在于以前的。
2018-04-24 cs.CL
A Distributional Perspective on Word Learning in Neural Language Models
ETH Zürich（苏黎世联邦理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对语言模型单词学习缺乏公认指标的问题，提出基于目标词学习分布特性的分布特征指标，通过小型模型实验发现指标具互补性，但模型学习轨迹与儿童无相关性。
2025-02-09 cs.AI cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
词向量专业化（也称为改造）是一种便携式，轻量级的方法，通过从丰富的词汇资源（如WordNet）注入外部知识来微调任意分布的词向量空间。通过设计，这些后处理方法只更新外部词典中出现的单词的向量，而保留所有未看到的单词的表示。在本文中，我们表明，约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法，该方法：a）保留了有用的语言知识，为看到的话;而b）传播这个外部信号，以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量，以深度神经网络的形式解释了非线性专业化函数。然后，学习的函数用于专门化未见过的单词的向量。这种方法，适用于任何后处理模型，产生相当大的收益，无论是在内在的词相似性任务，并在两个下游任务：对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在，表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Reduplicative constructions in Mandarin: Socio-emotional profiling through distributional semantics
Beihang University（北京航空航天大学）；University of Tübingen（图宾根大学）
本研究利用分布语义学词嵌入分析汉语两种重叠构式，验证其能恢复语义语法属性，揭示语义语用分化，并证明嵌入可捕捉重叠的语义多样性与构式透明性。
2026-09-16 cs.CL
EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses
Masaryk University（马萨里克大学）
一些语言应用程序通常需要单词语义作为其处理管道的核心部分，无论是精确的含义推理还是语义相似性。多意义嵌入（M-SE）可以用于这一重要要求。M-SE试图通过它们不同的含义来表示每个词，以解决在不同上下文中使用的词的含义的混淆。以往的工作通常是通过在大型语料库上训练模型来完成这一任务，而往往忽略了词汇资源所提供的语义关系的作用和有用性。然而，即使有大量的训练数据，覆盖所有可能的词义仍然是一个问题。此外，相当大比例的上下文语义知识从来没有学习，因为大量的可能的分布语义结构从来没有探索。在本文中，我们利用WordNet中丰富的语义结构，使用基于图论的词意义行走技术来提高多意义嵌入的质量。该算法从原始文本组成丰富的文本。此外，我们从先前的M-SE得到新的分布语义相似性度量。我们适应这些措施，词义消歧（WSD）方面的我们的实验。我们报告了11个基准数据集的评估结果，包括WSD和单词相似性任务，并表明我们的方法，以提高分布式语义结构的嵌入质量的基线。尽管训练数据很小，但它在某些数据集上实现了最先进的性能。
2021-02-27 cs.CL cs.LG
Task-specific Word-Clustering for Part-of-Speech Tagging
Google, Inc.（谷歌公司）
虽然聚类特征的使用在核心NLP任务中变得无处不在，但NLP中的大多数聚类特征都基于分布相似性。我们提出了一种新类型的聚类标准，具体到词性标注的任务。而不是分布相似性，这些集群是基于一个基线标记时，适用于一个大型语料库的行为。这些集群功能提供了类似的收益，在准确性所取得的分布相似性派生的集群。同时使用这两种类型的聚类特征进一步提高了标记准确性。我们表明，该方法是有效的域和域外的情况下，英语，法语，德语和意大利语。域外文本的影响更大。
2012-05-19 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications（电子通信大学）
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而，很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时，这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法，试图揭示分布词向量的内在信息。’s（2016）brain-based vectors，基于神经生物学动机属性的显式结构化概念表征。在分析中，训练从基于文本的向量到基于大脑的向量的映射，并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明，社会和认知信息更好地编码在基于文本的词向量，但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
Morph-fitting: Fine-Tuning Word Vector Spaces with Simple Language-Specific Rules
University of Cambridge（剑桥大学）；Technion, Israel Institute of Technology（以色列理工学院）；Apple Inc.（苹果公司）
形态丰富的语言强调了分布向量空间模型的两个特性：1）难以对低频单词形式进行准确表示; 2）对具有相似分布特征的不同词汇关系不敏感。这些影响对于语言理解系统是有害的，其可以推断“廉价”是“昂贵”的改写，或者可以不将“获取”与“获取”相关联。在这项工作中，我们提出了一种新的变形拟合过程，它移动过去的使用策划语义词典，以改善分布向量空间。相反，我们的方法注入使用简单的语言特定的规则生成的形态约束，拉同一个词的曲折形式靠近在一起，推派生反义词远离。在对四种语言的内在评估中，我们表明我们的方法：1）提高了低频词的估计; 2）提高了整个词向量集合的语义质量。最后，我们表明，形态拟合向量产生很大的收益，在对话状态跟踪的下游任务，突出了形态处理长尾现象在语言理解任务的重要性。
2017-06-01 cs.CL
Approches d'analyse distributionnelle pour améliorer la désambiguïsation sémantique
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧（WSD）改进了许多自然语言处理（NLP）应用，例如信息检索、机器翻译或词汇简化。词义消歧是指在一个多义词汇单位中，结合语境，从不同的词义中确定一个词义的能力。最直接的方法是在目标词的词义候选和其上下文的词义候选之间使用语义接近度。这种方法很容易导致组合爆炸。在本文中，我们提出了两种方法的基础上的分布分析，使减少指数复杂性，而不会失去的一致性。我们提出了一个比较之间的选择分布的邻居和线性最近的邻居。得到的数字表明，选择分布邻居导致更好的结果。
2017-02-27 cs.CL
Could the Road to Grounded, Neuro-symbolic AI be Paved with Words-as-Classifiers?
Department of Computer Science（计算机科学系）；Boise State University（博伊斯州立大学）；Department of Lingusitics（语言学系）；University of Potsdam（波茨坦大学）
本文论证“词即分类器”模型可作为统一形式、分布和具身语义学的路径，回顾文献、结合认知科学动机并描述实验，最终勾勒统一语义模型。
2025-07-08 cs.CL
A General Framework for Implicit and Explicit Debiasing of Distributional Word Vector Spaces
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
最近的研究表明，分布词向量编码了许多人类偏见，最明显的是性别和种族偏见，因此提出了减弱这种偏见的模型。然而，现有的模型和研究（1）在规定不足和相互不同的偏倚定义上操作，（2）针对特定偏倚（例如，性别偏见）和（3）的评价不一致和不严格。在这项工作中，我们介绍了一个通用的框架去偏置词嵌入。我们通过辨别两种类型的偏见规范：明确的和隐含的偏见的定义操作。然后，我们提出了三个去偏置模型，操作显式或隐式偏置规范，可以组成更强大的去偏置。最后，我们设计了一个成熟的评估框架，在其中我们耦合现有的偏见指标与新提出的。三种嵌入方法的实验结果表明，所提出的去偏置模型是鲁棒的和广泛适用的：它们通常完全消除隐式和显式的偏见，而不会降低任何输入分布空间中编码的语义信息。此外，我们成功地转移去偏置模型，通过跨语言的嵌入空间，并删除或减弱偏见的语言，缺乏现成的偏见规范的分布词向量空间。
2020-01-03 cs.AI cs.CL
A new kid on the block: Distributional semantics predicts the word-specific tone signatures of monosyllabic words in conversational Taiwan Mandarin
Quantitative Linguistics, Eberhard Karls Universität Tübingen（数量语言学，图宾根大学）；Center for Language Studies, Radboud University（语言研究所以，拉德堡德大学）
研究通过分布语义揭示口语台语单字的调型特征，证明语义对音高实现的决定性影响。
2025-11-21 cs.CL cs.SD
Cross-topic distributional semantic representations via unsupervised mappings
University of Maryland, College Park（马里兰大学帕克分校）；National Technical University of Athens（雅典国立技术大学）
在传统的分布式语义模型（DSM）中，一个多义词的多个意义被合并到一个单一的向量空间表示。在这项工作中，我们提出了一个DSM，学习一个词的多个分布表示基于不同的主题。首先，为每个主题训练单独的DSM，然后将每个基于主题的DSM对齐到公共向量空间。我们的无监督映射方法的动机的假设，保持他们的相对距离在不同的主题语义子空间的话构成强大的\textit{semantic anchors}，定义它们之间的映射。对齐的跨主题表示实现了上下文单词相似性任务的最先进的结果。此外，对NLP下游任务的评估表明，多个基于主题的嵌入优于单原型模型。
2019-04-11 cs.CL cs.LG
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；Mila - Quebec AI（Mila - 魁北克人工智能研究所）
屏蔽语言模型（MLM）预训练令人印象深刻的性能的一个可能的解释是，这些模型已经学会表示经典NLP管道中流行的语法结构。在本文中，我们提出了一个不同的解释：MLMs成功的下游任务几乎完全是由于他们的能力，模型高阶词共现统计。为了证明这一点，我们在随机打乱词序的句子上预训练MLMs，并表明这些模型在许多下游任务上进行微调后仍然具有很高的准确性-包括专门设计用于挑战忽略词序的模型的任务。我们的模型执行令人惊讶的是，根据一些参数的语法探测，表明可能存在的缺陷，我们如何测试表示的语法信息。总的来说，我们的研究结果表明，纯粹的分布信息在很大程度上解释了预训练的成功，并强调了管理需要更深入语言知识的具有挑战性的评估数据集的重要性。
2021-09-09 cs.CL cs.LG
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而，迄今为止，它缺乏一个逻辑否定的模式。本文给出了一些步骤，提供这个操作，它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
Polish phonology and morphology through the lens of distributional semantics
Adam Mickiewicz University（亚当·密茨凯维奇大学）；University of Tübingen（蒂宾根大学）
本文通过分布语义学研究波兰词的语音与形态结构与其意义的关系，探讨词形特征与意义的关联，并展示语义向量如何捕捉亚词级语言单位信息。
2026-03-31 cs.CL
Bad Form: Comparing Context-Based and Form-Based Few-Shot Learning in Distributional Semantic Models
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；TechWolf
词嵌入是广泛的自然语言处理应用中的重要组成部分。然而，分布式语义模型是已知的斗争时，只有少量的上下文句子。已经提出了几种方法来获得这些单词的更高质量的向量，利用上下文信息，有时通过混合方法形成单词本身。我们表明，目前的任务不足以评估使用单词形式信息的模型，因为这样的模型可以很容易地利用单词形式的训练数据，相关的单词形式的测试数据。我们引入了3个新任务，允许模型之间进行更平衡的比较。此外，我们还发现，在以前的工作中基本上被忽略的超参数可以持续提高基线和高级模型的性能，在6个任务中有4个任务达到了新的水平。
2019-10-01 cs.CL cs.LG
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次构建完整评估框架，利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导，实验表明分化定律更具优势，最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research（微软研究院）
我们提出了一个特征向量形成技术的文件-稀疏复合文档向量（SCDV）-它克服了目前的分布式段落向量表示，被广泛用于文本表示的几个缺点。在SCDV中，词嵌入被聚类以捕获词出现的多个语义上下文。然后，它们被链接在一起，形成文档主题向量，可以表达复杂的多主题文档。通过对多类和多标签分类任务的广泛实验，我们的表现优于先前的最先进的方法NTSG（Liu et al.，2015年a）。我们还表明，SCDV嵌入的执行异构任务，如主题一致性，上下文敏感的学习和信息检索。此外，与其他表示方法相比，我们实现了训练和预测时间的显着减少。SCDV实现了两全其美--更好的性能和更低的时间和空间复杂度。
2017-05-12 cs.CL
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University（博伊西州立大学）
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中，我们将探讨这样一个模型可以增量执行组合，以及如何将模型与分布式表示统一起来。对于后者，我们利用分类器系数作为嵌入。对于组合，我们利用三种不同分类器类型的底层机制（即，逻辑回归、决策树和多层感知器），以获得对每个分类器唯一的组合的几种系统方法，包括组合的外延和内涵方法。我们将这些方法相互比较，并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明，需要扩大现有的组成策略，并汇集接地和分布表示。
2019-11-08 cs.CL
From Logical to Distributional Models
LIRMM（蒙彼利埃计算机、机器人与微电子实验室）
本文通过将逻辑和推理从逻辑模型转移到分布式模型，介绍了自然语言的两种语义模型：逻辑函数模型和组合分布式向量空间模型。量子逻辑的几何运算被重新表述为向量上的代数运算。从函数模型到向量空间模型的映射使得逐字比较句子的含义成为可能。
2014-12-30 cs.CL cs.LO quant-ph
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside（加州大学河滨分校）
一些研究者认为，语言的习得主要依赖于对语言输入的体验，而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络（SRN）来测试这个假设，该网络被训练用于预测CHILDES中的单词序列，CHILDES是一个针对儿童的500万单词的语音语料库。首先，我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来，我们比较了在CHILDES上训练的两组SRN的性能，这两组SRN要么是按年龄排序的，要么不是。具体来说，我们评估了语法和语义结构的学习，并表明，年龄顺序输入的培训有利于语义的学习，但不是顺序结构。我们发现，当模型在去除了话语边界信息的输入上训练时，这种优势就被消除了。
2018-02-02 cs.CL
Distributional Inclusion Hypothesis for Tensor-based Composition
Queen Mary University of London（伦敦玛丽女王大学）
根据分布包含假设，词与词之间的蕴涵可以通过词的分布向量的特征包含来度量。在最近的工作中，我们展示了如何这一假设可以从单词扩展到短语和句子中的组合分布语义的设置。本文主要研究张量的包含性质，其主要贡献是从理论和实验上分析了特征包含在不同的动词张量具体模型中的作用。我们目前的结果关系，弗罗贝纽斯，投影和整体的方法，并将它们与简单的矢量加法，乘法，最小和最大模型。由此获得的蕴涵程度通过各种现有的基于单词的措施，如杂草的和克拉克的，KL发散，APinc，balAPinc，和我们以前提出的两个指标在短语/句子的水平进行评估。我们在三个蕴涵数据集上进行了实验，研究了基于张量的组合在与层次度量相结合时，哪个版本的组合达到了最高的性能。
2016-10-14 cs.AI cs.CL
Quantifying Cognitive Factors in Lexical Decline
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们采用进化论的语言变化，其中认知因素（除了社会因素）影响的话，他们在语言生态系统的适应性和成功。具体来说，我们提出了各种心理语言学因素-语义，分布，和语音-我们假设是预测词汇下降，其中的话大大减少频率随着时间的推移。使用三种语言（英语，法语和德语）的历史数据，我们发现我们提出的大多数因素在每个策划的下降单词集与其匹配的稳定单词之间的预期方向上存在显着差异。Logistic回归分析表明，语义因素和分布因素对词汇衰退有显著的预测作用。进一步的历时分析表明，随着时间的推移，衰落词的词汇语境多样性趋于减少，逐渐缩小了它们的“生态位”。
2021-10-12 cs.CL
What company do words keep? Revisiting the distributional semantics of J.R. Firth & Zellig Harris
McGill University（麦吉尔大学）；Columbia University（哥伦比亚大学）
词嵌入的强大力量归因于语言学理论，即相似的词会出现在相似的上下文中。英国语言学家J.R.的一句话“你应该通过它的同伴来了解一个词”，这一观点被特别引用。弗斯和他的美国同事泽利格·哈里斯经常被认为是“分布语义学”的发明者。虽然所有主要的NLP教科书和许多基础论文都引用了Firth和Harris，但很少讨论他们理论之间的内容和差异。仔细阅读他们的作品，我们会发现两种截然不同的意义理论，在许多方面都是不同的。一种是专门关注语言形式的内部运作，而另一种是邀请我们在新的公司中考虑单词-不仅与其他语言元素，而且还在更广泛的文化和情景背景下。从当前NLP争论的角度对比这些理论，我们发现弗斯是一个可以引导该领域走向更有文化基础的语义学概念的人物。我们考虑如何通过两种不同的策略：比较分层和组合扩展，在实践中建立一个扩展的“语境”概念
2022-05-16 cs.AI cs.CL cs.CY
