Employing distributional semantics to organize task-focused vocabulary learning
University of Tübingen（图宾根大学）
学习者如何系统地准备阅读他们感兴趣的书？在本文中，我们将探讨如何计算语言学方法，如分布语义，形态聚类和练习生成可以结合基于图的学习模型来回答这个问题，在概念上和实践中。基于高度结构化的学习者模型和网络分析的概念，引导学习者有效地探索目标词汇空间。他们练习使用从书中产生的多间隙学习活动，重点是对目标词汇空间至关重要的单词。因此，该方法提供了一个独特的计算语言学方法与网络分析和辅导系统域的概念相结合，以支持学习者实现他们的个人，阅读任务为基础的学习目标。
2020-11-22 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；Brown University（布朗大学）；Cornell University（康奈尔大学）
本文通过模糊与精确量词的案例研究，发现大语言模型在精确量词上比模糊量词更贴近人类判断，挑战了分布语义学模型的传统假设。
2024-10-17 cs.CL
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside（加州大学河滨分校）
一些研究者认为，语言的习得主要依赖于对语言输入的体验，而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络（SRN）来测试这个假设，该网络被训练用于预测CHILDES中的单词序列，CHILDES是一个针对儿童的500万单词的语音语料库。首先，我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来，我们比较了在CHILDES上训练的两组SRN的性能，这两组SRN要么是按年龄排序的，要么不是。具体来说，我们评估了语法和语义结构的学习，并表明，年龄顺序输入的培训有利于语义的学习，但不是顺序结构。我们发现，当模型在去除了话语边界信息的输入上训练时，这种优势就被消除了。
2018-02-02 cs.CL
Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics
University of Cambridge（剑桥大学）
功能分布语义学通过将词的含义表示为函数（二元分类器）而不是向量，为分布语义提供了一个语言学上可解释的框架。然而，大量的潜变量意味着推理在计算上是昂贵的，因此训练模型收敛缓慢。在本文中，我介绍了Pixie自动编码器，它增强了生成模型的功能分布语义与图-卷积神经网络进行摊销变分推理。这使得模型能够更有效地进行训练，在两个任务（上下文和语义组合中的语义相似性）上取得更好的结果，并优于BERT，一个大型的预训练语言模型。
2020-05-10 cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
What company do words keep? Revisiting the distributional semantics of J.R. Firth & Zellig Harris
McGill University（麦吉尔大学）；Columbia University（哥伦比亚大学）
词嵌入的强大力量归因于语言学理论，即相似的词会出现在相似的上下文中。英国语言学家J.R.的一句话“你应该通过它的同伴来了解一个词”，这一观点被特别引用。弗斯和他的美国同事泽利格·哈里斯经常被认为是“分布语义学”的发明者。虽然所有主要的NLP教科书和许多基础论文都引用了Firth和Harris，但很少讨论他们理论之间的内容和差异。仔细阅读他们的作品，我们会发现两种截然不同的意义理论，在许多方面都是不同的。一种是专门关注语言形式的内部运作，而另一种是邀请我们在新的公司中考虑单词-不仅与其他语言元素，而且还在更广泛的文化和情景背景下。从当前NLP争论的角度对比这些理论，我们发现弗斯是一个可以引导该领域走向更有文化基础的语义学概念的人物。我们考虑如何通过两种不同的策略：比较分层和组合扩展，在实践中建立一个扩展的“语境”概念
2022-05-16 cs.AI cs.CL cs.CY
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次构建完整评估框架，利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导，实验表明分化定律更具优势，最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
Learning Functional Distributional Semantics with Visual Data
University of Cambridge（剑桥大学）
功能分布语义学是最近提出的一个学习分布语义的框架，它提供了语言的可解释性。它将单词的含义建模为二元分类器，而不是数字向量。在这项工作中，我们提出了一种方法来训练功能分布语义模型与接地的视觉数据。我们在Visual Genome数据集上对它进行训练，这比大型文本语料库更接近人类语言习得中遇到的数据类型。在四个外部评估数据集上，我们的模型优于以前从Visual Genome学习语义的工作。
2022-04-22 cs.AI cs.CL
Investigating Antigram Behaviour using Distributional Semantics
The Pennsylvania State University（宾夕法尼亚州立大学）
本文利用GloVe词嵌入和基于规则的可解释算法，从给定单词生成变位词并检测反义变位词关系，在12个样本上取得39%准确率，揭示了该任务的挑战性。
2023-10-25 cs.CL
Montague semantics and modifier consistency measurement in neural language models
National Biomarker Centre CRUK-MI（国家生物标志物中心（英国癌症研究中心医学研究所））；University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出基于蒙塔古语义的三种新测试，度量神经语言模型在形容词-名词组合中的一致性，发现现有模型不符合预期语言学理论，可能缺乏相关语义能力。
2024-12-18 cs.CL
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Novel Aficionados and Doppelgängers: a referential task for semantic representations of individual entities
Queen Mary University of London（伦敦玛丽女王大学）；University of Trento（特伦托大学）
在人类的语义认知中，专有名词（指个体实体的名称）比普通名词更难学习和检索。这似乎也是机器学习算法的情况，但到目前为止，这种行为的语言和分布原因还没有被深入研究。为了解决这个问题，我们表明，专有名词和普通名词之间的语义区别反映在他们的语言分布采用原始任务的分布语义，Doppelgänger测试，一组广泛的模型，和一个新的数据集，小说爱好者数据集。结果表明，不同的个体实体的分布表征是不太清楚地区分彼此比那些常见的名词，一个有趣的结果，反映了人类的认知。
2021-04-20 cs.AI cs.CL
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
Don't Blame Distributional Semantics if it can't do Entailment
Universitat Pompeu Fabra（庞培法布拉大学）
分布语义学在计算语言学和认知科学中在建模各种语义现象（例如语义相似性）方面取得了巨大的经验成功，并且分布模型广泛用于最先进的自然语言处理系统中。然而，分布语义学在更广泛的语言和认知理论中的理论地位仍然不清楚：分布语义学模型是什么？它本身能成为语言表达意义的一个充分适当的模型吗？标准的答案是，分布语义学在这方面并不充分，因为它在形式语义学方法的一些核心方面有所欠缺：真值条件，蕴涵，引用和组合性的某些方面。我们认为，这个标准答案基于一个误解：这些方面不属于表达意义的理论，它们是说话者意义的方面，即，在特定语境下的交际意图。一句口号是：言语不指代，说话者指代。澄清这一点使我们能够认为，分布语义学本身就是一个适当的表达意义的模型。我们的建议揭示了分布语义在更广泛的语言和认知理论中的作用，它与形式语义的关系，以及它在计算模型中的地位。
2019-05-17 cs.AI cs.CL cs.IR
From Visual Attributes to Adjectives through Decompositional Distributional Semantics
Thomas J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；Center for Mind/Brain Sciences（心智/脑科学中心）；University of Trento（特伦托大学）
随着自动化图像分析的发展，人们越来越感兴趣的是图片的更丰富的语言注释，具有对象的属性（例如，毛茸茸的，棕色的.）吸引了最多的注意力。通过建立在最近的“零样本学习“的方法，并注意到作为名词修饰语的属性的语言性质，特别是形容词，我们表明，即使没有包含相关注释的训练数据，也可以用表示属性的形容词来标记图像。我们的方法依赖于两个关键的观察结果。首先，对象可以被看作是属性的集合，通常用形容词修饰语来表示（狗是毛茸茸的、棕色的东西等），并且因此被训练为将对象的视觉表示映射到名义标签的函数可以隐式地学习将属性映射到形容词。第二，对象和属性在图片中聚集在一起（同样的东西是一只狗，它是棕色的）。因此，我们可以实现更好的属性（和对象）标签检索处理图像作为“视觉短语”，并将其语言表示分解成一个属性表示形容词和对象表示名词。我们的方法执行的方法，利用手动属性标注，它优于各种竞争对手的替代品在属性和对象注释，它自动构造属性为中心的表示，显着提高性能的监督对象识别。
2015-03-24 cs.CL cs.CV
One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations
Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言单位联结成连贯的语篇。然而，自动识别话语关系是困难的，因为它需要理解所链接的论元的语义。一个更微妙的挑战是，仅仅表示话语关系中每个论元的意义是不够的，因为话语关系可能依赖于较低层次组件之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系的预测从分布表示的论点，也是他们的共指实体提及。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2014-11-25 cs.CL cs.LG
Entity-Augmented Distributional Semantics for Discourse Relations
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言元素结合成连贯的语篇。然而，自动识别语篇关系是困难的，因为它需要理解连接句子的语义。一个更微妙的挑战是，仅仅表示话语关系中每个句子的含义是不够的，因为这种关系可能依赖于较低级别元素之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系不仅可以从句子的分布表征中预测，还可以从它们的共指实体提及中预测。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2015-04-28 cs.CL cs.LG
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Reduplicative constructions in Mandarin: Socio-emotional profiling through distributional semantics
Beihang University（北京航空航天大学）；University of Tübingen（图宾根大学）
本研究利用分布语义学词嵌入分析汉语两种重叠构式，验证其能恢复语义语法属性，揭示语义语用分化，并证明嵌入可捕捉重叠的语义多样性与构式透明性。
2026-09-16 cs.CL
Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language
University of Salerno（萨勒诺大学）
本文提出一种基于意大利语名词和动词语义分类构建的领域共现矩阵资源，通过选择与具体概念知识相关的矩阵来生成概念的语义描述，并在动物名词分类和特征提取实验中验证了其有效性。
2024-02-26 cs.CL
Composing or Not Composing? Towards Distributional Construction Grammars
Laboratoire Parole et Langage, CNRS, France（法国语言与语言实验室，CNRS）；Department of Languages, Literatures and Modern Cultures, University of Bologna, Italy（博洛尼亚大学语言、文学与现代文化系）；Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University, Hong Kong（香港理工大学中文与双语研究系）；Department of Philology, Literature, and Linguistics, University of Pisa（比萨大学语言学、文学与语言学系）；ILCB - Institute of Language, Communication and the Brain, France（法国语言、交流与大脑研究所）
本文提出分布式构式语法框架，结合组合与非组合方法，通过特征结构表示和激活机制构建语言意义。
2025-11-04 cs.CL
Compositional Operators in Distributional Semantics
University of Oxford（牛津大学）
这项调查提出了一些详细的主要进展，最近发生在计算语言学的两个突出的语义范式的统一：成分形式语义观和基于向量空间的意义的分布模型。在介绍了这两种方法之后，我回顾了旨在提供分布式语义组合性的最重要的模型。然后，我继续并更详细地介绍了Coecke，Sadrzadeh和Clark（2010）基于范畴论的抽象数学设置的特定框架，作为一个更完整的例子，能够展示这种研究可以借鉴的技术和科学学科的多样性。本文最后讨论了重要的开放性问题，需要解决的研究人员在未来。
2014-01-21 cs.AI cs.CL math.CT
The Causal Influence of Grammatical Gender on Distributional Semantics
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；ETH Zurich（苏黎世联邦理工学院）；FAIR at Meta AI（Meta AI 旗下 FAIR 实验室）；University of Copenhagen（哥本哈根大学）
本文提出联合建模名词语法性别、意义与形容词选择的因果图模型，发现控制名词意义后，语法性别对形容词选择近乎无显著影响。
2024-10-22 cs.CL
Coordination in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分类组合分布语义学的一个开放性问题是从分布的角度来看被认为是语义空洞的词的表示，例如限定词，介词，关系代词或协调词。同一句法类型之间的协调是语言中最常见的协调现象。通过利用紧凑的封闭结构的基础类别和Frobenius运营商规范诱导的固定基础上的有限维向量空间，我们提供了一个态射表示的协调员张量，我们展示了它如何升降机从原子类型的复合类型。语言的直觉，并讨论了作为除了紧凑的封闭设置方面的语言的Frobenius运营商的重要性。
2016-08-04 cs.AI cs.CL math.CT
Polish phonology and morphology through the lens of distributional semantics
Adam Mickiewicz University（亚当·密茨凯维奇大学）；University of Tübingen（蒂宾根大学）
本文通过分布语义学研究波兰词的语音与形态结构与其意义的关系，探讨词形特征与意义的关联，并展示语义向量如何捕捉亚词级语言单位信息。
2026-03-31 cs.CL
Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
Coecke，Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序，用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理，并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平，一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中，我们扩展的框架，以适应这些额外的信息，使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论，语调标记的话语的意义提供真值理论和分布语义，并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
Quantifying Cognitive Factors in Lexical Decline
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们采用进化论的语言变化，其中认知因素（除了社会因素）影响的话，他们在语言生态系统的适应性和成功。具体来说，我们提出了各种心理语言学因素-语义，分布，和语音-我们假设是预测词汇下降，其中的话大大减少频率随着时间的推移。使用三种语言（英语，法语和德语）的历史数据，我们发现我们提出的大多数因素在每个策划的下降单词集与其匹配的稳定单词之间的预期方向上存在显着差异。Logistic回归分析表明，语义因素和分布因素对词汇衰退有显著的预测作用。进一步的历时分析表明，随着时间的推移，衰落词的词汇语境多样性趋于减少，逐渐缩小了它们的“生态位”。
2021-10-12 cs.CL
Compositional Distributional Semantics with Compact Closed Categories and Frobenius Algebras
Wolfson College（沃尔夫森学院）
本论文有助于正在进行的研究相关的范畴组合模型的自然语言的Coecke，Sadrzadeh和克拉克在三个方面：首先，我提出了一个具体的实例化的抽象框架的基础上Frobenius代数（联合工作与Sadrzadeh）。该理论改进了以前的建议的缺点，扩展了语言的覆盖范围，并得到了实验工作的支持，改善了现有的结果。建议的框架描述了一类新的组合模型，找到一些语言现象的直观解释。其次，我提出并在实践中评估一个新的组成方法，明确处理不同层次的词汇歧义（与普尔曼联合工作）。在此基础上，提出了一种基于向量消歧与合成分离的具体算法。广泛的实验工作表明，所提出的方法确实导致更准确的复合表示的Coecke等人的框架。特别是和其他类别的组成模型一般。作为最后一个贡献，我正式的明确治疗词汇歧义的范畴框架的背景下，诉诸范畴量子力学（联合工作Coecke）。在所提出的扩展中，分布向量的概念被替换为密度矩阵的概念，该密度矩阵表示特定单词的潜在不同含义的概率分布。构成采用量子测量的形式，导致量子物理学和语言学之间有趣的类比。
2015-05-01 cs.AI cs.CL math.CT
Entity Type Recognition using an Ensemble of Distributional Semantic Models to Enhance Query Understanding
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；CareerBuilder
我们提出了一个集成的方法，在招聘领域的搜索查询实体进行分类。了解搜索查询中表示的实体类型（公司、技能、职位等）与传统的基于关键字的搜索相比，能够基于这些实体进行更智能的信息检索。因为搜索查询通常非常短，所以由于缺乏上下文信息，利用传统的词袋模型来识别实体类型将是不合适的。相反，我们的方法结合了不同来源的不同复杂性的线索，以收集真实世界的知识查询实体。我们通过两个模型采用查询实体的分布式语义表示：1）从维基百科等百科全书语料库中生成的上下文向量，以及2）使用word 2 vec从数百万个职位发布中生成的高维词嵌入向量。此外，我们的方法利用从WordNet获得的实体语言属性和从DBpedia提取的本体属性。我们评估我们的方法在凯业必达创建的数据集;美国最大的就业委员会。该数据集包含从数百万求职者/招聘人员搜索查询、职位发布和简历文档中提取的实体。在构造搜索实体的分布向量之后，我们使用监督机器学习来推断搜索实体类型。实证结果表明，我们的方法优于最先进的word 2 vec分布语义模型训练维基百科。此外，我们实现了97%的微平均F1分数使用建议的分布表示合奏。
2016-04-04 cs.CL cs.IR
A Corpus-based Toy Model for DisCoCat
University of Oxford（牛津大学）
范畴成分分布（DiscoCat）模型的意义严格连接分布语义学和前组语法，并已发现了各种应用程序在计算语言学。从一个更抽象的角度来看，DisCoCat范式断言从语法到范畴语义的映射的构建。在这项工作中，我们提出了一个具体的建设这样的映射，从一个玩具模型的语法语料库注释的组成结构树，范畴语义发生在一类自由R-半模对合交换半环R。
2016-08-04 cs.CL cs.LO math.CT
Clustering Comparable Corpora of Russian and Ukrainian Academic Texts: Word Embeddings and Semantic Fingerprints
University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
我们提出了我们的经验，在应用分布式语义（神经词嵌入）的问题，表示和聚类文件中的双语可比语料库。我们的数据是俄罗斯和乌克兰学术文本的集合，其主题是他们的学术领域。为了建立这些文档的独立于语言的语义表示，我们在单语语料库上训练神经分布模型，并学习从一种语言到另一种语言的向量的最佳线性变换。由此产生的矢量，然后用来产生“语义指纹”的文件，作为输入到聚类算法。所提出的方法进行了比较，包括“正交翻译”与Levenshtein编辑距离的几个基线，并优于他们的一个很大的保证金。我们还表明，语言独立的“语义指纹”优于多语言聚类算法在以前的工作中提出的，在同一时间需要较少的语言资源。
2016-04-18 cs.CL
Computational valency lexica and Homeric formularity
King’s College London（伦敦国王学院）；University of Oxford（牛津大学）
分布语义学是通过语料库中的搭配来定量研究语义的变化和变化，是目前计算语言学中最富有成果的研究领域之一。近年来，大数据和可重复的分析算法的广泛可用性促进了其在生活语言中的应用。但是，我们能用分布语义学来研究像古希腊语这样语料有限的语言吗？这种方法能否告诉我们一些经典研究中的棘手问题，比如荷马诗歌的语言和写作？我们的论文将比较的语义灵活性公式涉及及物动词在古希腊史诗中类似的动词短语在非公式化的语料库，以检测独特的模式的变化公式。为了解决这个问题，我们提出了AGVaLex，一个计算的古希腊语的配价词典自动提取的古希腊Dependency树库。该词典包含有关动词及其论点（如宾语、主语和介词短语）的定量语料库驱动的形态、句法和词汇信息，并在古希腊作者的语言研究中具有广泛的应用。
2022-08-23 cs.CL
Using Sparse Semantic Embeddings Learned from Multimodal Text and Image Data to Model Human Conceptual Knowledge
Queen’s University Belfast（贝尔法斯特女王大学）；BrainWaveBank Ltd.（脑波银行有限公司）
分布式模型提供了一种方便的方式来建模语义使用密集的嵌入空间从无监督学习算法。然而，密集嵌入空间的维度并没有被设计成类似于人类语义知识。此外，尽管神经认知研究表明语义与语言和感知都有很深的联系，但嵌入通常是从单一的信息源（通常是文本数据）构建的。在本文中，我们结合了来自最先进的分布模型的文本和基于图像的表示的多模态信息，使用联合非负稀疏嵌入产生稀疏的，可解释的向量。通过深入分析比较这些稀疏模型与人类衍生的行为和神经成像数据，我们证明了它们预测人类真实语义知识的可解释语言描述的能力。
2018-11-14 cs.CL
Permutation invariant matrix statistics and computational language tasks
Queen Mary University of London（伦敦玛丽女王大学）；Utrecht University（乌得勒支大学）；University of the Witwatersrand（金山大学）；University College London（伦敦大学学院）
本文推广语言矩阵理论中矩阵分布的近似高斯性结果，并基于置换不变量的图论基础构建词语可观测量向量几何，以统一区分同义、反义、上下位等词义关系。
2023-09-26 cond-mat.stat-mech cs.CL hep-th
Gaussianity and typicality in matrix distributional semantics
Queen Mary University of London（伦敦玛丽女王大学）；University of the Witwatersrand（金山大学）；University College London（伦敦大学学院）
类型驱动的组合分布语义中的构造将大小为$D$的矩阵的大集合与语言语料库相关联。我们提出了在置换不变矩阵模型的框架内分析这些数据的统计特性的建议。在这个框架中的观测值是矩阵元素的置换不变多项式函数，对应于有向图。使用最近解决的一般13参数置换不变高斯矩阵模型，我们发现，使用通过标准技术在分布语义构建的矩阵的数据集，一大类的三次和四次观测值的期望值显示高高斯性在90%至99%之间的水平。除了期望值，即单词的平均值，数据集允许计算每个可观察值的标准差，这可以被视为每个可观察值的典型性度量。在典型性的衡量标准中，有很大的范围。置换不变矩阵模型，被认为是随机耦合的函数，给出了一个很好的预测的大小的典型性为不同的可观测量。我们发现的证据表明，具有类似的矩阵模型特征的高斯性和典型性的观测值也有很高的相关性之间的排名与这些观测值的单词列表。
2019-12-19 cs.CL hep-th math-ph
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Novel Ranking-Based Lexical Similarity Measure for Word Embedding
Politechnika Poznańska（波兹南理工大学）
分布语义模型从上下文中的语言项推导出词空间。通过定义对应于词汇实体的向量之间的距离度量来获得意义。这种载体存在几个问题。在本文中，我们提供了一个指导方针后处理改进的基线向量。我们专注于细化的相似性方面，解决不完善的模型，通过应用枢纽减少方法，实现关系知识的模型，并提供了一个新的排名相似性定义，给予最大的权重的前1个组件值。这种特征排序类似于信息检索中使用的特征排序。所有这些丰富的联合ESL和TOEF集比较优于目前的文献结果。由于单个词嵌入是任何语义任务的基本元素，因此可以预期这些任务的结果会有显着改善。此外，我们改进的文本处理方法可以转化为生物序列的连续分布式表示，用于深度蛋白质组学和基因组学。
2017-12-22 cs.CL
Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach
受最近的本体相关方法（使用不同类型的上下文知识，如句法知识、术语知识、语义知识等）的启发，我们设计了一种基于神经网络的分布式语义建模方法--术语向量空间模型。能够识别术语（术语抽取）和它们之间的关系（关系抽取）的技术称为语义预处理技术-- SPT。我们的方法依赖于从自然语言文本中自动提取术语，并随后形成面向问题或面向应用（也有深度注释）的文本语料库，其中基本实体是术语（包括非成分和成分术语）。这给了我们一个从分布式词表示（或词嵌入）转换到分布式词表示（或词嵌入）的机会。这种转换将允许生成不同主题域的更准确的语义映射（也是输入术语之间的关系-这对于探索集群和对立或测试您对它们的假设很有用）。语义映射可以使用Vec 2graph表示为一个图，Vec 2graph是一个Python库，用于将词嵌入（在本例中为术语嵌入）可视化为动态和交互式图。结合术语嵌入的Vec 2graph库不仅可以提高解决标准NLP任务的准确性，还可以更新自动化本体开发的传统概念。我们工作的主要实际成果是开发工具包（表示为Web服务API和Web应用程序的工具包集），它提供了所有必要的例程，用于基本的语言预处理和乌克兰语自然语言文本的语义预处理，用于将来的术语向量空间模型的训练。
2020-03-06 cs.AI cs.CL
