Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
Coecke，Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序，用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理，并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平，一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中，我们扩展的框架，以适应这些额外的信息，使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论，语调标记的话语的意义提供真值理论和分布语义，并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Coordination in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分类组合分布语义学的一个开放性问题是从分布的角度来看被认为是语义空洞的词的表示，例如限定词，介词，关系代词或协调词。同一句法类型之间的协调是语言中最常见的协调现象。通过利用紧凑的封闭结构的基础类别和Frobenius运营商规范诱导的固定基础上的有限维向量空间，我们提供了一个态射表示的协调员张量，我们展示了它如何升降机从原子类型的复合类型。语言的直觉，并讨论了作为除了紧凑的封闭设置方面的语言的Frobenius运营商的重要性。
2016-08-04 cs.AI cs.CL math.CT
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Challenges for Distributional Compositional Semantics
Gorkana Group（戈卡纳集团）
本文总结了目前的最先进的研究在分布式语义的组合性，这一领域的主要挑战。我们挑出广义量词和内涵语义领域的理论发展的关注。一旦开发出合适的理论，就需要算法将理论应用于任务。评估是一个主要问题，我们挑出应用程序识别文本蕴涵和机器翻译为此目的。
2012-07-10 cs.AI cs.CL
A Factorized Model for Transitive Verbs in Compositional Distributional Semantics
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion, IIT（以色列理工学院）
我们提出了一个分解的成分分布语义模型来表示及物动词结构。我们的模型首先产生（主语，动词）和（动词，宾语）向量表示的基础上的相似性的建设中的名词的词汇和这些名词的倾向，以动词的主语和宾语的角色。然后，这些向量通过简单的向量操作组合成最终的（主语、动词、宾语）表示。在两个既定的任务的及物动词建设我们的模型优于最近以前的工作。
2016-09-25 cs.CL
Bridging Compositional and Distributional Semantics: A Survey on Latent Semantic Geometry via AutoEncoder
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Idiap Research Institute（Idiap研究 institute）；Cancer Biomarker Centre, CRUK Manchester Institute（CRUK曼彻斯特癌症生物标志物中心）
本文探讨如何通过自编码器架构弥合组合式与分布式语义的差距，分析三种主流自编码器在语义结构和可解释性上的独特潜在几何特性。
2026-04-15 cs.CL
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford（牛津大学）；University of Trento（特伦托大学）；University of Tokyo（东京大学）
我们提出了一个与Coecke等人（2010）的框架相关的组合分布语义模型，并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法，推广了Baroni和Zamparelli（2010）的方法。我们在两个基准数据集上对其进行了评估，发现它优于现有的领先方法。在我们的分析中，我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Applying Distributional Compositional Categorical Models of Meaning to Language Translation
University of Oxford（牛津大学）
本文的目的是双重的：首先，我们将使用向量空间分布的成分分类模型的意义比较的意义在爱尔兰语和英语（从而确定当一个句子是另一个句子的翻译）使用余弦相似性得分。然后，我们将概述一个程序，翻译名词通过理解他们的上下文，使用认知的概念空间模型。我们将在类别ConvexRel上使用度量来确定概念之间的距离（并确定名词何时是另一个名词的翻译）。本文将重点介绍爱尔兰语的应用，爱尔兰语是盖尔语家族的一员。
2018-11-08 cs.CL
Conversational Negation using Worldly Context in Compositional Distributional Semantics
University of Oxford（牛津大学）
我们提出了一个框架来模拟一个操作会话否定应用世界的背景下（先验知识）的逻辑否定成分分布语义。给定一个词，我们的框架可以创建它的否定，这类似于人类感知否定的方式。该框架纠正了逻辑否定，使蕴涵层次中较近的意义比较远的意义更重要。所提出的框架是灵活的，以适应不同的选择的逻辑否定，成分，和世俗的背景下产生。特别是，我们提出并激励一个新的逻辑否定使用矩阵逆。我们通过实验验证了我们的会话否定框架的敏感性，利用密度矩阵来编码分级蕴涵信息。我们的结论是，减法否定和相位器的组合在否定词的基础上产生最高的皮尔逊相关系数为0.635与人类的评级。
2021-05-12 cs.CL math.CT quant-ph
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University（捷克技术大学）；University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）
最近的工作组合分布模型表明，双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间，因此计算成本很高。在本文中，我们克服了这个问题，考虑模糊版本的量词沿线的扎德，在许多值的关系的范畴内。我们表明，这一类是一个具体的实例组成的分布模型。我们表明，在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此，我们现在能够处理模糊量化，而不需要幂集构造。
2021-09-23 cs.CL
Compositional Distributional Cognition
University of Oxford（牛津大学）
我们将[32]的整合联结主义/符号架构（ICS）容纳在[13]的范畴组合语义（CatCo）中，形成了范畴组合认知（CatCog）的模型。这解决了ICS的内在问题，例如表示存在于无限空间中以及具有不同树结构的句子不能直接比较的事实。我们这样做的方式，使大部分的语法结构可用，而不是像循环卷积的策略。使用CatCo模型还允许我们利用为CatCo开发的工具，例如通过密度矩阵表示歧义和逻辑推理，单词的结构意义，如关系代词，以及寻址过度和欠扩展，所有这些都存在于认知过程中。此外，CatCog框架足够灵活，允许完全不同的意义表示，例如概念空间。有趣的是，由于CatCo模型在很大程度上受到分类量子力学的启发，CatCog也是如此。
2016-08-12 cs.AI cs.CL math.CT
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Towards a Formal Distributional Semantics: Simulating Logical Calculi with Tensors
University of Oxford（牛津大学）
语义的组合分布模型的发展调和了分布语义的经验方面与形式语义的组合方面，是当代文献中的一个热门话题。本文旨在通过展示如何使用组合分布模型中常用的数学结构（如张量和矩阵）来模拟谓词逻辑的不同方面，进一步实现这种和解。本文讨论了如何利用张量和多线性映射之间的规范同构来模拟一个成熟的无量词谓词演算使用张量。它提供了一组逻辑连接词的张量解释，这些逻辑连接词是建模命题演算所必需的。它提出了这些张量演算的一个变体，能够使用很少的非线性运算来模拟量词。最后讨论了这些变体之间的关系，以及这种关系如何构成未来工作的主题。
2013-04-28 cs.CL cs.LO math.LO
Compositional Distributional Semantics with Long Short Term Memory
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个扩展的递归神经网络，利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器（“存储单元”）中，并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案，并允许网络捕获长范围依赖性。实验结果表明，我们的组合优于传统的神经网络组成斯坦福情绪树库。
2015-04-17 cs.AI cs.CL cs.LG
Compositional Distributional Semantics with Compact Closed Categories and Frobenius Algebras
Wolfson College（沃尔夫森学院）
本论文有助于正在进行的研究相关的范畴组合模型的自然语言的Coecke，Sadrzadeh和克拉克在三个方面：首先，我提出了一个具体的实例化的抽象框架的基础上Frobenius代数（联合工作与Sadrzadeh）。该理论改进了以前的建议的缺点，扩展了语言的覆盖范围，并得到了实验工作的支持，改善了现有的结果。建议的框架描述了一类新的组合模型，找到一些语言现象的直观解释。其次，我提出并在实践中评估一个新的组成方法，明确处理不同层次的词汇歧义（与普尔曼联合工作）。在此基础上，提出了一种基于向量消歧与合成分离的具体算法。广泛的实验工作表明，所提出的方法确实导致更准确的复合表示的Coecke等人的框架。特别是和其他类别的组成模型一般。作为最后一个贡献，我正式的明确治疗词汇歧义的范畴框架的背景下，诉诸范畴量子力学（联合工作Coecke）。在所提出的扩展中，分布向量的概念被替换为密度矩阵的概念，该密度矩阵表示特定单词的潜在不同含义的概率分布。构成采用量子测量的形式，导致量子物理学和语言学之间有趣的类比。
2015-05-01 cs.AI cs.CL math.CT
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics
Institute for Theoretical Physics（理论物理研究所）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Department of Mathematics（数学系）
为了给基于向量的意义表示更多的结构，一种方法是使用半正定（psd）矩阵。这些使我们能够对单词的相似性以及上下义关系或is-a关系进行建模。在给定的向量空间$M\otimes M^*$中，Psd矩阵可以相对容易地学习，但是要组成单词以形成短语和句子，我们需要在更大的空间中表示。在本文中，我们介绍了一种通用的方法来组成psd矩阵对应的话。我们建议将动词、形容词和其他功能词的PSD矩阵提升到与其语法类型相匹配的完全正（CP）映射。这种提升是由我们的组合规则进行的，称为压缩，压缩。与之前的合成规则（如Fuzz和Phaser）相比，KMult和BMult），Compr保持上下义关系。在数学上，Compr本身是一个CP映射，因此是线性的，一般是不可交换的。我们给出了一些建议的结构的Compr，基于蜘蛛，杯子和帽子，并产生一系列的组成规则。我们在一个小的句子蕴涵数据集上测试了这些规则，并看到了Fuzz和Phaser的性能有所改善。
2020-05-29 cs.CL math.CT
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
"Not not bad" is not "bad": A distributional account of negation
University of Oxford（牛津大学）
随着组合语义的分布式模型越来越多的经验成功，现在是时候考虑这种模型能够捕获的文本逻辑类型了。在本文中，我们解决的缺点，目前的模型捕捉逻辑运算，如否定的能力。作为一个解决方案，我们提出了一个连续的向量空间表示的语义和随后使用这种表示开发一个正式的组成概念的否定在这样的模型的三方制定。
2013-06-10 cs.CL
Short-Term Meaning Shift: A Distributional Exploration
University of Amsterdam（阿姆斯特丹大学）；Universitat Pompeu Fabra（庞培法布拉大学）
我们提出了第一次探索的意义转移在短时间内在网上社区使用分布表示。我们创建了一个小的注释数据集，并使用它来评估短期意义转移的意义转移检测的标准模型的性能。我们发现，该模型有问题区分意义转移的指称现象，并提出了一个衡量的上下文变异性，以弥补这一点。
2019-04-30 cs.CL
DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding
University College London（伦敦大学学院）
DisCoCLIP通过张量网络文本编码器显式编码句法结构，结合冻结的CLIP视觉变换器，以参数高效方式显著提升视觉-语言组合推理，如动词准确率提升至82.4%，SVO-Swap达93.7%。
2025-09-25 cs.AI cs.CL
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
From Logical to Distributional Models
LIRMM（蒙彼利埃计算机、机器人与微电子实验室）
本文通过将逻辑和推理从逻辑模型转移到分布式模型，介绍了自然语言的两种语义模型：逻辑函数模型和组合分布式向量空间模型。量子逻辑的几何运算被重新表述为向量上的代数运算。从函数模型到向量空间模型的映射使得逐字比较句子的含义成为可能。
2014-12-30 cs.CL cs.LO quant-ph
Investigating the Role of Prior Disambiguation in Deep-learning Compositional Models of Meaning
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文旨在探讨先验消歧对基于神经网络的合成模型的影响，以期产生更好的文本复合词的语义表示。我们在输入词向量被馈送到组合深度网络之前对其进行消歧。一系列的评估显示了这种深度模型的先验消歧的积极效果。
2014-11-15 cs.CL cs.LG cs.NE
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
A Typedriven Vector Semantics for Ellipsis with Anaphora using Lambek Calculus with Limited Contraction
Queen Mary University of London（伦敦玛丽女王大学）
基于Jäger（2006）的Lambek有限收缩演算（LCC），我们使用类型驱动的组合分布语义，为带回指的动词短语省略开发了一个向量空间语义。分布语义学对实词的统计搭配意义有很多解释，但对如何处理虚词却没有提供什么指导。另一方面，形式语义学有强大的机制来处理关系代词、协调词等。类型驱动的组合分布语义将这两个模型结合在一起。我们回顾了Coecke等人（2010，2013）的DisCoCat框架中关系代词，协调和省略的限制性解释的先前组成分布模型。我们展示了DisCoCat如何无法处理依赖于信息复制的一般形式的省略，并通过以Muskens & Sadrzadeh（2016）的风格将向量可解释的lambda项分配给LCC的派生，开发了一种将类型语法与分布语义联系起来的新方法。下面是对（动词短语）省略的解释，在省略中，词义可以被复制：句子的意义现在是一个程序，可以非线性地访问单个词嵌入。我们提出的理论设置，工作的例子，并证明我们的结果的玩具分布模型的数据。
2019-05-05 cs.AI cs.CL cs.LO
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）
提出统一的神经符号系统Differentiable Tree Machine的改进方法，通过稀疏向量表示提升效率并扩展至seq2seq问题，在保留泛化能力的同时避免传统符号计算缺陷。
2024-12-18 cs.AI cs.CL
Minimum Description Length and Compositionality
我们提出了一个非空洞的组合性的定义。它基于最小描述长度原则与组合性的原始定义（即整体的意义是部分意义的函数）相结合的思想。新的定义是直观的，并允许我们区分组合和非组合语义，以及惯用和非惯用表达式。它不是特别的，因为它没有对意义函数的非内在属性（如多项式）进行任何引用。此外，它允许我们比较不同的意义功能，就如何组成它们。它将语言学和基于语料库的统计方法与自然语言理解联系起来。
2000-01-04 cs.AI cs.CL
One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations
Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言单位联结成连贯的语篇。然而，自动识别话语关系是困难的，因为它需要理解所链接的论元的语义。一个更微妙的挑战是，仅仅表示话语关系中每个论元的意义是不够的，因为话语关系可能依赖于较低层次组件之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系的预测从分布表示的论点，也是他们的共指实体提及。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2014-11-25 cs.CL cs.LG
A Compositional Explanation of the Pet Fish Phenomenon
University of Oxford（牛津大学）
"观赏鱼"现象经常被引用为人类概念使用的"非组合性"的范例。我们在这里展示了这种现象是如何自然地容纳在一个组成的分布模型的意义。该模型通过解释其成分之间的相互作用来描述复合概念的含义。我们给出了两个说明性的例子来说明定性现象是如何表现出来的。我们继续应用模型的实验数据，最后讨论扩展的形式主义。
2015-09-22 cs.AI cs.CL math.CT
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
Entity-Augmented Distributional Semantics for Discourse Relations
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言元素结合成连贯的语篇。然而，自动识别语篇关系是困难的，因为它需要理解连接句子的语义。一个更微妙的挑战是，仅仅表示话语关系中每个句子的含义是不够的，因为这种关系可能依赖于较低级别元素之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系不仅可以从句子的分布表征中预测，还可以从它们的共指实体提及中预测。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2015-04-28 cs.CL cs.LG
Evolving language compositionality in a frequency-structured meaning space
Université de Namur（那慕尔大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Bristol（布里斯托尔大学）
该研究通过迭代学习模型发现，频率分布在学习者可整体习得的形式-意义单元上时可塑造语言组合性，若分布在更小单元则会阻碍语言稳定传递。
2026-10-07 cs.CL
Modelling Lexical Ambiguity with Density Matrices
University of Amsterdam（阿姆斯特丹大学）；University of Bristol（布里斯托尔大学）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所(ILLC)）
单词可以有多种含义。意义的成分分布模型被认为可以很好地处理被称为一词多义的意义变化的细微差别，但不能很好地处理词源无关或同音异义的词义。从向量转移到密度矩阵，我们可以对一个词的不同意义上的概率分布进行编码，也可以适应意义的组成分布模型。在本文中，我们提出了三种新的神经模型，用于从语料库中学习密度矩阵，并测试了它们在一系列组合数据集上区分词义的能力。当与特定的组合方法配对时，我们的最佳模型优于现有的基于向量的组合模型以及强大的句子编码器。
2020-10-12 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Aligning Packed Dependency Trees: a theory of composition for distributional semantics
University of Sussex（苏塞克斯大学）
我们提出了一个新的框架组成的分布语义中的分布上下文的词素表示锚定包装依赖树。我们发现，这些结构有潜力捕捉完整的语义上下文的一个词素，并提供了一个统一的基础上组成的分布式知识的方式，捕捉相互消歧和泛化。
2016-08-25 cs.CL
Measuring non-trivial compositionality in emergent communication
University of Sussex（萨塞克斯大学）；Human Interactivity and Language Lab（人类交互与语言实验室）；Faculty of Psychology（心理学院）；University of Warsaw（华沙大学）
组合性是涌现交际和语言进化的重要解释对象。绝大多数的通信计算模型只解释了组合性的一种非常基本的形式：平凡组合性。如果一个复杂信号（例如蓝色圆圈）的含义归结为它的组成部分的含义的交集（例如蓝色对象集和圆圈集的交集），则合成协议是平凡合成的。如果一个复杂信号（例如最大的苹果）的含义是其组成部分含义的更复杂函数，则该协议是非平凡组合（NTC）的。在本文中，我们回顾了几个指标的组合性在紧急通信和实验表明，他们中的大多数未能检测NTC -即他们对待非平凡的组合性作为失败的组合性。一个例外是树重建错误，这是一个由组合性的正式账户激励的度量。这些结果强调了紧急通信研究的重要局限性，这可能会阻碍NTC出现的建模进展。
2020-10-29 cs.CL cs.LG cs.NE
Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
作用于词的分布表示以产生更大文本成分的向量的意义的深层组成模型正在演变为NLP研究的一个流行领域。我们详细介绍了一个组成的分布框架的基础上，丰富的形式的词嵌入，旨在促进在一个句子的上下文中的词之间的相互作用。嵌入层和组合层是针对通用目标联合学习的，该通用目标利用来自周围上下文的句法信息来增强向量。此外，每个单词都与许多意义相关联，其中最合理的是在合成过程中动态选择的。我们对所产生的载体进行了定性和定量的评价，并获得了积极的结果。在句子层面上，该框架的有效性证明了MSRPar任务，我们报告的结果在国家的最先进的范围内。
2015-08-13 cs.AI cs.CL cs.NE
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
Translation Indeterminacy and the Distributional Fallacy
Kent State University（肯特州立大学）
本文批判分布假设的因果倒置，提出翻译可仅凭跨语言分布对应关系成功，并基于生态-生成主义论证指称与意义需通过智能体-环境交互获得。
2026-09-09 cs.CL
Montague semantics and modifier consistency measurement in neural language models
National Biomarker Centre CRUK-MI（国家生物标志物中心（英国癌症研究中心医学研究所））；University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出基于蒙塔古语义的三种新测试，度量神经语言模型在形容词-名词组合中的一致性，发现现有模型不符合预期语言学理论，可能缺乏相关语义能力。
2024-12-18 cs.CL
Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models
Boston University（波士顿大学）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
人类的语言能力通常以组合性和它所能实现的概括为特征--人类学习者可以通过组合已知的部分来产生和理解新颖的复杂表达。几个基准测试在训练和测试中利用分布式控制来衡量合成泛化，其中某些词汇项仅在训练期间出现在有限的上下文中。虽然最近使用这些基准测试的工作表明，预训练模型实现了令人印象深刻的泛化性能，但我们认为，暴露于预训练数据可能会打破上述分布控制。使用Kim和Linzen（2020）的COGS基准，我们测试了两种改进的评估设置来控制这个问题：（1）用新的字符序列替换上下文控制的词汇项，以及（2）用由新的嵌入表示的特殊标记替换它们。我们发现，这两种设置都导致T5的泛化性能较低（Raffel et al.，2020年），这表明先前报道的结果被高估，由于不受控制的词汇暴露在预训练。对于新的嵌入，性能下降更极端，并且随着预训练数据的量而增加，突出了逆缩放的有趣情况。
2022-12-21 cs.CL
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
A Corpus-based Toy Model for DisCoCat
University of Oxford（牛津大学）
范畴成分分布（DiscoCat）模型的意义严格连接分布语义学和前组语法，并已发现了各种应用程序在计算语言学。从一个更抽象的角度来看，DisCoCat范式断言从语法到范畴语义的映射的构建。在这项工作中，我们提出了一个具体的建设这样的映射，从一个玩具模型的语法语料库注释的组成结构树，范畴语义发生在一类自由R-半模对合交换半环R。
2016-08-04 cs.CL cs.LO math.CT
A Multivariate Model for Representing Semantic Non-compositionality
Department of Computer Science（计算机科学系）
语义非合成短语是自然语言处理中一个非常有趣的研究课题。语义的非组合性是这类短语的主要特征，即短语的意义不能从其组成成分的意义中推导出来，但它们也具有高度的统计关联性和不可替代性。在这项工作中，我们提出了一个模型来识别非成分短语，考虑到所有这些特点。我们发现，所提出的模型显着优于现有的模型，主要集中在这些特征之一，确定非成分短语。
2019-08-15 cs.AI cs.CL
Experimenting with Transitive Verbs in a DisCoCat
University of Oxford（牛津大学）
形式化和分布式语义模型在建模意义方面提供了互补的优势。Coecke et al.（arXiv：1003.4394v1 [cs.CL]）的范畴成分分布（DisCoCat）意义模型结合了两者的方面，提供了一个一般框架，在这个框架中，单词的意义，分布获得，使用逻辑设置的方法组成句子意义。这种一般抽象背景的具体后果和对经验数据的应用正在积极研究中（Grefenstette等人，arxiv：1101.0309; Grefenstette and Sadrzadeh，arXiv：1106.4058v1 [cs.CL]）。.在本文中，我们扩展了这项研究，通过检查及物动词，表示为矩阵的DiscoCat。我们讨论了三种构建这种矩阵的方法，并在Grefenstette和Sadrzadeh开发的消歧任务中评估了每种方法（arXiv：1106.4058v1 [cs.CL]）。
2011-07-23 cs.CL math.CT
Interacting Conceptual Spaces I : Grammatical Composition of Concepts
University of Oxford（牛津大学）
语义的范畴组合方法已经成功地应用于自然语言处理中，在主流的经验语言处理任务中表现优于其他模型。我们展示了这种方法可以推广到认知的概念空间模型。为了做到这一点，首先，我们引入了类别的凸关系作为一个新的设置类别的组合语义，强调凸结构的重要概念空间的应用。然后，我们展示了如何构建各种类型的概念空间，如名词，形容词和动词。最后，我们通过例子展示了如何将概念系统地结合起来，从其组成部分的意义中建立复合短语的意义。这为认知的新组合方法提供了数学基础。
2017-09-29 cs.CL cs.LO
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
