Compositional Operators in Distributional Semantics
University of Oxford（牛津大学）
这项调查提出了一些详细的主要进展，最近发生在计算语言学的两个突出的语义范式的统一：成分形式语义观和基于向量空间的意义的分布模型。在介绍了这两种方法之后，我回顾了旨在提供分布式语义组合性的最重要的模型。然后，我继续并更详细地介绍了Coecke，Sadrzadeh和Clark（2010）基于范畴论的抽象数学设置的特定框架，作为一个更完整的例子，能够展示这种研究可以借鉴的技术和科学学科的多样性。本文最后讨论了重要的开放性问题，需要解决的研究人员在未来。
2014-01-21 cs.AI cs.CL math.CT
Coordination in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分类组合分布语义学的一个开放性问题是从分布的角度来看被认为是语义空洞的词的表示，例如限定词，介词，关系代词或协调词。同一句法类型之间的协调是语言中最常见的协调现象。通过利用紧凑的封闭结构的基础类别和Frobenius运营商规范诱导的固定基础上的有限维向量空间，我们提供了一个态射表示的协调员张量，我们展示了它如何升降机从原子类型的复合类型。语言的直觉，并讨论了作为除了紧凑的封闭设置方面的语言的Frobenius运营商的重要性。
2016-08-04 cs.AI cs.CL math.CT
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
Coecke，Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序，用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理，并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平，一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中，我们扩展的框架，以适应这些额外的信息，使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论，语调标记的话语的意义提供真值理论和分布语义，并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
A Factorized Model for Transitive Verbs in Compositional Distributional Semantics
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion, IIT（以色列理工学院）
我们提出了一个分解的成分分布语义模型来表示及物动词结构。我们的模型首先产生（主语，动词）和（动词，宾语）向量表示的基础上的相似性的建设中的名词的词汇和这些名词的倾向，以动词的主语和宾语的角色。然后，这些向量通过简单的向量操作组合成最终的（主语、动词、宾语）表示。在两个既定的任务的及物动词建设我们的模型优于最近以前的工作。
2016-09-25 cs.CL
Bridging Compositional and Distributional Semantics: A Survey on Latent Semantic Geometry via AutoEncoder
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Idiap Research Institute（Idiap研究 institute）；Cancer Biomarker Centre, CRUK Manchester Institute（CRUK曼彻斯特癌症生物标志物中心）
本文探讨如何通过自编码器架构弥合组合式与分布式语义的差距，分析三种主流自编码器在语义结构和可解释性上的独特潜在几何特性。
2026-04-15 cs.CL
Challenges for Distributional Compositional Semantics
Gorkana Group（戈卡纳集团）
本文总结了目前的最先进的研究在分布式语义的组合性，这一领域的主要挑战。我们挑出广义量词和内涵语义领域的理论发展的关注。一旦开发出合适的理论，就需要算法将理论应用于任务。评估是一个主要问题，我们挑出应用程序识别文本蕴涵和机器翻译为此目的。
2012-07-10 cs.AI cs.CL
Quantifier Scope in Categorical Compositional Distributional Semantics
Queen Mary University London（伦敦玛丽女王大学）
在以前的工作与J. Hedges，我们形式化的广义量词理论的自然语言的分类成分分布语义的帮助下，双代数。在本文中，我们将展示如何量词范围的歧义可以表示在该设置和这种表示可以推广到分支量词。
2016-08-04 cs.AI cs.CL cs.LO
Applying Distributional Compositional Categorical Models of Meaning to Language Translation
University of Oxford（牛津大学）
本文的目的是双重的：首先，我们将使用向量空间分布的成分分类模型的意义比较的意义在爱尔兰语和英语（从而确定当一个句子是另一个句子的翻译）使用余弦相似性得分。然后，我们将概述一个程序，翻译名词通过理解他们的上下文，使用认知的概念空间模型。我们将在类别ConvexRel上使用度量来确定概念之间的距离（并确定名词何时是另一个名词的翻译）。本文将重点介绍爱尔兰语的应用，爱尔兰语是盖尔语家族的一员。
2018-11-08 cs.CL
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford（牛津大学）；University of Trento（特伦托大学）；University of Tokyo（东京大学）
我们提出了一个与Coecke等人（2010）的框架相关的组合分布语义模型，并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法，推广了Baroni和Zamparelli（2010）的方法。我们在两个基准数据集上对其进行了评估，发现它优于现有的领先方法。在我们的分析中，我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University（捷克技术大学）；University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）
最近的工作组合分布模型表明，双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间，因此计算成本很高。在本文中，我们克服了这个问题，考虑模糊版本的量词沿线的扎德，在许多值的关系的范畴内。我们表明，这一类是一个具体的实例组成的分布模型。我们表明，在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此，我们现在能够处理模糊量化，而不需要幂集构造。
2021-09-23 cs.CL
Compositional Distributional Cognition
University of Oxford（牛津大学）
我们将[32]的整合联结主义/符号架构（ICS）容纳在[13]的范畴组合语义（CatCo）中，形成了范畴组合认知（CatCog）的模型。这解决了ICS的内在问题，例如表示存在于无限空间中以及具有不同树结构的句子不能直接比较的事实。我们这样做的方式，使大部分的语法结构可用，而不是像循环卷积的策略。使用CatCo模型还允许我们利用为CatCo开发的工具，例如通过密度矩阵表示歧义和逻辑推理，单词的结构意义，如关系代词，以及寻址过度和欠扩展，所有这些都存在于认知过程中。此外，CatCog框架足够灵活，允许完全不同的意义表示，例如概念空间。有趣的是，由于CatCo模型在很大程度上受到分类量子力学的启发，CatCog也是如此。
2016-08-12 cs.AI cs.CL math.CT
Graded Entailment for Compositional Distributional Semantics
Microsoft（微软）；University of Oxford（牛津大学）
自然语言的范畴成分分布模型提供了一个概念上有动机的过程来计算句子的意义，给定的语法结构和它的词的意义。这种方法在主流经验语言处理任务中的表现优于其他模型。然而，直到最近，它一直缺乏词汇蕴涵的关键特征--就像其他意义的分布模型一样。在本文中，我们解决了问题的蕴涵的范畴组合分布语义。利用抽象的范畴框架，我们可以改变我们对模型的选择。这使得引入蕴涵的概念，利用量子计算中部分知识的分类语义的想法。新的语言模型使用密度矩阵，我们引入了一种新的鲁棒的分级顺序捕捉概念之间的蕴涵强度。这种分级措施出现在一个一般框架的近似蕴涵，诱导任何交换幺半群。量子逻辑嵌入了我们的等级秩序。我们的主要定理表明，蕴涵强度升降机组成的句子水平，给出了一个下界的句子蕴涵。我们描述了分级蕴涵的基本性质，如连续性，并提供了一个计算蕴涵强度的过程。
2016-01-25 cs.AI cs.CL cs.LO
Mathematical Foundations for a Compositional Distributional Model of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
我们提出了一个数学框架，用于统一向量空间模型中的意义分布理论，以及语法类型的合成理论，其中我们依赖于Lambek引入的预群代数。这个数学框架使我们能够从句子成分的含义中计算出一个好类型句子的含义。具体地说，预群的类型约简被“提升”为范畴中的态射，这是一个将成分的意义转化为（良好类型的）整体的意义的过程。重要的是，整个句子的意义存在于一个空间中，独立于句子的语法结构。因此，内积可以用来比较任意句子的意义，就像它是用来比较分布模型中单词的意义一样。我们采用的数学结构允许一个纯粹的图解演算，它揭示了信息如何在句子中的单词之间流动，以构成整个句子的意义。我们的“分类模型”的一个变化，其中涉及约束标量的向量空间的布尔半环的结果在蒙塔格风格的布尔值语义。
2010-03-23 cs.CL cs.LO math.CT
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics
Institute for Theoretical Physics（理论物理研究所）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Department of Mathematics（数学系）
为了给基于向量的意义表示更多的结构，一种方法是使用半正定（psd）矩阵。这些使我们能够对单词的相似性以及上下义关系或is-a关系进行建模。在给定的向量空间$M\otimes M^*$中，Psd矩阵可以相对容易地学习，但是要组成单词以形成短语和句子，我们需要在更大的空间中表示。在本文中，我们介绍了一种通用的方法来组成psd矩阵对应的话。我们建议将动词、形容词和其他功能词的PSD矩阵提升到与其语法类型相匹配的完全正（CP）映射。这种提升是由我们的组合规则进行的，称为压缩，压缩。与之前的合成规则（如Fuzz和Phaser）相比，KMult和BMult），Compr保持上下义关系。在数学上，Compr本身是一个CP映射，因此是线性的，一般是不可交换的。我们给出了一些建议的结构的Compr，基于蜘蛛，杯子和帽子，并产生一系列的组成规则。我们在一个小的句子蕴涵数据集上测试了这些规则，并看到了Fuzz和Phaser的性能有所改善。
2020-05-29 cs.CL math.CT
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona（亚利桑那大学）
本文构建包含1,304对句子的合成数据集SICCK，通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力，发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
Compositional Distributional Semantics with Compact Closed Categories and Frobenius Algebras
Wolfson College（沃尔夫森学院）
本论文有助于正在进行的研究相关的范畴组合模型的自然语言的Coecke，Sadrzadeh和克拉克在三个方面：首先，我提出了一个具体的实例化的抽象框架的基础上Frobenius代数（联合工作与Sadrzadeh）。该理论改进了以前的建议的缺点，扩展了语言的覆盖范围，并得到了实验工作的支持，改善了现有的结果。建议的框架描述了一类新的组合模型，找到一些语言现象的直观解释。其次，我提出并在实践中评估一个新的组成方法，明确处理不同层次的词汇歧义（与普尔曼联合工作）。在此基础上，提出了一种基于向量消歧与合成分离的具体算法。广泛的实验工作表明，所提出的方法确实导致更准确的复合表示的Coecke等人的框架。特别是和其他类别的组成模型一般。作为最后一个贡献，我正式的明确治疗词汇歧义的范畴框架的背景下，诉诸范畴量子力学（联合工作Coecke）。在所提出的扩展中，分布向量的概念被替换为密度矩阵的概念，该密度矩阵表示特定单词的潜在不同含义的概率分布。构成采用量子测量的形式，导致量子物理学和语言学之间有趣的类比。
2015-05-01 cs.AI cs.CL math.CT
Compositional Distributional Semantics with Long Short Term Memory
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个扩展的递归神经网络，利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器（“存储单元”）中，并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案，并允许网络捕获长范围依赖性。实验结果表明，我们的组合优于传统的神经网络组成斯坦福情绪树库。
2015-04-17 cs.AI cs.CL cs.LG
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了SentiBERT，一个变种的BERT，有效地捕捉成分的情感语义。该模型结合上下文表示和二元选区分析树来捕获语义组合。综合实验表明，SentiBERT在短语级情感分类上取得了有竞争力的性能。我们进一步证明了从SST上的短语级注释中学习到的情感成分可以转移到其他情感分析任务以及相关任务，例如情感分类任务。此外，我们进行消融研究和设计可视化方法来了解SentiBERT。我们表明，SentiBERT是优于基线方法在捕捉否定和对比关系和模型的成分情感语义。
2020-05-21 cs.CL
Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
逻辑否定属性（LNP）是一个值得信赖的语言模型必须满足的重要属性，它意味着对语义相反的输入生成不同的预测。然而，最近的证据表明，大规模的预训练语言模型（PLM）不满足这一属性。在本文中，我们使用探测任务进行实验，以评估PLM的LNP理解。与以往的研究只考察否定表达不同，本文将研究的范围扩大到词汇语义。通过实验，我们观察到PLM经常违反LNP。为了缓解这个问题，我们提出了一种新的中间训练任务，名称意义匹配，旨在直接学习意义-文本对应，而不是依赖于分布假设。通过多个实验，我们发现，该任务使PLM学习词汇语义信息。此外，通过对7个GLUE任务的微调实验，我们确认它是一个安全的中间任务，保证了下游任务的类似或更好的性能。最后，我们观察到，我们提出的方法优于我们以前的同行，尽管它的时间和资源效率。
2022-05-08 cs.AI cs.CL
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding
University College London（伦敦大学学院）
DisCoCLIP通过张量网络文本编码器显式编码句法结构，结合冻结的CLIP视觉变换器，以参数高效方式显著提升视觉-语言组合推理，如动词准确率提升至82.4%，SVO-Swap达93.7%。
2025-09-25 cs.AI cs.CL
Towards a Formal Distributional Semantics: Simulating Logical Calculi with Tensors
University of Oxford（牛津大学）
语义的组合分布模型的发展调和了分布语义的经验方面与形式语义的组合方面，是当代文献中的一个热门话题。本文旨在通过展示如何使用组合分布模型中常用的数学结构（如张量和矩阵）来模拟谓词逻辑的不同方面，进一步实现这种和解。本文讨论了如何利用张量和多线性映射之间的规范同构来模拟一个成熟的无量词谓词演算使用张量。它提供了一组逻辑连接词的张量解释，这些逻辑连接词是建模命题演算所必需的。它提出了这些张量演算的一个变体，能够使用很少的非线性运算来模拟量词。最后讨论了这些变体之间的关系，以及这种关系如何构成未来工作的主题。
2013-04-28 cs.CL cs.LO math.LO
Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering
针对大语言模型在三值逻辑问答中的否定不一致和认知未知问题，提出一种轻量级测试时解码层CGD-PD，通过神经三值分类、符号否定一致性投影和定向二值蕴含探测，在FOLIO数据集上提升准确率4.4-6.8点并减少未知预测。
2026-05-26 cs.AI cs.CL cs.LO
A Compositional Explanation of the Pet Fish Phenomenon
University of Oxford（牛津大学）
"观赏鱼"现象经常被引用为人类概念使用的"非组合性"的范例。我们在这里展示了这种现象是如何自然地容纳在一个组成的分布模型的意义。该模型通过解释其成分之间的相互作用来描述复合概念的含义。我们给出了两个说明性的例子来说明定性现象是如何表现出来的。我们继续应用模型的实验数据，最后讨论扩展的形式主义。
2015-09-22 cs.AI cs.CL math.CT
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）
提出统一的神经符号系统Differentiable Tree Machine的改进方法，通过稀疏向量表示提升效率并扩展至seq2seq问题，在保留泛化能力的同时避免传统符号计算缺陷。
2024-12-18 cs.AI cs.CL
Modelling Lexical Ambiguity with Density Matrices
University of Amsterdam（阿姆斯特丹大学）；University of Bristol（布里斯托尔大学）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所(ILLC)）
单词可以有多种含义。意义的成分分布模型被认为可以很好地处理被称为一词多义的意义变化的细微差别，但不能很好地处理词源无关或同音异义的词义。从向量转移到密度矩阵，我们可以对一个词的不同意义上的概率分布进行编码，也可以适应意义的组成分布模型。在本文中，我们提出了三种新的神经模型，用于从语料库中学习密度矩阵，并测试了它们在一系列组合数据集上区分词义的能力。当与特定的组合方法配对时，我们的最佳模型优于现有的基于向量的组合模型以及强大的句子编码器。
2020-10-12 cs.CL
One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations
Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言单位联结成连贯的语篇。然而，自动识别话语关系是困难的，因为它需要理解所链接的论元的语义。一个更微妙的挑战是，仅仅表示话语关系中每个论元的意义是不够的，因为话语关系可能依赖于较低层次组件之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系的预测从分布表示的论点，也是他们的共指实体提及。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2014-11-25 cs.CL cs.LG
Aligning Packed Dependency Trees: a theory of composition for distributional semantics
University of Sussex（苏塞克斯大学）
我们提出了一个新的框架组成的分布语义中的分布上下文的词素表示锚定包装依赖树。我们发现，这些结构有潜力捕捉完整的语义上下文的一个词素，并提供了一个统一的基础上组成的分布式知识的方式，捕捉相互消歧和泛化。
2016-08-25 cs.CL
Entity-Augmented Distributional Semantics for Discourse Relations
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言元素结合成连贯的语篇。然而，自动识别语篇关系是困难的，因为它需要理解连接句子的语义。一个更微妙的挑战是，仅仅表示话语关系中每个句子的含义是不够的，因为这种关系可能依赖于较低级别元素之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系不仅可以从句子的分布表征中预测，还可以从它们的共指实体提及中预测。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2015-04-28 cs.CL cs.LG
Relations, Negations, and Numbers: Looking for Logic in Generative Text-to-Image Models
Harvard University（哈佛大学）
该研究考察生成式文本到图像模型在关系、否定和数字三类逻辑运算符上的表现，发现DALL-E 3相关生成图像的人类一致同意分数均未可靠超50%，评估的“基于基础的扩散”管道性能更差，通过辅助分析明确原因并提出改进建议。
2024-11-26 cs.CL cs.CV cs.SC
Montague semantics and modifier consistency measurement in neural language models
National Biomarker Centre CRUK-MI（国家生物标志物中心（英国癌症研究中心医学研究所））；University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出基于蒙塔古语义的三种新测试，度量神经语言模型在形容词-名词组合中的一致性，发现现有模型不符合预期语言学理论，可能缺乏相关语义能力。
2024-12-18 cs.CL
Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models
Boston University（波士顿大学）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
人类的语言能力通常以组合性和它所能实现的概括为特征--人类学习者可以通过组合已知的部分来产生和理解新颖的复杂表达。几个基准测试在训练和测试中利用分布式控制来衡量合成泛化，其中某些词汇项仅在训练期间出现在有限的上下文中。虽然最近使用这些基准测试的工作表明，预训练模型实现了令人印象深刻的泛化性能，但我们认为，暴露于预训练数据可能会打破上述分布控制。使用Kim和Linzen（2020）的COGS基准，我们测试了两种改进的评估设置来控制这个问题：（1）用新的字符序列替换上下文控制的词汇项，以及（2）用由新的嵌入表示的特殊标记替换它们。我们发现，这两种设置都导致T5的泛化性能较低（Raffel et al.，2020年），这表明先前报道的结果被高估，由于不受控制的词汇暴露在预训练。对于新的嵌入，性能下降更极端，并且随着预训练数据的量而增加，突出了逆缩放的有趣情况。
2022-12-21 cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
作用于词的分布表示以产生更大文本成分的向量的意义的深层组成模型正在演变为NLP研究的一个流行领域。我们详细介绍了一个组成的分布框架的基础上，丰富的形式的词嵌入，旨在促进在一个句子的上下文中的词之间的相互作用。嵌入层和组合层是针对通用目标联合学习的，该通用目标利用来自周围上下文的句法信息来增强向量。此外，每个单词都与许多意义相关联，其中最合理的是在合成过程中动态选择的。我们对所产生的载体进行了定性和定量的评价，并获得了积极的结果。在句子层面上，该框架的有效性证明了MSRPar任务，我们报告的结果在国家的最先进的范围内。
2015-08-13 cs.AI cs.CL cs.NE
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多NLP任务都受益于从上下文化的词嵌入中转移知识，然而，转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术（计数短语），成分语义（否定和语义角色标注），词汇语义（反义词和反义），确定了微调的RoBERTa，BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时，模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分，在最难的问题类上提高了42.1分。结果表明，RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
A Typedriven Vector Semantics for Ellipsis with Anaphora using Lambek Calculus with Limited Contraction
Queen Mary University of London（伦敦玛丽女王大学）
基于Jäger（2006）的Lambek有限收缩演算（LCC），我们使用类型驱动的组合分布语义，为带回指的动词短语省略开发了一个向量空间语义。分布语义学对实词的统计搭配意义有很多解释，但对如何处理虚词却没有提供什么指导。另一方面，形式语义学有强大的机制来处理关系代词、协调词等。类型驱动的组合分布语义将这两个模型结合在一起。我们回顾了Coecke等人（2010，2013）的DisCoCat框架中关系代词，协调和省略的限制性解释的先前组成分布模型。我们展示了DisCoCat如何无法处理依赖于信息复制的一般形式的省略，并通过以Muskens & Sadrzadeh（2016）的风格将向量可解释的lambda项分配给LCC的派生，开发了一种将类型语法与分布语义联系起来的新方法。下面是对（动词短语）省略的解释，在省略中，词义可以被复制：句子的意义现在是一个程序，可以非线性地访问单个词嵌入。我们提出的理论设置，工作的例子，并证明我们的结果的玩具分布模型的数据。
2019-05-05 cs.AI cs.CL cs.LO
From Logical to Distributional Models
LIRMM（蒙彼利埃计算机、机器人与微电子实验室）
本文通过将逻辑和推理从逻辑模型转移到分布式模型，介绍了自然语言的两种语义模型：逻辑函数模型和组合分布式向量空间模型。量子逻辑的几何运算被重新表述为向量上的代数运算。从函数模型到向量空间模型的映射使得逐字比较句子的含义成为可能。
2014-12-30 cs.CL cs.LO quant-ph
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
An algebraic approach to translating Japanese
The University of Manchester（曼彻斯特大学）
本文基于Lambek预群与DisCoCat框架，将日英翻译建模为函子对，并通过预群装饰机制处理语言间的语序变化。
2023-03-10 cs.CL math.CT
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
Experimenting with Transitive Verbs in a DisCoCat
University of Oxford（牛津大学）
形式化和分布式语义模型在建模意义方面提供了互补的优势。Coecke et al.（arXiv：1003.4394v1 [cs.CL]）的范畴成分分布（DisCoCat）意义模型结合了两者的方面，提供了一个一般框架，在这个框架中，单词的意义，分布获得，使用逻辑设置的方法组成句子意义。这种一般抽象背景的具体后果和对经验数据的应用正在积极研究中（Grefenstette等人，arxiv：1101.0309; Grefenstette and Sadrzadeh，arXiv：1106.4058v1 [cs.CL]）。.在本文中，我们扩展了这项研究，通过检查及物动词，表示为矩阵的DiscoCat。我们讨论了三种构建这种矩阵的方法，并在Grefenstette和Sadrzadeh开发的消歧任务中评估了每种方法（arXiv：1106.4058v1 [cs.CL]）。
2011-07-23 cs.CL math.CT
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
Composing or Not Composing? Towards Distributional Construction Grammars
Laboratoire Parole et Langage, CNRS, France（法国语言与语言实验室，CNRS）；Department of Languages, Literatures and Modern Cultures, University of Bologna, Italy（博洛尼亚大学语言、文学与现代文化系）；Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University, Hong Kong（香港理工大学中文与双语研究系）；Department of Philology, Literature, and Linguistics, University of Pisa（比萨大学语言学、文学与语言学系）；ILCB - Institute of Language, Communication and the Brain, France（法国语言、交流与大脑研究所）
本文提出分布式构式语法框架，结合组合与非组合方法，通过特征结构表示和激活机制构建语言意义。
2025-11-04 cs.CL
A Comparative Investigation of Compositional Syntax and Semantics in DALL-E 2
University of Texas Health Science Center at Houston（休斯顿德克萨斯大学健康科学中心）；Smith College（史密斯学院）
本研究比较DALL-E 2与2-7岁儿童在理解测试中的语义表现，发现DALL-E 2在所有条件下均未达到儿童水平，尤其在可逆句、否定、形容词归属和被动句上失败，表明其缺乏组合性句子表征。
2024-03-18 cs.CL
Lexical and Derivational Meaning in Vector-Based Models of Relativisation
Utrecht University（乌得勒支大学）；Queen Mary University of London（伦敦玛丽女王大学）
Sadrzadeh et al（2013）根据有限维向量空间的Frobenius代数结构提出了英语关系从句的成分分布分析。分析依赖于不同的类型分配和词汇配方的主体与客体的相对化。荷兰语的情况则不同：由于荷兰语的动词词尾性质，关系从句在主语与宾语的相对化阅读之间是模糊的。使用一个扩展版本的Lambek演算，我们提出了一个组成的分布框架，占这种派生的歧义，并允许我们给一个单一的意义配方的相对代词调和Frobenius语义与荷兰派生语法的要求。
2017-12-01 cs.CL
Open-Vocabulary Semantic Parsing with both Distributional Statistics and Formal Knowledge
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
传统的语义解析器将语言映射到固定模式中的组合可执行查询。这种映射使他们能够有效地利用大型正式知识库（KB）中包含的信息，Freebase）来回答问题，但它也有根本性的限制--这些语义解析器只能为属于KB手动生成的模式的语言分配含义。最近提出的开放式词汇表语义解析方法通过学习任意语言的执行模型来克服这一限制，基本上使用文本语料库作为一种知识库。然而，所有先前的开放词汇表语义解析方法都用文本信息替换了正式的KB，在它们的模型中没有使用KB。我们展示了如何结合这两种方法所使用的不同的表示，首次提出了一个语义解析器，（1）产生成分，可执行的语言表示，（2）可以成功地利用包含在一个正式的知识库和大型语料库的信息，（3）不限于底层知识库的模式。我们展示了显着提高性能的最先进的基线上的一个开放域的自然语言问答任务。
2016-11-28 cs.CL
