Graded Entailment for Compositional Distributional Semantics
Microsoft（微软）；University of Oxford（牛津大学）
自然语言的范畴成分分布模型提供了一个概念上有动机的过程来计算句子的意义，给定的语法结构和它的词的意义。这种方法在主流经验语言处理任务中的表现优于其他模型。然而，直到最近，它一直缺乏词汇蕴涵的关键特征--就像其他意义的分布模型一样。在本文中，我们解决了问题的蕴涵的范畴组合分布语义。利用抽象的范畴框架，我们可以改变我们对模型的选择。这使得引入蕴涵的概念，利用量子计算中部分知识的分类语义的想法。新的语言模型使用密度矩阵，我们引入了一种新的鲁棒的分级顺序捕捉概念之间的蕴涵强度。这种分级措施出现在一个一般框架的近似蕴涵，诱导任何交换幺半群。量子逻辑嵌入了我们的等级秩序。我们的主要定理表明，蕴涵强度升降机组成的句子水平，给出了一个下界的句子蕴涵。我们描述了分级蕴涵的基本性质，如连续性，并提供了一个计算蕴涵强度的过程。
2016-01-25 cs.AI cs.CL cs.LO
Challenges for Distributional Compositional Semantics
Gorkana Group（戈卡纳集团）
本文总结了目前的最先进的研究在分布式语义的组合性，这一领域的主要挑战。我们挑出广义量词和内涵语义领域的理论发展的关注。一旦开发出合适的理论，就需要算法将理论应用于任务。评估是一个主要问题，我们挑出应用程序识别文本蕴涵和机器翻译为此目的。
2012-07-10 cs.AI cs.CL
Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
Interacting Conceptual Spaces
University of Oxford（牛津大学）
我们建议将[6]的范畴组合方案应用于认知的概念空间模型。为了做到这一点，我们引入了类别的凸关系作为一个新的设置分类组合语义，强调凸结构的重要概念空间的应用。我们展示了如何概念空间的复合类型，如形容词和动词可以构建。我们通过详细的示例来说明这个新模型。
2016-08-04 cs.AI cs.CL cs.LO
Compositional Distributional Cognition
University of Oxford（牛津大学）
我们将[32]的整合联结主义/符号架构（ICS）容纳在[13]的范畴组合语义（CatCo）中，形成了范畴组合认知（CatCog）的模型。这解决了ICS的内在问题，例如表示存在于无限空间中以及具有不同树结构的句子不能直接比较的事实。我们这样做的方式，使大部分的语法结构可用，而不是像循环卷积的策略。使用CatCo模型还允许我们利用为CatCo开发的工具，例如通过密度矩阵表示歧义和逻辑推理，单词的结构意义，如关系代词，以及寻址过度和欠扩展，所有这些都存在于认知过程中。此外，CatCog框架足够灵活，允许完全不同的意义表示，例如概念空间。有趣的是，由于CatCo模型在很大程度上受到分类量子力学的启发，CatCog也是如此。
2016-08-12 cs.AI cs.CL math.CT
Towards a Formal Distributional Semantics: Simulating Logical Calculi with Tensors
University of Oxford（牛津大学）
语义的组合分布模型的发展调和了分布语义的经验方面与形式语义的组合方面，是当代文献中的一个热门话题。本文旨在通过展示如何使用组合分布模型中常用的数学结构（如张量和矩阵）来模拟谓词逻辑的不同方面，进一步实现这种和解。本文讨论了如何利用张量和多线性映射之间的规范同构来模拟一个成熟的无量词谓词演算使用张量。它提供了一组逻辑连接词的张量解释，这些逻辑连接词是建模命题演算所必需的。它提出了这些张量演算的一个变体，能够使用很少的非线性运算来模拟量词。最后讨论了这些变体之间的关系，以及这种关系如何构成未来工作的主题。
2013-04-28 cs.CL cs.LO math.LO
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona（亚利桑那大学）
本文构建包含1,304对句子的合成数据集SICCK，通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力，发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Interacting Conceptual Spaces I : Grammatical Composition of Concepts
University of Oxford（牛津大学）
语义的范畴组合方法已经成功地应用于自然语言处理中，在主流的经验语言处理任务中表现优于其他模型。我们展示了这种方法可以推广到认知的概念空间模型。为了做到这一点，首先，我们引入了类别的凸关系作为一个新的设置类别的组合语义，强调凸结构的重要概念空间的应用。然后，我们展示了如何构建各种类型的概念空间，如名词，形容词和动词。最后，我们通过例子展示了如何将概念系统地结合起来，从其组成部分的意义中建立复合短语的意义。这为认知的新组合方法提供了数学基础。
2017-09-29 cs.CL cs.LO
Compositional Distributional Semantics with Compact Closed Categories and Frobenius Algebras
Wolfson College（沃尔夫森学院）
本论文有助于正在进行的研究相关的范畴组合模型的自然语言的Coecke，Sadrzadeh和克拉克在三个方面：首先，我提出了一个具体的实例化的抽象框架的基础上Frobenius代数（联合工作与Sadrzadeh）。该理论改进了以前的建议的缺点，扩展了语言的覆盖范围，并得到了实验工作的支持，改善了现有的结果。建议的框架描述了一类新的组合模型，找到一些语言现象的直观解释。其次，我提出并在实践中评估一个新的组成方法，明确处理不同层次的词汇歧义（与普尔曼联合工作）。在此基础上，提出了一种基于向量消歧与合成分离的具体算法。广泛的实验工作表明，所提出的方法确实导致更准确的复合表示的Coecke等人的框架。特别是和其他类别的组成模型一般。作为最后一个贡献，我正式的明确治疗词汇歧义的范畴框架的背景下，诉诸范畴量子力学（联合工作Coecke）。在所提出的扩展中，分布向量的概念被替换为密度矩阵的概念，该密度矩阵表示特定单词的潜在不同含义的概率分布。构成采用量子测量的形式，导致量子物理学和语言学之间有趣的类比。
2015-05-01 cs.AI cs.CL math.CT
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
Logical Inferences with Comparatives and Generalized Quantifiers
Ochanomizu University（御茶水女子大学）；Keio University（庆应义塾大学）
比较构式是自然语言推理中的一个难题，它的任务是确定文本是否包含假设。比较级在结构上是复杂的，因为它们与其他语言现象，如量词，数词和词汇反义词相互作用。在形式语义学中，有大量关于比较级和等级表达式的工作使用了度的概念。然而，一个逻辑推理系统的比较还没有得到充分的发展，用于在NLI任务。在本文中，我们提出了一个组合语义，映射各种比较结构在英语中的语义表示，通过组合范畴语法（CCG）解析器，并结合它与推理系统的基础上自动定理证明。我们评估我们的系统在三个NLI数据集，包含复杂的逻辑推理比较，广义量词和数字。我们表明，该系统优于以前的基于逻辑的系统以及最近的基于深度学习的模型。
2020-05-16 cs.CL
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而，迄今为止，它缺乏一个逻辑否定的模式。本文给出了一些步骤，提供这个操作，它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
A Deductive Account of Quantification in LFG
词汇功能语法（LFG）的句子功能结构（f-结构）与语义解释之间的关系可以直接用线性逻辑的片段来表达，从而正确解释了量词辖域歧义与约束回指之间的制约关系。使用演绎框架来解释自然语言中量化表达式的组成属性，消除了对其他机制（如Cooper存储）的需要，以表示量词可能采取的不同范围。相反，量词的语义贡献被记录为一个普通的逻辑公式，它在证明中的使用将建立量词的范围。线性逻辑的属性确保每个量词的作用域只被限定一次。我们对量词辖域的分析可以被看作是对Pereira分析（Pereira，1991）的重铸，后者是用高阶直觉主义逻辑表达的。但我们对LFG和线性逻辑的使用为至少相同范围的现象提供了更直接、计算上更灵活的解释机制。我们已经开发了一个初步的Prolog实现的线性扣除在这项工作中所描述的。
1994-05-27 cmp-lg cs.CL
A Markov Categorical Framework for Language Modeling
Princeton University（普林斯顿大学）
本文提出一个马尔可夫范畴框架，从信息处理阶段分析语言模型的生成过程，解释训练如何塑造表示，并揭示表示如何支持复杂行为。
2026-05-13 cs.AI cs.CL cs.LG
Categories of Semantic Concepts
University of Oxford（牛津大学）；HKU-Oxford Joint Laboratory for Quantum Information and Computation（香港大学-牛津大学量子信息与计算联合实验室）
概念表征的模型化是认知和语言学研究的基础问题。这项工作建立在Gärdenfors语义空间，分类成分语言学和应用范畴理论的概念工具的汇合，提出了一个领域独立和分类的形式主义的“概念”。
2020-08-05 cs.CL cs.LO math.CT
A Corpus-based Toy Model for DisCoCat
University of Oxford（牛津大学）
范畴成分分布（DiscoCat）模型的意义严格连接分布语义学和前组语法，并已发现了各种应用程序在计算语言学。从一个更抽象的角度来看，DisCoCat范式断言从语法到范畴语义的映射的构建。在这项工作中，我们提出了一个具体的建设这样的映射，从一个玩具模型的语法语料库注释的组成结构树，范畴语义发生在一类自由R-半模对合交换半环R。
2016-08-04 cs.CL cs.LO math.CT
Categorical Vector Space Semantics for Lambek Calculus with a Relevant Modality
University College London（伦敦大学学院）；Utrecht University（乌得勒支大学）
本文为带相关模态 !L* 的 Lambek 演算构建范畴组合分布式语义，通过量子化函子实例化到有限维向量空间，并在寄生空位短语消歧任务中评估三种余代数模态解释。
2023-05-11 cs.CL cs.LO
Neural Compositional Denotational Semantics for Question Answering
University of Pennsylvania（宾夕法尼亚大学）；Facebook AI Research（Facebook人工智能研究院）
解决需要多步推理的组合问题是具有挑战性的。我们引入了一个端到端的可微模型来解释有关知识图谱（KG）的问题，这是受到语义的正式方法的启发。文本的每个跨度都由KG中的指示词和捕获意义的无基础方面的向量表示。学习组成模块递归地组合成分跨度，最终形成回答问题的完整句子。例如，为了解释“not green”，模型将“green”表示为一组KG实体，将“not”表示为一个可训练的未接地向量，然后使用该向量来参数化执行补码运算的组合函数。对于每个句子，我们构建了一个包含所有可能解析的解析图，允许模型通过终端任务监督的梯度下降来共同学习组合运算符和输出结构。该模型学习各种具有挑战性的语义操作，如量词，析取和组合关系，并推断潜在的句法结构。与RNN、其基于树的变体和语义解析基线相比，它还可以很好地推广到比训练数据中更长的问题。
2018-08-29 cs.AI cs.CL cs.LG
Categorical Tools for Natural Language Processing
Wolfson College（沃尔夫森学院）
本论文将范畴理论与计算语言学之间的转换作为自然语言处理的基础。这三章涉及句法、语义和语用。首先，字符串图提供了形式语法中句法结构的统一模型。其次，函子通过将图转换为逻辑、张量、神经或量子计算来计算语义。第三，由此产生的函子模型可以组成游戏，其中均衡是语言处理任务的解决方案。这个框架是作为DisCoPy的一部分实现的，DisCoPy是一个Python库，用于使用字符串图进行计算。我们描述了范畴结构、语言结构和计算结构之间的对应关系，并展示了它们在组合自然语言处理中的应用。
2022-12-13 cs.CL math.CT
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
Towards Functorial Language-Games
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
在自然语言的范畴组合语义学中，人们研究从语法推导范畴（如Lambek前群）到语义范畴（如实向量空间）的函子。我们通过把语义范畴看作是态射是开放博弈的范畴，在组合上建立了句子的博弈论语义。这就需要对语法范畴进行一些修改，以弥补开放博弈无法形成紧凑的封闭范畴的缺陷。我们用维特根斯坦的语言游戏的简单例子来说明这个理论。
2018-11-08 cs.CL cs.LO
Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文系统综述了大语言模型直言三段论分析的逻辑推理能力研究，梳理了现有数据集的配置覆盖问题，指出量词解读是性能瓶颈，并为未来数据集构建提出参考方向。
2024-12-11 cs.CL
Typed Hilbert Epsilon Operators and the Semantics of Determiner Phrases (Invited Lecture)
Université de Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）
限定词短语的语义，无论是定指、不定摹状词还是量化名词短语，通常被认为是一个完全解决的问题：普通名词是属性，限定词是适用于两个谓词的广义量词：对应于普通名词的属性和对应于动词短语的属性。我们首先提出了一个批评这种标准的观点。首先，限定词的语义不遵循句子的句法结构。第二，不定冠词的标准解释不能适用于名词性句子。第三，标准观点忽略了广义量词的两个属性之间的语言不对称性。在续集中，我们提出了一个丰富的类型系统，我们最初开发的词汇语义，使用许多排序的逻辑语义表示的希尔伯特术语的决定词和量词的治疗。我们提出了这个语义框架称为蒙塔古生成词典，并显示这些条款如何更好地匹配的句法结构，避免了上述问题的标准方法。希尔伯特项与选择函数的不同之处在于，每个公式都有一个多态算子而不是一个算子。它们还在意义组装逻辑、处理组合性的类型化λ演算和语义表示的多排序逻辑之间建立了有趣的联系。此外，语义项自然地引入了类型判断，并证实了类型判断是一种预设形式的主张。
2014-06-18 cs.AI cs.CL cs.LO
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
A Compositional Distributional Semantics, Two Concrete Constructions, and some Experimental Evaluations
University of Oxford（牛津大学）
我们概述了Coecke等人（arXiv：1003.4394v1 [cs.CL]）开发的意义的混合成分分布模型，该模型基于分类方法，也适用于量子协议中的信息流分析。数学设定规定，一个句子的意义是它的词的意义的张量积的线性函数。我们提供了具体的结构，这个定义和目前的技术来建立向量空间的意义向量的话，以及句子。这些方法的适用性证明，通过一个玩具向量空间，以及从英国国家语料库和两个消歧实验的真实数据。
2011-06-07 cs.CL math.CT
A Study of Entanglement in a Categorical Framework of Natural Language
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
在量子力学和基于向量空间的语料库语言学中，纠缠的概念为各种子系统提供了一种相互通信的手段。在本文中，我们研究了一些实现的范畴框架Coecke，Sadrzadeh和克拉克（2010年）的自然语言，从纠缠的角度来看。具体来说，我们的目标是更好地理解在实际情况下，关系张量的纠缠水平（或缺乏纠缠）如何影响组合结构。我们的研究结果表明，一些建议的动词建设导致几乎可分离的张量，一个事实，大大简化了词之间的相互作用。我们研究这一事实的后果，我们表明，使用Frobenius代数减轻了潜在的问题，在很大程度上。最后，我们简要地研究了一种机器学习方法，该方法创建了表现出足够程度的纠缠的动词张量。
2014-12-30 cs.AI cs.CL math.CT
Classical Copying versus Quantum Entanglement in Natural Language: The Case of VP-ellipsis
Queen Mary University of London（伦敦玛丽女王大学）
本文以动词短语省略为例，比较了自然语言中的经典复制和量子纠缠。VP省略是一种需要重复使用资源的非线性语言现象，是比较研究自然语言组合模型中不同复制行为的理想测试案例。遵循由（Coecke et al.，2010），我们开发了一个扩展的Lambek演算，它允许一个受控形式的收缩处理语言资源的复制。然后，我们开发了两种不同的组成模型的分布意义，这种演算。在第一个模型中，我们遵循（Coecke et al.，2013），其中一个函子通道将语法的证明发送到向量空间上的线性映射，我们使用Frobenius代数来允许复制。在第二种情况下，我们遵循在范畴语法中发现的更传统的方法，即中间步骤将证明解释为非线性lambda项，使用模拟经典复制的多个变量出现。作为一个案例研究，我们应用模型来获得不同的阅读歧义省略短语，并比较每个模型提供的分析。
2018-11-08 cs.AI cs.CL cs.LO
Mathematical Foundations for a Compositional Distributional Model of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
我们提出了一个数学框架，用于统一向量空间模型中的意义分布理论，以及语法类型的合成理论，其中我们依赖于Lambek引入的预群代数。这个数学框架使我们能够从句子成分的含义中计算出一个好类型句子的含义。具体地说，预群的类型约简被“提升”为范畴中的态射，这是一个将成分的意义转化为（良好类型的）整体的意义的过程。重要的是，整个句子的意义存在于一个空间中，独立于句子的语法结构。因此，内积可以用来比较任意句子的意义，就像它是用来比较分布模型中单词的意义一样。我们采用的数学结构允许一个纯粹的图解演算，它揭示了信息如何在句子中的单词之间流动，以构成整个句子的意义。我们的“分类模型”的一个变化，其中涉及约束标量的向量空间的布尔半环的结果在蒙塔格风格的布尔值语义。
2010-03-23 cs.CL cs.LO math.CT
Internal Wiring of Cartesian Verbs and Prepositions
University of Oxford（牛津大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
范畴成分分布语义学（CCDS）允许人们从组成词的意义中计算短语和句子的意义。从传统的语法范畴模型中继承下来的类型结构变成了一种“线结构”，它调节着词义的相互作用。然而，CCDS有一个比普通的范畴语义更丰富的逻辑结构，因为某些词也可以被赋予一个“内部连接”，要么提供它们的全部含义，要么减少它们的含义空间。以前的内部连接的例子包括关系代词和交叉形容词。在这里，我们建立了一个很大的一类行为良好的及物动词，我们称为笛卡尔动词相同，并减少意义空间从三元张量到一元。并提供了一些实验证据。
2018-11-08 cs.AI cs.CL
A type theoretical framework for natural language semantics: the Montagovian generative lexicon
LaBRI, Université de Bordeaux（波尔多大学LaBRI实验室）；IRIT-CNRS, Toulouse（图卢兹信息学研究所-法国国家科学研究中心）
我们提出了一个框架，命名为蒙塔哥维生成词典，用于计算自然语言句子的语义，表示在许多排序的高阶逻辑。词义由二阶λ演算（Girard系统F）的λ项描述，其基本类型包括用于命题的类型和用于多排序逻辑的排序的多类型。这个框架能够将对词汇现象的适当处理整合到蒙塔格维的组合语义学中，包括对谓词的论元性质施加的选择限制，以及词义对某些上下文的可能适应。在这些适应一个词的意义的上下文中，本体论的包容性处理的强制子类型，在本文中介绍的系统F的扩展。这一框架的词汇语用学的好处是说明意义转移和转换，在不同的意义上的可能和不可能的copredication，对deverbal歧义，和“虚构的运动”。接下来，我们表明，组成治疗的限定词，量词，复数，…在我们的框架中是细粒度的。最后，我们从语言学、逻辑学和计算学的角度对蒙塔哥夫生成词典进行了总结。
2014-01-03 cs.CL cs.LO
Open System Categorical Quantum Semantics in Natural Language Processing
University of Oxford（牛津大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
最初受到范畴量子力学（Abramsky和Coecke，LiCS'04）的启发，Coecke，Sadrzadeh和Clark的自然语言含义的范畴成分分布模型提供了一个概念上有动机的程序来计算句子的含义，给定其在Lambek前群中的语法结构及其部分含义的矢量表示。在大规模数据的主流经验语言处理任务中，第一个模型的预测结果优于其他模型。此外，就像CQM允许我们改变解释量子公理的模型一样，我们也可以改变解释词义的模型。在本文中，我们表明，进一步发展的范畴量子力学有关的自然语言处理了。首先，塞林格的CPM构式允许明确考虑词汇歧义，并区分同音异义和多义两个本质上不同的概念。就我们解释词义的模型而言，这意味着从向量空间模型到密度矩阵的过渡。尽管模型发生了这种变化，但可以很容易地采用标准的经验方法来比较意义，我们通过对真实世界数据的小规模实验来证明这一点。此外，这个实验提供了初步的证据，我们提出的新模型的有效性的词义。其次，在CPM构式的图像中出现的交换经典结构以及它们的非交换对应物允许对关系代词、动词和形容词进行编码，最后，CPM构式的迭代（在量子领域中没有对应物）使人们能够容纳蕴涵和歧义。
2015-02-04 cs.CL cs.LO math.CT
SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Tohoku University（东北大学）
最近，深度神经网络（DNN）在语义上具有挑战性的NLP任务中取得了巨大的成功，但目前还不清楚DNN模型是否可以捕获组成意义，这些意义方面已经在形式语义学中研究了很长时间。为了研究这个问题，我们提出了一个基于自然语言语义（SyGNS）的系统泛化测试平台，其挑战是将自然语言句子映射到多种形式的范围含义表示，旨在解释各种语义现象。使用SyGNS，我们测试神经网络是否可以系统地解析句子，涉及新的组合的逻辑表达式，如量词和否定。实验表明，Transformer和GRU模型可以泛化到与给定训练实例在形式上相似的量词、否定词和修饰词的不可见组合，但不能泛化到其他组合。我们还发现，当意义表征的形式更简单时，对未知组合的泛化性能更好。SyGNS的数据和代码可在www.example.com上公开获取。
2021-06-02 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Information Flow in Pregroup Models of Natural Language
University of York（约克大学）
本文是关于自然语言的前组模型，以及它们如何与前组在成分分布语义学和自然语言处理中的显式范畴使用相关。这些分类解释对自然语言的性质做出了某些假设，当正式陈述时，可能会被视为对自然语言的前群语法施加了强烈的限制。我们正式这作为一个假设的形式，前组模型的自然语言必须采取，并证明了人工语言的例子，这些限制是不强加的前组公理本身。我们比较和对比人工语言的例子与自然语言（使用威尔士语，一种语言的“名词”类型不能作为原始的，作为一个说明性的例子）。这个假设很简单，即目的是传达信息的语言中句子的单词之间必须存在因果联系或信息流。对于由一系列“无意义”规则简单生成的形式语言来说，情况未必如此。这对我们期望在自然语言中找到的前群文法的类型施加了限制;我们用代数、范畴和图形术语来形式化这一点。我们采取一些初步的步骤，提供条件，确保前群模型满足这些约束性质，并讨论更一般的形式，这一假设可能采取。
2018-11-08 cs.CL cs.FL
The Frobenius anatomy of word meanings I: subject and object relative pronouns
Queen Mary University of London（伦敦玛丽女王大学）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
本文在范畴框架内建立了一个基于合成向量的主语和宾语关系代词语义。Frobenius代数用于形式化建模关系代词语义所需的操作，包括在关系从句和修饰的名词短语之间传递信息，以及复制，组合和丢弃关系从句的部分。我们开发了两个实例的抽象语义，一个基于真理理论的方法和语料库统计的基础上。
2014-04-21 cs.CL
Epistemic NP Modifiers
本文认为分词，如“未知”，“确定”和“未指明”，在句子中，如“Solange住在一个未知的酒店”有相当于间接问题的读数“Solange住在一家酒店，不知道是哪家酒店。“我们讨论的现象包括消除歧义的量词范围和限制的一套限定词，允许阅读的问题。认知修饰语分析在DRT框架与文件（信息状态）的话语所指。建议的语义使用的文件和话语引用，这是有关动态模态谓词演算的最新发展的谓词。有人认为，成分DRT语义必须采用一种语义类型的话语所指，而不仅仅是一种类型的个人。认知修饰语的辖域效应与“某”的辖域消歧效应之间存在联系。
1997-08-06 cmp-lg cs.CL
Lambek vs. Lambek: Functorial Vector Space Semantics and String Diagrams for Lambek Calculus
University of Oxford（牛津大学）
分布组合范畴（Distributional Compositional Categorical，DisCoCat）模型是一个为自然语言句子的意义提供组合语义的数学框架。它包括一个计算过程，用于构建句子的意义，给定它们在组合类型逻辑方面的语法结构，并给定它们的单词的经验推导的意义。对于在分布式向量空间模型中对单词的含义进行建模的特定情况，其实验预测（来自真实的大规模数据）优于其他经验验证的方法，这些方法可以为完整的句子构建向量。这一成功可以归因于概念动机的数学基础，通过整合定性成分类型逻辑和定量建模的意义范畴理论的数学框架。DisCoCat模型中使用的类型逻辑是Lambek的前群文法。预群类型形成一个posetal紧闭范畴，它可以通过函子的方式传递到向量空间、线性映射和张量积的紧闭结构上。紧凑封闭范畴中等式推理的图解形式可以解释为句子中词义的流动。前群简化了Lambek以前的类型逻辑，Lambek演算，它已被广泛用于形式化和推理各种语言现象。DisCoCat对前团体的明显依赖被视为一个缺点。本文针对这一问题，指出，人们也可以实现一个函式通道从原来的类型逻辑的Lambek，monoidal双闭范畴，向量空间，或任何其他模式的意义组织在monoidal双闭范畴。Baez和Stay给出了相应的字符串图演算，描述了词义的流动。
2013-02-02 cs.CL math.CT math.LO
