A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
Coecke，Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序，用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理，并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平，一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中，我们扩展的框架，以适应这些额外的信息，使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论，语调标记的话语的意义提供真值理论和分布语义，并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
A Distributional Semantics Approach to Implicit Language Learning
University of Cambridge（剑桥大学）
在本文中，我们表明，分布信息是特别重要的，当考虑概念的可用性下隐式语言学习条件。基于不同行为实验的结果，我们认为语义联想的内隐可学性取决于相关概念在语言使用中的反映程度。在我们的模拟中，我们训练一个向量空间模型的英语或汉语语料库，然后将得到的表示前馈神经网络。神经网络的任务是找到单词表征和新单词之间的映射。使用来自四个行为实验的数据集，这些实验使用不同的语义操作，我们能够获得与人类非常相似的学习模式。
2016-06-29 cs.CL cs.LG
Distributional Semantics and Linguistic Theory
Universitat Pompeu Fabra（庞培法布拉大学）；Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚高等研究院）
分布语义学提供了多维的，分级的，经验诱导的词表示，成功地捕捉了自然语言中的许多方面的意义，如在计算语言学的大量工作所示，但它在理论语言学的影响迄今为止是有限的。这篇评论提供了一个重要的讨论的文献分布语义学，强调的方法和结果，是相关的理论语言学，在三个领域：语义变化，一词多义和组成，和语法语义接口（具体来说，接口的语义与句法和派生形态）。该评论旨在促进语言的理论和计算方法的更大的交叉施肥，作为一种手段，以提高我们对语言如何工作的集体知识。
2020-03-18 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications（电子通信大学）
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而，很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时，这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法，试图揭示分布词向量的内在信息。’s（2016）brain-based vectors，基于神经生物学动机属性的显式结构化概念表征。在分析中，训练从基于文本的向量到基于大脑的向量的映射，并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明，社会和认知信息更好地编码在基于文本的词向量，但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
Distributional Inclusion Hypothesis for Tensor-based Composition
Queen Mary University of London（伦敦玛丽女王大学）
根据分布包含假设，词与词之间的蕴涵可以通过词的分布向量的特征包含来度量。在最近的工作中，我们展示了如何这一假设可以从单词扩展到短语和句子中的组合分布语义的设置。本文主要研究张量的包含性质，其主要贡献是从理论和实验上分析了特征包含在不同的动词张量具体模型中的作用。我们目前的结果关系，弗罗贝纽斯，投影和整体的方法，并将它们与简单的矢量加法，乘法，最小和最大模型。由此获得的蕴涵程度通过各种现有的基于单词的措施，如杂草的和克拉克的，KL发散，APinc，balAPinc，和我们以前提出的两个指标在短语/句子的水平进行评估。我们在三个蕴涵数据集上进行了实验，研究了基于张量的组合在与层次度量相结合时，哪个版本的组合达到了最高的性能。
2016-10-14 cs.AI cs.CL
Distributional Analysis of Polysemous Function Words
University of Stuttgart（斯图加特大学）
本文对汉语中的虚词多义现象进行了研究。我们采用分布式语义学的框架，通过观察大语料库中的出现上下文来表征词义，原则上可以很好地模拟多义词。然而，由于虚词的高度灵活的使用模式，传统上被认为是不可能进行分布分析的。我们建立的语境化词嵌入，最新一代的分布方法，在这方面提供了希望。以德语反身代词“sich”为例，我们发现，语境化的词嵌入捕捉理论动机的词的意义“sich”的程度上，这些意义是反映系统的语言使用。
2021-01-27 cs.CL
Representing Meaning with a Combination of Logical and Distributional Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP任务在它们所需的语义信息方面有所不同，并且此时没有单一的语义表示满足所有要求。基于逻辑的表征表征句子结构，但不捕获意义的分级方面。分布模型为单词和短语提供分级的相似性评级，但不像基于逻辑的方法那样详细地捕获句子结构。因此，有人认为两者是互补的。我们采用了一种混合的方法，结合了基于逻辑和分布式语义通过概率逻辑推理马尔可夫逻辑网络（MLNs）。在本文中，我们集中在一个实际的系统集成逻辑和分布式模型的三个组成部分：1）解析和任务表示是基于逻辑的部分，其中输入问题表示在概率逻辑。这与用标准的一阶逻辑表示它们是完全不同的。2)对于知识库的建设，我们形成加权推理规则。我们整合和比较分布信息与其他来源，特别是WordNet和现有的释义收集。特别是，我们使用我们的系统来评估分布式词汇蕴涵方法。我们使用一个变种的罗宾逊决议，以确定必要的推理规则。通过将它们映射到逻辑规则，可以轻松地添加更多的源;我们的系统学习特定于资源的权重，以纠正资源之间的缩放差异。3)在讨论概率推理时，我们展示了如何有效地解决推理问题。为了评估我们的方法，我们使用文本蕴涵（RTE）的任务，它可以利用基于逻辑和分布表示的优势。特别是，我们专注于SICK数据集，在那里我们实现了最先进的结果。
2016-06-08 cs.CL
A Generalised Quantifier Theory of Natural Language in Categorical Compositional Distributional Semantics with Bialgebras
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
范畴组合分布语义学是自然语言的一种模型，它将词的统计向量空间模型和语法的组合模型结合起来。我们正式在这个模型中的广义量词理论的自然语言，由于Barwise和库珀。其基础是一个具有双代数的紧闭范畴。我们从生成语法形式化开始，并为其开发抽象的范畴组合语义，然后将抽象设置实例化为集合和关系以及有限维向量空间和线性映射。我们证明了等价的关系实例化的真值理论语义的广义量词。向量空间实例化形式化的统计使用的话，使我们能够，第一次，原因量化的短语和句子组成的分布语义。
2017-09-02 cs.AI cs.CL math.CT
Feature2Vec: Distributional semantic modelling of human property knowledge
Queen’s University Belfast（贝尔法斯特女王大学）
人类概念知识的特征规范数据集，在人类志愿者的调查中收集，产生高度可解释的词义模型，并在语义认知的神经语言学研究中发挥重要作用。然而，这些数据集在大小上是有限的，这是由于与详尽地列出大量单词的属性相关联的实际障碍。相比之下，分布式建模技术的发展和大量文本语料库的可用性使研究人员能够在大型词典上构建有效的词义向量空间模型。然而，这是以可解释的、类似人类的关于词义的信息为代价的。我们提出了一种方法，将人类财产的知识映射到一个分布式的语义空间，它适应word2vec架构的任务建模的概念功能。我们的方法给出了一个单一的语义空间中的概念和特征的亲和力的措施，这使得容易和有效的候选人的人类派生的语义属性的任意单词的排名。我们将我们的模型与以前的方法进行比较，并表明它在几个评估任务上表现更好。最后，我们讨论了如何使用我们的方法来开发有效的采样技术，以可靠的方式扩展现有的特征范数数据集。
2019-08-29 cs.CL
Don't Blame Distributional Semantics if it can't do Entailment
Universitat Pompeu Fabra（庞培法布拉大学）
分布语义学在计算语言学和认知科学中在建模各种语义现象（例如语义相似性）方面取得了巨大的经验成功，并且分布模型广泛用于最先进的自然语言处理系统中。然而，分布语义学在更广泛的语言和认知理论中的理论地位仍然不清楚：分布语义学模型是什么？它本身能成为语言表达意义的一个充分适当的模型吗？标准的答案是，分布语义学在这方面并不充分，因为它在形式语义学方法的一些核心方面有所欠缺：真值条件，蕴涵，引用和组合性的某些方面。我们认为，这个标准答案基于一个误解：这些方面不属于表达意义的理论，它们是说话者意义的方面，即，在特定语境下的交际意图。一句口号是：言语不指代，说话者指代。澄清这一点使我们能够认为，分布语义学本身就是一个适当的表达意义的模型。我们的建议揭示了分布语义在更广泛的语言和认知理论中的作用，它与形式语义的关系，以及它在计算模型中的地位。
2019-05-17 cs.AI cs.CL cs.IR
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
ActTraitBench: Quantifying the Knowledge-Decision Gap in Large Language Models via Human-Grounded Behavioral Validation
Peking University（北京大学）；Baidu Inc（百度公司）
提出ActTraitBench框架，基于人类数据建立心理测量方面与行为范式的一一映射，并通过分位数映射校准LLM评分分布，揭示LLM在自我报告与行为决策之间的知识-决策差距，并引入CoCA干预来缓解该差距。
2026-09-10 cs.CL
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Open-Vocabulary Semantic Parsing with both Distributional Statistics and Formal Knowledge
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
传统的语义解析器将语言映射到固定模式中的组合可执行查询。这种映射使他们能够有效地利用大型正式知识库（KB）中包含的信息，Freebase）来回答问题，但它也有根本性的限制--这些语义解析器只能为属于KB手动生成的模式的语言分配含义。最近提出的开放式词汇表语义解析方法通过学习任意语言的执行模型来克服这一限制，基本上使用文本语料库作为一种知识库。然而，所有先前的开放词汇表语义解析方法都用文本信息替换了正式的KB，在它们的模型中没有使用KB。我们展示了如何结合这两种方法所使用的不同的表示，首次提出了一个语义解析器，（1）产生成分，可执行的语言表示，（2）可以成功地利用包含在一个正式的知识库和大型语料库的信息，（3）不限于底层知识库的模式。我们展示了显着提高性能的最先进的基线上的一个开放域的自然语言问答任务。
2016-11-28 cs.CL
Distributional Sentence Entailment Using Density Matrices
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
Coecke et al.（2010）的范畴组合分布模型提出了一种将形式的类型逻辑模型的语法组合与基于语料库的分布语义的经验词表示相结合的方法。本文通过扩展模型来捕获蕴涵关系，从而为该项目做出了贡献。这是通过将词的表示从意义空间中的点扩展到密度算子来实现的，密度算子是空间子空间上的概率分布。定义了相似性的对称度量和蕴涵的非对称度量，其中词汇蕴涵使用冯·诺依曼熵（Kullback-Leibler发散的量子变体）来测量。词汇蕴涵与词表征的组合图相结合，提供了一种在句子层次上获取蕴涵关系的方法。真值理论和语料库为基础的例子。
2015-10-14 cs.CL cs.IT cs.LO
