首页/论文/2009.07936

arXiv 2009.079362020-09cs.CL

如何与明星结婚：语境中意义的概率约束

How to marry a star: probabilistic constraints for meaning in context

University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Trento（特伦托大学）

Katrin Erk, Aurelie Herbelot

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们推导出一个概念的“语境中的词义”，其特点是内涵和概念的意义。我们介绍了一个框架，指定本地以及全球的限制，在上下文中的词义，连同它们的相互作用，从而模拟广泛的词汇变化和歧义观察到的话语解释。我们把句子的意义表示为一个“情景描述系统”，一个概率模型，它把话语理解看作是一个向自己描述一个或多个情景的心理过程，这些情景将解释所观察到的话语。我们展示了如何在实践中实现该系统，并将其应用到包含各种情境化现象的例子。

英文摘要：

In this paper, we derive a notion of 'word meaning in context' that characterizes meaning as both intensional and conceptual. We introduce a framework for specifying local as well as global constraints on word meaning in context, together with their interactions, thus modelling the wide range of lexical shifts and ambiguities observed in utterance interpretation. We represent sentence meaning as a 'situation description system', a probabilistic model which takes utterance understanding to be the mental process of describing to oneself one or more situations that would account for an observed utterance. We show how the system can be implemented in practice, and apply it to examples containing various contextualisation phenomena.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

从词模型到世界模型：从自然语言翻译到概率语言思维

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

MIT（麻省理工学院）；Stanford（斯坦福大学）

提出理性意义构建框架，结合大语言模型与概率程序，将自然语言翻译为概率语言思维，实现语言引导的类人常识推理与世界建模。

2023-06-23cs.AIcs.CLcs.SC

用逻辑模型和分布模型的组合表示意义

Representing Meaning with a Combination of Logical and Distributional Models

The University of Texas at Austin（德克萨斯大学奥斯汀分校）

NLP任务在它们所需的语义信息方面有所不同，并且此时没有单一的语义表示满足所有要求。基于逻辑的表征表征句子结构，但不捕获意义的分级方面。分布模型为单词和短语提供分级的相似性评级，但不像基于逻辑的方法那样详细地捕获句子结构。因此，有人认为两者是互补的。我们采用了一种混合的方法，结合了基于逻辑和分布式语义通过概率逻辑推理马尔可夫逻辑网络（MLNs）。在本文中，我们集中在一个实际的系统集成逻辑和分布式模型的三个组成部分：1）解析和任务表示是基于逻辑的部分，其中输入问题表示在概率逻辑。这与用标准的一阶逻辑表示它们是完全不同的。2)对于知识库的建设，我们形成加权推理规则。我们整合和比较分布信息与其他来源，特别是WordNet和现有的释义收集。特别是，我们使用我们的系统来评估分布式词汇蕴涵方法。我们使用一个变种的罗宾逊决议，以确定必要的推理规则。通过将它们映射到逻辑规则，可以轻松地添加更多的源;我们的系统学习特定于资源的权重，以纠正资源之间的缩放差异。3)在讨论概率推理时，我们展示了如何有效地解决推理问题。为了评估我们的方法，我们使用文本蕴涵（RTE）的任务，它可以利用基于逻辑和分布表示的优势。特别是，我们专注于SICK数据集，在那里我们实现了最先进的结果。

2016-06-08cs.CL

通过概率约束满足利用未标记数据进行实体-关系抽取

Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction

University of California, Los Angeles（加利福尼亚大学洛杉矶分校）

研究了在符号领域知识存在的情况下，实体-关系抽取问题.这种知识采取本体论的形式，定义关系及其允许的论点。以前的方法开始整合这些知识在他们的学习方法要么通过自我训练，或通过近似，失去了精确的意义的逻辑表达式。相比之下，我们的方法采用语义损失，通过在所有可能的状态上保持概率分布来捕获逻辑句子的精确含义，并将模型引导到最小化任何约束违反的解决方案。随着低数据制度的重点，我们表明，语义损失远远超过基线。

2021-03-20cs.CLcs.LG

基于概率模型理论的语义合成

Semantic Composition via Probabilistic Model Theory

University of Cambridge（剑桥大学）

语义合成仍然是语义的向量空间模型的一个开放性问题。在本文中，我们解释了概率图形模型中使用的框架功能分布语义可以被解释为一个概率版本的模型理论。在此基础上，我们解释了各种语义现象如何可以重铸在图形模型的条件概率。形式语义和机器学习之间的这种联系在两个方向上都是有帮助的：它为我们提供了一种明确的机制来建模上下文相关的含义（这是形式语义的一个挑战），也为我们提供了一种动机良好的技术来组成分布式表示（这是分布式语义的一个挑战）。我们在两个数据集上展示了超越单词相似性的结果，展示了这些语义驱动的技术如何提高向量模型的性能。

2017-09-01cs.CL

一个面向领域的层次词嵌入学习的概率框架

A Probabilistic Framework for Learning Domain Specific Hierarchical Word Embeddings

Amazon（亚马逊）；University of Melbourne（墨尔本大学）

一个词的含义往往因其在不同领域的用法而异。标准的词嵌入模型很难表示这种变化，因为它们学习一个词的单一全局表示。我们提出了一种方法来学习特定领域的词嵌入，从文本组织成层次结构的领域，如在电子商务网站的评论，其中产品遵循分类。我们的结构化概率模型允许向量表示相同的词漂移远离对方的分类法中的遥远的领域，以适应其特定领域的含义。通过联合学习特定于领域的单词表示集，我们的模型可以利用领域关系，并且它可以随着领域的数量而扩展。使用大型真实世界的评论数据集，我们证明了我们的模型与最先进的方法相比的有效性，在学习特定领域的词嵌入，这对人类来说是直观的，并有利于下游NLP任务。

2019-10-20cs.CLcs.LG

可解释的概率嵌入：弥合主题模型和神经网络之间的差距

Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks

National Research University Higher School of Economics（国立研究大学高等经济学院）；Lomonosov Moscow State University（莫斯科国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）

我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发，我们将它们合并，并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样（SGNS）的单词相似性任务，并在组件的可解释性的好处。接下来，我们学习概率文档嵌入，在文档相似性任务上优于paragraph2vec，并且需要更少的内存和训练时间。最后，我们采用多模态主题模型的加性正则化（ARTM）来获得高稀疏性，并学习其他模态的嵌入，例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。

2017-11-11cs.CL

更多相关论文收起更多论文

含义与测量：多智能体概率性视觉语言导航

Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation

Arizona State University（亚利桑那州立大学）；Haverford College（哈弗福德学院）

本文提出MAPG框架，通过分解语言查询并利用VLM进行语义 grounding，解决复杂度量-语义语言查询的难题，同时引入MAPG-Bench评估指标，展示在现实机器人中的应用效果。

2026-03-19cs.AIcs.CLcs.CV

儿童对长距离句法依存关系的学习与句法分析建模

Modelling Child Learning and Parsing of Long-range Syntactic Dependencies

School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）

提出一种基于儿童导向言语与逻辑形式的概率语言习得模型，可同时学习词义和句法，并成功建模长距离句法依存。

2025-03-17cs.CL

分布形式语义

Distributional Formal Semantics

Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）

自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。

2021-03-02cs.AIcs.CLcs.IT

Noun2Verb：用于词类转换的概率框架语义

Noun2Verb: Probabilistic frame semantics for word class conversion

University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）

人类可以灵活地扩展不同语法类别的单词用法，这种现象称为词类转换。名词到动词的转换，或名词动词（例如，到谷歌廉价航班），是最流行的词类转换形式之一。然而，现有的自然语言处理系统在解释和生成新的名动词用法方面是贫乏的。以往的研究表明，如果听话者能够根据与说话者共享的知识计算出预期的含义，那么新的名动词用法是可理解的。在这里，我们探讨了这个建议的计算形式主义表达在框架语义。我们提出了一个正式的框架，Noun2Verb，模拟生产和理解的新名词动词的用法建模共享知识的扬声器和听众的语义框架。我们评估了一组增量概率模型，学习解释和生成新的名动词的用法，通过释义。我们发现，一个模型，说话人和听众合作学习的语义框架元素的联合分布更好地解释了经验名动词的使用比国家的最先进的语言模型，评估数据从1）当代英语在成人和儿童的讲话，2）当代普通话，3）英语的历史发展。我们的工作是基于概率框架语义的词类转换，并在自然语言处理系统和人类词汇创造力之间架起了桥梁。

2022-05-12cs.CL

探索概率软逻辑作为一个框架，在任务上下文中集成自顶向下和自自底向上的的语言处理

Exploring Probabilistic Soft Logic as a framework for integrating top-down and bottom-up processing of language in a task context

University of Tübingen（图宾根大学）

本技术报告描述了一种新的原型架构，旨在集成对非标准语言输入的自上而下和自底向上的【形】分析，其中使用话语上下文的语义模型来指导对非标准表面形式的分析，包括它们在上下文中的自动规范化。虽然该架构是普遍适用的，作为一个具体的使用案例的架构，我们的目标是生成语义通知的目标假设的答案写的德国学习者在阅读理解问题，其中的阅读上下文和可能的目标答案。该架构集成了现有的NLP组件，以在八个级别的语言建模上生成候选分析，所有这些都被分解为原子语句，并使用概率软逻辑（PSL）作为框架连接到一个大型图形模型中。最大后验推理的图形模型，然后分配一个信念分布的候选目标假设。当前版本的体系结构建立在通用语义（UD）作为其形式层面上的表示形式主义和抽象意义表示（AMR），以表示学习者答案的语义分析和目标答案提供的上下文信息。这些一般的选择将使它相对简单地应用到其他任务和其他语言的架构。

2020-04-15cs.CL

多义词嵌入的概率FastText

Probabilistic FastText for Multi-Sense Word Embeddings

Cornell University（康奈尔大学）；AWS & Caltech（亚马逊云服务与加州理工学院）

我们介绍了概率快速文本，一个新的词嵌入模型，可以捕捉多个词的意义，子词结构，和不确定性信息。特别是，我们用高斯混合密度表示每个单词，其中混合成分的平均值由n元语法的总和给出。这种表示允许模型在子词结构（例如拉丁词根）之间共享统计强度，从而产生罕见的，拼写错误的，甚至看不见的单词的准确表示。此外，混合物的每种成分都可以捕捉不同的词义。ProbabilityFastText在几个单词相似性基准测试（包括英语RareWord和外语数据集）上优于没有概率模型的FastText和不包含子词结构的字典级概率嵌入。我们还在衡量辨别不同含义的能力的基准上实现了最先进的性能。因此，该模型是第一个实现多意义表示，同时具有丰富的语义上罕见的话。

2018-06-07cs.AIcs.CLcs.LG

PBoS：一种推广词嵌入的概率子词袋

PBoS: Probabilistic Bag-of-Subwords for Generalizing Word Embedding

University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

我们研究了\emph{generalizing}词嵌入的任务：给定一组有限词汇表上的预先训练的词向量，目标是预测词汇表外的词的嵌入向量，\emph{without}额外的上下文信息。我们完全依赖于单词的拼写，并提出了一个模型，以及一个有效的算法，同时模型子词切分和计算基于子词的组成词嵌入。我们称该模型为概率子词袋（PBoS），因为它根据可能性对所有可能的分割应用子词袋。实验结果表明，PBoS能够在不依赖任何形态学知识的情况下产生有意义的子词切分和子词排序。词相似度和词性标注实验表明，PBoS在跨语言生成词嵌入的质量上明显优于以前的子词级模型。

2020-10-21cs.CLcs.LG

无限不确定性下的词汇学习

Word learning under infinite uncertainty

University of Edinburgh（爱丁堡大学）；University of Stirling（斯特林大学）

语言学习者必须学习成千上万个单词的含义，尽管这些单词出现在复杂的环境中，学习者可能会推断出无限多的含义作为单词的真正含义。这个无限参照不确定性的问题通常归因于威拉德·范·奥曼·奎因。我们提供了一个数学形式化的一个理想的跨情境的学习者试图学习无限的参考不确定性，并确定条件下，单词学习是可能的。正如奎因的直觉所暗示的那样，在无限不确定性下的学习实际上是可能的，只要学习者有一些根据其可解释性对候选词义进行排名的方法;此外，我们的分析表明，这种排名实际上可能非常弱，这意味着允许学习者推断候选词义的可解释性的约束本身可能很弱。这种方法解除了解释的负担，从“聪明”的词学习的限制，在学习者，并建议一个方案的研究弱，不可靠的，概率的限制，在真正的词学习者的词义推断。

2016-02-10cs.CLphysics.soc-ph

通过自动翻译来解决英文描述的谜题，以回答集合编程并学习如何进行翻译

Solving puzzles described in English by automated translation to answer set programming and learning how to do that translation

Arizona State University（亚利桑那州立大学）

我们提出了一个系统，能够自动解决组合逻辑难题（简化）英语。它涉及到翻译成答案集编程（ASP）的难题的英文描述，并使用ASP求解器提供的难题的解决方案。为了翻译这些描述，我们使用了一种基于概率组合范畴语法（PCCG）的基于微积分的方法，其中单词的含义与参数相关联，以便能够区分同一单词的多种含义。许多单词的含义和参数都是学习的。在ASP中使用适用于大量逻辑谜题的本体来表示谜题。

2011-08-18cs.AIcs.CLcs.LO