Aligning Packed Dependency Trees: a theory of composition for distributional semantics
University of Sussex（苏塞克斯大学）
我们提出了一个新的框架组成的分布语义中的分布上下文的词素表示锚定包装依赖树。我们发现，这些结构有潜力捕捉完整的语义上下文的一个词素，并提供了一个统一的基础上组成的分布式知识的方式，捕捉相互消歧和泛化。
2016-08-25 cs.CL
Improving Semantic Composition with Offset Inference
University of Sussex（苏塞克斯大学）
基于计数的分布语义模型由于在任何文本集合中不可观察但似乎合理的共现而遭受稀疏性。这个问题在锚定填充树（APT）等模型中被放大，这些模型考虑了同现的语法类型。因此，我们引入了一种新的形式的分布式推理，利用丰富的类型结构的APT和推断丢失的数据由相同的机制，用于语义组合。
2017-04-21 cs.CL
Neural Compositional Denotational Semantics for Question Answering
University of Pennsylvania（宾夕法尼亚大学）；Facebook AI Research（Facebook人工智能研究院）
解决需要多步推理的组合问题是具有挑战性的。我们引入了一个端到端的可微模型来解释有关知识图谱（KG）的问题，这是受到语义的正式方法的启发。文本的每个跨度都由KG中的指示词和捕获意义的无基础方面的向量表示。学习组成模块递归地组合成分跨度，最终形成回答问题的完整句子。例如，为了解释“not green”，模型将“green”表示为一组KG实体，将“not”表示为一个可训练的未接地向量，然后使用该向量来参数化执行补码运算的组合函数。对于每个句子，我们构建了一个包含所有可能解析的解析图，允许模型通过终端任务监督的梯度下降来共同学习组合运算符和输出结构。该模型学习各种具有挑战性的语义操作，如量词，析取和组合关系，并推断潜在的句法结构。与RNN、其基于树的变体和语义解析基线相比，它还可以很好地推广到比训练数据中更长的问题。
2018-08-29 cs.AI cs.CL cs.LG
Semantic Composition via Probabilistic Model Theory
University of Cambridge（剑桥大学）
语义合成仍然是语义的向量空间模型的一个开放性问题。在本文中，我们解释了概率图形模型中使用的框架功能分布语义可以被解释为一个概率版本的模型理论。在此基础上，我们解释了各种语义现象如何可以重铸在图形模型的条件概率。形式语义和机器学习之间的这种联系在两个方向上都是有帮助的：它为我们提供了一种明确的机制来建模上下文相关的含义（这是形式语义的一个挑战），也为我们提供了一种动机良好的技术来组成分布式表示（这是分布式语义的一个挑战）。我们在两个数据集上展示了超越单词相似性的结果，展示了这些语义驱动的技术如何提高向量模型的性能。
2017-09-01 cs.CL
Proceedings End-to-End Compositional Models of Vector-Based Semantics
基于向量语义的端到端组合模型研讨会于2022年8月15日和16日在NUI Galway举行，作为第33届欧洲逻辑，语言和信息暑期学校（ESSLLI 2022）的一部分。该研讨会由研究项目“基于向量的语义建模与荷兰本地化的组合演算”（荷兰研究委员会360-89-070，2017-2022）赞助。讲习班方案由两部分组成，第一部分报告上述项目的成果，第二部分包括就相关方法提交的论文。本卷收集了投稿论文和特邀演讲的摘要。
2022-08-10 cs.CL
Coordination in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分类组合分布语义学的一个开放性问题是从分布的角度来看被认为是语义空洞的词的表示，例如限定词，介词，关系代词或协调词。同一句法类型之间的协调是语言中最常见的协调现象。通过利用紧凑的封闭结构的基础类别和Frobenius运营商规范诱导的固定基础上的有限维向量空间，我们提供了一个态射表示的协调员张量，我们展示了它如何升降机从原子类型的复合类型。语言的直觉，并讨论了作为除了紧凑的封闭设置方面的语言的Frobenius运营商的重要性。
2016-08-04 cs.AI cs.CL math.CT
No Word is an Island -- A Transformation Weighting Model for Semantic Composition
University of Tübingen（蒂宾根大学）
分布式语义的组合模型被用来从他们的词的表示构造短语表示。组成模型通常位于光谱的两端。它们要么有少量的参数，但以相同的方式组合所有短语，要么以大量参数为代价执行特定于单词的组合。在本文中，我们提出了转换加权（TransWeight），一个组成模型，始终优于现有的模型上的名词性化合物，形容词-名词短语和副词-形容词短语在英语，德语和荷兰语。与文献中的最佳模型相比，TransWeight通过以相同的方式组成相似的单词，大大减少了所需的参数数量。
2019-07-11 cs.CL
Compositionality and the lexicon in evolutionary semantics
Institute for Logic, Language, and Computation, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学）
提出一个整合形式语义学组合原则的演化框架，通过词汇意义与组合函数的协同演化，发现保守性作为系统级抽象涌现，并调和了量词可学习性与演化模型的矛盾。
2026-09-15 cs.CL
An Improved Approach for Semantic Graph Composition with CCG
Georgetown University（乔治城大学）
本文建立在以前的工作，使用组合范畴语法（CCG），推导出一个透明的语法语义接口的抽象意义表示（AMR）解析。我们定义了新的语义的CCG组合子，更适合于导出AMR图。特别是，我们为应用程序和组合组合子定义了关系式替代方案：这些要求组合的两个成分在一个AMR关系中重叠。我们还提供了一个新的语义类型提升，这是必要的某些建设。使用这些机制，我们建议分析事件性名词，这对AMR图的推导提出了挑战。我们的理论分析将促进未来的工作，强大的和透明的AMR解析使用CCG。
2019-04-10 cs.CL
Semantic Composition and Decomposition: From Recognition to Generation
National Research Council Canada（加拿大国家研究委员会）
语义合成是通过对文本中单个词的意义进行合成来理解文本意义的任务。语义分解是通过将单个单词分解为单词含义中潜在的各个方面（因素，成分，组件）来理解单词含义的任务。我们采取分布式的方法来语义，其中一个词表示的上下文向量。最近的工作已经考虑了识别组合和分解的问题，但我们解决了更困难的生成问题。为了简单起见，我们专注于名词修饰语二元语法和名词一元语法。语义组合的测试是，给定名词-修饰语二元语法（“red salmon”）中的名词和修饰语的上下文向量，生成与给定二元语法（“sockeye”）同义的名词一元语法。语义分解的一个测试是，给定一个名词单字（“snifter”）的上下文向量，生成一个与给定单字（“brandy glass”）同义的名词修饰语二元语法。在WordNet中有大约73，000个一元词的词汇表，对于一个二元词有73，000个候选一元词组合，对于一个一元词有5，300，000，000个（73，000平方）候选二元词分解。我们在两个过程中生成潜在解决方案的排名列表。快速无监督学习算法生成候选者的初始列表，然后较慢的监督学习算法细化该列表。我们通过将候选解决方案与WordNet同义词集进行比较来评估候选解决方案。对于分解（unigram到bigram），排名最高的前100个bigram在50.7%的时间内包含给定unigram的WordNet同义词。对于组合（bigram到unig…
2014-05-30 cs.AI cs.CL cs.LG
The Lifted Matrix-Space Model for Semantic Composition
New York University（纽约大学）
用于句子编码的树结构神经网络架构从形式语言学中常见的语义组合方法中汲取灵感，并且通过这样做已经显示出对可比序列模型的经验改进。此外，在这些模型中的组合函数中添加乘法相互作用项可以产生显着的进一步改进。然而，现有的组合方法，采用这样一个强大的组合功能的规模差，与参数计数爆炸模型尺寸或词汇量的增长。我们引入了提升矩阵空间模型，它使用全局变换将向量词嵌入映射到矩阵，然后可以通过基于矩阵-矩阵乘法的操作来组合。它的组合功能有效地传输了大量的激活层与相对较少的模型参数。我们在Stanford NLI语料库、Multi-Genre NLI语料库和Stanford Sentiment Treebank上评估了我们的模型，发现它始终优于TreeLSTM（Tai et al.，2015年），以前最著名的树结构模型的组合函数。
2019-04-05 cs.CL
A Factorized Model for Transitive Verbs in Compositional Distributional Semantics
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion, IIT（以色列理工学院）
我们提出了一个分解的成分分布语义模型来表示及物动词结构。我们的模型首先产生（主语，动词）和（动词，宾语）向量表示的基础上的相似性的建设中的名词的词汇和这些名词的倾向，以动词的主语和宾语的角色。然后，这些向量通过简单的向量操作组合成最终的（主语、动词、宾语）表示。在两个既定的任务的及物动词建设我们的模型优于最近以前的工作。
2016-09-25 cs.CL
A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University（御茶水女子大学）
比较结构在自然语言推理中起着重要的作用。然而，由于比较句句法结构和推理模式的复杂性，从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中，使用组合范畴语法（CCG）的基础上的框架，我们提出了一个组合语义，映射在英语中的各种比较结构的语义表示，并引入了一个推理系统，有效地处理逻辑推理与比较，包括那些涉及数字形容词，反义词，和量化。我们评估我们的系统的性能FraCaS测试套件，并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
Domain and Function: A Dual-Space Model of Semantic Relations and Compositions
National Research Council Canada（加拿大国家研究委员会）
给定木匠和木头之间以及石匠和石头之间的语义关系的适当表示（例如，向量空间模型中的向量），合适的算法应该能够识别出这些关系是高度相似的（木匠和木头是石匠和石头;关系是类似的）。同样，对于dog、house和kennel的表示，算法应该能够识别出dog和house、dog house的语义组成与kennel高度相似（dog house和kennel是同义词）。看来，这两个任务，识别关系和组成，是密切相关的。然而，到目前为止，关系的最佳模型与组合的最佳模型有很大的不同。在本文中，我们介绍了一个双空间模型，统一这两个任务。该模型与先前最好的关系和组合模型的性能相匹配。双空间模型由领域相似性度量空间和函数相似性度量空间组成。木匠和木材共享同一个领域，木工的领域。石匠和石头共享同一个领域，石工领域。木匠和泥瓦匠有同样的功能，工匠的功能。木材和石头有着相同的功能，材料的功能。在组成dog house中，kennel与dog和house（宠物和建筑物的域）都有一些域重叠。狗舍的功能类似于房子的功能（庇护所的功能）。通过以各种方式组合域和功能相似性，我们可以对关系、组合和语义的其他方面进行建模。
2013-09-16 cs.AI cs.CL cs.LG
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Investigating Inner Properties of Multimodal Representation and Semantic Compositionality with Brain-based Componential Semantics
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Key Laboratory of Behavioural Science, Institute of Psychology（中国科学院心理研究所行为科学重点实验室）；Department of Psychology, University of Chinese Academy of Sciences（中国科学院大学心理学系）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
多模态模型已经被证明在学习语义表示方面优于基于文本的方法。然而，多模态表征中编码了哪些属性，它们在哪些方面优于单模态表征，以及不同输入模态的语义合成过程中发生了什么，这些都还不清楚。考虑到多模态模型最初是由人类的概念表征所激发的，我们假设将多模态表征与基于大脑的语义相关联将解释其内部属性以回答上述问题。为此，我们提出了简单的解释方法的基础上，基于大脑的成分语义。首先，我们研究多模态表征的内部属性，将它们与相应的基于大脑的属性向量相关联。然后，我们将分布式向量空间映射到可解释的基于大脑的成分空间，以探索语义组合性的内在属性。最后，本文揭示了自然语言理解的基本问题，如如何表示单词的含义，以及如何将单词的含义组合成更大的单位。
2017-11-22 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
Interpreting Sentiment Composition with Latent Semantic Tree
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Meituan（美团）
针对情感组合分析中现有层次树结构次优的问题，提出语义树这一新树形式，基于上下文无关文法描述语义角色组合规则，作为潜在变量通过内算法边缘化并优化分类性能，在常规与领域适应分类中取得更好或相当结果并生成合理树解释。
2023-08-31 cs.CL
Multilingual Models for Compositional Distributed Semantics
University of Oxford（牛津大学）
我们提出了一种新的技术，学习语义表示，扩展的分布假设，多语言数据和联合空间嵌入。我们的模型利用并行数据，并学习强烈对齐语义等价句子的嵌入，同时在不同句子之间保持足够的距离。该模型不依赖于单词对齐或任何句法信息，并成功地应用于许多不同的语言。我们也扩展了我们的方法来学习文档级别的语义表示。我们评估这些模型的两个跨语言的文档分类任务，优于现有的最先进的状态。通过定性分析和研究的旋转效应，我们证明，我们的表示是语义上合理的，可以捕捉语义关系，跨语言，而无需并行数据。
2014-04-17 cs.CL
Compositional Semantic Parsing on Semi-Structured Tables
Stanford University（斯坦福大学）
问答语义解析的两个重要方面是知识源的广度和逻辑组合的深度。虽然现有的工作从一个方面到另一个方面，本文同时通过一个新的任务在两个方面取得了进展：使用问答对作为监督，在半结构化表格上回答复杂的问题。核心挑战来自两个复合因素：更广泛的领域导致一组开放式的关系，更深层次的组合性导致逻辑形式空间的组合爆炸。我们提出了一个逻辑形式驱动的解析算法引导强类型约束，并表明它获得了显着的改善自然基线。为了进行评估，我们在维基百科表格上创建了一个包含22，033个复杂问题的新数据集，该数据集可供公众使用。
2015-08-03 cs.CL
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Distributed Representations for Compositional Semantics
New College（新学院）
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而，自然语言通常是在单词层面之外的结构中出现的，其意义不仅来自单个单词，而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型，用于将这些表示组成更大的语言单元。我们的基本假设是，神经模型是学习语义丰富的表示的合适工具，而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估，作为其中的一部分，我们介绍了几种新的方法，表示学习和组合语义，以及多种国家的最先进的模型，适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
NLSC: Unrestricted Natural Language-based Service Composition through Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
当前的服务组合方法（原子服务的组装）要求开发人员使用：用途：（a）特定于域的语义来形式化限制其描述词汇的服务，以及（b）用于服务检索的翻译机制，以将非结构化的用户请求转换为强类型的语义表示。在我们的工作中，我们认为，努力开发服务描述，请求翻译和匹配机制可以减少使用不受限制的自然语言，允许：（1）最终用户直观地表达他们的需求使用自然语言，（2）服务开发人员开发服务，而不依赖于语法/语义描述语言。虽然有一些基于自然语言的服务组合方法，他们限制服务检索的语法/语义匹配。随着机器学习和自然语言处理的最新发展，我们通过利用更丰富的句子语义表示来促进句子嵌入的使用，以进行服务描述、匹配和检索。实验结果表明，在保持高查准率和查全率的前提下，服务组合的开发工作量可减少44%以上.
2019-06-04 cs.AI cs.CL cs.SE
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University（捷克技术大学）；University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）
最近的工作组合分布模型表明，双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间，因此计算成本很高。在本文中，我们克服了这个问题，考虑模糊版本的量词沿线的扎德，在许多值的关系的范畴内。我们表明，这一类是一个具体的实例组成的分布模型。我们表明，在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此，我们现在能够处理模糊量化，而不需要幂集构造。
2021-09-23 cs.CL
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University（博伊西州立大学）
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中，我们将探讨这样一个模型可以增量执行组合，以及如何将模型与分布式表示统一起来。对于后者，我们利用分类器系数作为嵌入。对于组合，我们利用三种不同分类器类型的底层机制（即，逻辑回归、决策树和多层感知器），以获得对每个分类器唯一的组合的几种系统方法，包括组合的外延和内涵方法。我们将这些方法相互比较，并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明，需要扩大现有的组成策略，并汇集接地和分布表示。
2019-11-08 cs.CL
Breaking Token Into Concepts: Exploring Extreme Compression in Token Representation Via Compositional Shared Semantics
Indian Institute of Technology Kharagpur（印度理工学院Khargapur）
本文提出聚合语义分组（ASG）方法，利用乘积量化将词元表示为共享语义概念的组合，在仅保留0.4%-0.5%嵌入参数的情况下维持超过95%的任务性能，验证了词元可被有效建模为共享语义构建块组合的原则。
2025-09-23 cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
University of Southern California（南加州大学）；Google Research（谷歌研究院）；New York University（纽约大学）
神经网络模型通常不能很好地推广到不匹配的域或分布。在NLP中，当模型被期望在成分上进行概括时，这个问题尤其会出现，也就是说，熟悉的单词和结构的新组合。我们研究了促进从一个组合任务到另一个组合任务的迁移学习的学习表示：模型的表示层和特定于任务的层在预微调任务上进行了不同的策略训练，以便它们能够很好地概括需要组合性的不匹配分割。我们将这种方法应用于语义解析，使用三个非常不同的数据集，COGS，GeoQuery和SCAN，交替使用作为预微调和目标任务。我们的方法显着提高了合成泛化在目标任务的测试集上的基线，这是在微调期间举行。消融研究的特点，在所提出的算法的主要步骤的效用，并支持我们的假设。
2021-11-09 cs.CL cs.LG
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多NLP任务都受益于从上下文化的词嵌入中转移知识，然而，转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术（计数短语），成分语义（否定和语义角色标注），词汇语义（反义词和反义），确定了微调的RoBERTa，BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时，模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分，在最难的问题类上提高了42.1分。结果表明，RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California（南加州大学）；Fudan University（复旦大学）
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合，我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性，突出单词和短语的组成。我们展示了一些先前的努力，分层解释，例如上下文分解，不满足数学上所需的属性，导致不一致的解释质量在不同的模型。在本文中，我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上，提出了采样和上下文分解（SCD）算法和采样和遮挡（SOC）算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明，我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成，提取分类规则，提高人类对模型的信任。项目页面：https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit
Columbia University（哥伦比亚大学）；University of Gothenburg（哥德堡大学）；University of Washington（华盛顿大学）
观察到对于某些NLP任务，如语义角色预测或主题拟合估计，随机嵌入的表现与预训练的嵌入一样好，我们探索了哪些设置允许这一点，并检查了大部分学习的编码：词嵌入，语义角色嵌入或"网络“。根据任务及其与培训目标的关系，我们找到了微妙的答案。我们在多任务学习中研究这些表示学习方面，其中角色预测和角色填充是监督任务，而几个主题拟合任务不在模型的直接监督范围内。我们观察到一些任务的质量分数和训练数据大小之间的非单调关系。为了更好地理解这一观察结果，我们使用这些任务的更简单的每个动词版本来分析这些结果。
2022-10-23 cs.CL
Evaluating Semantic Parsing against a Simple Web-based Question Answering Model
Tel-Aviv University（特拉维夫大学）
语义解析擅长分析复杂的自然语言，其中涉及对多个证据的组合和计算。然而，用于语义解析的数据集包含许多可以从单个Web文档中回答的事实问题。在本文中，我们提出了评估语义解析为基础的问答模型进行比较，他们的问答基线查询网页，并提取答案只从网页片段，没有访问目标知识库。我们在COMPLEXQUESTIONS上研究了这种方法，COMPLEXQUESTIONS是一个旨在关注组合语言的数据集，发现我们的模型获得了合理的性能（35 F1与最先进的41 F1相比）。我们在分析中发现，我们的模型在涉及连词的复杂问题上表现良好，但在涉及关系组合和最高级的问题上表现不佳。
2017-07-14 cs.CL
A Compositional Distributional Semantics, Two Concrete Constructions, and some Experimental Evaluations
University of Oxford（牛津大学）
我们概述了Coecke等人（arXiv：1003.4394v1 [cs.CL]）开发的意义的混合成分分布模型，该模型基于分类方法，也适用于量子协议中的信息流分析。数学设定规定，一个句子的意义是它的词的意义的张量积的线性函数。我们提供了具体的结构，这个定义和目前的技术来建立向量空间的意义向量的话，以及句子。这些方法的适用性证明，通过一个玩具向量空间，以及从英国国家语料库和两个消歧实验的真实数据。
2011-06-07 cs.CL math.CT
A Categorial Framework for Composition in Multiple Linguistic Domains
本文描述了一个计算框架的语法架构，其中不同的语言领域，如形态，句法和语义被视为不是单独的组件，但组成域。单词和短语的形成被建模为统一的过程，有助于语义形式的推导。词素和词位一样，都有语义内容、策略约束和语音实现形式的词汇表征。这项工作的动机是处理形态-语法交互（例如，使役的配价变化，由格标记词缀施加的次范畴化）。该模型基于组合范畴语法。
1995-06-29 cmp-lg cs.CL
Discovering the Compositional Structure of Vector Representations with Role Learning Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；New York University（纽约大学）
神经网络如何在缺乏明确的组合表示的情况下，在组合任务上表现得如此出色？我们使用一种新的分析技术，称为角色，表明经常性的神经网络在这样的任务上表现良好，收敛到的解决方案，其中隐含的符号结构。这种方法揭示了一种符号结构，当它正确嵌入向量空间时，它非常近似于训练用于执行组合SCAN任务的标准seq2seq网络的编码。我们验证的因果关系的重要性，发现的符号结构，当我们系统地操纵隐藏的嵌入基于这个符号结构，模型的输出改变的方式预测我们的分析。
2020-11-16 cs.CL cs.LG stat.ML
