Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University(浙江大学)
现有的多跳开放域问答系统由于缺乏足够的数据,需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题,提出了一种面向多跳问答任务的语义句子组合推理方法,该方法包括两个关键模块:多阶段语义匹配模块(MSSM)和事实句子组合模块(FSC).该方法将事实句和多阶段语义检索相结合,可以为模型训练和推理提供更全面的上下文信息。实验结果表明,我们的模型是能够纳入现有的预训练语言模型,并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
Bridging Compositional and Distributional Semantics: A Survey on Latent Semantic Geometry via AutoEncoder
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Idiap Research Institute(Idiap研究 institute);Cancer Biomarker Centre, CRUK Manchester Institute(CRUK曼彻斯特癌症生物标志物中心)
本文探讨如何通过自编码器架构弥合组合式与分布式语义的差距,分析三种主流自编码器在语义结构和可解释性上的独特潜在几何特性。
2026-04-15 cs.CL
SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics
Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了SentiBERT,一个变种的BERT,有效地捕捉成分的情感语义。该模型结合上下文表示和二元选区分析树来捕获语义组合。综合实验表明,SentiBERT在短语级情感分类上取得了有竞争力的性能。我们进一步证明了从SST上的短语级注释中学习到的情感成分可以转移到其他情感分析任务以及相关任务,例如情感分类任务。此外,我们进行消融研究和设计可视化方法来了解SentiBERT。我们表明,SentiBERT是优于基线方法在捕捉否定和对比关系和模型的成分情感语义。
2020-05-21 cs.CL
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University(东北大学)
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义(DCS)联系起来。我们的理论证据表明,在我们的模型中的矢量组合物符合DCS的逻辑。实验表明,基于向量的组合具有很强的计算相似短语作为相似向量的能力,在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时,DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务,并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Aligning Packed Dependency Trees: a theory of composition for distributional semantics
University of Sussex(苏塞克斯大学)
我们提出了一个新的框架组成的分布语义中的分布上下文的词素表示锚定包装依赖树。我们发现,这些结构有潜力捕捉完整的语义上下文的一个词素,并提供了一个统一的基础上组成的分布式知识的方式,捕捉相互消歧和泛化。
2016-08-25 cs.CL
Improving Semantic Composition with Offset Inference
University of Sussex(苏塞克斯大学)
基于计数的分布语义模型由于在任何文本集合中不可观察但似乎合理的共现而遭受稀疏性。这个问题在锚定填充树(APT)等模型中被放大,这些模型考虑了同现的语法类型。因此,我们引入了一种新的形式的分布式推理,利用丰富的类型结构的APT和推断丢失的数据由相同的机制,用于语义组合。
2017-04-21 cs.CL
Semantic Composition via Probabilistic Model Theory
University of Cambridge(剑桥大学)
语义合成仍然是语义的向量空间模型的一个开放性问题。在本文中,我们解释了概率图形模型中使用的框架功能分布语义可以被解释为一个概率版本的模型理论。在此基础上,我们解释了各种语义现象如何可以重铸在图形模型的条件概率。形式语义和机器学习之间的这种联系在两个方向上都是有帮助的:它为我们提供了一种明确的机制来建模上下文相关的含义(这是形式语义的一个挑战),也为我们提供了一种动机良好的技术来组成分布式表示(这是分布式语义的一个挑战)。我们在两个数据集上展示了超越单词相似性的结果,展示了这些语义驱动的技术如何提高向量模型的性能。
2017-09-01 cs.CL
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California(南加州大学);Fudan University(复旦大学)
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合,我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性,突出单词和短语的组成。我们展示了一些先前的努力,分层解释,例如上下文分解,不满足数学上所需的属性,导致不一致的解释质量在不同的模型。在本文中,我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上,提出了采样和上下文分解(SCD)算法和采样和遮挡(SOC)算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明,我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成,提取分类规则,提高人类对模型的信任。项目页面:https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
No Word is an Island -- A Transformation Weighting Model for Semantic Composition
University of Tübingen(蒂宾根大学)
分布式语义的组合模型被用来从他们的词的表示构造短语表示。组成模型通常位于光谱的两端。它们要么有少量的参数,但以相同的方式组合所有短语,要么以大量参数为代价执行特定于单词的组合。在本文中,我们提出了转换加权(TransWeight),一个组成模型,始终优于现有的模型上的名词性化合物,形容词-名词短语和副词-形容词短语在英语,德语和荷兰语。与文献中的最佳模型相比,TransWeight通过以相同的方式组成相似的单词,大大减少了所需的参数数量。
2019-07-11 cs.CL
Compositionality and the lexicon in evolutionary semantics
Institute for Logic, Language, and Computation, University of Amsterdam(逻辑、语言与计算研究所,阿姆斯特丹大学)
提出一个整合形式语义学组合原则的演化框架,通过词汇意义与组合函数的协同演化,发现保守性作为系统级抽象涌现,并调和了量词可学习性与演化模型的矛盾。
2026-09-15 cs.CL
An Improved Approach for Semantic Graph Composition with CCG
Georgetown University(乔治城大学)
本文建立在以前的工作,使用组合范畴语法(CCG),推导出一个透明的语法语义接口的抽象意义表示(AMR)解析。我们定义了新的语义的CCG组合子,更适合于导出AMR图。特别是,我们为应用程序和组合组合子定义了关系式替代方案:这些要求组合的两个成分在一个AMR关系中重叠。我们还提供了一个新的语义类型提升,这是必要的某些建设。使用这些机制,我们建议分析事件性名词,这对AMR图的推导提出了挑战。我们的理论分析将促进未来的工作,强大的和透明的AMR解析使用CCG。
2019-04-10 cs.CL
Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics
对话中语义处理模型的基本要求之一是渐进性:一个模型必须至少在逐字的基础上反映人们如何解释和生成语言,并处理碎片,不完整和联合产生的话语等现象。我们表明,增量逐词解析过程的动态的?我们提供了抽象的语义装饰DS树的节点,在向量,张量,和其总和;使用后者来模拟指定不足的元素,在增量处理过程中分配部分表示至关重要。作为一个工作的例子,我们给出了这个理论的一个实例,使用可扩展性张量的成分分布语义,并展示了我们的框架可以逐步分配语义可扩展性措施,因为它解析短语和句子。
2018-11-01 cs.AI cs.CL
The Lifted Matrix-Space Model for Semantic Composition
New York University(纽约大学)
用于句子编码的树结构神经网络架构从形式语言学中常见的语义组合方法中汲取灵感,并且通过这样做已经显示出对可比序列模型的经验改进。此外,在这些模型中的组合函数中添加乘法相互作用项可以产生显着的进一步改进。然而,现有的组合方法,采用这样一个强大的组合功能的规模差,与参数计数爆炸模型尺寸或词汇量的增长。我们引入了提升矩阵空间模型,它使用全局变换将向量词嵌入映射到矩阵,然后可以通过基于矩阵-矩阵乘法的操作来组合。它的组合功能有效地传输了大量的激活层与相对较少的模型参数。我们在Stanford NLI语料库、Multi-Genre NLI语料库和Stanford Sentiment Treebank上评估了我们的模型,发现它始终优于TreeLSTM(Tai et al.,2015年),以前最著名的树结构模型的组合函数。
2019-04-05 cs.CL
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)(希茨中心–Ixa,巴斯克国家大学(UPV/EHU))
本文探讨了双编码视觉-语言模型中组合性问题的根源,提出通过改进推断协议提升组合性能,引入轻量级变压器学习局部对齐,优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
Interpreting Sentiment Composition with Latent Semantic Tree
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团)
针对情感组合分析中现有层次树结构次优的问题,提出语义树这一新树形式,基于上下文无关文法描述语义角色组合规则,作为潜在变量通过内算法边缘化并优化分类性能,在常规与领域适应分类中取得更好或相当结果并生成合理树解释。
2023-08-31 cs.CL
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex(苏塞克斯大学)
分布模型来自语料库中的同现,其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间,需要用于推断缺失知识的机制。大多数方法都面临着这一挑战,使得最终的单词表示无法解释,其结果是语义组合变得难以建模。在本文中,我们探讨了一种替代方案,涉及明确推断未观察到的同现使用的分布邻域。我们发现,分布推理提高了稀疏词表示在几个词相似性基准,并证明我们的模型是有竞争力的形容词-名词,名词-名词和动词-对象组成的最先进的,同时是完全可解释的。
2016-08-24 cs.CL
NLSC: Unrestricted Natural Language-based Service Composition through Sentence Embeddings
Carnegie Mellon University(卡内基梅隆大学)
当前的服务组合方法(原子服务的组装)要求开发人员使用:用途:(a)特定于域的语义来形式化限制其描述词汇的服务,以及(b)用于服务检索的翻译机制,以将非结构化的用户请求转换为强类型的语义表示。在我们的工作中,我们认为,努力开发服务描述,请求翻译和匹配机制可以减少使用不受限制的自然语言,允许:(1)最终用户直观地表达他们的需求使用自然语言,(2)服务开发人员开发服务,而不依赖于语法/语义描述语言。虽然有一些基于自然语言的服务组合方法,他们限制服务检索的语法/语义匹配。随着机器学习和自然语言处理的最新发展,我们通过利用更丰富的句子语义表示来促进句子嵌入的使用,以进行服务描述、匹配和检索。实验结果表明,在保持高查准率和查全率的前提下,服务组合的开发工作量可减少44%以上.
2019-06-04 cs.AI cs.CL cs.SE
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University(捷克技术大学);University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
最近的工作组合分布模型表明,双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间,因此计算成本很高。在本文中,我们克服了这个问题,考虑模糊版本的量词沿线的扎德,在许多值的关系的范畴内。我们表明,这一类是一个具体的实例组成的分布模型。我们表明,在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此,我们现在能够处理模糊量化,而不需要幂集构造。
2021-09-23 cs.CL
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University(博伊西州立大学)
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中,我们将探讨这样一个模型可以增量执行组合,以及如何将模型与分布式表示统一起来。对于后者,我们利用分类器系数作为嵌入。对于组合,我们利用三种不同分类器类型的底层机制(即,逻辑回归、决策树和多层感知器),以获得对每个分类器唯一的组合的几种系统方法,包括组合的外延和内涵方法。我们将这些方法相互比较,并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明,需要扩大现有的组成策略,并汇集接地和分布表示。
2019-11-08 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California(南加州大学);Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图))
本研究针对句子嵌入组合语义可解释性不足的问题,提出支持嵌入空间组合操作的InterSent框架,通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入,在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
A Compositional Distributional Semantics, Two Concrete Constructions, and some Experimental Evaluations
University of Oxford(牛津大学)
我们概述了Coecke等人(arXiv:1003.4394v1 [cs.CL])开发的意义的混合成分分布模型,该模型基于分类方法,也适用于量子协议中的信息流分析。数学设定规定,一个句子的意义是它的词的意义的张量积的线性函数。我们提供了具体的结构,这个定义和目前的技术来建立向量空间的意义向量的话,以及句子。这些方法的适用性证明,通过一个玩具向量空间,以及从英国国家语料库和两个消歧实验的真实数据。
2011-06-07 cs.CL math.CT
Low-Resource Compositional Semantic Parsing with Concept Pretraining
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google(谷歌);Dyania Health(Dyania健康公司);UMass Amherst(马萨诸塞大学阿默斯特分校)
语义解析通过将自然语言映射到结构化的含义表示,在Alexa、Siri和Google Assistant等数字语音助手中发挥着关键作用。当我们想要通过添加新的域来提高语音助手的功能时,需要使用来自新域的数千个带注释的示例重新训练底层语义解析模型,这既耗时又昂贵。在这项工作中,我们提出了一个架构,自动执行这样的领域自适应,只有少量的元数据的新领域,没有任何新的训练数据(zero-shot)或很少的例子(Few-Shot)。我们使用一个基本的seq2seq(序列到序列)架构,并使用一个概念编码器对其进行增强,该编码器对来自新域的意图和插槽标签进行编码。我们还引入了一种新的以解码器为中心的方法,使用Wikidata对seq2seq模型进行概念感知预训练,并使用它来帮助我们的模型学习重要的概念,并在低资源设置中表现良好。我们报告Few-Shot和zero-shot的结果组成的语义解析的TOPv2数据集,并表明我们的模型优于以前的方法在Few-Shot设置的TOPv2和SNIPS数据集。
2023-01-30 cs.CL
Evaluating Semantic Parsing against a Simple Web-based Question Answering Model
Tel-Aviv University(特拉维夫大学)
语义解析擅长分析复杂的自然语言,其中涉及对多个证据的组合和计算。然而,用于语义解析的数据集包含许多可以从单个Web文档中回答的事实问题。在本文中,我们提出了评估语义解析为基础的问答模型进行比较,他们的问答基线查询网页,并提取答案只从网页片段,没有访问目标知识库。我们在COMPLEXQUESTIONS上研究了这种方法,COMPLEXQUESTIONS是一个旨在关注组合语言的数据集,发现我们的模型获得了合理的性能(35 F1与最先进的41 F1相比)。我们在分析中发现,我们的模型在涉及连词的复杂问题上表现良好,但在涉及关系组合和最高级的问题上表现不佳。
2017-07-14 cs.CL
A Categorial Framework for Composition in Multiple Linguistic Domains
本文描述了一个计算框架的语法架构,其中不同的语言领域,如形态,句法和语义被视为不是单独的组件,但组成域。单词和短语的形成被建模为统一的过程,有助于语义形式的推导。词素和词位一样,都有语义内容、策略约束和语音实现形式的词汇表征。这项工作的动机是处理形态-语法交互(例如,使役的配价变化,由格标记词缀施加的次范畴化)。该模型基于组合范畴语法。
1995-06-29 cmp-lg cs.CL