Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学,以解决概念绑定问题,并利用带标签图像训练词表示,从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Compositional Operators in Distributional Semantics
University of Oxford(牛津大学)
这项调查提出了一些详细的主要进展,最近发生在计算语言学的两个突出的语义范式的统一:成分形式语义观和基于向量空间的意义的分布模型。在介绍了这两种方法之后,我回顾了旨在提供分布式语义组合性的最重要的模型。然后,我继续并更详细地介绍了Coecke,Sadrzadeh和Clark(2010)基于范畴论的抽象数学设置的特定框架,作为一个更完整的例子,能够展示这种研究可以借鉴的技术和科学学科的多样性。本文最后讨论了重要的开放性问题,需要解决的研究人员在未来。
2014-01-21 cs.AI cs.CL math.CT
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida(佛罗里达大学)
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案,为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
Bridging Compositional and Distributional Semantics: A Survey on Latent Semantic Geometry via AutoEncoder
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Idiap Research Institute(Idiap研究 institute);Cancer Biomarker Centre, CRUK Manchester Institute(CRUK曼彻斯特癌症生物标志物中心)
本文探讨如何通过自编码器架构弥合组合式与分布式语义的差距,分析三种主流自编码器在语义结构和可解释性上的独特潜在几何特性。
2026-04-15 cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University(萨尔大学)
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器,实现了,第一次,竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性,在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
Compositional Semantic Parsing with Large Language Models
Google Research(谷歌研究院);UMass Amherst CICS(马萨诸塞大学阿默斯特分校信息与计算机科学学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
当面对新任务时,人类可以进行组合推理。先前的研究表明,适当的提示技术使大语言模型(LLM)能够解决人工合成泛化任务,如SCAN。在这项工作中,我们确定了更多的挑战,更现实的语义解析任务,更大的词汇量和完善这些提示技术来解决这些问题。我们最好的方法是基于最小到最大的提示:它分解的问题,使用基于语法分析的句法分析,然后使用这种分解,以选择适当的样本,并顺序生成语义分析。这种方法使我们能够为CFQ设定一个新的技术水平,同时只需要传统方法使用的训练数据的1%。由于我们的方法的一般性质,我们预计类似的努力将导致在其他任务和领域,特别是知识密集型应用程序的新成果。
2022-09-30 cs.AI cs.CL
SUBS: Subtree Substitution for Compositional Semantic Parsing
Georgia Institute of Technology(佐治亚理工学院);Fudan University(复旦大学)
虽然序列到序列模型在用于i.i.d.的语义解析中通常可以获得良好的性能。数据,他们的表现仍然是劣质的成分概括。已经提出了几种数据增强方法来缓解这个问题。然而,以前的工作只利用表面的语法或规则来进行数据增强,这导致了有限的改进。我们建议使用子树替换组合数据增强,我们认为具有相似语义功能的子树可交换。我们的实验表明,这种增强的数据导致显着更好的性能扫描和GeoQuery,并达到新的SOTA的GeoQuery的组成分裂。
2022-05-03 cs.CL
Learning Algebraic Recombination for Compositional Generalization
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学);Beihang University(北京航空航天大学)
神经序列模型在语义解析任务中表现出有限的组合泛化能力。合成泛化需要代数重组,即,以递归方式动态重组结构化表达式。然而,以往的研究主要集中在词汇单位的重组上,这是代数重组的一个重要部分,但并不充分。在本文中,我们提出了LeAR,一个端到端的神经模型来学习组合泛化的代数重组。关键的洞察力是模型的语义解析任务之间的一个潜在的语法代数和语义代数的同态,从而鼓励代数重组。具体来说,我们共同学习两个模块:一个用于生成潜在语法的Composer和一个用于分配语义操作的Interpreter。两个现实的和全面的组合泛化基准的实验证明了我们的模型的有效性。源代码可在https://github.com/microsoft/ContextualSP上公开获得。
2021-07-14 cs.AI cs.CL
Design considerations for a hierarchical semantic compositional framework for medical natural language understanding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对医学NLP难以逻辑解释临床文本的问题,论文提出受认知机制启发、以HSCM为核心的层级语义组合框架,并设计生成式语义模型与语义解析器。
2022-04-05 cs.AI cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
尽管神经序列到序列模型已经成功地应用于语义解析,但是它们在合成泛化方面失败,即,它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析,组合性是明确占符号语法,我们提出了一个新的解码框架,保留了表达性和一般性的序列到序列模型,同时具有词典风格的路线和解开信息处理。具体来说,我们分解解码成两个阶段,其中输入的话语是第一次标记的语义符号表示的含义的个别单词,然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明,该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics
Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了SentiBERT,一个变种的BERT,有效地捕捉成分的情感语义。该模型结合上下文表示和二元选区分析树来捕获语义组合。综合实验表明,SentiBERT在短语级情感分类上取得了有竞争力的性能。我们进一步证明了从SST上的短语级注释中学习到的情感成分可以转移到其他情感分析任务以及相关任务,例如情感分类任务。此外,我们进行消融研究和设计可视化方法来了解SentiBERT。我们表明,SentiBERT是优于基线方法在捕捉否定和对比关系和模型的成分情感语义。
2020-05-21 cs.CL
Graded Entailment for Compositional Distributional Semantics
Microsoft(微软);University of Oxford(牛津大学)
自然语言的范畴成分分布模型提供了一个概念上有动机的过程来计算句子的意义,给定的语法结构和它的词的意义。这种方法在主流经验语言处理任务中的表现优于其他模型。然而,直到最近,它一直缺乏词汇蕴涵的关键特征--就像其他意义的分布模型一样。在本文中,我们解决了问题的蕴涵的范畴组合分布语义。利用抽象的范畴框架,我们可以改变我们对模型的选择。这使得引入蕴涵的概念,利用量子计算中部分知识的分类语义的想法。新的语言模型使用密度矩阵,我们引入了一种新的鲁棒的分级顺序捕捉概念之间的蕴涵强度。这种分级措施出现在一个一般框架的近似蕴涵,诱导任何交换幺半群。量子逻辑嵌入了我们的等级秩序。我们的主要定理表明,蕴涵强度升降机组成的句子水平,给出了一个下界的句子蕴涵。我们描述了分级蕴涵的基本性质,如连续性,并提供了一个计算蕴涵强度的过程。
2016-01-25 cs.AI cs.CL cs.LO
Improving Compositional Generalization in Semantic Parsing
Tel-Aviv University(特拉维夫大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所)
推广模型的分布外(OOD)的数据最近引起了极大的关注。具体而言,成分概括,即,模型是否推广到由训练期间观察到的组件构建的新结构,已经引起了极大的兴趣。在这项工作中,我们调查的组成概括的语义解析,一个自然的测试床组成概括,作为输出程序的子组件。我们分析了各种各样的模型,并提出了多个扩展的语义解析器的注意力模块,旨在提高合成泛化。我们发现,以下因素提高了合成泛化:(a)使用上下文表示,如ELMo和BERT,(b)通知解码器什么输入令牌先前已经注意到,(c)训练解码器注意力与预先计算的令牌对齐,以及(d)下采样对应于频繁的程序模板的例子。虽然我们大大减少了分布和OOD泛化之间的差距,但OOD组合的性能仍然很低。
2020-10-12 cs.CL
Making Transformers Solve Compositional Tasks
Google Research(谷歌研究院)
几项研究已经报道了Transformer模型无法进行组合概括,这是许多NLP任务(如语义解析)中的一种关键类型的概括。在本文中,我们探讨了Transformer模型的设计空间,显示了几个设计决策对模型的归纳偏差显着影响组合泛化。通过这种探索,我们确定了Transformer配置,概括组成显着优于以前在文献中报道的一组不同的合成任务,并实现了最先进的结果,在语义解析合成概括基准(COGS),和字符串编辑操作合成基准(PCFG)。
2022-03-03 cs.AI cs.CL
Coordination in Categorical Compositional Distributional Semantics
Queen Mary University of London(伦敦玛丽女王大学)
分类组合分布语义学的一个开放性问题是从分布的角度来看被认为是语义空洞的词的表示,例如限定词,介词,关系代词或协调词。同一句法类型之间的协调是语言中最常见的协调现象。通过利用紧凑的封闭结构的基础类别和Frobenius运营商规范诱导的固定基础上的有限维向量空间,我们提供了一个态射表示的协调员张量,我们展示了它如何升降机从原子类型的复合类型。语言的直觉,并讨论了作为除了紧凑的封闭设置方面的语言的Frobenius运营商的重要性。
2016-08-04 cs.AI cs.CL math.CT
Compositional Semantics in Verbmobil
本文讨论了如何实现组合语义的Verbmobil语音到语音翻译系统使用LUD,一种描述语言,欠指定的话语表示结构。描述了DRT中的描述语言及其形式化解释,以及它的实现和系统的整个句法语义处理模块的体系结构。我们表明,一个语言健全的理论和形式主义可以正确地实现在一个系统(近)实时的要求。
1996-07-30 cmp-lg cs.CL
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University(东北大学)
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义(DCS)联系起来。我们的理论证据表明,在我们的模型中的矢量组合物符合DCS的逻辑。实验表明,基于向量的组合具有很强的计算相似短语作为相似向量的能力,在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时,DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务,并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而,迄今为止,它缺乏一个逻辑否定的模式。本文给出了一些步骤,提供这个操作,它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
A Factorized Model for Transitive Verbs in Compositional Distributional Semantics
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Technion, IIT(以色列理工学院)
我们提出了一个分解的成分分布语义模型来表示及物动词结构。我们的模型首先产生(主语,动词)和(动词,宾语)向量表示的基础上的相似性的建设中的名词的词汇和这些名词的倾向,以动词的主语和宾语的角色。然后,这些向量通过简单的向量操作组合成最终的(主语、动词、宾语)表示。在两个既定的任务的及物动词建设我们的模型优于最近以前的工作。
2016-09-25 cs.CL
Proceedings End-to-End Compositional Models of Vector-Based Semantics
基于向量语义的端到端组合模型研讨会于2022年8月15日和16日在NUI Galway举行,作为第33届欧洲逻辑,语言和信息暑期学校(ESSLLI 2022)的一部分。该研讨会由研究项目“基于向量的语义建模与荷兰本地化的组合演算”(荷兰研究委员会360-89-070,2017-2022)赞助。讲习班方案由两部分组成,第一部分报告上述项目的成果,第二部分包括就相关方法提交的论文。本卷收集了投稿论文和特邀演讲的摘要。
2022-08-10 cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
自然语言的特点是组合性:一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力,我们引入了COGS,一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口,这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合,或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中,我们发现在COGS测试集上的分布准确度接近完美(96- 99%),但泛化准确度低得多(16- 35%),并且对随机种子表现出高敏感性($\pm$ 6- 8%)。这些发现表明,当代标准的NLP模型在其成分概括能力方面是有限的,并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London(伦敦玛丽女王大学)
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中,短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下,语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为,基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵,显示的优势,密度矩阵向量的词级蕴涵,并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构,并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team(谷歌研究院大脑团队)
虽然已知主流机器学习方法具有有限的合成概括能力,但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构,以评估其有效性,以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现,掩蔽语言模型(MLM)的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中,我们表明,与可比的非预训练模型相比,预训练导致性能的显着改善,而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?
Google Research(谷歌研究院)
序列到序列模型擅长处理自然语言变化,但已被证明与分布外的组合泛化的斗争。这激发了具有更强成分偏差的新的专门架构,但这些方法中的大多数仅在合成生成的数据集上进行了评估,这些数据集并不代表自然语言的变化。在这项工作中,我们问:我们可以开发一个语义解析的方法,既处理自然语言的变化和组成的概括?为了更好地评估这种能力,我们提出了新的非合成数据集的训练和测试分裂。我们证明,强大的现有方法在广泛的评估中表现不佳。我们还提出了NQG-T5,这是一种混合模型,将高精度的基于语法的方法与预训练的序列到序列模型相结合。它在非合成数据上的几个合成泛化挑战方面优于现有方法,同时在标准评估方面也与最先进的方法竞争。虽然还远远没有解决这个问题,我们的研究突出了多样的评价和开放的挑战,处理组合泛化和自然语言变化的语义解析的重要性。
2021-06-01 cs.CL
A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University(御茶水女子大学)
比较结构在自然语言推理中起着重要的作用。然而,由于比较句句法结构和推理模式的复杂性,从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中,使用组合范畴语法(CCG)的基础上的框架,我们提出了一个组合语义,映射在英语中的各种比较结构的语义表示,并引入了一个推理系统,有效地处理逻辑推理与比较,包括那些涉及数字形容词,反义词,和量化。我们评估我们的系统的性能FraCaS测试套件,并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford(牛津大学);University of Trento(特伦托大学);University of Tokyo(东京大学)
我们提出了一个与Coecke等人(2010)的框架相关的组合分布语义模型,并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法,推广了Baroni和Zamparelli(2010)的方法。我们在两个基准数据集上对其进行了评估,发现它优于现有的领先方法。在我们的分析中,我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge(剑桥大学)
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而,这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中,我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明,这些方法使零样本学习的话,根本没有训练数据,以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Compositional Distributional Semantics with Long Short Term Memory
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
我们提出了一个扩展的递归神经网络,利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器(“存储单元”)中,并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案,并允许网络捕获长范围依赖性。实验结果表明,我们的组合优于传统的神经网络组成斯坦福情绪树库。
2015-04-17 cs.AI cs.CL cs.LG
Compositional Semantic Parsing on Semi-Structured Tables
Stanford University(斯坦福大学)
问答语义解析的两个重要方面是知识源的广度和逻辑组合的深度。虽然现有的工作从一个方面到另一个方面,本文同时通过一个新的任务在两个方面取得了进展:使用问答对作为监督,在半结构化表格上回答复杂的问题。核心挑战来自两个复合因素:更广泛的领域导致一组开放式的关系,更深层次的组合性导致逻辑形式空间的组合爆炸。我们提出了一个逻辑形式驱动的解析算法引导强类型约束,并表明它获得了显着的改善自然基线。为了进行评估,我们在维基百科表格上创建了一个包含22,033个复杂问题的新数据集,该数据集可供公众使用。
2015-08-03 cs.CL
A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London(伦敦玛丽女王大学)
Coecke,Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序,用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理,并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平,一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中,我们扩展的框架,以适应这些额外的信息,使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论,语调标记的话语的意义提供真值理论和分布语义,并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们将人类的语言理解形式化为一个结构化的预测任务,其输出是一个偏序集(poset)。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构,因此组合泛化能力较差。在本文中,我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉:(1)所提出的范例在语义上强制执行部分置换不变性,从而避免对偏置排序信息的过拟合;(2)分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题(CFQ),一个大的和现实的自然语言问答数据集,是专门设计来衡量组成的泛化。结果表明,它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen(哥本哈根大学)
语义解析(SP)允许人类通过自然交互来利用大量的知识资源。然而,解析器大多是针对英语资源设计和评估的,例如CFQ(Keysers等人,2020),目前的标准基准基于从语法规则生成的英语数据,并面向Freebase,一个过时的知识库。我们提出了一种方法,用于创建一个多语言的,并行的数据集的问题查询对,接地在维基数据。我们引入这样一个数据集,我们称之为多语言组成维基数据问题(MCWQ),并使用它来分析组成的概括语义分析器在希伯来语,卡纳达语,中文和英文。虽然语言内泛化在不同语言之间是可比的,但zero-shot跨语言迁移的实验表明,跨语言合成泛化失败,即使使用最先进的预训练多语言编码器也是如此。此外,我们的方法,数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
Learning compositional structures for semantic graph parsing
Saarland University(萨尔兰大学);Utrecht University(乌得勒支大学)
AM依存句法分析是一种利用组合性原理的神经语义图解析方法。虽然AM依赖解析器已经被证明是快速和准确的几个graphbank,他们需要明确的组合树结构的注释进行训练。在过去,这些都是使用由专家编写的复杂的特定于图形库的算法来获得的。在这里,我们展示了如何使用神经潜变量模型直接在图上训练它们,从而大大减少了手动识别的数量和复杂性。我们证明,我们的模型拿起自己的几个语言现象,并达到相当的精度监督训练,大大方便了使用AM依存句法分析的新sembanks。
2021-06-08 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University(乔治城大学);University of Amsterdam(阿姆斯特丹大学);Saarland University(萨尔大学);University of Groningen(格罗宁根大学)
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题,提出基于新型量词辖域预测机制的组合式神经符号AMS解析器,可稳定输出合规结果,复杂句子解析表现更优。
2024-10-09 cs.CL
Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
University of Southern California(南加州大学);Google Research(谷歌研究院);New York University(纽约大学)
神经网络模型通常不能很好地推广到不匹配的域或分布。在NLP中,当模型被期望在成分上进行概括时,这个问题尤其会出现,也就是说,熟悉的单词和结构的新组合。我们研究了促进从一个组合任务到另一个组合任务的迁移学习的学习表示:模型的表示层和特定于任务的层在预微调任务上进行了不同的策略训练,以便它们能够很好地概括需要组合性的不匹配分割。我们将这种方法应用于语义解析,使用三个非常不同的数据集,COGS,GeoQuery和SCAN,交替使用作为预微调和目标任务。我们的方法显着提高了合成泛化在目标任务的测试集上的基线,这是在微调期间举行。消融研究的特点,在所提出的算法的主要步骤的效用,并支持我们的假设。
2021-11-09 cs.CL cs.LG
A probabilistic framework for analysing the compositionality of conceptual combinations
Queensland University of Technology(昆士兰科技大学);Australian National University(澳大利亚国立大学)
概念组合在创造日常语言中广泛使用的复合短语方面发挥着重要作用。本文提供了一种新的概率框架,用于评估概念组合的语义是否是组合的,因此可以被认为是组成概念的语义的函数,或者不是。虽然语言的系统性和生产力为复合性的假设提供了强有力的论据,但这一假设在认知科学和哲学中仍然经常受到质疑。此外,语义组合性的原则是不够的,这意味着“强”和“弱”组合性的概念出现在文献中。而不是裁定不同等级的组合性,这里提出的框架有助于正式的方法,确定一个明确的分界线之间的组合和非组合语义。此外,我们认为,这些之间的区别是上下文敏感。利用量子理论中的复合系统分析开发的正式框架,我们提出了两种方法,允许语义的概念组合被归类为“成分”或“非成分”。组合性首先通过对组合建模的联合概率分布进行因子分解来形式化,其中因子分解中的术语对应于各个概念。这就给出了联合概率分布存在的充分必要条件。不满足该条件意味着当考虑其组合时,基础概念不能在单个概率空间中建模,并且该组合因此被认为是“非组合的”。正式的分析方法证明了他们的实证研究二十四个非词汇化的概念组合。
2014-11-21 cs.CL
Span-based Semantic Parsing for Compositional Generalization
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管序列到序列(seq2seq)模型在语义解析中取得了成功,但最近的工作表明它们在组合泛化中失败,即,在训练过程中观察到的组件构建的新结构的能力。在这项工作中,我们认为一个基于跨度的解析器应该导致更好的组合泛化。我们提出SpanBasedSP,一个分析器,预测一个输入话语的生成树,明确编码部分程序如何组成的跨度在输入。SpanBasedSP扩展了Pasupat et al.(2019),使其与seq2seq模型相当,方法是(i)从程序中进行训练,不访问黄金树,将树视为潜在变量,(ii)通过对标准CKY的扩展来解析一类非投影树。在GeoQuery、SCAN和CLOSURE数据集上,SpanBasedSP在随机拆分上的性能与强seq2seq基线相似,但与需要组合泛化的拆分基线相比,性能显著提高:从$61.0 \rightarrow 88.9$平均精度。
2021-06-13 cs.CL
Multilingual Models for Compositional Distributed Semantics
University of Oxford(牛津大学)
我们提出了一种新的技术,学习语义表示,扩展的分布假设,多语言数据和联合空间嵌入。我们的模型利用并行数据,并学习强烈对齐语义等价句子的嵌入,同时在不同句子之间保持足够的距离。该模型不依赖于单词对齐或任何句法信息,并成功地应用于许多不同的语言。我们也扩展了我们的方法来学习文档级别的语义表示。我们评估这些模型的两个跨语言的文档分类任务,优于现有的最先进的状态。通过定性分析和研究的旋转效应,我们证明,我们的表示是语义上合理的,可以捕捉语义关系,跨语言,而无需并行数据。
2014-04-17 cs.CL
Compositional generalization in a deep seq2seq model by separating syntax and semantics
University of Colorado Boulder(科罗拉多大学博尔德分校);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
用于自然语言处理的深度学习中的标准方法无法捕获人类语言的组成结构,该结构允许在训练分布之外进行系统泛化。然而,人类学习者很容易以这种方式进行归纳,例如通过将已知的语法规则应用于新单词。受神经科学工作的启发,建议单独的大脑系统进行句法和语义处理,我们对神经机器翻译中的标准方法进行了修改,实施了类似的分离。我们称之为句法注意力的新模型在SCAN数据集上的深度学习中大大优于标准方法,这是一种组合泛化任务,没有任何手工设计的功能或额外的监督。我们的工作表明,分离句法语义学习可能是一个有用的启发式捕捉成分结构。
2019-05-23 cs.CL cs.LG stat.ML
Neural Compositional Denotational Semantics for Question Answering
University of Pennsylvania(宾夕法尼亚大学);Facebook AI Research(Facebook人工智能研究院)
解决需要多步推理的组合问题是具有挑战性的。我们引入了一个端到端的可微模型来解释有关知识图谱(KG)的问题,这是受到语义的正式方法的启发。文本的每个跨度都由KG中的指示词和捕获意义的无基础方面的向量表示。学习组成模块递归地组合成分跨度,最终形成回答问题的完整句子。例如,为了解释“not green”,模型将“green”表示为一组KG实体,将“not”表示为一个可训练的未接地向量,然后使用该向量来参数化执行补码运算的组合函数。对于每个句子,我们构建了一个包含所有可能解析的解析图,允许模型通过终端任务监督的梯度下降来共同学习组合运算符和输出结构。该模型学习各种具有挑战性的语义操作,如量词,析取和组合关系,并推断潜在的句法结构。与RNN、其基于树的变体和语义解析基线相比,它还可以很好地推广到比训练数据中更长的问题。
2018-08-29 cs.AI cs.CL cs.LG
Distributed Representations for Compositional Semantics
New College(新学院)
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而,自然语言通常是在单词层面之外的结构中出现的,其意义不仅来自单个单词,而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型,用于将这些表示组成更大的语言单元。我们的基本假设是,神经模型是学习语义丰富的表示的合适工具,而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估,作为其中的一部分,我们介绍了几种新的方法,表示学习和组合语义,以及多种国家的最先进的模型,适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University(捷克技术大学);University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
最近的工作组合分布模型表明,双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间,因此计算成本很高。在本文中,我们克服了这个问题,考虑模糊版本的量词沿线的扎德,在许多值的关系的范畴内。我们表明,这一类是一个具体的实例组成的分布模型。我们表明,在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此,我们现在能够处理模糊量化,而不需要幂集构造。
2021-09-23 cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi(印度理工学院德里分校)
与之前在语义解析(Kamath和Das,2018)和知识库问答(KBQA)(Chakraborty等人,2019; Zhu等人,2019; Hoffner等人,2017)我们试图从不同的角度来研究语义解析。具体来说,我们将集中在(a)从句法结构(Partee,1975年)的意义组合,(b)语义分析器处理给定的知识库(KB)上下文的词汇变化的能力。在接下来的部分中,在介绍了语义解析领域及其在KBQA中的应用之后,我们将描述使用语法形式主义CCG(Steedman,1996)的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中,我们将考虑使用形式语言的系统,例如$λ$ -演算(Steedman,1996),$λ$ -DCS(Liang,2013)。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions(Bao et al.,2016)和GraphQuestions(Su et al.,2016),可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
Alignment-based compositional semantics for instruction following
University of California, Berkeley(加州大学伯克利分校)
本文描述了一个基于解释的模型,用于解释上下文中的自然语言指令。我们将指令遵循视为对计划的搜索,根据对文本和环境的结构化观察对行动序列进行评分。通过明确建模的低层次组成结构的个人行动和高层次的结构完整的计划,我们能够学习接地表示的句子意义和语用约束的解释。为了展示模型的灵活性,我们将其应用于一组不同的基准测试任务。在每一项任务上,我们都超越了强大的特定任务基准,并取得了几项新的最先进的成果。
2017-04-12 cs.CL
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
许多NLP任务都受益于从上下文化的词嵌入中转移知识,然而,转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术(计数短语),成分语义(否定和语义角色标注),词汇语义(反义词和反义),确定了微调的RoBERTa,BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时,模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分,在最难的问题类上提高了42.1分。结果表明,RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
面向任务的组合语义解析(TCSP)处理复杂的嵌套用户查询,并作为虚拟助手的重要组成部分。目前的TCSP模型依赖于大量的训练数据来实现良好的性能,但无法推广到低资源的目标语言或领域。在本文中,我们提出了X2Parser,一个可转移的跨语言和跨域的语法分析器TCSP。与以前的模型,学习生成嵌套的意图和插槽的层次表示,我们建议预测扁平化的意图和插槽表示分开,并将这两个预测任务转化为序列标记问题。在此之后,我们进一步提出了一个基于生育率的插槽预测器,首先学习动态检测每个令牌的标签数量,然后预测插槽类型。实验结果表明,该模型在跨语言和跨领域的环境下,能够显著优于已有的强基线,并且在目标领域的目标语言上具有良好的泛化能力.此外,我们的模型以一种有效的非自回归方式解决了这个问题,与生成模型相比,延迟减少了66%。
2021-06-07 cs.AI cs.CL
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon Alexa(亚马逊 Alexa)
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入,以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT,ALBERT-基地,和ALBERT-大,三个已经压缩的BERT变种,达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时,嵌入压缩率为95.15% ~ 98.46%,编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方,并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College(贝利奥尔学院)
本文研究的是分布语义学中的组合性问题。分布语义学的前提是,词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布,并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法,这个组合性问题,即使用的范畴框架开发的Coecke,Sadrzadeh和克拉克,它结合了句法分析形式主义与分布语义表示的意义,产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法,以产生具体的组合分布模型的自然语言语义。它还表明,这样的模型可以表现得与自然语言处理领域的其他竞争方法相当,甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面,纳入了一些语法分析形式主义和提供学习程序,允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型,表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题,形成了一个良好的基础研究,说明了工作的例子,这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Breaking Token Into Concepts: Exploring Extreme Compression in Token Representation Via Compositional Shared Semantics
Indian Institute of Technology Kharagpur(印度理工学院Khargapur)
本文提出聚合语义分组(ASG)方法,利用乘积量化将词元表示为共享语义概念的组合,在仅保留0.4%-0.5%嵌入参数的情况下维持超过95%的任务性能,验证了词元可被有效建模为共享语义构建块组合的原则。
2025-09-23 cs.CL
Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
尽管预训练的语言模型在许多任务上表现出色,但已被证明在分布外的合成泛化上很困难。与此同时,最近的工作表明,模型缩放在许多NLP任务上有了相当大的改进。在语义解析中,按比例增加模型大小也能提高组合泛化能力吗?我们评估了高达11 B参数的编码器-解码器模型和高达540 B参数的仅解码器模型,并比较了将预训练语言模型应用于新任务的三种不同方法的模型缩放曲线:微调所有参数,提示微调和上下文学习。我们观察到,在语义解析评估中,微调通常在分布外的合成概括上具有平坦或负的缩放曲线。上下文学习具有正的缩放曲线,但通常会被更小的微调模型所超越。微调可以优于微调,这表明缩放的进一步潜在改进,因为它表现出更积极的缩放曲线。此外,我们还确定了几个随模型规模而变化的误差趋势。例如,较大的模型通常更好地建模输出空间的语法,但也更容易出现某些类型的过拟合。总的来说,我们的研究强调了当前技术的局限性,有效地利用模型规模进行组合泛化,而我们的分析也为未来的工作提出了有希望的方向。
2022-10-24 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California(南加州大学);Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图))
本研究针对句子嵌入组合语义可解释性不足的问题,提出支持嵌入空间组合操作的InterSent框架,通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入,在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Compositional Semantics and Inference System for Temporal Order based on Japanese CCG
The University of Tokyo(东京大学)
自然语言推理(NLI)是确定前提是否包含假设的任务。时体是一种复杂的语言现象,涉及到时间副词和时间连接词的相互作用。为了解决这个问题,时态和体推理已经在形式语义学领域中以各种方式进行了分析。然而,日本NLI系统的时间顺序的基础上分析的形式语义还没有得到充分的发展。我们提出了一个基于逻辑的NLI系统,认为时间顺序在日本的组合语义的基础上,通过组合范畴语法(CCG)的句法分析。我们的系统进行推理,涉及时序使用公理的时间关系和自动定理证明。我们评估我们的系统通过实验与日本NLI数据集,涉及时间顺序。我们表明,我们的系统优于以前的基于逻辑的系统以及当前基于深度学习的模型。
2022-04-20 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon(亚马逊);Georgia Institute of Technology(佐治亚理工学院)
最近的研究表明,结合预训练的语言模型(LM)与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构,规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调,LM很容易忘记预先训练的知识,过拟合虚假偏差,并遭受成分分布外泛化错误。为了解决这些问题,我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题,这些子问题对应于形式语言的子子句。基于分解,LM仅需要使用用于预测子子句的提示来生成简短答案。因此,SeqZero避免一次生成长的规范话语。此外,SeqZero不仅采用了Few-Shot模型,而且还采用了zero-shot模型来减轻过拟合。特别是,SeqZero通过集成配备了我们提出的约束重新缩放,从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能,这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
Towards Compositional Distributional Discourse Analysis
University of Oxford(牛津大学)
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法:句子的语法归约自动诱导出一个线性映射,用于组合从分布语义学获得的词向量。在本文中,我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标,我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构(DRS)的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架(RDF)。这为问答和照应解析的组合算法提供了一个高层次的规范,并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB