Reasoning Over Paths via Knowledge Base Completion
Healx
大规模知识图谱中的路径推理是一个重要的应用问题。在本文中，我们讨论了一个简单的方法来自动构建和排名之间的源和目标实体对学习嵌入使用知识库完成模型（KBC）的路径。我们通过挖掘可用的生物医学科学文献来组装知识图谱，并提取一组高频路径以用于验证。我们证明，我们的方法是能够有效地排名一对实体之间的已知路径的列表，也拿出似是而非的路径，不存在于知识图谱。对于给定的实体对，我们能够在前10个排名路径中重建60%的最高排名路径，并达到49%的平均精度。我们的方法是组合的，因为任何KBC模型，可以产生实体的矢量表示可以使用。
2019-11-01 cs.AI cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
自然语言的特点是组合性：一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力，我们引入了COGS，一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口，这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合，或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中，我们发现在COGS测试集上的分布准确度接近完美（96- 99%），但泛化准确度低得多（16- 35%），并且对随机种子表现出高敏感性（$\pm$ 6- 8%）。这些发现表明，当代标准的NLP模型在其成分概括能力方面是有限的，并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了SentiBERT，一个变种的BERT，有效地捕捉成分的情感语义。该模型结合上下文表示和二元选区分析树来捕获语义组合。综合实验表明，SentiBERT在短语级情感分类上取得了有竞争力的性能。我们进一步证明了从SST上的短语级注释中学习到的情感成分可以转移到其他情感分析任务以及相关任务，例如情感分类任务。此外，我们进行消融研究和设计可视化方法来了解SentiBERT。我们表明，SentiBERT是优于基线方法在捕捉否定和对比关系和模型的成分情感语义。
2020-05-21 cs.CL
Span-based Semantic Parsing for Compositional Generalization
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管序列到序列（seq2seq）模型在语义解析中取得了成功，但最近的工作表明它们在组合泛化中失败，即，在训练过程中观察到的组件构建的新结构的能力。在这项工作中，我们认为一个基于跨度的解析器应该导致更好的组合泛化。我们提出SpanBasedSP，一个分析器，预测一个输入话语的生成树，明确编码部分程序如何组成的跨度在输入。SpanBasedSP扩展了Pasupat et al.（2019），使其与seq2seq模型相当，方法是（i）从程序中进行训练，不访问黄金树，将树视为潜在变量，（ii）通过对标准CKY的扩展来解析一类非投影树。在GeoQuery、SCAN和CLOSURE数据集上，SpanBasedSP在随机拆分上的性能与强seq2seq基线相似，但与需要组合泛化的拆分基线相比，性能显著提高：从$61.0 \rightarrow 88.9$平均精度。
2021-06-13 cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
表示两个给定单词（或实体）之间存在的语义关系是自然语言处理（NLP）广泛应用的重要第一步，如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移（\PairDiff）。尽管取得了经验上的成功，但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子，可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明，如果词嵌入是标准化的和不相关的，这样的操作将是独立的双线性项，并可以简化为一个线性形式，其中\PairDiff是一个特殊情况。对于众多的词嵌入类型，我们实证验证了不相关的假设，证明了我们的理论结果的普遍适用性。此外，我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Proceedings End-to-End Compositional Models of Vector-Based Semantics
基于向量语义的端到端组合模型研讨会于2022年8月15日和16日在NUI Galway举行，作为第33届欧洲逻辑，语言和信息暑期学校（ESSLLI 2022）的一部分。该研讨会由研究项目“基于向量的语义建模与荷兰本地化的组合演算”（荷兰研究委员会360-89-070，2017-2022）赞助。讲习班方案由两部分组成，第一部分报告上述项目的成果，第二部分包括就相关方法提交的论文。本卷收集了投稿论文和特邀演讲的摘要。
2022-08-10 cs.CL
Alignment-based compositional semantics for instruction following
University of California, Berkeley（加州大学伯克利分校）
本文描述了一个基于解释的模型，用于解释上下文中的自然语言指令。我们将指令遵循视为对计划的搜索，根据对文本和环境的结构化观察对行动序列进行评分。通过明确建模的低层次组成结构的个人行动和高层次的结构完整的计划，我们能够学习接地表示的句子意义和语用约束的解释。为了展示模型的灵活性，我们将其应用于一组不同的基准测试任务。在每一项任务上，我们都超越了强大的特定任务基准，并取得了几项新的最先进的成果。
2017-04-12 cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University（萨尔大学）
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器，实现了，第一次，竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性，在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
On Evaluating Multilingual Compositional Generalization with Translated Datasets
University of Copenhagen（哥本哈根大学）
本研究通过构建基于规则的MCWQ-R多语言翻译数据集，评估跨语言组合泛化，发现语言差异导致组合分布受损，多语言模型跨语言泛化仍具挑战。
2023-06-20 cs.CL
A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University（御茶水女子大学）
比较结构在自然语言推理中起着重要的作用。然而，由于比较句句法结构和推理模式的复杂性，从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中，使用组合范畴语法（CCG）的基础上的框架，我们提出了一个组合语义，映射在英语中的各种比较结构的语义表示，并引入了一个推理系统，有效地处理逻辑推理与比较，包括那些涉及数字形容词，反义词，和量化。我们评估我们的系统的性能FraCaS测试套件，并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
Set-Theoretic Compositionality of Sentence Embeddings
Auburn University（奥本大学）；University of Central Florida（中佛罗里达大学）
本文提出基于集合论的六个标准，评估句子编码器的组合性，发现SBERT优于最新LLM，并发布约19.2万样本的新数据集以促进基准测试。
2025-02-28 cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen（哥本哈根大学）
语义解析（SP）允许人类通过自然交互来利用大量的知识资源。然而，解析器大多是针对英语资源设计和评估的，例如CFQ（Keysers等人，2020），目前的标准基准基于从语法规则生成的英语数据，并面向Freebase，一个过时的知识库。我们提出了一种方法，用于创建一个多语言的，并行的数据集的问题查询对，接地在维基数据。我们引入这样一个数据集，我们称之为多语言组成维基数据问题（MCWQ），并使用它来分析组成的概括语义分析器在希伯来语，卡纳达语，中文和英文。虽然语言内泛化在不同语言之间是可比的，但zero-shot跨语言迁移的实验表明，跨语言合成泛化失败，即使使用最先进的预训练多语言编码器也是如此。此外，我们的方法，数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa（亚马逊 Alexa）
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入，以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT，ALBERT-基地，和ALBERT-大，三个已经压缩的BERT变种，达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时，嵌入压缩率为95.15% ~ 98.46%，编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方，并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
Compositional Semantics and Inference System for Temporal Order based on Japanese CCG
The University of Tokyo（东京大学）
自然语言推理（NLI）是确定前提是否包含假设的任务。时体是一种复杂的语言现象，涉及到时间副词和时间连接词的相互作用。为了解决这个问题，时态和体推理已经在形式语义学领域中以各种方式进行了分析。然而，日本NLI系统的时间顺序的基础上分析的形式语义还没有得到充分的发展。我们提出了一个基于逻辑的NLI系统，认为时间顺序在日本的组合语义的基础上，通过组合范畴语法（CCG）的句法分析。我们的系统进行推理，涉及时序使用公理的时间关系和自动定理证明。我们评估我们的系统通过实验与日本NLI数据集，涉及时间顺序。我们表明，我们的系统优于以前的基于逻辑的系统以及当前基于深度学习的模型。
2022-04-20 cs.CL
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Rule-Guided Compositional Representation Learning on Knowledge Graphs
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；Qingdao University（青岛大学）
知识图谱上的表示学习是将知识图谱的实体和关系嵌入到低维连续向量空间中。早期的KG嵌入方法只关注以三元组编码的结构化信息，由于KG的结构稀疏性，这将导致性能有限。最近的一些尝试考虑路径信息，以扩大结构的知识库，但缺乏可解释性的过程中获得的路径表示。本文提出了一种新的基于规则和路径的联合嵌入方案（RPJE），该方案充分利用了逻辑规则的可解释性和精确性、KG嵌入的推广性以及路径的补充语义结构。具体地说，首先从KG中挖掘出Horn子句形式的不同长度（规则体中关系的个数）的逻辑规则，并对其进行精心编码，用于表示学习。然后，长度为2的规则被用来准确地组合路径，而长度为1的规则被显式地用来创建关系之间的语义关联和约束关系嵌入。此外，在优化过程中还考虑了规则的置信度，以保证规则应用于表示学习的有效性。大量的实验结果表明，RPJE优于其他国家的最先进的基线上KG完成任务，这也证明了利用逻辑规则以及路径，以提高表示学习的准确性和可解释性的优势。
2019-12-28 cs.AI cs.CL cs.LG
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team（谷歌研究院大脑团队）
虽然已知主流机器学习方法具有有限的合成概括能力，但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构，以评估其有效性，以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现，掩蔽语言模型（MLM）的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中，我们表明，与可比的非预训练模型相比，预训练导致性能的显着改善，而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
University of Southern California（南加州大学）；Google Research（谷歌研究院）；New York University（纽约大学）
神经网络模型通常不能很好地推广到不匹配的域或分布。在NLP中，当模型被期望在成分上进行概括时，这个问题尤其会出现，也就是说，熟悉的单词和结构的新组合。我们研究了促进从一个组合任务到另一个组合任务的迁移学习的学习表示：模型的表示层和特定于任务的层在预微调任务上进行了不同的策略训练，以便它们能够很好地概括需要组合性的不匹配分割。我们将这种方法应用于语义解析，使用三个非常不同的数据集，COGS，GeoQuery和SCAN，交替使用作为预微调和目标任务。我们的方法显着提高了合成泛化在目标任务的测试集上的基线，这是在微调期间举行。消融研究的特点，在所提出的算法的主要步骤的效用，并支持我们的假设。
2021-11-09 cs.CL cs.LG
Collaborative Training of Tensors for Compositional Distributional Semantics
University of Cambridge（剑桥大学）
基于类型的成分分布语义模型提出了一个有趣的研究路线到功能表征的语言意义。然而，这样的模型的缺点之一是缺乏训练每个单词类型组合所需的训练数据。在本文中，我们通过引入在相似单词之间共享参数的训练方法来解决这个问题。我们表明，这些方法使零样本学习的话，根本没有训练数据，以及使建设高质量的张量从非常少的训练样本每个字。
2017-05-05 cs.CL cs.LG
Compositional Operators in Distributional Semantics
University of Oxford（牛津大学）
这项调查提出了一些详细的主要进展，最近发生在计算语言学的两个突出的语义范式的统一：成分形式语义观和基于向量空间的意义的分布模型。在介绍了这两种方法之后，我回顾了旨在提供分布式语义组合性的最重要的模型。然后，我继续并更详细地介绍了Coecke，Sadrzadeh和Clark（2010）基于范畴论的抽象数学设置的特定框架，作为一个更完整的例子，能够展示这种研究可以借鉴的技术和科学学科的多样性。本文最后讨论了重要的开放性问题，需要解决的研究人员在未来。
2014-01-21 cs.AI cs.CL math.CT
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Improved Relation Extraction with Feature-Rich Compositional Embedding Models
Harbin Institute of Technology（哈尔滨工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
组合嵌入模型基于语言结构的组成词嵌入来构建语言结构的表示（或嵌入）。我们提出了一个丰富的组合嵌入模型（FCM）的关系抽取，是表达，推广到新的领域，并且易于实现。其关键思想是将两种（非词汇化的）手工制作的功能与学习的词嵌入相结合。该模型能够直接解决传统组合嵌入模型遇到的困难，例如处理任意类型的句子注释和利用全局信息进行组合。我们测试了两个关系抽取任务，并证明我们的模型优于以前的组合模型和传统的功能丰富的模型上ACE 2005关系抽取任务，和SemEval 2010关系分类任务。我们的模型和具有手工制作特征的对数线性分类器的组合给出了最先进的结果。
2015-09-15 cs.AI cs.CL cs.LG
