ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.（搜狗公司）；Tsinghua University（清华大学）
随着深度学习技术和大规模数据集的发展，问答系统得到了快速的改进，能够提供更准确、更令人满意的答案。然而，当前的QA系统要么关注于测试级答案，即，答案选择或短语级答案，即，机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中，系统需要从文档中收集多个支持证据来生成最终答案，这比句子级或短语级QA更困难。在本文中，我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题，我们提出了一个分层的图神经网络，它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进，以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
Seeing Both the Forest and the Trees: Multi-head Attention for Joint Classification on Different Compositional Levels
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；The ALTA Institute（阿尔塔研究所）
在自然语言中，单词被用来组合句子。它不是孤立的单词，而是层次结构的适当组合，传达了整个句子的含义。神经网络可以捕捉表达性的语言特征;然而，对单词和句子之间的联系的洞察很难自动获取。在这项工作中，我们设计了一个深度神经网络架构，明确连接较低和较高的语言组件，然后我们评估其在不同层次执行相同任务的能力。解决广泛的文本分类任务，我们表明，我们的模型，MHAL，学习，同时解决他们在不同的粒度层次之间的流动转移知识。使用一个多头注意力机制，以配合单个单词和完整的句子之间的表示，MHAL系统优于等效的模型，没有激励对发展成分表示。此外，我们证明，与建议的架构，句子信息自然流向单个单词，允许模型的行为像一个序列标签（这是一个较低的，字级的任务），即使没有任何字的监督，在一个zero-shot的方式。
2020-11-01 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA（Iprova股份公司）；EPFL（洛桑联邦理工学院）
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题，即是否也可以导出类似的方法来改进词序列的嵌入（即语义表示）。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型，突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
A Compositional Typed Semantics for Universal Dependencies
针对跨语言句子语义推导难题，本文提出构建于 Universal Dependencies 之上的组合式类型系统 UD Type Calculus，并在大型语料库上验证其可取得与基线相当的效果。
2024-03-02 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而，迄今为止，它缺乏一个逻辑否定的模式。本文给出了一些步骤，提供这个操作，它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
Assessing Composition in Sentence Vector Representations
University of Maryland（马里兰大学）；Institute for Advanced Computer Studies（高级计算机研究所）
实现语言理解的一个重要组成部分是掌握句子含义的组成，但解决这个问题的直接挑战是当前神经句子组成模型产生的句子向量表示的不透明性。我们提出了一种方法来解决这一挑战，开发任务，直接针对组成意义信息的句子向量表示具有高度的精度和控制。为了使这些受控任务的创建，我们引入了一个专门的句子生成系统，产生大的，注释的句子集满足指定的句法，语义和词汇的限制。我们描述的方法和生成系统的细节，然后提出的实验结果，应用我们的方法来探测从一些现有的句子组成模型的嵌入成分信息。我们发现，该方法是能够提取有用的信息，这些模型的不同能力，我们讨论了我们的结果的影响，这些系统的捕获句子信息。我们提供用于这些实验的数据集以及生成系统供公众使用。
2018-09-11 cs.CL
Compositional Translation: A Novel LLM-based Approach for Low-resource Machine Translation
Inria（法国国家信息与自动化研究所）
针对低资源机器翻译，提出组合式翻译范式：利用LLM将句子分解为短语并检索示例翻译，再借助自生成短语对辅助初始句子翻译，在多个主流基准上显著提升性能。
2025-03-06 cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University（萨尔大学）
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器，实现了，第一次，竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性，在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
Multilingual Models for Compositional Distributed Semantics
University of Oxford（牛津大学）
我们提出了一种新的技术，学习语义表示，扩展的分布假设，多语言数据和联合空间嵌入。我们的模型利用并行数据，并学习强烈对齐语义等价句子的嵌入，同时在不同句子之间保持足够的距离。该模型不依赖于单词对齐或任何句法信息，并成功地应用于许多不同的语言。我们也扩展了我们的方法来学习文档级别的语义表示。我们评估这些模型的两个跨语言的文档分类任务，优于现有的最先进的状态。通过定性分析和研究的旋转效应，我们证明，我们的表示是语义上合理的，可以捕捉语义关系，跨语言，而无需并行数据。
2014-04-17 cs.CL
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Tell Me Why You Feel That Way: Processing Compositional Dependency for Tree-LSTM Aspect Sentiment Triplet Extraction (TASTE)
University of Hamburg（汉堡大学）；Umeå University（于默奥大学）
情感分析已经从对整个句子的情感进行分类转变为提供句子中存在什么目标、各个目标具有什么情感以及负责该情感的因果词是什么的上下文信息。然而，这导致了对数据集的详细要求，这些数据集需要训练神经网络来完成确定实体、其情感以及该情感的因果词的联合三元组任务。需要这类数据来训练系统是有问题的，因为它们会受到叠加主观注释和域过度拟合的影响，导致在新的环境中应用时模型泛化能力差。随着我们今后试图共同确定其他背景要素，这些问题也可能变得更加复杂。为了缓解这些问题，我们提出了一种混合神经-符号方法，该方法利用依赖树-LSTM的组合情感解析结构和补充符号规则来正确地从句子中提取目标-情感-原因三元组，而不需要三元组训练数据。我们表明，这种方法有可能与最先进的方法保持一致，同时还简化了所需的数据，并通过Tree-LSTM提供了一定程度的可解释性。
2021-03-10 cs.CL
Meta-Learning to Compositionally Generalize
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
自然语言是合成的;句子的意义是其各部分意义的函数。这种特性使人类能够创造和解释新的句子，在他们先前的经验之外进行有力的概括。神经网络已经被证明难以处理这种泛化，特别是在设计用于评估组合泛化的任务上表现不佳（即训练和测试分布的不同方式对于组合策略来说是微不足道的）。他们在这些任务上的糟糕表现可能部分是由于监督学习的性质，它假设训练和测试数据来自同一分布。我们实现了一个元学习增强版本的监督学习，其目标直接优化分布外泛化。我们通过对现有的训练数据进行子采样来构建元学习的任务对。每一对任务都被构造成包含由相似性度量确定的相关示例，以防止模型记住它们的输入。在COGS和SCAN数据集上的实验结果表明，我们的相似性驱动的元学习可以提高泛化性能。
2021-06-29 cs.CL
Know Yourself and Know Your Neighbour: A Syntactically Informed Self-Supervised Compositional Sentence Representation Learning Framework using a Recursive Hypernetwork
ADAPT Research Centre（ADAPT研究中心）；Trinity College Dublin（都柏林圣三一学院）
针对句子表示学习的开放性挑战，提出基于递归超网络的句法感知自监督框架，通过6项自监督任务训练，生成的句子表示编码信息更丰富且对不同长度句子稳定。
2026-10-14 cs.CL cs.LG
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
A Sequential Model for Classifying Temporal Relations between Intra-Sentence Events
Texas A&M University（德克萨斯A&M大学）
我们提出了一个时序模型的句子内事件之间的时间关系分类。关键的观察是，事件之间的多词上下文的整体句法结构和成分意义对于区分细粒度的时间关系是重要的。具体来说，我们的方法首先提取一个序列的上下文单词，表明两个事件之间的时间关系，以及与两个事件提到之间的依赖路径对齐。然后，将上下文单词序列与对应于单词序列生成的词性标签序列和依赖关系序列一起作为输入提供给双向递归神经网络（LSTM）模型。神经网络学习围绕这两个事件的上下文的组合句法和语义表示，并预测它们之间的时间关系。在TimeBank语料库上对所提出的方法进行了评估，结果表明，序列建模能够准确地识别事件之间的时间关系，其性能优于使用各种离散特征作为输入的神经网络模型，该模型模仿了以前的基于特征的模型。
2017-07-23 cs.CL
Mathematical Foundations for a Compositional Distributional Model of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
我们提出了一个数学框架，用于统一向量空间模型中的意义分布理论，以及语法类型的合成理论，其中我们依赖于Lambek引入的预群代数。这个数学框架使我们能够从句子成分的含义中计算出一个好类型句子的含义。具体地说，预群的类型约简被“提升”为范畴中的态射，这是一个将成分的意义转化为（良好类型的）整体的意义的过程。重要的是，整个句子的意义存在于一个空间中，独立于句子的语法结构。因此，内积可以用来比较任意句子的意义，就像它是用来比较分布模型中单词的意义一样。我们采用的数学结构允许一个纯粹的图解演算，它揭示了信息如何在句子中的单词之间流动，以构成整个句子的意义。我们的“分类模型”的一个变化，其中涉及约束标量的向量空间的布尔半环的结果在蒙塔格风格的布尔值语义。
2010-03-23 cs.CL cs.LO math.CT
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona（亚利桑那大学）
本文构建包含1,304对句子的合成数据集SICCK，通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力，发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Evaluating Neural Word Representations in Tensor-Based Compositional Settings
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
我们提供了一个比较研究神经词表示和传统的向量空间的基础上共现计数，在一些组成的任务。我们使用三种不同的语义空间，并实现了七个基于张量的组合模型，然后我们在涉及动词消歧和句子相似性的任务中进行测试（以及更简单的加法和乘法方法）。为了检查它们的可扩展性，我们还使用简单的合成方法对具有较少约束的语言的大规模任务进行了空间评估：释义检测和对话行为标记。在更受约束的任务中，同现向量是有竞争力的，尽管组合方法的选择很重要;在大规模的任务中，它们被神经词嵌入胜过，神经词嵌入在整个任务中表现出鲁棒、稳定的性能。
2014-08-26 cs.CL
Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）
虽然最近的深度神经网络模型在图像描述任务上取得了有希望的结果，但它们在很大程度上依赖于具有成对图像和句子标题的语料库的可用性来描述上下文中的对象。在这项工作中，我们提出了深度组合字幕（DCC），以解决的任务，生成描述的新对象不存在于成对的图像-句子数据集。我们的方法通过利用大型对象识别数据集和外部文本语料库以及在语义相似的概念之间传输知识来实现这一点。目前的深度字幕模型只能描述包含在成对的图像-句子语料库中的对象，尽管它们是用大型对象识别数据集（即ImageNet）预先训练的。相比之下，我们的模型可以组成描述新对象及其与其他对象交互的句子。我们通过实证评估其在MSCOCO上的性能来证明我们的模型描述新概念的能力，并在没有配对图像标题数据的对象的ImageNet图像上显示定性结果。此外，我们扩展我们的方法来生成视频剪辑中的对象的描述。我们的研究结果表明，DCC有明显的优势，现有的图像和视频描述方法产生的新对象的描述上下文中。
2016-04-27 cs.CL cs.CV
A Comparative Investigation of Compositional Syntax and Semantics in DALL-E 2
University of Texas Health Science Center at Houston（休斯顿德克萨斯大学健康科学中心）；Smith College（史密斯学院）
本研究比较DALL-E 2与2-7岁儿童在理解测试中的语义表现，发现DALL-E 2在所有条件下均未达到儿童水平，尤其在可逆句、否定、形容词归属和被动句上失败，表明其缺乏组合性句子表征。
2024-03-18 cs.CL
A Compositional Distributional Semantics, Two Concrete Constructions, and some Experimental Evaluations
University of Oxford（牛津大学）
我们概述了Coecke等人（arXiv：1003.4394v1 [cs.CL]）开发的意义的混合成分分布模型，该模型基于分类方法，也适用于量子协议中的信息流分析。数学设定规定，一个句子的意义是它的词的意义的张量积的线性函数。我们提供了具体的结构，这个定义和目前的技术来建立向量空间的意义向量的话，以及句子。这些方法的适用性证明，通过一个玩具向量空间，以及从英国国家语料库和两个消歧实验的真实数据。
2011-06-07 cs.CL math.CT
StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持源句核心意义不变的情况下，可控地生成具有目标风格变化的语篇。许多现有的风格转换基准主要集中在个人的高层次语义变化（例如，积极到消极），这使得在高层次的可控性，但不提供涉及句子结构，强调和句子的内容细粒度的控制。在本文中，我们介绍了一个大规模的基准，StylePTB，（1）成对的句子经历了21个细粒度的风格变化，跨越原子词汇，句法，语义和文本的主题转移，以及（2）多个转移的组成，允许建模细粒度的风格变化作为更复杂，更高层次的转移的构建块。通过对StylePTB上的现有方法进行基准测试，我们发现它们很难对细粒度的更改进行建模，并且更难组合多种样式。因此，StylePTB带来了新的挑战，我们希望这将鼓励未来的研究在可控的文本风格转移，组合模型，学习解开表示。解决这些挑战将是迈向可控文本生成的重要步骤。
2021-04-12 cs.AI cs.CL cs.LG
Compositional Generalization for Data-to-Text Generation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
针对数据到文本生成中未见谓词组合导致的组合泛化问题，提出谓词聚类逐句生成模型，并构建基准，在忠实度指标上比T5提升31%。
2023-12-05 cs.CL cs.LG
A Character-Word Compositional Neural Language Model for Finnish
Reaktor；Aalto University（阿尔托大学）
受最近研究的启发，我们探索了在字符水平上对高度形态芬兰语进行建模的方法，同时保持词级模型的性能。我们提出了一个新的字符到单词到字符（C2W2C）的组合语言模型，使用字符作为输入和输出，同时仍然在内部处理单词级嵌入。我们的初步实验，使用芬兰Europarl V7语料库，表明C2W2C可以很好地应对形态丰富的语言，如高出的词汇率，预测新的单词，和不断增长的词汇量的挑战。值得注意的是，该模型能够正确地对训练数据中不存在的屈折形式进行评分，并逐个字符地对语法和语义正确的芬兰语句子进行采样。
2016-12-10 cs.CL
A Proof-Theoretic Approach to Scope Ambiguity in Compositional Vector Space Models
Queen Mary University of London（伦敦玛丽女王大学）
我们调查组成向量空间模型可以在多大程度上被用来占范围的量化句子（形式“每个男人都爱一些女人”）的歧义。这种含有两个量词的句子引入了两种解读，一种是直接的范围解读，一种是反向的范围解读。这种模糊性已经在向量空间模型中使用双代数（Hedges and Sadrzadeh，2016）和（Sadrzadeh，2016）进行了处理，尽管没有解释模糊性产生的机制。我们将用于非关联Lambek演算NL的极化聚焦的Lambek演算（如Moortgat和Moot，2011年）与基于向量的量词范围歧义的方法相结合。特别是，我们建立了一个程序，获得一个向量空间模型的量词范围歧义的衍生方式。
2018-10-25 cs.CL cs.LO
Graded Entailment for Compositional Distributional Semantics
Microsoft（微软）；University of Oxford（牛津大学）
自然语言的范畴成分分布模型提供了一个概念上有动机的过程来计算句子的意义，给定的语法结构和它的词的意义。这种方法在主流经验语言处理任务中的表现优于其他模型。然而，直到最近，它一直缺乏词汇蕴涵的关键特征--就像其他意义的分布模型一样。在本文中，我们解决了问题的蕴涵的范畴组合分布语义。利用抽象的范畴框架，我们可以改变我们对模型的选择。这使得引入蕴涵的概念，利用量子计算中部分知识的分类语义的想法。新的语言模型使用密度矩阵，我们引入了一种新的鲁棒的分级顺序捕捉概念之间的蕴涵强度。这种分级措施出现在一个一般框架的近似蕴涵，诱导任何交换幺半群。量子逻辑嵌入了我们的等级秩序。我们的主要定理表明，蕴涵强度升降机组成的句子水平，给出了一个下界的句子蕴涵。我们描述了分级蕴涵的基本性质，如连续性，并提供了一个计算蕴涵强度的过程。
2016-01-25 cs.AI cs.CL cs.LO
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语，通过将句子转换为拓扑反映语法结构的量子电路进行实验，对比量子电路方法与经典基线，为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
A Deep Network with Visual Text Composition Behavior
National Research Council Canada（加拿大国家研究委员会）
虽然自然语言是组合的，但最先进的神经模型如何实现组合性仍不清楚。我们提出了一个深度网络，它不仅可以实现具有竞争力的文本分类准确性，而且还表现出组合行为。也就是说，在创建一段文本（如句子）的分层表示时，网络的较低层将其特定于层的注意力权重分配给各个单词。相比之下，更高的层次组成有意义的短语和从句，其长度随着网络的加深而增加，直到完全组成句子。
2017-07-05 cs.AI cs.CL cs.NE
Evaluating Structural Generalization in Neural Machine Translation
The University of Tokyo（东京大学）
针对机器翻译中结构泛化评估不足的问题，构建了受控数据集SGET，评估发现神经机器翻译模型在结构泛化上比词汇泛化更困难，且语义解析与机器翻译性能趋势不同，凸显跨任务评估的重要性。
2024-06-19 cs.CL
Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
作用于词的分布表示以产生更大文本成分的向量的意义的深层组成模型正在演变为NLP研究的一个流行领域。我们详细介绍了一个组成的分布框架的基础上，丰富的形式的词嵌入，旨在促进在一个句子的上下文中的词之间的相互作用。嵌入层和组合层是针对通用目标联合学习的，该通用目标利用来自周围上下文的句法信息来增强向量。此外，每个单词都与许多意义相关联，其中最合理的是在合成过程中动态选择的。我们对所产生的载体进行了定性和定量的评价，并获得了积极的结果。在句子层面上，该框架的有效性证明了MSRPar任务，我们报告的结果在国家的最先进的范围内。
2015-08-13 cs.AI cs.CL cs.NE
Feature Fusion Effects of Tensor Product Representation on (De)Compositional Network for Caption Generation for Images
随着研究人员试图推广模型并定义视觉特征和自然语言处理之间的表示，图像描述的进展逐渐变得复杂。这项工作试图定义这种关系的表示形式称为张量积表示（TPR），推广了语言建模和结构化的语言属性（与语法和语言的词性），这将提供一个更好的结构和语法正确的句子的计划。TPR能够更好地和独特地表示和构造特征空间，并且将能够从这些表示更好地组成句子。一个很大的一部分，定义和改进这些TPR的不同方式进行了讨论，并评估其性能相对于传统的程序和功能表示图像描述应用。新模型比相应的以前的架构实现了相当大的改进。
2018-12-17 cs.CL cs.CV
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
A Frobenius Model of Information Structure in Categorical Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
Coecke，Sadrzadeh和Clark的分类成分分布模型提供了一个语言学动机的程序，用于计算句子的意义作为其中单词的分布意义的函数。该理论框架允许对语言的组成方面进行推理，并提供了研究潜在关系的结构方法。虽然该模型迄今已被应用于句法结构的水平，一个句子可以带来额外的信息通过语调手段在话语中传达。在目前的文件中，我们扩展的框架，以适应这些额外的信息，使用Frobenius代数结构规范诱导的基础上的有限维向量空间。我们详细的理论，语调标记的话语的意义提供真值理论和分布语义，并提出理由和广泛的例子。
2015-05-23 cs.AI cs.CL math.CT
Modelling Lexical Ambiguity with Density Matrices
University of Amsterdam（阿姆斯特丹大学）；University of Bristol（布里斯托尔大学）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所(ILLC)）
单词可以有多种含义。意义的成分分布模型被认为可以很好地处理被称为一词多义的意义变化的细微差别，但不能很好地处理词源无关或同音异义的词义。从向量转移到密度矩阵，我们可以对一个词的不同意义上的概率分布进行编码，也可以适应意义的组成分布模型。在本文中，我们提出了三种新的神经模型，用于从语料库中学习密度矩阵，并测试了它们在一系列组合数据集上区分词义的能力。当与特定的组合方法配对时，我们的最佳模型优于现有的基于向量的组合模型以及强大的句子编码器。
2020-10-12 cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT（麻省理工学院）
人类在理解新句子时非常灵活，这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明，虽然深度网络在呈现新句子时可以模仿一些人类语言能力，但系统变化揭示了网络语言理解能力的局限性。我们证明，这些限制可以通过解决gSCAN数据集中的泛化挑战来克服，gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力，例如，形容词和名词的新奇配对。我们采用的关键原则是组合性：网络的组成结构应该反映它们所解决的问题域的组成结构，同时允许端到端学习其他参数。我们建立了一个通用的机制，使代理，以概括他们的语言理解组成域。至关重要的是，我们的网络具有与先前工作相同的最先进性能，同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性，使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解，没有戏剧性的失败，没有角落的情况下，是至关重要的建设安全和公平的机器人，我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Compositional Generalization in Dependency Parsing
McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
组合性（Compositionality）--将熟悉的单元（如单词）组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化，Keysers等人（2020）引入了组合自由基分析（CFQ）。该数据集最大化了测试和训练分布在原始单元（如单词）上的相似性，同时最大化了复合发散：测试和训练分布在较大结构（如短语）上的不相似性。然而，依存句法分析缺少组合泛化基准。在这项工作中，我们为CFQ引入了一套黄金标准的依赖解析器，并使用它来分析最先进的依赖解析器的行为（Qi等人，2020年，CFQ数据集。我们发现，增加复合分歧降低依存句法分析的性能，虽然没有显着的语义解析的性能。此外，我们发现的依赖分析器的性能并不均匀降低相对于复合发散，和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能，并确定了一些句法结构，驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Subword Segmental Machine Translation: Unifying Segmentation and Target Sentence Generation
University of Cape Town（开普敦大学）
SSMT统一子词分段与翻译生成，通过动态解码提升黏着语言翻译质量，尤其在低资源场景下效果显著。
2023-05-11 cs.CL
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Constrained Decoding for Neural NLG from Compositional Representations in Task-Oriented Dialogue
Facebook Conversational AI（脸书对话人工智能部门）；Ohio State University（俄亥俄州立大学）
在面向任务的会话系统中，从结构化的语义表示生成流畅的自然语言应答是一个关键步骤。像E2 E NLG挑战赛这样的途径鼓励了神经方法的发展，特别是针对这个问题的序列到序列（Seq 2Seq）模型。然而，所使用的语义表示通常是指定不足的，这对句子规划的生成模型造成了更高的负担，并且还限制了在实时系统中可以控制生成的响应的程度。在本文中，我们（1）提出使用树结构的语义表示，就像传统的基于规则的NLG系统中使用的那些语义表示一样，用于更好的话语级结构和会话级规划;（2）针对天气领域引入使用这种表示的具有挑战性的数据集;（3）针对Seq 2Seq模型引入一种约束解码方法，该方法利用这种表示来提高语义正确性;和（4）在我们的数据集和E2 E数据集上展示了有希望的结果。
2019-06-17 cs.AI cs.CL
Segmentation-free Compositional $n$-gram Embedding
Kyoto University（京都大学）；RIKEN（理化学研究所）
我们提出了一种新型的表示学习方法，无缝地建模单词，短语和句子。我们的方法不依赖于分词和任何人类注释的资源（例如，词典），但它是非常有效的噪音语料库写的未分割的语言，如中文和日语。我们方法的主要思想是完全忽略单词边界（即，无分段），并利用合成子$n$-元的嵌入来构造原始语料库中的所有字符$n$ -元的表示。尽管这个想法很简单，但我们在各种基准和真实世界数据集上的实验表明了我们的提议的有效性。
2019-05-29 cs.CL cs.LG
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
RNNs Implicitly Implement Tensor Product Representations
Johns Hopkins University（约翰斯·霍普金斯大学）；Université Paris Diderot（巴黎狄德罗大学）；CNRS（法国国家科学研究中心）；Microsoft Research AI（微软研究院人工智能部门）
递归神经网络（RNN）可以学习符号结构（如序列和句子）的连续向量表示;这些表示通常表现出线性相似性（类比）。这种重复激发了我们的假设，即表现出这种重复的RNN隐式地将符号结构编译成张量积表示（TPR; Smolensky，1990），它将表示角色的向量的张量积相加组合（例如，序列位置）和表示填充物的向量（例如，特别的话）。为了验证这一假设，我们引入了张量积分解网络（TPDN），它使用TPR来近似现有的向量表示。我们使用合成数据证明了TPDN可以成功地近似线性和基于树的RNN自编码器表示，这表明这些表示具有可解释的组成结构;我们探索了导致RNN诱导这种结构敏感表示的设置。相比之下，进一步的TPDN实验表明，经过训练以编码自然发生的句子的四个模型的表示可以在很大程度上近似于一个单词袋，只有更复杂的结构的边际改进。我们的结论是，TPDN提供了一个强大的方法来解释向量表示，标准的RNN可以诱导组成序列表示，是非常好的近似TPR;在同一时间，现有的训练任务的句子表示学习可能不足以诱导强大的结构表示。
2019-03-05 cs.CL
Learning to Compose over Tree Structures via POS Tags
Peking University（北京大学）
递归神经网络（RecNN）是一种在句法树结构上递归地组合单词或短语的模型，已被证明具有获得各种NLP任务的句子表示的优越能力。然而，RecNN天生就存在一个棘手的问题，即树的每个节点的共享组合函数不能捕获复杂的语义组合，从而限制了模型的表达能力。为了解决这个问题，本文提出了标记引导的HyperRecNN/TreeLSTM（TG-HRecNN/TreeLSTM），它将超网络引入RecNN，以单词/短语的词性（POS）标记作为输入，并动态生成语义组合参数。在两个典型NLP任务的五个数据集上的实验结果表明，与RecNN和TreeLSTM相比，所提出的模型都获得了显着的改善。我们的TG-HTreeLSTM优于所有现有的基于RecNN的模型，并在四个句子分类基准上达到或与最先进的模型竞争。我们的模型的有效性也证明了定性分析。
2018-08-21 cs.CL
Causal Graphical Models for Vision-Language Compositional Understanding
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；ImageLab（图像实验室）
针对视觉-语言模型在组合任务中表现不佳的问题，本文提出基于因果图模型建模文本与视觉标记依赖关系的方法，实验表明该方法显著优于现有组合方法及使用更大数据集训练的方法。
2025-04-15 cs.AI cs.CL cs.CV
