Augmenting Compositional Models for Knowledge Base Completion Using Gradient Representations
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research AI（微软人工智能研究院）
知识库数据的神经模型通常采用图对象的组合表示：实体和关系嵌入被系统地结合起来，以评估候选知识库条目的真实性。使用一个模型的灵感来自谐波语法，我们建议标记三重嵌入，使他们的优化过程中学习良好的知识库三元组的条件。由此产生的模型（称为梯度图）在作为组合模型的伴侣实现时会带来相当大的改进。此外，我们表明，它产生的“超组合”三重标记嵌入具有可解释的属性，证明有助于在所产生的三重表示进行推理。
2019-08-12 cs.CL
Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation
Carnegie Mellon University（卡内基梅隆大学）；INESC-ID（葡萄牙系统与计算机工程研究所（ID 版））；Instituto Superior Técnico（里斯本高等理工学院）
我们介绍了一个模型，用于构建矢量表示的单词组成字符使用双向LSTM。相对于传统的单词表示模型，每个单词类型都有独立的向量，我们的模型只需要一个单一的向量，每个字符类型和一组固定的参数组成的模型。尽管这个模型的紧凑性，更重要的是，在语言中的形式-功能关系的任意性，我们的“组成”的单词表示产生的语言建模和词性标注的最先进的结果。相对于传统基线的优势在形态丰富的语言中特别明显（例如，土耳其语）。
2016-05-23 cs.CL
Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
序列到序列（seq2seq）模型在语义解析中很流行，但已经发现在分布外的组合泛化方面很困难。虽然已经提出了专门的模型架构和seq2seq模型的预训练来解决这个问题，但前者通常以通用性为代价，而后者只显示出有限的成功。在本文中，我们研究了中间表示对预训练seq2seq模型中组合泛化的影响，而根本不改变模型架构，并确定了设计有效表示的关键方面。我们不是训练直接将自然语言映射到可执行形式，而是映射到与自然语言具有更强结构对应性的可逆或有损中间表示。我们提出的中间表示和预训练模型的组合令人惊讶地有效，其中最佳组合在CFQ（+14.8准确度点）和三个文本到SQL数据集的模板分割（+15.0到+19.4准确度点）上获得了新的最先进水平。这项工作强调，中间表示提供了一个重要的，可能被忽视的自由度，以提高预训练seq2seq模型的组合泛化能力。
2021-04-15 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Compositional Morphology for Word Representations and Language Modelling
University of Oxford（牛津大学）
本文提出了一种可扩展的方法，将组合形态表示集成到基于向量的概率语言模型。我们的方法进行评估的上下文中的日志双线性语言模型，呈现适当的效率内的机器翻译解码器的实施因素的词汇。我们进行了内在和外在的评估，展示了一系列语言的结果，这些语言表明我们的模型学习了在单词相似性任务上表现良好的形态表示，并导致困惑的大幅减少。当用于翻译成具有大词汇量的形态丰富的语言时，我们的模型相对于使用退避n-gram模型的基线系统获得了高达1.2个BLEU点的改进。
2014-05-16 cs.CL
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
Distributed Representations for Compositional Semantics
New College（新学院）
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而，自然语言通常是在单词层面之外的结构中出现的，其意义不仅来自单个单词，而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型，用于将这些表示组成更大的语言单元。我们的基本假设是，神经模型是学习语义丰富的表示的合适工具，而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估，作为其中的一部分，我们介绍了几种新的方法，表示学习和组合语义，以及多种国家的最先进的模型，适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
A Factorized Model for Transitive Verbs in Compositional Distributional Semantics
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion, IIT（以色列理工学院）
我们提出了一个分解的成分分布语义模型来表示及物动词结构。我们的模型首先产生（主语，动词）和（动词，宾语）向量表示的基础上的相似性的建设中的名词的词汇和这些名词的倾向，以动词的主语和宾语的角色。然后，这些向量通过简单的向量操作组合成最终的（主语、动词、宾语）表示。在两个既定的任务的及物动词建设我们的模型优于最近以前的工作。
2016-09-25 cs.CL
Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models
Carnegie Mellon University（卡内基梅隆大学）
组合性是人类语言的一个重要特征，它是一个短语的意义可以从它的组成部分推导出来的现象。与此同时，许多短语是非合成的，其含义超出了孤立的每个部分。表示这两种类型的短语是语言理解的关键，但它是一个悬而未决的问题，现代语言模型（LM）是否学会这样做，在这项工作中，我们研究这个问题。首先，我们制定了一个问题，预测LM内部表示较长的短语给定的成分。我们发现，一个父短语的表示可以预测一定的准确性给出了仿射变换的孩子。虽然我们希望预测准确性与人类对语义组合性的判断相关，但我们发现情况在很大程度上并非如此，这表明LM可能无法准确区分成分和非成分短语。我们进行了各种分析，揭示了不同品种的LM做，不产生组成表示，并讨论了未来的建模工作的影响。
2022-10-22 cs.CL
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
Leveraging Monolingual Data for Crosslingual Compositional Word Representations
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）；University of Tokyo（东京大学）
在这项工作中，我们提出了一种新的神经网络为基础的架构，诱导成分的跨语言单词表示。与以前提出的方法不同，我们的方法满足以下三个标准;它约束的词级表示是合成的，它能够利用双语和单语数据，它是可扩展的大词汇量和大量的数据。我们的方法的关键组成部分是什么，我们称之为单语包含标准，利用观察到的短语更密切的语义相关的子短语比其他随机抽样的短语。我们评估我们的方法上一个完善的跨语言文档分类任务，并取得的结果是可比的，或大大提高了以前的国家的最先进的方法。具体地说，我们的方法达到了92.7%和84.4%的准确率分别为英语到德语和德语到英语的子任务。前者使现有技术的准确度提高了0.9%，后者比现有技术的准确度提高了7.7%，误差减少了33.0%。
2015-08-22 cs.CL
Compositional Representation of Morphologically-Rich Input for Neural Machine Translation
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
神经机器翻译（NMT）模型通常使用固定大小的输入和输出词汇进行训练，这对其准确性和泛化能力造成了重要的瓶颈。作为一种解决方案，各种研究提出了将单词分割成子单词单元并在子词汇水平上进行翻译。然而，统计分词方法最近被证明是容易出现形态错误，这可能导致不准确的翻译。在本文中，我们建议通过用双向递归神经网络替换NMT的源语言嵌入层来克服这个问题，该双向递归神经网络可以在任何期望的粒度级别上生成输入的组合表示。我们测试我们的方法在一个低资源的设置与五种语言从不同的形态类型学，并根据不同的组成假设。通过训练NMT从字符n-gram组成单词表示，我们的方法始终优于（从1.71到2.48 BLEU点）统计生成的子单词单元的NMT学习嵌入。
2018-05-05 cs.CL
Breaking Token Into Concepts: Exploring Extreme Compression in Token Representation Via Compositional Shared Semantics
Indian Institute of Technology Kharagpur（印度理工学院Khargapur）
本文提出聚合语义分组（ASG）方法，利用乘积量化将词元表示为共享语义概念的组合，在仅保留0.4%-0.5%嵌入参数的情况下维持超过95%的任务性能，验证了词元可被有效建模为共享语义构建块组合的原则。
2025-09-23 cs.CL
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文描述了一个层次组合递归网络（HCRN），它包括一个3级层次的组合模型：字符，单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题，另一个是没有使用句间依赖。在HCRN中，单词表示是从字符中构建的，从而解决了数据稀疏性问题，并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案，以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是，具有句间依赖性的句子表示能够捕获句子的隐式和显式语义，显着提高性能。最后，HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%，达到了最先进的性能。
2016-06-03 cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool（利物浦大学）
识别词（或实体）之间存在的关系对于各种自然语言处理任务（诸如，关系搜索、名词修饰语分类和类比检测）是重要的。从语料库中提取词与词共现的模式，并为每个词对分配一个模式频率向量，是表示词对之间关系的一种流行方法。尽管这种方法很简单，但它存在数据稀疏性，信息可扩展性和语言创造性的问题，因为该模型无法处理语料库中以前未见过的单词对。相比之下，用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能，通过测量的关系相似性，使用几个基准数据集的词类比。此外，我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
Disentangled Sequence to Sequence Learning for Compositional Generalization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
越来越多的证据表明，现有的神经网络模型，特别是非常流行的序列到序列架构，很难系统地推广到可见组件的不可见组成。我们证明了阻碍合成泛化的原因之一与表征纠缠有关。我们提出了一个扩展序列到序列模型，鼓励解开自适应重新编码（在每个时间步）的源输入。具体来说，我们将源表示条件化为新解码的目标上下文，这使得编码器更容易为每个预测利用专门的信息，而不是在单个前向传递中捕获所有信息。语义解析和机器翻译的实验结果表明，我们的建议提供了更多的解纠缠表示和更好的泛化。
2022-03-22 cs.CL
NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization
Michigan State University（密歇根州立大学）
提出神经符号框架NeSyCoCo，利用大语言模型生成符号表示并映射至可微神经计算，通过依存结构增强输入、分布式词表示链接谓词与神经模块及软组合对齐推理，在组合泛化基准上达到最优。
2024-12-20 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
Measuring Compositionality in Representation Learning
University of California, Berkeley（加州大学伯克利分校）
许多机器学习算法用向量嵌入或离散代码表示输入数据。当输入呈现出组合结构（例如，从子程序的部分或过程构建的对象）时，很自然地会问这种组合结构是否反映在输入的学习表示中。虽然语言中的组合性的评估在语言学和邻近领域中受到了极大的关注，但机器学习文献缺乏用于在更一般（例如，向量值）表示空间中产生组合结构的分级测量的通用工具。我们描述了一个程序，通过测量如何以及真实的代表生产模型可以近似的模型，明确组成的推断代表性原语的集合进行评估的组合性。我们使用的程序，以提供正式和经验的组成结构在各种设置的特征，探索组合性和学习动态，人类的判断，表征相似性和泛化之间的关系。
2019-04-06 cs.CL cs.LG stat.ML
Multilingual Word Embeddings using Multigraphs
Google Inc.（谷歌公司）
我们提出了一个家庭的神经网络-启发模型计算连续的单词表示，专门设计用于利用单语和多语言文本。该框架允许我们对嵌入进行无监督训练，与以前以无监督方式训练的模型相比，这些嵌入在句法和语义组合性以及多语言语义相似性方面表现出更高的准确性。我们还表明，这样的多语言嵌入，优化语义相似性，可以提高性能的统计机器翻译就如何处理字不存在于并行数据。
2016-12-14 cs.CL
Towards Compositionality in Concept Learning
University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
针对现有无监督概念提取方法缺乏组合性的问题，提出组合概念提取（CCE）方法，通过满足组合性属性，在多模态数据集上发现了更具组合性的概念表示，并提升了下游分类任务的准确率。
2024-06-26 cs.CL cs.LG
Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit
Columbia University（哥伦比亚大学）；University of Gothenburg（哥德堡大学）；University of Washington（华盛顿大学）
观察到对于某些NLP任务，如语义角色预测或主题拟合估计，随机嵌入的表现与预训练的嵌入一样好，我们探索了哪些设置允许这一点，并检查了大部分学习的编码：词嵌入，语义角色嵌入或"网络“。根据任务及其与培训目标的关系，我们找到了微妙的答案。我们在多任务学习中研究这些表示学习方面，其中角色预测和角色填充是监督任务，而几个主题拟合任务不在模型的直接监督范围内。我们观察到一些任务的质量分数和训练数据大小之间的非单调关系。为了更好地理解这一观察结果，我们使用这些任务的更简单的每个动词版本来分析这些结果。
2022-10-23 cs.CL
A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University（御茶水女子大学）
比较结构在自然语言推理中起着重要的作用。然而，由于比较句句法结构和推理模式的复杂性，从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中，使用组合范畴语法（CCG）的基础上的框架，我们提出了一个组合语义，映射在英语中的各种比较结构的语义表示，并引入了一个推理系统，有效地处理逻辑推理与比较，包括那些涉及数字形容词，反义词，和量化。我们评估我们的系统的性能FraCaS测试套件，并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
Multilingual Models for Compositional Distributed Semantics
University of Oxford（牛津大学）
我们提出了一种新的技术，学习语义表示，扩展的分布假设，多语言数据和联合空间嵌入。我们的模型利用并行数据，并学习强烈对齐语义等价句子的嵌入，同时在不同句子之间保持足够的距离。该模型不依赖于单词对齐或任何句法信息，并成功地应用于许多不同的语言。我们也扩展了我们的方法来学习文档级别的语义表示。我们评估这些模型的两个跨语言的文档分类任务，优于现有的最先进的状态。通过定性分析和研究的旋转效应，我们证明，我们的表示是语义上合理的，可以捕捉语义关系，跨语言，而无需并行数据。
2014-04-17 cs.CL
Learning to Compose Representations of Different Encoder Layers towards Improving Compositional Generalization
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
针对seq2seq模型中编码器和解码器层间表示纠缠阻碍组合泛化的问题，提出CompoSition扩展，通过在编码器与解码器间引入组合层动态组合不同编码器层表示，在两个基准上取得有竞争力的结果。
2023-10-18 cs.CL
Layer-wise Representation Fusion for Compositional Generalization
Xiamen University（厦门大学）；Kuaishou Technology（快手科技）
针对组合泛化中表示纠缠问题，提出LRF层间表示融合框架，通过融合注意力模块有效融合前层信息，在现实基准上取得良好效果。
2023-12-21 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
A Complexity-Based Theory of Compositionality
Mila – Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文提出基于算法信息论的表示组合性形式化定义，要求表示具有表达力、可重组为符号序列且语义映射简单，并通过实验验证其能统一AI与认知科学中的组合性直觉。
2025-06-02 cs.AI cs.CL cs.LG
Discovering the Compositional Structure of Vector Representations with Role Learning Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；New York University（纽约大学）
神经网络如何在缺乏明确的组合表示的情况下，在组合任务上表现得如此出色？我们使用一种新的分析技术，称为角色，表明经常性的神经网络在这样的任务上表现良好，收敛到的解决方案，其中隐含的符号结构。这种方法揭示了一种符号结构，当它正确嵌入向量空间时，它非常近似于训练用于执行组合SCAN任务的标准seq2seq网络的编码。我们验证的因果关系的重要性，发现的符号结构，当我们系统地操纵隐藏的嵌入基于这个符号结构，模型的输出改变的方式预测我们的分析。
2020-11-16 cs.CL cs.LG stat.ML
Compositional Generalization for Primitive Substitutions
Baidu Research（百度研究院）
成分泛化是人类语言学习的一个基本机制，但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示，使得很难应用组合性的先验知识。相比之下，我们的方法利用这样的知识与两个表示，一个生成注意力地图，和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明，在五个自然语言处理任务，包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中，Jump任务的准确率从14.0%提高到98.8%，TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上，它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Feature Fusion Effects of Tensor Product Representation on (De)Compositional Network for Caption Generation for Images
随着研究人员试图推广模型并定义视觉特征和自然语言处理之间的表示，图像描述的进展逐渐变得复杂。这项工作试图定义这种关系的表示形式称为张量积表示（TPR），推广了语言建模和结构化的语言属性（与语法和语言的词性），这将提供一个更好的结构和语法正确的句子的计划。TPR能够更好地和独特地表示和构造特征空间，并且将能够从这些表示更好地组成句子。一个很大的一部分，定义和改进这些TPR的不同方式进行了讨论，并评估其性能相对于传统的程序和功能表示图像描述应用。新模型比相应的以前的架构实现了相当大的改进。
2018-12-17 cs.CL cs.CV
Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models
Intology AI
提出CS-ReFT方法，通过轻量级路由器组合隐藏状态中的多个正交子空间变换，有效解决多任务适配中的跨技能干扰，以极低参数开销显著提升多任务指令遵循能力。
2025-04-26 cs.AI cs.CL
Constrained Decoding for Neural NLG from Compositional Representations in Task-Oriented Dialogue
Facebook Conversational AI（脸书对话人工智能部门）；Ohio State University（俄亥俄州立大学）
在面向任务的会话系统中，从结构化的语义表示生成流畅的自然语言应答是一个关键步骤。像E2 E NLG挑战赛这样的途径鼓励了神经方法的发展，特别是针对这个问题的序列到序列（Seq 2Seq）模型。然而，所使用的语义表示通常是指定不足的，这对句子规划的生成模型造成了更高的负担，并且还限制了在实时系统中可以控制生成的响应的程度。在本文中，我们（1）提出使用树结构的语义表示，就像传统的基于规则的NLG系统中使用的那些语义表示一样，用于更好的话语级结构和会话级规划;（2）针对天气领域引入使用这种表示的具有挑战性的数据集;（3）针对Seq 2Seq模型引入一种约束解码方法，该方法利用这种表示来提高语义正确性;和（4）在我们的数据集和E2 E数据集上展示了有希望的结果。
2019-06-17 cs.AI cs.CL
Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
University of Southern California（南加州大学）；Google Research（谷歌研究院）；New York University（纽约大学）
神经网络模型通常不能很好地推广到不匹配的域或分布。在NLP中，当模型被期望在成分上进行概括时，这个问题尤其会出现，也就是说，熟悉的单词和结构的新组合。我们研究了促进从一个组合任务到另一个组合任务的迁移学习的学习表示：模型的表示层和特定于任务的层在预微调任务上进行了不同的策略训练，以便它们能够很好地概括需要组合性的不匹配分割。我们将这种方法应用于语义解析，使用三个非常不同的数据集，COGS，GeoQuery和SCAN，交替使用作为预微调和目标任务。我们的方法显着提高了合成泛化在目标任务的测试集上的基线，这是在微调期间举行。消融研究的特点，在所提出的算法的主要步骤的效用，并支持我们的假设。
2021-11-09 cs.CL cs.LG
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Segmentation-free Compositional $n$-gram Embedding
Kyoto University（京都大学）；RIKEN（理化学研究所）
我们提出了一种新型的表示学习方法，无缝地建模单词，短语和句子。我们的方法不依赖于分词和任何人类注释的资源（例如，词典），但它是非常有效的噪音语料库写的未分割的语言，如中文和日语。我们方法的主要思想是完全忽略单词边界（即，无分段），并利用合成子$n$-元的嵌入来构造原始语料库中的所有字符$n$ -元的表示。尽管这个想法很简单，但我们在各种基准和真实世界数据集上的实验表明了我们的提议的有效性。
2019-05-29 cs.CL cs.LG
Compositional Demographic Word Embeddings
University of Michigan（密歇根大学）
词嵌入通常来源于包含来自许多个体的文本的语料库，因此导致通用表示而不是个体个性化表示。虽然个性化嵌入可以用于提高语言模型性能和其他语言处理任务，但它们只能为具有大量纵向数据的人计算，而新用户则不是这种情况。我们提出了一种新形式的个性化词嵌入，其使用从用户的全部或部分人口统计信息（即，性别、年龄、地点、宗教）。我们发现，由此产生的人口统计意识的单词表示优于通用的单词表示的两个任务的英语：语言建模和词的关联。我们进一步探讨了可用属性的数量和它们的相对有效性之间的权衡，并讨论了使用它们的伦理影响。
2020-10-29 cs.AI cs.CL cs.LG
Improving Compositional Generalization with Self-Training for Data-to-Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Google Research（谷歌研究院）
数据到文本生成的重点是从结构化的意义表示（MR）生成流畅的自然语言响应。这种表示是组成的，它是昂贵的收集原子意义图式的所有可能的组合的响应，从而需要Few-Shot概括到新的MR。在这项工作中，我们系统地研究了组成概括的国家的最先进的T5模型在Few-Shot数据到文本的任务。我们发现，T5模型无法推广到看不见的MR，我们提出了一个基于模板的输入表示，大大提高了模型的泛化能力。为了进一步提高模型的性能，我们提出了一种基于自训练的方法，使用微调BLEURT进行伪响应选择。在常用的SGD和天气基准测试中，所提出的自训练方法在Few-Shot设置中将树的准确性提高了46%+，并将时隙出错率降低了73%+。
2022-04-11 cs.AI cs.CL
Can LLMs Deceive CLIP? Benchmarking Adversarial Compositionality of Pre-trained Multimodal Representation via Text Updates
Seoul National University（首尔国立大学）
提出 MAC 基准，利用 LLM 生成欺骗文本以揭示 CLIP 等多模态表示的组合性漏洞，并通过拒绝采样微调的自训练方法显著提升攻击成功率与样本多样性。
2025-05-28 cs.AI cs.CL cs.CV
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.（谷歌公司）
最近引入的连续Skip-gram模型是一种有效的方法，用于学习高质量的分布式向量表示，捕获大量精确的语法和语义词的关系。在本文中，我们提出了几个扩展，提高了向量的质量和训练速度。通过对频繁单词进行子采样，我们获得了显着的加速，并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心，以及它们不能表示惯用短语。例如，“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发，我们提出了一种在文本中查找短语的简单方法，并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Know Yourself and Know Your Neighbour: A Syntactically Informed Self-Supervised Compositional Sentence Representation Learning Framework using a Recursive Hypernetwork
ADAPT Research Centre（ADAPT研究中心）；Trinity College Dublin（都柏林圣三一学院）
针对句子表示学习的开放性挑战，提出基于递归超网络的句法感知自监督框架，通过6项自监督任务训练，生成的句子表示编码信息更丰富且对不同长度句子稳定。
2026-10-14 cs.CL cs.LG
CodeBind: Decoupled Representation Learning for Multimodal Alignment with Unified Compositional Codebook
Visual AI Lab, The University of Hong Kong（视觉人工智能实验室，香港大学）
CodeBind通过统一的组合代码本设计优化多模态表示空间，解决了传统方法在跨模态信息差异和数据稀缺导致的对齐空间不足问题，实现了多模态分类和检索任务中的最佳性能。
2026-05-18 cs.AI cs.CL cs.CV
SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models
Department of Artificial Intelligence, Korea University, Seoul, South Korea（人工智能系，韩国大学，首尔，韩国）；Department of Computer Science and Engineering, Korea University, Seoul, South Korea（计算机科学与工程系，韩国大学，首尔，韩国）
SCRIPT通过注入子字符组合知识提升韩语PLM的结构粒度，无需修改架构或额外预训练，在多种NLU和NLG任务中提升性能，并改进语法规律和语义连贯性。
2026-04-14 cs.AI cs.CL
Compositional Distributional Cognition
University of Oxford（牛津大学）
我们将[32]的整合联结主义/符号架构（ICS）容纳在[13]的范畴组合语义（CatCo）中，形成了范畴组合认知（CatCog）的模型。这解决了ICS的内在问题，例如表示存在于无限空间中以及具有不同树结构的句子不能直接比较的事实。我们这样做的方式，使大部分的语法结构可用，而不是像循环卷积的策略。使用CatCo模型还允许我们利用为CatCo开发的工具，例如通过密度矩阵表示歧义和逻辑推理，单词的结构意义，如关系代词，以及寻址过度和欠扩展，所有这些都存在于认知过程中。此外，CatCog框架足够灵活，允许完全不同的意义表示，例如概念空间。有趣的是，由于CatCo模型在很大程度上受到分类量子力学的启发，CatCog也是如此。
2016-08-12 cs.AI cs.CL math.CT
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
涉及多步推理的问题需要分解它们，并使用中间步骤的答案来达到最终答案。然而，在接地问答的最先进的模型往往不显式地执行分解，导致难以推广到分布外的例子。在这项工作中，我们提出了一个模型，计算表示和外延的所有问题跨度在一个自下而上，组合的方式使用CKY风格的解析器。我们的模型诱导潜在树，仅由端到端（答案）监督驱动。我们发现，这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子，相比强大的基线上的算术表达式基准以及CLOSURE，一个数据集，专注于系统的泛化接地问答。在这个具有挑战性的数据集上，我们的模型达到了96.1%的准确率，明显高于之前的模型，后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
Department of Linguistics, University of California, Berkeley（加州大学伯克利分校语言学系）；Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系）
研究通过无监督深度神经网络发现，从原始语音中可自发生成多词拼接，揭示了语法演化的潜在机制。
2026-04-22 cs.AI cs.CL cs.SD
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室）；Independent Researcher（独立研究员）
提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
