Measuring non-trivial compositionality in emergent communication
University of Sussex（萨塞克斯大学）；Human Interactivity and Language Lab（人类交互与语言实验室）；Faculty of Psychology（心理学院）；University of Warsaw（华沙大学）
组合性是涌现交际和语言进化的重要解释对象。绝大多数的通信计算模型只解释了组合性的一种非常基本的形式：平凡组合性。如果一个复杂信号（例如蓝色圆圈）的含义归结为它的组成部分的含义的交集（例如蓝色对象集和圆圈集的交集），则合成协议是平凡合成的。如果一个复杂信号（例如最大的苹果）的含义是其组成部分含义的更复杂函数，则该协议是非平凡组合（NTC）的。在本文中，我们回顾了几个指标的组合性在紧急通信和实验表明，他们中的大多数未能检测NTC -即他们对待非平凡的组合性作为失败的组合性。一个例外是树重建错误，这是一个由组合性的正式账户激励的度量。这些结果强调了紧急通信研究的重要局限性，这可能会阻碍NTC出现的建模进展。
2020-10-29 cs.CL cs.LG cs.NE
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings
Kyoto University（京都大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）；Naver（Naver公司）
众所周知，典型的词嵌入方法，如Word2Vec和GloVe具有可以通过添加嵌入来组合含义的属性（添加组合性）。目前已经提出了几种理论来解释加性组合性，但以下问题仍然没有答案：（Q1）这些理论的假设并不适用于实际的词嵌入。(Q2)普通的加法组合可以被看作是词义的AND运算，但还不清楚其他运算，如OR和NOT，是如何通过嵌入计算的。我们解决这些问题的想法，频率加权中心在其核心。本文提出了一种后处理方法，以弥合实际的词嵌入和理论的假设之间的差距，关于添加剂组合作为答案（Q1）。给出了用词嵌入的线性运算取意义的或或非作为（Q2）的答案的方法。此外，我们通过实验证实，与运算的准确性，即，普通的加法合成性，可以通过我们的后处理方法得到改进（前100名精度提高3.5倍），并且可以正确执行OR和NOT运算。
2022-12-19 cs.CL
Measuring the compositionality of noun-noun compounds over time
Leiden University（莱顿大学）；University of Stuttgart（斯图加特大学）；University of Malta（马耳他大学）
我们目前正在进行的工作，在名名复合词的组合性的时间进程。以前的工作提出了计算方法来确定化合物的组成。这些方法尝试自动确定复合词整体含义相对于其部分含义的透明度。我们假设这样的属性可能会随着时间的推移而改变。我们使用的时间戳的谷歌图书语料库为我们的历时调查，并首先检查是否从这个语料库中提取的基于向量的语义空间能够预测组合性评级，尽管其固有的局限性。我们发现，使用时间信息有助于预测的评级，虽然与评级的相关性低于其他语料库。最后，我们展示了一系列化合物随时间的变化。
2019-06-12 cs.CL
Compositionality and the lexicon in evolutionary semantics
Institute for Logic, Language, and Computation, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学）
提出一个整合形式语义学组合原则的演化框架，通过词汇意义与组合函数的协同演化，发现保守性作为系统级抽象涌现，并调和了量词可学习性与演化模型的矛盾。
2026-09-15 cs.CL
A Multivariate Model for Representing Semantic Non-compositionality
Department of Computer Science（计算机科学系）
语义非合成短语是自然语言处理中一个非常有趣的研究课题。语义的非组合性是这类短语的主要特征，即短语的意义不能从其组成成分的意义中推导出来，但它们也具有高度的统计关联性和不可替代性。在这项工作中，我们提出了一个模型来识别非成分短语，考虑到所有这些特点。我们发现，所提出的模型显着优于现有的模型，主要集中在这些特征之一，确定非成分短语。
2019-08-15 cs.AI cs.CL
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Non-Compositionality in Sentiment: New Data and Analyses
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
本文针对情感分析中短语含义并非简单组合的现象，提出获取非组合性评分的方法，构建包含259个短语的NonCompSST数据资源，并利用该资源评估情感分析计算模型。
2023-10-31 cs.CL
Modeling Semantic Compositionality with Sememe Knowledge
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beihang University（北京航空航天大学）
语义复合性是指一个复杂的语言单位的意义可以由其组成成分的意义组合而成的现象。大多数相关的工作集中在使用复杂的组合功能来建模供应链，而很少有工作考虑模型中的外部知识。在本文中，我们验证了语义素，人类语言的最小语义单位，在SC建模的有效性，通过验证性实验。此外，我们第一次尝试将义素知识SC模型，并采用sememeincorporated模型在学习表示的多词表达，一个典型的任务SC。在实验中，我们实现了我们的模型，将知识从一个著名的义素知识库知网和执行内在和外在的评价。实验结果表明，我们的模型实现了显着的性能提升相比，基线方法，不考虑义素知识。我们进一步进行了定量分析和案例研究，以证明义素知识在SC建模中的有效性。本文的所有代码和数据可以在https://github.com/thunlp/Sememe-SC上获得。
2019-07-10 cs.CL
Visualizing and Understanding Neural Models in NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然神经网络已经成功地应用于许多自然语言处理任务，但由此产生的基于向量的模型非常难以解释。例如，不清楚它们如何实现{ \em组合性}，从单词和短语的意义中构建句子意义。在本文中，我们描述了四种策略，可视化NLP神经模型中的组合性，灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性，让我们看到否定中众所周知的标记不对称。然后，我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性}，它对最终组成的意义的贡献量：（1）梯度反向传播，（2）从平均单词节点的令牌的方差，（3）LSTM风格的门，测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用，并且还揭示了为什么LSTM优于简单的递归网络，
2016-01-08 cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Investigating Inner Properties of Multimodal Representation and Semantic Compositionality with Brain-based Componential Semantics
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Key Laboratory of Behavioural Science, Institute of Psychology（中国科学院心理研究所行为科学重点实验室）；Department of Psychology, University of Chinese Academy of Sciences（中国科学院大学心理学系）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
多模态模型已经被证明在学习语义表示方面优于基于文本的方法。然而，多模态表征中编码了哪些属性，它们在哪些方面优于单模态表征，以及不同输入模态的语义合成过程中发生了什么，这些都还不清楚。考虑到多模态模型最初是由人类的概念表征所激发的，我们假设将多模态表征与基于大脑的语义相关联将解释其内部属性以回答上述问题。为此，我们提出了简单的解释方法的基础上，基于大脑的成分语义。首先，我们研究多模态表征的内部属性，将它们与相应的基于大脑的属性向量相关联。然后，我们将分布式向量空间映射到可解释的基于大脑的成分空间，以探索语义组合性的内在属性。最后，本文揭示了自然语言理解的基本问题，如如何表示单词的含义，以及如何将单词的含义组合成更大的单位。
2017-11-22 cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi（印度理工学院德里分校）
与之前在语义解析（Kamath和Das，2018）和知识库问答（KBQA）（Chakraborty等人，2019; Zhu等人，2019; Hoffner等人，2017）我们试图从不同的角度来研究语义解析。具体来说，我们将集中在（a）从句法结构（Partee，1975年）的意义组合，（b）语义分析器处理给定的知识库（KB）上下文的词汇变化的能力。在接下来的部分中，在介绍了语义解析领域及其在KBQA中的应用之后，我们将描述使用语法形式主义CCG（Steedman，1996）的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中，我们将考虑使用形式语言的系统，例如$λ$ -演算（Steedman，1996），$λ$ -DCS（Liang，2013）。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions（Bao et al.，2016）和GraphQuestions（Su et al.，2016），可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
Quantifying Compositionality of Classic and State-of-the-Art Embeddings
University of Oxford（牛津大学）；University of Bristol（布里斯托大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种两步评估方法，通过典型相关分析和重建指标量化不同嵌入（包括静态、Transformer和图模型）的加性组合性，发现后期训练和深层中组合性更强。
2025-09-14 cs.AI cs.CL
Can Constructions "SCAN" Compositionality ?
International Institute of Information Technology（国际信息科技学院）
针对序列到序列模型在组合性泛化上的不足，提出无监督挖掘伪构式模板的预处理方法，在SCAN数据集上显著提升分布外准确率，并展现数据效率优势。
2025-09-24 cs.CL
Losing My Composure: Predicting Compositionality Over Time
University of Stuttgart（斯图加特大学）
研究德语和英语名词复合词语义变化，引入组合性趋势预测任务，通过新颖数据集评估。用不同语义向量表示及时间粒度实验，发现目标复合词组合性随时间负趋势小，窄时间切片训练模型更优，且静态表示有竞争力。
2026-07-14 cs.CL
The paradox of the compositionality of natural language: a neural machine translation case study
University of Edinburgh（爱丁堡大学）；University of Osnabrück（奥斯纳布吕克大学）；Facebook AI Research（脸书人工智能研究院）
在NLP中获得类似人类的性能通常被认为需要组合概括。神经网络是否表现出这种能力，通常是通过在高度组成的合成数据上训练模型来研究的。然而，自然语言中的组合性比这些数据所遵循的严格的、类似算术的版本要复杂得多，因此人工组合性测试无法让我们确定神经模型如何处理更现实形式的组合性。在这项工作中，我们重新实例化三个组合性测试从文献和重新制定他们的神经机器翻译（NMT）。我们的研究结果突出表明：i）不利的是，在更多数据上训练的模型更具组合性; ii）模型有时比预期的组合性更低，但有时更多，这说明需要不同水平的组合性，模型并不总是能够在它们之间正确地调节; iii）一些非组合行为是错误的，而其他行为反映了数据的自然变化。除了实证研究之外，我们的工作是一个行动的号召：我们应该重新思考神经网络中组合性的评估，并使用真实数据开发基准来评估自然语言的组合性，其中组成意义并不像做数学那样简单。
2022-03-31 cs.AI cs.CL cs.LG
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.（谷歌公司）
最近引入的连续Skip-gram模型是一种有效的方法，用于学习高质量的分布式向量表示，捕获大量精确的语法和语义词的关系。在本文中，我们提出了几个扩展，提高了向量的质量和训练速度。通过对频繁单词进行子采样，我们获得了显着的加速，并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心，以及它们不能表示惯用短语。例如，“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发，我们提出了一种在文本中查找短语的简单方法，并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Towards Compositionality in Concept Learning
University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
针对现有无监督概念提取方法缺乏组合性的问题，提出组合概念提取（CCE）方法，通过满足组合性属性，在多模态数据集上发现了更具组合性的概念表示，并提升了下游分类任务的准确率。
2024-06-26 cs.CL cs.LG
From compositional to systematic semantics
我们证明了一个定理，说明任何语义可以编码为一个组合语义，这意味着，从本质上说，标准定义的组合性是形式上空洞的。然后，我们表明，当成分语义被要求是“系统的”（即，意义功能不能是任意的，但必须属于某个类），它是可以区分成分和非成分语义。因此，我们相信，本文澄清了组合性的概念，并打开了一个可能性，使系统的形式比较不同的语法系统。
1995-03-24 cmp-lg cs.CL
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis
本文研究了大型语言模型对语义关系（同义、反义、上位词、下位词）的表示，结合线性探测与稀疏特征分析，揭示了语义关系在模型中的编码特性及稳定性。
2026-03-31 cs.CL
Understanding Subword Compositionality of Large Language Models
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）
本文通过聚焦结构相似性、语义可分解性和形式保留性的综合实验，探究大型语言模型的子词组合机制，将五个LLM家族分为三组并揭示其组合策略差异，为理解LLMs的子词信息整合提供关键见解。
2025-08-25 cs.AI cs.CL cs.LG
Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models
Carnegie Mellon University（卡内基梅隆大学）
组合性是人类语言的一个重要特征，它是一个短语的意义可以从它的组成部分推导出来的现象。与此同时，许多短语是非合成的，其含义超出了孤立的每个部分。表示这两种类型的短语是语言理解的关键，但它是一个悬而未决的问题，现代语言模型（LM）是否学会这样做，在这项工作中，我们研究这个问题。首先，我们制定了一个问题，预测LM内部表示较长的短语给定的成分。我们发现，一个父短语的表示可以预测一定的准确性给出了仿射变换的孩子。虽然我们希望预测准确性与人类对语义组合性的判断相关，但我们发现情况在很大程度上并非如此，这表明LM可能无法准确区分成分和非成分短语。我们进行了各种分析，揭示了不同品种的LM做，不产生组成表示，并讨论了未来的建模工作的影响。
2022-10-22 cs.CL
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science（印度科学研究所）
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面，由此，复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议，它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中，我们试图使用这种内在的反馈，诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互，而且还将技能从一个任务转移到另一个任务中的zero-shot设置：\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
From Word to Sense Embeddings: A Survey on Vector Representations of Meaning
Cardiff University（卡迪夫大学）；Iran University of Science and Technology（伊朗科技大学）
在过去的几年里，分布式语义表示已被证明是有效和灵活的保持者的先验知识集成到下游应用程序。本研究的重点是意义的表征。我们从词向量空间模型背后的理论背景开始，并强调其主要局限性之一：意义合并缺陷，这是由于将一个词的所有可能含义表示为单个向量而产生的。然后，我们解释了如何通过从词的水平过渡到更细粒度的词义水平（在其更广泛的意义）作为一种方法建模明确的词汇意义，可以解决这一不足。我们提出了一个全面的概述了广泛的技术在两个主要分支的意义代表，即，无监督和基于知识。最后，本调查涵盖了这种类型的表示的主要评估程序和应用，并提供了四个重要方面的分析：可解释性，意义粒度，适应不同的领域和组合性。
2018-10-26 cs.AI cs.CL
Idiomatic Expression Identification using Semantic Compatibility
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
习惯表达是自然语言的一个组成部分，并不断地被添加到语言中。由于它们的非组合性以及它们根据具体上下文具有比喻或字面意义的能力，它们一直是NLP系统的经典挑战。为了解决这一挑战，我们研究了检测句子是否具有惯用表达并将其本地化的任务。针对该任务的现有技术研究了特定类别的惯用表达，提供了它们对新惯用法的可推广性的有限视图。我们提出了一个多阶段的神经结构与注意力流机制来识别这些表达式。该网络有效地融合上下文和词汇信息在不同层次上使用词和子词表示。三个最大的基准数据集的不同的句法模式和程度的非组合性的惯用表达的实证评估表明，我们提出的模型实现了新的国家的最先进的结果。该模型的一个显着特点是能够识别训练过程中看不到的习语，在最大数据集上的竞争基线上获得1.4%至30.8%的收益。
2021-10-19 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Iterative Utterance Segmentation for Neural Semantic Parsing
Microsoft Research Asia（微软亚洲研究院）
神经语义解析器通常无法解析长而复杂的话语到正确的意义表示，由于缺乏利用的原则组合。为了解决这个问题，我们提出了一个新的框架，通过迭代话语分割提高神经语义解析器。给定一个输入话语，我们的框架迭代两个神经模块之间：一个分段器用于从话语中分割一个跨度，和一个解析器用于将跨度映射到部分含义表示。然后，这些中间的分析结果被组合成最终的意义表示。一个关键的优点是，这个框架不需要任何手工模板或额外的标记数据的话语分割：我们实现这一点，通过提出一种新的训练方法，其中解析器提供伪监督的分割器。在Geo，ComplexWebQuestions和Formulas上的实验表明，我们的框架可以持续提高不同领域的神经语义解析器的性能。在需要组合泛化的数据分割上，我们的框架带来了显着的准确性提高：Geo 63.1到81.2，Formulas 59.7到72.7，ComplexWebQuestions 27.1到56.3。
2020-12-13 cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
自然语言的特点是组合性：一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力，我们引入了COGS，一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口，这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合，或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中，我们发现在COGS测试集上的分布准确度接近完美（96- 99%），但泛化准确度低得多（16- 35%），并且对随机种子表现出高敏感性（$\pm$ 6- 8%）。这些发现表明，当代标准的NLP模型在其成分概括能力方面是有限的，并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
Unified Representation for Non-compositional and Compositional Expressions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
本文提出基于BART的语言模型PIER，用于为英语潜在习语表达生成语义恰当的统一表示，在嵌入聚类、语义分类和跨度检测上均优于BART和GIEA，且不损害NLU任务性能。
2023-10-29 cs.CL
Semantics of Multiword Expressions in Transformer-Based Models: A Survey
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
该综述首次系统研究Transformer模型对多词表达的语义处理能力，发现其语义捕捉不稳定、依赖表层信息且语义集中于早期层，质疑了模型的细粒度语义建模能力，并呼吁建立更可比的评估体系。
2024-01-27 cs.CL
Conversational Semantic Parsing for Dialog State Tracking
Apple（苹果公司）
我们考虑对话状态跟踪（DST）的新视角，即在对话过程中估计用户目标的任务。通过将DST制定为一个基于层次表示的语义解析任务，我们可以将语义组合性、跨领域知识共享和共同引用结合起来。我们提出了TreeDST，一个包含27 k会话的数据集，其中注释了树结构的对话状态和系统行为。我们描述了一个编码器-解码器框架的DST与分层表示，这导致了20%的改进，比国家的最先进的DST方法，操作上的槽值对的平面意义空间。
2021-05-13 cs.CL
Context and ontology in understanding of dialogs
我们提出了一个自然语言处理模型，其中本体和上下文直接包括在一个语法。该模型基于{ \em构式}的概念，由一组形式特征、一组描述其应用语境的语义和语用条件以及一组对其意义的描述组成。在该模型中，本体被嵌入到语法中;例如，{ \it np}构造的层次结构基于相应的本体。本体还用于定义上下文参数;例如$\left[ current\_question \ time(\_) \right] $。基于这个模型的解析器使我们能够建立一套对话理解系统，包括一个在线日历，银行机，和保险报价系统。所提出的方法是一种替代标准的“管道”设计的形态-句法-语义-语用;的帐户的意义符合我们的直觉组合性，但没有从句法到语义的同态。
1995-05-15 cmp-lg cs.CL
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
It's not Rocket Science : Interpreting Figurative Language in Narratives
Columbia University（哥伦比亚大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of British Columbia（不列颠哥伦比亚大学）
比喻语言在英语中无处不在。然而，绝大多数NLP研究都集中在字面语言上。现有的文本表示设计依赖于组合性，而比喻语言往往是非组合性的。本文研究了两种非合成比喻语言（成语和明喻）的解释。我们收集了包含比喻表达的虚构叙事的数据集，以及依赖于对表达的正确解释的众包合理和不合理的延续。然后，我们训练模型来选择或生成合理的延续。我们的实验表明，完全基于预先训练的语言模型的模型在这些任务上的表现比人类差得多。我们还提出了知识增强模型，采用人类的策略来解释比喻语言类型：从上下文中推断含义，并依赖于组成词的字面意义。知识增强的模型提高了区分性和生成性任务的性能，进一步缩小了与人类性能的差距。
2022-03-01 cs.CL cs.LG
Don't Blame Distributional Semantics if it can't do Entailment
Universitat Pompeu Fabra（庞培法布拉大学）
分布语义学在计算语言学和认知科学中在建模各种语义现象（例如语义相似性）方面取得了巨大的经验成功，并且分布模型广泛用于最先进的自然语言处理系统中。然而，分布语义学在更广泛的语言和认知理论中的理论地位仍然不清楚：分布语义学模型是什么？它本身能成为语言表达意义的一个充分适当的模型吗？标准的答案是，分布语义学在这方面并不充分，因为它在形式语义学方法的一些核心方面有所欠缺：真值条件，蕴涵，引用和组合性的某些方面。我们认为，这个标准答案基于一个误解：这些方面不属于表达意义的理论，它们是说话者意义的方面，即，在特定语境下的交际意图。一句口号是：言语不指代，说话者指代。澄清这一点使我们能够认为，分布语义学本身就是一个适当的表达意义的模型。我们的建议揭示了分布语义在更广泛的语言和认知理论中的作用，它与形式语义的关系，以及它在计算模型中的地位。
2019-05-17 cs.AI cs.CL cs.IR
More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage
IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学）
研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。
2026-04-19 cs.CL cs.CV
The Mechanism of Additive Composition
Tohoku University（东北大学）
加法合成（Foltz et al，1998; Landauer and Dumais，1997; Mitchell and Lapata，2010）是一种广泛使用的计算短语含义的方法，它取组成词的向量表示的平均值。在这篇文章中，我们证明了一个上界的偏见的加法组合，这是第一次从机器学习的角度对组合框架的理论分析。的结合是书面的搭配强度，我们证明，更专门的两个连续的单词往往会一起出现，更准确的可以保证其添加剂组成的自然短语向量的近似。我们的证明依赖于经验验证的自然语言数据的属性，并且可以从理论上推导出数据是从分层Pitman-Yor过程生成的假设。该理论认为加法合成是计算短语含义的合理操作，并提出了改进加法合成的方法，包括：通过满足特定条件的函数转换分布式词向量的条目，构造一种新型的向量表示使加法合成对词序敏感，以及利用奇异值分解训练词向量。
2017-03-07 cs.CL cs.LG
Do Large Language Models Advocate for Inferentialism?
College of Media Arts, Science and Technology, School of Informatics, University of Tsukuba（筑波大学媒体艺术、科学与技术学院，信息学院）；Institute of Systems and Information Engineering, University of Tsukuba（筑波大学系统与信息工程研究所）
本文探讨了将Robert Brandom的推论语意学作为理解大型语言模型的替代基础框架，分析了其反表征主义等特征与Transformer架构的契合性，并发展了基于RLHF的共识真理论，揭示了LLMs挑战传统语言哲学假设的潜力。
2025-06-26 cs.CL
Semantic Representation and Inference for NLP
University of Copenhagen（哥本哈根大学）
语义表示和推理是自然语言处理（NLP）的基本内容。语义表示和推理的最新技术是深度学习，特别是递归神经网络（RNN）、卷积神经网络（CNN）和Transformer Self-Attention模型。本文研究了深度学习在新的语义表示和推理中的应用，并在以下三个方面做出了贡献：创建训练数据，改进语义表示和扩展推理学习。在创建训练数据方面，我们为自动索赔验证（MultiFC）提供了最大的公开可用的真实索赔数据集，并且我们提出了一种新的推理模型，该模型由具有不同内核大小的多尺度CNN组成，这些CNN从外部源学习以推断事实检查标签。在改善语义表示方面，我们贡献了一个新的模型，捕捉非成分语义指标。根据定义，非组成短语的含义不能从其组成词的单个含义推断（例如，热狗）。出于这一动机，我们操作的组合性的短语上下文丰富的短语表示与外部词嵌入和知识图谱。最后，在推理学习方面，我们提出了一系列新颖的深度学习架构，通过使用语法依赖关系，通过集成角色引导的注意力头，结合门控层，并以新颖有效的方式连接多个头来改进推理。本论文由七个出版物（五个已出版，两个正在审查）。
2021-06-15 cs.AI cs.CL cs.LG
JARVix at SemEval-2022 Task 2: It Takes One to Know One? Idiomaticity Detection using Zero and One-Shot Learning
Georgia Institute of Technology（佐治亚理工学院）
大语言模型通过捕获文本表示的组合性，在各种各样的自然语言处理任务中取得了成功。尽管它们取得了巨大的成功，但这些向量表示未能捕捉到惯用多词表达（MWE）的含义。在本文中，我们专注于使用二进制分类的成语检测。我们使用的数据集组成的字面和习惯用法的MWE在英语和葡萄牙语。之后，我们在两种不同的设置下进行分类：zero shot和one shot，以确定给定的句子是否包含成语。该任务的N个镜头分类由训练集和测试集之间的N个常见习惯用法定义。在本文中，我们在这两种设置中训练多个大语言模型，并在zero shot设置中实现了0.73的F1得分（宏），在one shot设置中实现了0.85的F1得分（宏）。我们工作的实现可以在https://github.com/ashwinpathak20/Idiomaticity_Detection_Using_Few_Shot_Learning上找到。
2022-06-23 cs.AI cs.CL cs.LG
