Co-Driven Recognition of Semantic Consistency via the Fusion of Transformer and HowNet Sememes Knowledge
Huazhong University of Science and Technology（华中科技大学）
语义一致性识别的目的是检测和判断两个文本句子的语义是否一致。然而，现有的方法通常会遇到同义词、一词多义和难以理解长文本的挑战。针对上述问题，提出一种基于Transformer和知网语义知识融合的协同驱动语义一致性识别方法。首先利用Transformer对句子内部结构进行数据驱动的多级编码，然后引入语义知识库HowNet进行知识驱动，对句子对之间的语义知识关联进行建模。然后，利用软注意力，将知识与语义矩阵相融合，进行交互式注意力计算。最后，利用双向长短期记忆网络（BiLSTM）对概念语义信息进行编码并推断语义一致性。在两个金融文本匹配数据集（BQ，AFQMC）和一个跨语言对抗数据集（PAWSX）上进行了释义识别实验。与DSSM、MwAN、DRCN等轻量级模型和ERNIE等预训练模型相比，该模型不仅有效地提高了语义一致性识别的准确率（在BQ数据集上与DSSM、MWAN和DRCN模型相比分别提高了2.19%、5.57%和6.51%），而且减少了模型参数的数量（约为16M）。此外，在知网语义知识的驱动下，该方法有望适应长文本的场景。
2023-02-21 cs.AI cs.CL cs.SC
Towards Building a Multilingual Sememe Knowledge Base: Predicting Sememes for BabelNet Synsets
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；Jiangsu Normal University（江苏师范大学）
义位是人类语言的最小语义单位。义素知识库（KBs），其中包含的词与义素注释，已成功地应用于许多NLP任务。然而，现有的义素知识库都是建立在少数几种语言上的，这阻碍了它们的广泛应用。为了解决这个问题，我们建议建立一个统一的义素知识库，为多种语言的基础上BabelNet，一个多语种的词典。我们首先建立一个数据集作为种子的多语言义素KB。它手动注释超过$15$千个同义词集（BabelNet的条目）的义位。然后，我们提出了一个新的任务自动义位预测同义词集，旨在扩大种子数据集到一个可用的知识库。我们还提出了两个简单而有效的模型，利用不同的信息的同义词集。最后，我们进行了定量和定性分析，以探索任务的重要因素和困难。本工作的所有源代码和数据可以在https://github.com/thunlp/BabelNet-Sememe-Prediction上获得。
2019-12-04 cs.AI cs.CL
SememeLM: A Sememe Knowledge Enhanced Method for Long-tail Relation Representation
Tianjin University（天津大学）
本文提出SememeLM方法，通过义原关系图和一致性对齐模块将义原知识融入语言模型，以增强长尾关系表示，实验表明其优于现有最先进方法。
2024-06-13 cs.AI cs.CL
Improving Sequence Modeling Ability of Recurrent Neural Networks via Sememes
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
义素是人类语言的最小语义单位，在各种自然语言处理应用中得到了成功的应用。然而，大多数现有的研究都是在特定的任务中使用义位，很少有人从根本上利用义位。在本文中，我们提出将语义纳入循环神经网络（RNN），以提高其序列建模能力，这有利于各种下游任务。我们设计了三种不同的义素合并方法，并将它们应用于典型的RNN，包括LSTM，GRU及其双向变体。在评估中，我们使用了几个基准数据集，包括PTB和WikiText-2用于语言建模，SNLI用于自然语言推理，另外两个数据集用于情感分析和释义检测。实验结果表明，与普通RNN相比，我们的义素合并模型有明显的一致性改善，这证明了我们的义素合并方法的有效性。此外，我们还发现，结合语义的模型具有更高的鲁棒性，在防御对抗攻击方面优于对抗训练。本工作的所有代码和数据可以在https://github.com/thunlp/SememeRNN上获得。
2020-08-19 cs.CL cs.LG eess.AS
Incorporating Chinese Characters of Words for Lexical Sememe Prediction
Shenyuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University（江苏师范大学江苏语言能力协同创新中心）；Tencent（腾讯）
义素是人类语言中概念的最小语义单位，每个词义都由一个或多个义素组成。词通常由语言学家手动标注其义素，并形成广泛用于各种NLP任务的语言常识知识库。最近，词汇义位预测任务已经被引入。它包括自动推荐词的义位，这有望提高标注效率和一致性。然而，现有的词汇义素预测方法通常依赖于词的外部上下文来表示意义，通常无法处理低频和词汇外的词。为了解决这个问题，中文，我们提出了一个新的框架，以利用内部字符信息和外部上下文信息的话。我们的实验知网，一个中国的义素知识库，并证明，我们的框架优于国家的最先进的基线由一个大的利润，并保持一个强大的性能，即使是低频词。
2018-06-17 cs.AI cs.CL cs.LG
Automatic Construction of Sememe Knowledge Bases via Dictionaries
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huazhong University of Science and Technology（华中科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
义位是语言学中最小的语义单位。义位知识库（SKB）包括用义位注释的词，使得义位能够应用于自然语言处理。到目前为止，大量的研究已经展示了SKB在各种任务中的独特优势和有效性。然而，大多数语言都没有SKB，手工构建SKB既费时又费力。为了应对这一挑战，我们提出了一个简单的，全自动的方法，通过现有的字典建立一个SKB。我们使用这种方法来建立一个英语的SKB和一个法语的SKB，并从内在和外在的角度进行综合评价。实验结果表明，自动构建的英文SKB甚至优于知网，最广泛使用的SKB，需要几十年的手工构建。英语和法语的SKB都可以在多个下游任务中带来明显的性能提升。本文的所有代码和数据（版权所有的词典除外）都可以在https://github.com/thunlp/DictSKB上获得。
2021-06-03 cs.AI cs.CL
Investigating Inner Properties of Multimodal Representation and Semantic Compositionality with Brain-based Componential Semantics
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Key Laboratory of Behavioural Science, Institute of Psychology（中国科学院心理研究所行为科学重点实验室）；Department of Psychology, University of Chinese Academy of Sciences（中国科学院大学心理学系）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
多模态模型已经被证明在学习语义表示方面优于基于文本的方法。然而，多模态表征中编码了哪些属性，它们在哪些方面优于单模态表征，以及不同输入模态的语义合成过程中发生了什么，这些都还不清楚。考虑到多模态模型最初是由人类的概念表征所激发的，我们假设将多模态表征与基于大脑的语义相关联将解释其内部属性以回答上述问题。为此，我们提出了简单的解释方法的基础上，基于大脑的成分语义。首先，我们研究多模态表征的内部属性，将它们与相应的基于大脑的属性向量相关联。然后，我们将分布式向量空间映射到可解释的基于大脑的成分空间，以探索语义组合性的内在属性。最后，本文揭示了自然语言理解的基本问题，如如何表示单词的含义，以及如何将单词的含义组合成更大的单位。
2017-11-22 cs.CL
A Study of Metrics of Distance and Correlation Between Ranked Lists for Compositionality Detection
University of Copenhagen（哥本哈根大学）
语言中的组合性是指一个短语的意义在多大程度上可以分解为它的成分的意义以及这些成分组合的方式。基于同义词替换是意义保持的前提，组合性可以近似为短语和该短语的版本之间的语义相似性，其中单词被其同义词替换。存在表示这样的短语的不同方式（例如，向量[1]或语言模型[2]），并且表示的选择影响语义相似性的测量。我们提出了一种新的组合性检测方法，表示为长期的权重排名列表的短语。我们的方法近似两个排名列表表示使用一系列众所周知的距离和相关性度量之间的语义相似性。与组合性检测中的大多数最先进的方法相比，我们的方法完全无监督。与1048个人类注释短语的公开数据集的实验表明，与强监督基线相比，我们的方法使用所考虑的任何距离和相关性度量提供了更好的组合性测量。
2017-03-10 cs.CL
A probabilistic framework for analysing the compositionality of conceptual combinations
Queensland University of Technology（昆士兰科技大学）；Australian National University（澳大利亚国立大学）
概念组合在创造日常语言中广泛使用的复合短语方面发挥着重要作用。本文提供了一种新的概率框架，用于评估概念组合的语义是否是组合的，因此可以被认为是组成概念的语义的函数，或者不是。虽然语言的系统性和生产力为复合性的假设提供了强有力的论据，但这一假设在认知科学和哲学中仍然经常受到质疑。此外，语义组合性的原则是不够的，这意味着“强”和“弱”组合性的概念出现在文献中。而不是裁定不同等级的组合性，这里提出的框架有助于正式的方法，确定一个明确的分界线之间的组合和非组合语义。此外，我们认为，这些之间的区别是上下文敏感。利用量子理论中的复合系统分析开发的正式框架，我们提出了两种方法，允许语义的概念组合被归类为“成分”或“非成分”。组合性首先通过对组合建模的联合概率分布进行因子分解来形式化，其中因子分解中的术语对应于各个概念。这就给出了联合概率分布存在的充分必要条件。不满足该条件意味着当考虑其组合时，基础概念不能在单个概率空间中建模，并且该组合因此被认为是“非组合的”。正式的分析方法证明了他们的实证研究二十四个非词汇化的概念组合。
2014-11-21 cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi（印度理工学院德里分校）
与之前在语义解析（Kamath和Das，2018）和知识库问答（KBQA）（Chakraborty等人，2019; Zhu等人，2019; Hoffner等人，2017）我们试图从不同的角度来研究语义解析。具体来说，我们将集中在（a）从句法结构（Partee，1975年）的意义组合，（b）语义分析器处理给定的知识库（KB）上下文的词汇变化的能力。在接下来的部分中，在介绍了语义解析领域及其在KBQA中的应用之后，我们将描述使用语法形式主义CCG（Steedman，1996）的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中，我们将考虑使用形式语言的系统，例如$λ$ -演算（Steedman，1996），$λ$ -DCS（Liang，2013）。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions（Bao et al.，2016）和GraphQuestions（Su et al.，2016），可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
Compositionality and the lexicon in evolutionary semantics
Institute for Logic, Language, and Computation, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学）
提出一个整合形式语义学组合原则的演化框架，通过词汇意义与组合函数的协同演化，发现保守性作为系统级抽象涌现，并调和了量词可学习性与演化模型的矛盾。
2026-09-15 cs.CL
A Multivariate Model for Representing Semantic Non-compositionality
Department of Computer Science（计算机科学系）
语义非合成短语是自然语言处理中一个非常有趣的研究课题。语义的非组合性是这类短语的主要特征，即短语的意义不能从其组成成分的意义中推导出来，但它们也具有高度的统计关联性和不可替代性。在这项工作中，我们提出了一个模型来识别非成分短语，考虑到所有这些特点。我们发现，所提出的模型显着优于现有的模型，主要集中在这些特征之一，确定非成分短语。
2019-08-15 cs.AI cs.CL
Contextualized word senses: from attention to compositionality
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出一种基于语义组合性、依存关系和选择偏好的透明可解释词义编码策略，并在词义相似度任务上与Transformer对比，证明语言学驱动模型可达到有竞争力的效果。
2023-12-01 cs.CL
Measuring the compositionality of noun-noun compounds over time
Leiden University（莱顿大学）；University of Stuttgart（斯图加特大学）；University of Malta（马耳他大学）
我们目前正在进行的工作，在名名复合词的组合性的时间进程。以前的工作提出了计算方法来确定化合物的组成。这些方法尝试自动确定复合词整体含义相对于其部分含义的透明度。我们假设这样的属性可能会随着时间的推移而改变。我们使用的时间戳的谷歌图书语料库为我们的历时调查，并首先检查是否从这个语料库中提取的基于向量的语义空间能够预测组合性评级，尽管其固有的局限性。我们发现，使用时间信息有助于预测的评级，虽然与评级的相关性低于其他语料库。最后，我们展示了一系列化合物随时间的变化。
2019-06-12 cs.CL
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
Exploiting Deep Semantics and Compositionality of Natural Language for Human-Robot-Interaction
International Computer Science Institute（国际计算机科学研究所）
我们开发了一个用于人机交互的自然语言接口，实现了对自然语言中深层语义的推理。为了实现所需的深入分析，我们采用了认知语言学的方法，即嵌入式构式语法（ECG）的模块和组合框架[Feldman，2009]。使用ECG，机器人能够解决细粒度的引用解析问题以及与自然语言的深层语义和组合性相关的其他问题。这还包括与人类的口头交互，以澄清过于模糊而无法安全执行的命令和查询。我们将我们的NLU框架实现为ROS包，并使用不同的机器人提供概念验证场景，以及对最先进技术的调查。
2016-04-22 cs.AI cs.CL cs.RO
Semantic Hilbert Space for Text Representation Learning
University of Padua（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
捕捉句子的含义一直是一项具有挑战性的任务。目前的模型倾向于应用词特征的线性组合来进行更大粒度单元的语义组合，例如短语、句子和文档。然而，语义线性在人类语言中并不总是成立的。例如，短语“象牙塔”的含义不能通过线性组合“象牙”和“塔”的含义来推导。为了解决这个问题，我们提出了一个新的框架，模型不同层次的语义单位（如义素，词，句子，语义抽象）在一个单一的\textit{Semantic Hilbert Space}，它自然承认一个非线性的语义组合，通过一个复杂的矢量词表示。提出了一个端到端的神经网络\footnote{https://github.com/wabyking/qnn}来实现该框架的文本分类任务，并在六个基准文本分类数据集上的评估结果表明，所提出的模型的有效性，鲁棒性和自我解释能力。此外，直观的案例研究进行，以帮助最终用户了解框架的工作原理。
2019-02-26 cs.CL
Compositional Semantic Parsing on Semi-Structured Tables
Stanford University（斯坦福大学）
问答语义解析的两个重要方面是知识源的广度和逻辑组合的深度。虽然现有的工作从一个方面到另一个方面，本文同时通过一个新的任务在两个方面取得了进展：使用问答对作为监督，在半结构化表格上回答复杂的问题。核心挑战来自两个复合因素：更广泛的领域导致一组开放式的关系，更深层次的组合性导致逻辑形式空间的组合爆炸。我们提出了一个逻辑形式驱动的解析算法引导强类型约束，并表明它获得了显着的改善自然基线。为了进行评估，我们在维基百科表格上创建了一个包含22，033个复杂问题的新数据集，该数据集可供公众使用。
2015-08-03 cs.CL
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Probing BERT for German Compound Semantics
Institute for Natural Language Processing, University of Stuttgart（自然语言处理研究所，斯图加特大学）
该研究探究德语BERT对名词复合词语义的编码能力，通过不同配置预测868个金标准复合词的组合性，发现组合性信息在早期层易提取，但德语任务难度高于英语，或因德语复合构词产率更高、成分歧义更多。
2025-05-20 cs.CL
From compositional to systematic semantics
我们证明了一个定理，说明任何语义可以编码为一个组合语义，这意味着，从本质上说，标准定义的组合性是形式上空洞的。然后，我们表明，当成分语义被要求是“系统的”（即，意义功能不能是任意的，但必须属于某个类），它是可以区分成分和非成分语义。因此，我们相信，本文澄清了组合性的概念，并打开了一个可能性，使系统的形式比较不同的语法系统。
1995-03-24 cmp-lg cs.CL
Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing
IBM Research（IBM研究院）
本研究提出一种自底向上的懒惰式神经语义解析生成方法，从逻辑形式叶子节点逐步构建，仅扩展最有希望的候选解析，在CFQ和三个Text-to-SQL数据集上优于通用解析器并具竞争力。
2023-05-07 cs.AI cs.CL
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Compositionality, Synonymy, and the Systematic Representation of Meaning
在最近一期的《语言学与哲学》（Linguistics and Philosophy）中，Kasmi和Pelletier（1998）（K&P），以及Westerstahl（1998）批评了Zadrozny（1994）关于任何语义都可以用组合来表示的论点。这个论点是基于Zadrozny定理，即每个意义函数m都可以由函数μ编码，使得（i）对于指定语言L的任何表达式E，m（E）都可以从μ（E）中恢复，并且（ii）μ是从L的句法结构到L的解释的同态。在这两种情况下，反对扎德罗兹尼论点的主要动机是认为他对原始意义功能的编码没有正确反映为语言设定的同义关系。在本文中，我们认为，这些技术的批评不通过。特别地，我们证明了μ正确地编码了同义关系，即如果两个表达式是同义的，那么它们的组合意义是相同的。这纠正了一些关于函数μ的误解，例如Janssen（1997）。我们认为，语义学家之所以急于将组合性作为对语义理论的一个重要约束来加以维护，是因为它被错误地视为一个条件，任何一种理论，只要它能维持一个表达式的意义与其各部分的意义之间的系统联系，就必须满足这个条件。形式语义学和计算语义学的最新发展表明，意义的系统理论不需要是组合的。
2000-01-09 cs.CL cs.LO
Visualizing and Understanding Neural Models in NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然神经网络已经成功地应用于许多自然语言处理任务，但由此产生的基于向量的模型非常难以解释。例如，不清楚它们如何实现{ \em组合性}，从单词和短语的意义中构建句子意义。在本文中，我们描述了四种策略，可视化NLP神经模型中的组合性，灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性，让我们看到否定中众所周知的标记不对称。然后，我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性}，它对最终组成的意义的贡献量：（1）梯度反向传播，（2）从平均单词节点的令牌的方差，（3）LSTM风格的门，测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用，并且还揭示了为什么LSTM优于简单的递归网络，
2016-01-08 cs.CL
Minimum Description Length and Compositionality
我们提出了一个非空洞的组合性的定义。它基于最小描述长度原则与组合性的原始定义（即整体的意义是部分意义的函数）相结合的思想。新的定义是直观的，并允许我们区分组合和非组合语义，以及惯用和非惯用表达式。它不是特别的，因为它没有对意义函数的非内在属性（如多项式）进行任何引用。此外，它允许我们比较不同的意义功能，就如何组成它们。它将语言学和基于语料库的统计方法与自然语言理解联系起来。
2000-01-04 cs.AI cs.CL
Idiomatic Expression Identification using Semantic Compatibility
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
习惯表达是自然语言的一个组成部分，并不断地被添加到语言中。由于它们的非组合性以及它们根据具体上下文具有比喻或字面意义的能力，它们一直是NLP系统的经典挑战。为了解决这一挑战，我们研究了检测句子是否具有惯用表达并将其本地化的任务。针对该任务的现有技术研究了特定类别的惯用表达，提供了它们对新惯用法的可推广性的有限视图。我们提出了一个多阶段的神经结构与注意力流机制来识别这些表达式。该网络有效地融合上下文和词汇信息在不同层次上使用词和子词表示。三个最大的基准数据集的不同的句法模式和程度的非组合性的惯用表达的实证评估表明，我们提出的模型实现了新的国家的最先进的结果。该模型的一个显着特点是能够识别训练过程中看不到的习语，在最大数据集上的竞争基线上获得1.4%至30.8%的收益。
2021-10-19 cs.CL
Compositionality as Lexical Symmetry
Massachusetts Institute of Technology（麻省理工学院）
本文提出LEXSYM，将组合性定义为数据分布对称性约束，通过自动发现数据变换并增强训练数据，使普通神经序列模型在语义解析、指令跟随和视觉问答等任务上达到或超越专用模型。
2023-07-05 cs.CL cs.CV cs.LG
Challenges for Distributional Compositional Semantics
Gorkana Group（戈卡纳集团）
本文总结了目前的最先进的研究在分布式语义的组合性，这一领域的主要挑战。我们挑出广义量词和内涵语义领域的理论发展的关注。一旦开发出合适的理论，就需要算法将理论应用于任务。评估是一个主要问题，我们挑出应用程序识别文本蕴涵和机器翻译为此目的。
2012-07-10 cs.AI cs.CL
Semantics of Multiword Expressions in Transformer-Based Models: A Survey
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
该综述首次系统研究Transformer模型对多词表达的语义处理能力，发现其语义捕捉不稳定、依赖表层信息且语义集中于早期层，质疑了模型的细粒度语义建模能力，并呼吁建立更可比的评估体系。
2024-01-27 cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
自然语言的特点是组合性：一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力，我们引入了COGS，一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口，这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合，或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中，我们发现在COGS测试集上的分布准确度接近完美（96- 99%），但泛化准确度低得多（16- 35%），并且对随机种子表现出高敏感性（$\pm$ 6- 8%）。这些发现表明，当代标准的NLP模型在其成分概括能力方面是有限的，并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Iterative Utterance Segmentation for Neural Semantic Parsing
Microsoft Research Asia（微软亚洲研究院）
神经语义解析器通常无法解析长而复杂的话语到正确的意义表示，由于缺乏利用的原则组合。为了解决这个问题，我们提出了一个新的框架，通过迭代话语分割提高神经语义解析器。给定一个输入话语，我们的框架迭代两个神经模块之间：一个分段器用于从话语中分割一个跨度，和一个解析器用于将跨度映射到部分含义表示。然后，这些中间的分析结果被组合成最终的意义表示。一个关键的优点是，这个框架不需要任何手工模板或额外的标记数据的话语分割：我们实现这一点，通过提出一种新的训练方法，其中解析器提供伪监督的分割器。在Geo，ComplexWebQuestions和Formulas上的实验表明，我们的框架可以持续提高不同领域的神经语义解析器的性能。在需要组合泛化的数据分割上，我们的框架带来了显着的准确性提高：Geo 63.1到81.2，Formulas 59.7到72.7，ComplexWebQuestions 27.1到56.3。
2020-12-13 cs.CL
Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models
Carnegie Mellon University（卡内基梅隆大学）
组合性是人类语言的一个重要特征，它是一个短语的意义可以从它的组成部分推导出来的现象。与此同时，许多短语是非合成的，其含义超出了孤立的每个部分。表示这两种类型的短语是语言理解的关键，但它是一个悬而未决的问题，现代语言模型（LM）是否学会这样做，在这项工作中，我们研究这个问题。首先，我们制定了一个问题，预测LM内部表示较长的短语给定的成分。我们发现，一个父短语的表示可以预测一定的准确性给出了仿射变换的孩子。虽然我们希望预测准确性与人类对语义组合性的判断相关，但我们发现情况在很大程度上并非如此，这表明LM可能无法准确区分成分和非成分短语。我们进行了各种分析，揭示了不同品种的LM做，不产生组成表示，并讨论了未来的建模工作的影响。
2022-10-22 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
Montague semantics and modifier consistency measurement in neural language models
National Biomarker Centre CRUK-MI（国家生物标志物中心（英国癌症研究中心医学研究所））；University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出基于蒙塔古语义的三种新测试，度量神经语言模型在形容词-名词组合中的一致性，发现现有模型不符合预期语言学理论，可能缺乏相关语义能力。
2024-12-18 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Do Large Language Models Advocate for Inferentialism?
College of Media Arts, Science and Technology, School of Informatics, University of Tsukuba（筑波大学媒体艺术、科学与技术学院，信息学院）；Institute of Systems and Information Engineering, University of Tsukuba（筑波大学系统与信息工程研究所）
本文探讨了将Robert Brandom的推论语意学作为理解大型语言模型的替代基础框架，分析了其反表征主义等特征与Transformer架构的契合性，并发展了基于RLHF的共识真理论，揭示了LLMs挑战传统语言哲学假设的潜力。
2025-06-26 cs.CL
Context and ontology in understanding of dialogs
我们提出了一个自然语言处理模型，其中本体和上下文直接包括在一个语法。该模型基于{ \em构式}的概念，由一组形式特征、一组描述其应用语境的语义和语用条件以及一组对其意义的描述组成。在该模型中，本体被嵌入到语法中;例如，{ \it np}构造的层次结构基于相应的本体。本体还用于定义上下文参数;例如$\left[ current\_question \ time(\_) \right] $。基于这个模型的解析器使我们能够建立一套对话理解系统，包括一个在线日历，银行机，和保险报价系统。所提出的方法是一种替代标准的“管道”设计的形态-句法-语义-语用;的帐户的意义符合我们的直觉组合性，但没有从句法到语义的同态。
1995-05-15 cmp-lg cs.CL
More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage
IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学）
研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。
2026-04-19 cs.CL cs.CV
Meta Multi-Task Learning for Sequence Modeling
Fudan University（复旦大学）
语义组合函数在文本序列的神经表示学习中起着关键作用。尽管他们的成功，大多数现有的模型遭受欠拟合的问题：他们使用相同的共享组合功能的所有位置上的序列，从而缺乏表达能力，由于无法捕捉丰富的组合。此外，不同任务的合成函数是独立的，从零开始学习。在本文中，我们提出了一个新的共享方案的组合功能跨多个任务。具体来说，我们使用一个共享的元网络来捕获语义组合的元知识，并生成特定于任务的语义组合模型的参数。我们对两种类型的任务进行了广泛的实验，文本分类和序列标记，这证明了我们的方法的好处。此外，我们表明，我们提出的模型学习的共享元知识可以被视为现成的知识，很容易转移到新的任务。
2018-02-25 cs.AI cs.CL
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
利用神经网络的统计能力来执行语言理解和符号推理是困难的，当它需要对大型知识库执行有效的离散操作时。在这项工作中，我们介绍了一个神经符号机，它包含（a）一个神经“程序员”，即，将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型（b）符号“计算机”，即，一个Lisp解释器，执行程序执行，并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性，我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时，NSM在Websites SP数据集上的表现优于最先进的技术，而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
Don't Blame Distributional Semantics if it can't do Entailment
Universitat Pompeu Fabra（庞培法布拉大学）
分布语义学在计算语言学和认知科学中在建模各种语义现象（例如语义相似性）方面取得了巨大的经验成功，并且分布模型广泛用于最先进的自然语言处理系统中。然而，分布语义学在更广泛的语言和认知理论中的理论地位仍然不清楚：分布语义学模型是什么？它本身能成为语言表达意义的一个充分适当的模型吗？标准的答案是，分布语义学在这方面并不充分，因为它在形式语义学方法的一些核心方面有所欠缺：真值条件，蕴涵，引用和组合性的某些方面。我们认为，这个标准答案基于一个误解：这些方面不属于表达意义的理论，它们是说话者意义的方面，即，在特定语境下的交际意图。一句口号是：言语不指代，说话者指代。澄清这一点使我们能够认为，分布语义学本身就是一个适当的表达意义的模型。我们的建议揭示了分布语义在更广泛的语言和认知理论中的作用，它与形式语义的关系，以及它在计算模型中的地位。
2019-05-17 cs.AI cs.CL cs.IR
