Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona（巴塞罗那大学）
本论文探讨了两个或多个复杂的语言表达（短语，从句，句子，段落）之间的意义关系的语言和计算方面。特别是，它侧重于释义，文本蕴涵，矛盾和语义相似性。第一部分：在"词语层面的相似性"一文中，笔者研究了分布假设，并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分：在“释义类型与释义识别”一章中，我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分："释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
源自BERT的短语表示通常不表现出复杂的短语组合性，因为该模型依赖于词汇相似性来确定语义相关性。在本文中，我们提出了一个对比微调目标，使BERT产生更强大的短语嵌入。我们的方法（Phrase-BERT）依赖于一个不同短语释义的数据集，该数据集是使用释义生成模型自动生成的，以及从Books 3语料库中挖掘的上下文中的短语的大规模数据集。Phrase-BERT在各种短语级相似性任务中的表现优于基线，同时也证明了向量空间中最近邻居之间的词汇多样性增加。最后，作为一个案例研究，我们证明了Phrase-BERT嵌入可以很容易地与一个简单的自动编码器集成，以构建一个基于短语的神经主题模型，该模型通过在嵌入空间中执行最近邻搜索来将主题解释为单词和短语的混合物。众包的评价表明，这种基于短语的主题模型比基线单词和短语级别的主题模型产生更连贯和有意义的主题，进一步验证了Phrase-BERT的效用。
2021-10-13 cs.CL
Variable types for meaning assembly: a logical syntax for generic noun phrases introduced by most
Université de Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）
本文提出了一种计算类属名词短语与广义量词最对应的句子的语义的方法。我们称这些泛型为样本，它们类似于词汇语义学中的原型或原型。这些意义被视为逻辑公式，此后可以在您最喜欢的模型中进行解释。为了做到这一点，我们与主流的弗雷根观点有很大的不同，弗雷根认为宇宙是一个单一的无类型宇宙。事实上，我们的建议采用了类型论，并从希尔伯特ε-微积分（Hilbert，1922; Avigad and Zach，2008）和中世纪哲学中得到了一些提示，例如de Libera（1993，1996）。我们的类型理论分析与正在进行的词汇语义学研究有一些相似之处（Asher 2011; Bassac et al. 2010; Moot，Précourt and Retoré 2011）。我们的模型也适用于经典的例子，涉及一个类，或这个类的通用元素，这是不是说出，但提供的上下文。本研究的一个结果是，在最低限度主义-语境主义的争论中，参见Conrad（2011），如果采用类型理论的观点，术语编码纯粹的语义成分，而它们的类型是由语用决定的。
2012-03-08 cs.CL cs.LO math.LO
A Multivariate Model for Representing Semantic Non-compositionality
Department of Computer Science（计算机科学系）
语义非合成短语是自然语言处理中一个非常有趣的研究课题。语义的非组合性是这类短语的主要特征，即短语的意义不能从其组成成分的意义中推导出来，但它们也具有高度的统计关联性和不可替代性。在这项工作中，我们提出了一个模型来识别非成分短语，考虑到所有这些特点。我们发现，所提出的模型显着优于现有的模型，主要集中在这些特征之一，确定非成分短语。
2019-08-15 cs.AI cs.CL
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
ViConsFormer: Constituting Meaningful Phrases of Scene Texts using Transformer-based Method in Vietnamese Text-based Visual Question Answering
Ho Chi Minh city University of Technology（胡志明市理工大学）；Vietnam National University, Ho Chi Minh city（越南国家大学胡志明市分校）；University of Information Technology（信息技术大学）
针对越南语 Text-based VQA，本文提出 ViConsFormer，依据语言学含义定义构建场景文本短语并有效挖掘其信息，在两个大规模数据集上达到最先进水平。
2024-10-24 cs.CL cs.CV
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex（萨塞克斯大学）
以前的工作已经证明了利用预先训练的句子编码器的有效性，基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构，它们之间的直接相似性比较表现出弱的敏感性，在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此，我们在这里建议将句子编码器与对齐组件相结合，将每个句子表示为谓词-参数跨度的列表（其中它们的跨度表示来自句子编码器），并将句子级别的意义比较分解为它们的跨度之间的对齐，以进行释义识别任务。实验结果表明，对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查，该方法表明，增加了敏感性的结构差异和增强的能力，以区分非释义高词汇重叠。
2022-10-11 cs.CL
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Non-Compositionality in Sentiment: New Data and Analyses
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
本文针对情感分析中短语含义并非简单组合的现象，提出获取非组合性评分的方法，构建包含259个短语的NonCompSST数据资源，并利用该资源评估情感分析计算模型。
2023-10-31 cs.CL
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众所周知，边缘团体和组织使用委婉语（听起来普通、看起来无辜、具有秘密含义的词语）来隐藏他们正在讨论的内容。例如，毒品贩子经常用“锅”来表示大麻，用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看，尽管NLP的最新进展已经能够自动检测这种单字委婉语，但现有的工作还不能自动检测多词委婉语，例如“蓝色梦想”（大麻）和“黑色焦油”（海洛因）。我们的论文处理的问题，委婉语短语检测，而无需人工努力的第一次，据我们所知。我们首先在原始文本语料库上执行短语挖掘（例如，社交媒体帖子）来提取高质量的短语。然后，我们利用词嵌入相似性来选择一组委婉短语候选。最后，我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比，我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
A Formal Look at Dependency Grammars and Phrase-Structure Grammars, with Special Consideration of Word-Order Phenomena
词汇在意义语篇理论和其他依赖性语言学理论中的核心作用在基于上下文无关语法的语言学理论中是不可复制的。我们描述树邻接语法（TAG）作为一个系统，自然出现在词汇化的过程中的CFGs。因此，TAG语法可以直接与意义文本模型（MTM）进行比较。我们说明了这一点，通过讨论某些非投射结构的计算复杂性，并提出了一种方法，将局部的词序定义到表面的语法组件MTT。
1994-10-18 cmp-lg cs.CL
Sequence-to-Sequence Networks Learn the Meaning of Reflexive Anaphora
Yale University（耶鲁大学）
反身回指对语义解释提出了挑战：它们的意义依赖于上下文，似乎需要抽象变量。过去的工作对经常性网络应对这一挑战的能力提出了质疑。在本文中，我们探讨这个问题的背景下，英语的片段，结合了相关的排序的上下文变异。我们认为，序列到序列的架构与经常性的单位，并表明这种网络能够学习语义解释的反身回指概括到新的先行词。我们探索了注意力机制和不同的循环单元类型对成功所需的训练数据类型的影响，这可以通过两种方式来衡量：需要多少词汇支持来诱导抽象的反身意义（即，在训练过程中必须出现多少个不同的反身先行词），以及一个名词短语必须出现在什么样的语境中才能支持对这个名词短语的反身解释的泛化？
2020-11-02 cs.CL
On the Quantum-like Contextuality of Ambiguous Phrases
University College London（伦敦大学学院）；Oxford University（牛津大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
语言是语境的，因为词语的意义取决于它们的语境。背景性是量子力学中一个定义明确的概念，它被认为是量子计算的主要资源。我们研究自然语言是否表现出量子力学的任何上下文特征。我们表明，意义组合在歧义短语可以模拟在层理论框架的量子上下文，在那里他们可以成为possibilistically上下文。使用框架的上下文默认（CbD），我们探索这些的概率变量，并表明，CbD上下文也是可能的。
2021-07-19 cs.AI cs.CL quant-ph
PiC: A Phrase-in-Context Dataset for Phrase Understanding and Semantic Search
Auburn University（奥本大学）；Adobe Research（奥多比研究院）
虽然上下文化的词嵌入已经是一个事实标准，但学习上下文化的短语嵌入却很少被探索，并且由于缺乏人类注释的基准而受到阻碍，该基准测试机器对给定上下文句子或段落（而不是单独的短语）的短语语义的理解。为了填补这一空白，我们提出了PiC --一个包含约28 K名词短语及其上下文维基百科页面的数据集，以及一套用于训练和评估短语嵌入的三个任务。PiC上的训练提高了排名模型的准确性，并显著推动了跨度选择（SS）模型（即，预测目标短语的开始和结束索引）接近人类的准确性，其在给定查询短语和段落的语义搜索上为95%的精确匹配（EM）。有趣的是，我们发现证据表明，这种令人印象深刻的表现是因为SS模型学习更好地捕捉短语的共同含义，而不管其实际上下文。SotA模型在区分两个上下文中同一短语的两个含义（约60%EM）和估计同一上下文中两个不同短语之间的相似性（约70%EM）方面表现不佳。
2023-02-02 cs.AI cs.CL
Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining
Genesys（晶讯科技）
针对含噪上下文下单向量句子表示短语检索效果差、多跨度表示计算成本高的问题，提出可聚合的上下文感知词嵌入方法，通过改进对比损失实现，在自建数据集上以低计算量提升了短语挖掘效果。
2024-05-12 cs.CL
Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics
对话中语义处理模型的基本要求之一是渐进性：一个模型必须至少在逐字的基础上反映人们如何解释和生成语言，并处理碎片，不完整和联合产生的话语等现象。我们表明，增量逐词解析过程的动态的？我们提供了抽象的语义装饰DS树的节点，在向量，张量，和其总和;使用后者来模拟指定不足的元素，在增量处理过程中分配部分表示至关重要。作为一个工作的例子，我们给出了这个理论的一个实例，使用可扩展性张量的成分分布语义，并展示了我们的框架可以逐步分配语义可扩展性措施，因为它解析短语和句子。
2018-11-01 cs.AI cs.CL
Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
University of Vermont（佛蒙特大学）；Vermont Complex Systems Institute（佛蒙特复杂系统研究所）
本文提出逐标记增量轨迹方法，通过反复计算上下文词嵌入来追踪话语展开过程，在花园路径句上验证其能区分歧义句并揭示话语级信息分布，为利用LLM研究动态意义构建提供了新框架。
2026-10-02 cs.AI cs.CL
Learning to Describe Phrases with Local and Global Contexts
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）；National Institute of Informatics（国立信息学研究所）
阅读文本时，经常会遇到不熟悉的单词和短语，例如具有新颖意义的多义词，很少使用的成语，网络俚语或新兴实体。如果我们人类无法从当地的语境中理解这些表达的含义，我们会查阅字典以获得定义，或者搜索文档或网络以找到其他全球语境来帮助解释。机器能帮助我们完成这项工作吗？哪种类型的上下文对机器解决问题更重要？为了回答这些问题，我们承担了一个任务，描述一个给定的短语在自然语言的基础上，其本地和全球的背景。为了解决这个问题，我们提出了一个神经描述模型，由两个上下文编码器和一个描述解码器。与现有的非标准英语解释[Ni+ 2017]和定义生成[Noraset+ 2017; Gadetsky+ 2018]方法相比，我们的模型适当地从本地和全球背景中获取重要线索。在三个现有数据集（包括WordNet、Oxford和Urban Dictionaries）和一个从Wikipedia新创建的数据集上的实验结果证明了该方法的有效性。
2019-04-10 cs.CL
Is neural semantic parsing good at ellipsis resolution, or isn't it?
Center for Language and Cognition（语言认知中心）；University of Groningen（格罗宁根大学）
针对神经语义解析器在强上下文敏感的动词短语省略现象上的表现问题，本文构建含120个省略案例的挑战集，测试发现解析器表现不佳，数据增强可改善，且错误源于复杂语境而非语义复制难度。
2025-08-20 cs.CL
Semantic Hilbert Space for Text Representation Learning
University of Padua（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
捕捉句子的含义一直是一项具有挑战性的任务。目前的模型倾向于应用词特征的线性组合来进行更大粒度单元的语义组合，例如短语、句子和文档。然而，语义线性在人类语言中并不总是成立的。例如，短语“象牙塔”的含义不能通过线性组合“象牙”和“塔”的含义来推导。为了解决这个问题，我们提出了一个新的框架，模型不同层次的语义单位（如义素，词，句子，语义抽象）在一个单一的\textit{Semantic Hilbert Space}，它自然承认一个非线性的语义组合，通过一个复杂的矢量词表示。提出了一个端到端的神经网络\footnote{https://github.com/wabyking/qnn}来实现该框架的文本分类任务，并在六个基准文本分类数据集上的评估结果表明，所提出的模型的有效性，鲁棒性和自我解释能力。此外，直观的案例研究进行，以帮助最终用户了解框架的工作原理。
2019-02-26 cs.CL
Padamitra: Grounded Glossary Generation for Classical Sanskrit
该研究提出 grounded 术语表生成任务，构建含31316个三元组的梵语基准，发现指令微调及显式分词可提升性能，指出形态建模是梵词语法分解的关键瓶颈。
2026-09-02 cs.CL
SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
首字母缩略词消歧是指从词典中找到一个有歧义的首字母缩略词在给定句子中的正确含义，这是科学文档理解的关键点之一（SDU@AAAI-22）。最近，许多尝试试图通过微调预训练的掩蔽语言模型（MLM）来解决这个问题，以获得更好的首字母缩略词表示。然而，缩略词的意义在不同的上下文中是不同的，其对应的短语表示在不同的方向上映射在整个向量空间中缺乏区分。因此，预先训练的MLM的原始表示对于首字母缩略词消歧任务并不理想。在本文中，我们提出了一个简单的框架对比学习的首字母缩略词消歧（SimCLAD）方法，以更好地理解首字母缩略词的含义。具体来说，我们设计了一种持续对比的预训练方法，通过学习真实含义和歧义短语之间的短语级对比分布来增强预训练模型的泛化能力。对英文科技领域首字母缩略词的消歧实验结果表明，该方法优于所有其他竞争性最先进（SOTA）方法。
2021-12-09 cs.AI cs.CL
Geometric Structures and Patterns of Meaning: A PHATE Manifold Analysis of Chinese Character Embeddings
本研究通过PHATE流形分析系统探究汉字嵌入的几何模式，验证了语义内容与几何复杂度的关联，为传统语言学理论提供计算证据并建立语义组织几何分析的新框架。
2025-09-23 cs.CL
The Frobenius anatomy of word meanings I: subject and object relative pronouns
Queen Mary University of London（伦敦玛丽女王大学）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
本文在范畴框架内建立了一个基于合成向量的主语和宾语关系代词语义。Frobenius代数用于形式化建模关系代词语义所需的操作，包括在关系从句和修饰的名词短语之间传递信息，以及复制，组合和丢弃关系从句的部分。我们开发了两个实例的抽象语义，一个基于真理理论的方法和语料库统计的基础上。
2014-04-21 cs.CL
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词，而现有的多意义词嵌入不能表示更长的词序列，如短语或句子。我们提出了一种新的嵌入方法的文本序列（短语或句子），其中每个序列是由一组不同的多模式码本嵌入，以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心，其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型，该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明，每句码本嵌入显着提高性能，在无监督的句子相似度和提取摘要基准。在短语相似性实验中，我们发现，多方面的嵌入提供了一个可解释的语义表示，但不优于单方面的基线。
2021-12-29 cs.CL cs.LG
The Two Word Test: A Semantic Benchmark for Large Language Models
University of South Carolina（南卡罗来纳大学）
本文提出开源双词语义基准TWT，通过1768个人类评分的名词组合测试LLM，发现GPT-4等模型仍显著落后于人类，提示其语义理解存在局限。
2023-06-07 cs.AI cs.CL
Identifying missing dictionary entries with frequency-conserving context models
The University of Vermont（佛蒙特大学）
为了更好地理解自然语言文本的意义，我们探索了旨在将词汇对象组织到上下文中的方法。这些用于组织的方法中有许多属于由单词排序定义的一个家族。与人口统计学或空间数据划分不同，这些搭配模型具有特殊的重要性，因为它们具有普遍的适用性。虽然我们在这里对文本感兴趣，并适当地制定了我们的处理方法，但我们的工作可能适用于其他研究领域（例如，语音、基因组学和移动性模式），其中已经对分类数据进行了排序，（例如，声音、基因和位置）。我们的方法侧重于短语（无论是词或更大）作为主要的意义承载词汇单位和研究对象。要做到这一点，我们采用我们以前开发的框架，用于生成字保存短语频率数据。在使用Wiktionary训练我们的模型时，Wiktionary是一个广泛的，在线的，协作的，开源的字典，包含超过100，000个短语定义，我们开发了高效的过滤器来识别有意义的，缺失的短语条目。我们的预测，然后从事维基词典的编辑社区，并提出了简短的名单，潜在的缺失条目的定义，开发一个突破性的，词汇提取技术，并扩大我们的知识定义的英语词汇的短语。
2015-07-29 cs.CL cs.IT math.IT
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz（大不里士大学）；Ayvansaray University（艾万萨雷大学）
背景：关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而，以前的关键词提取方法都利用了文本和图形特征，缺乏能够正确学习和以最佳方式组合这些特征的模型。方法：在本文中，我们开发了一个多模态的关键短语提取方法，即Phraseformer，使用Transformer和图形嵌入技术。在Phraseformer中，每个关键词候选都由一个向量表示，该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究，如BERT和ExEm的优点，以保持这两种表示。此外，Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果：我们通过F1-score分析了Phraseformer在Inspec，SemEval 2010和SemEval 2017三个数据集上的性能。此外，我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外，随机森林分类器在所有分类器中获得最高的F1分数。结论：BERT和ExEm的结合更有意义，更能表征词语的语义。因此，Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine（伊利诺伊大学医学院）
神经嵌入是一组流行的方法，用于将单词，短语或文本表示为低维向量（通常为50 - 500维）。然而，很难以有意义的方式解释这些维度，并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词，短语或文本作为一个低维向量，其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话，并选择二元组，三元组和缩写，使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关，并且在各种生物医学基准上优于或等于所有其他报告的方法，包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比，我们的隐式词-词度量捕获了词-词相关性的不同方面，并且仅部分相关（rho =~0.5 - 0.8，取决于任务和语料库）。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得，并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面，其中一个允许用户指定一个给定的单词，并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学）
NLP面临的主要挑战之一是隐喻检测，特别是通过自动手段，对于缺乏语言资源和工具的语言来说，这项任务变得更加困难。我们的目的是通过机器学习的计算方法，从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的，分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性，提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型，本文所采用的方法考虑到了语言环境，用于计算短语在几何空间中的分布表示，以及与其他短语的分布表示进行比较，这些短语在言语中的功能已经是“已知的”，目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题，因为迄今为止几乎不可能在“短语”之间进行语义比较，这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
Robust Incremental Neural Semantic Graph Parsing
University of Oxford（牛津大学）；DeepMind
将句子解析为具有语言表达性的语义表示是自然语言处理的一个关键目标。然而，统计分析几乎完全集中在双语依赖或特定领域的逻辑形式。我们提出了一个神经编码器-解码器转换为基础的解析器，这是第一个全覆盖的最小递归语义（MRS）的语义图解析器。该模型架构使用基于堆栈的嵌入功能，预测图与unexicalized谓词及其令牌对齐。我们的解析器比MRS上基于注意力的基线更准确，并且在附加的抽象意义表示（AMR）基准上，GPU批处理使其比基于语法的高精度解析器快一个数量级。此外，我们的MRS解析器的86.69%Smatch分数高于AMR解析的上限，使MRS成为一个有吸引力的选择作为语义表示。
2017-07-27 cs.CL
The Mechanism of Additive Composition
Tohoku University（东北大学）
加法合成（Foltz et al，1998; Landauer and Dumais，1997; Mitchell and Lapata，2010）是一种广泛使用的计算短语含义的方法，它取组成词的向量表示的平均值。在这篇文章中，我们证明了一个上界的偏见的加法组合，这是第一次从机器学习的角度对组合框架的理论分析。的结合是书面的搭配强度，我们证明，更专门的两个连续的单词往往会一起出现，更准确的可以保证其添加剂组成的自然短语向量的近似。我们的证明依赖于经验验证的自然语言数据的属性，并且可以从理论上推导出数据是从分层Pitman-Yor过程生成的假设。该理论认为加法合成是计算短语含义的合理操作，并提出了改进加法合成的方法，包括：通过满足特定条件的函数转换分布式词向量的条目，构造一种新型的向量表示使加法合成对词序敏感，以及利用奇异值分解训练词向量。
2017-03-07 cs.CL cs.LG
Describing Sets of Images with Textual-PCA
Tel Aviv University（特拉维夫大学）
我们试图从语义上描述一组图像，捕捉单个图像的属性和集合内的变化。我们的过程类似于主成分分析，其中投影向量的作用被替换为生成的短语。首先，生成与集合中的图像具有最大平均语义相似度的质心短语，其中相似度的计算和生成都基于预训练的视觉语言模型。然后，使用相同的模型来生成在相似性分数中生成最高变化的短语。下一个短语最大化方差，该方差在潜在空间中正交于最高方差短语，并且该过程继续。我们的实验表明，我们的方法是能够令人信服地捕捉图像集的本质，并在整个集合的上下文中以语义上有意义的方式描述单个元素。我们的代码可在https://github.com/OdedH/textual-pca上获取。
2022-10-21 cs.AI cs.CL cs.CV
A Functional Trade-off between Prosodic and Semantic Cues in Conveying Sarcasm
ZhuLi（朱莉）；XiyuanGao（高西元）；YuqingZhang（张雨青）；ShekharNayak（Shekhar Nayak）；MattColer（Matt Coler）
研究通过分析不同讽刺类型语句的声学特征，发现语义明显时语气特征不重要，而语义不明显时语气特征更关键，揭示了讽刺传达中语义与语气特征的权衡关系。
2024-08-27 cs.CL cs.SD eess.AS
Do language models capture implied discourse meanings? An investigation with exhaustivity implicatures of Korean morphology
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过韩语差异宾语标记考察大型语言模型能否捕捉隐含话语含义，发现语法标记的话语含义比话语标记更难被模型编码。
2024-05-15 cs.AI cs.CL
Typed Hilbert Epsilon Operators and the Semantics of Determiner Phrases (Invited Lecture)
Université de Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）
限定词短语的语义，无论是定指、不定摹状词还是量化名词短语，通常被认为是一个完全解决的问题：普通名词是属性，限定词是适用于两个谓词的广义量词：对应于普通名词的属性和对应于动词短语的属性。我们首先提出了一个批评这种标准的观点。首先，限定词的语义不遵循句子的句法结构。第二，不定冠词的标准解释不能适用于名词性句子。第三，标准观点忽略了广义量词的两个属性之间的语言不对称性。在续集中，我们提出了一个丰富的类型系统，我们最初开发的词汇语义，使用许多排序的逻辑语义表示的希尔伯特术语的决定词和量词的治疗。我们提出了这个语义框架称为蒙塔古生成词典，并显示这些条款如何更好地匹配的句法结构，避免了上述问题的标准方法。希尔伯特项与选择函数的不同之处在于，每个公式都有一个多态算子而不是一个算子。它们还在意义组装逻辑、处理组合性的类型化λ演算和语义表示的多排序逻辑之间建立了有趣的联系。此外，语义项自然地引入了类型判断，并证实了类型判断是一种预设形式的主张。
2014-06-18 cs.AI cs.CL cs.LO
Contribución de la semántica combinatoria al desarrollo de herramientas digitales multilingües
Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）；Instituto da Lingua Galega（加利西亚语研究所）
本文阐述组合语义学如何助力西班牙语、法语和德语名词短语论元模式自动生成原型的设计，并强调论元句法-语义接口及语义过滤器在生成合格短语中的核心作用。
2023-12-26 cs.CL
Internal Wiring of Cartesian Verbs and Prepositions
University of Oxford（牛津大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
范畴成分分布语义学（CCDS）允许人们从组成词的意义中计算短语和句子的意义。从传统的语法范畴模型中继承下来的类型结构变成了一种“线结构”，它调节着词义的相互作用。然而，CCDS有一个比普通的范畴语义更丰富的逻辑结构，因为某些词也可以被赋予一个“内部连接”，要么提供它们的全部含义，要么减少它们的含义空间。以前的内部连接的例子包括关系代词和交叉形容词。在这里，我们建立了一个很大的一类行为良好的及物动词，我们称为笛卡尔动词相同，并减少意义空间从三元张量到一元。并提供了一些实验证据。
2018-11-08 cs.AI cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
Semantic Representation and Inference for NLP
University of Copenhagen（哥本哈根大学）
语义表示和推理是自然语言处理（NLP）的基本内容。语义表示和推理的最新技术是深度学习，特别是递归神经网络（RNN）、卷积神经网络（CNN）和Transformer Self-Attention模型。本文研究了深度学习在新的语义表示和推理中的应用，并在以下三个方面做出了贡献：创建训练数据，改进语义表示和扩展推理学习。在创建训练数据方面，我们为自动索赔验证（MultiFC）提供了最大的公开可用的真实索赔数据集，并且我们提出了一种新的推理模型，该模型由具有不同内核大小的多尺度CNN组成，这些CNN从外部源学习以推断事实检查标签。在改善语义表示方面，我们贡献了一个新的模型，捕捉非成分语义指标。根据定义，非组成短语的含义不能从其组成词的单个含义推断（例如，热狗）。出于这一动机，我们操作的组合性的短语上下文丰富的短语表示与外部词嵌入和知识图谱。最后，在推理学习方面，我们提出了一系列新颖的深度学习架构，通过使用语法依赖关系，通过集成角色引导的注意力头，结合门控层，并以新颖有效的方式连接多个头来改进推理。本论文由七个出版物（五个已出版，两个正在审查）。
2021-06-15 cs.AI cs.CL cs.LG
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Systematic word meta-sense extension
University of Toronto（多伦多大学）
本文提出了系统性词语元义延伸（SWORME）任务以测试并提升语言模型推导非字面词义的能力，发现模型擅长渐进式语义延伸而难以预测隐喻，并提出基于类比的方法有效提升了模型延伸能力及在修辞语言理解基准上的表现。
2023-11-21 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Word learning and the acquisition of syntactic--semantic overhypotheses
Massachusetts Institute of Technology（麻省理工学院）
儿童在学习第一语言时面临着多种归纳问题：如何学习单词的含义，以及如何根据句法规则从这些单词中构建有意义的短语。我们考虑如何儿童可能会解决这些问题，有效地解决他们共同的，通过计算模型，学习语法和语义的多字的话语在一个接地的参考游戏。我们选择了一个经过充分研究的实证案例，在该案例中，儿童意识到将单词的句法和语义属性联系起来的模式--基本名词选择的属性往往与形状相关，而前置形容词往往指的是其他属性，例如颜色。我们发现，儿童应用这种归纳偏见准确地反映了儿童导向的语音统计，并在我们的计算模型中诱导类似的偏见捕捉儿童的行为在一个经典的形容词学习实验。我们的模型结合了这种偏见，也证明了一个明确的数据效率在学习中，相对于一个基线模型，学习没有形成语法敏感的过度假设的词义。因此，解决一个更复杂的联合推理问题可能会使语言习得的整个问题变得更容易，而不是更难。
2018-05-14 cs.CL
A Typedriven Vector Semantics for Ellipsis with Anaphora using Lambek Calculus with Limited Contraction
Queen Mary University of London（伦敦玛丽女王大学）
基于Jäger（2006）的Lambek有限收缩演算（LCC），我们使用类型驱动的组合分布语义，为带回指的动词短语省略开发了一个向量空间语义。分布语义学对实词的统计搭配意义有很多解释，但对如何处理虚词却没有提供什么指导。另一方面，形式语义学有强大的机制来处理关系代词、协调词等。类型驱动的组合分布语义将这两个模型结合在一起。我们回顾了Coecke等人（2010，2013）的DisCoCat框架中关系代词，协调和省略的限制性解释的先前组成分布模型。我们展示了DisCoCat如何无法处理依赖于信息复制的一般形式的省略，并通过以Muskens & Sadrzadeh（2016）的风格将向量可解释的lambda项分配给LCC的派生，开发了一种将类型语法与分布语义联系起来的新方法。下面是对（动词短语）省略的解释，在省略中，词义可以被复制：句子的意义现在是一个程序，可以非线性地访问单个词嵌入。我们提出的理论设置，工作的例子，并证明我们的结果的玩具分布模型的数据。
2019-05-05 cs.AI cs.CL cs.LO
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而，迄今为止，它缺乏一个逻辑否定的模式。本文给出了一些步骤，提供这个操作，它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
A Categorial Framework for Composition in Multiple Linguistic Domains
本文描述了一个计算框架的语法架构，其中不同的语言领域，如形态，句法和语义被视为不是单独的组件，但组成域。单词和短语的形成被建模为统一的过程，有助于语义形式的推导。词素和词位一样，都有语义内容、策略约束和语音实现形式的词汇表征。这项工作的动机是处理形态-语法交互（例如，使役的配价变化，由格标记词缀施加的次范畴化）。该模型基于组合范畴语法。
1995-06-29 cmp-lg cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
本文提出LANDER方法，通过预训练语言模型生成的标签文本嵌入作为锚点，在训练阶段约束特征嵌入，在无数据知识迁移阶段合成高质量样本，有效解决联邦类增量学习中的灾难性遗忘问题，并在多个数据集上达到最先进性能。
2024-03-21 cs.CL cs.CV cs.LG
Discovering Meaningful Units with Visually Grounded Semantics from Image Captions
Idiap Research Institute（日内瓦研究所）
针对现有视觉-语言模型细粒度对齐单元缺乏实际语义的问题，提出内置token分组架构的模型，结合物体发现图像编码器对齐表示，提升了模型细粒度跨模态理解能力，所得token组与可落地短语高度相似。
2025-11-14 cs.CL cs.CV
Acquiring Word-Meaning Mappings for Natural Language Interfaces
University of Utah（犹他大学）；University of Texas（德克萨斯大学）
本文重点介绍了一个系统，WOLFIE（WORD学习从解释的例子），获得一个语义词汇从语料库的句子配对的语义表示。所学习的词汇由短语和意义表征组成。WOLFIE是一个集成系统的一部分，该系统学习将句子转换为逻辑数据库查询等表示。实验结果表明，WOLFIE的能力，学习有用的词汇的数据库接口在四个不同的自然语言。WOLFIE学习的词汇的有用性相比，通过类似的系统，与有利的结果WOLFIE收购。第二组实验展示了WOLFIE扩展到更大和更困难的语料库的能力，尽管是人工生成的。在自然语言获取中，很难收集监督学习所需的注释数据;然而，未注释的数据是相当丰富的。主动学习方法尝试仅选择信息量最大的示例进行注释和训练，因此在自然语言应用中可能非常有用。然而，迄今为止，大多数主动学习的结果只考虑了标准分类任务。为了在保持准确性的同时减少注释工作，我们将主动学习应用于语义词典。我们表明，主动学习可以显着减少所需的注释示例的数量，以达到给定的性能水平。
2011-06-22 cs.AI cs.CL
Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism
本文提出量子形式主义框架，将LLM嵌入空间扩展至复数域，引入语义波函数和路径积分，以建模语义干涉与歧义，推动语言理解。
2025-04-21 cs.CL cs.LG quant-ph
