Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
ReFRAME or Remain: Unsupervised Lexical Semantic Change Detection with Frame Semantics
Department of Linguistics, KU Leuven（语言学系，比利时列日大学）；Instituut voor de Nederlandse Taal（荷兰语研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
基于框架语义的无监督词义变化检测方法，有效且可解释，超越传统分布语义模型。
2026-05-04 cs.CL
Lexical and Derivational Meaning in Vector-Based Models of Relativisation
Utrecht University（乌得勒支大学）；Queen Mary University of London（伦敦玛丽女王大学）
Sadrzadeh et al（2013）根据有限维向量空间的Frobenius代数结构提出了英语关系从句的成分分布分析。分析依赖于不同的类型分配和词汇配方的主体与客体的相对化。荷兰语的情况则不同：由于荷兰语的动词词尾性质，关系从句在主语与宾语的相对化阅读之间是模糊的。使用一个扩展版本的Lambek演算，我们提出了一个组成的分布框架，占这种派生的歧义，并允许我们给一个单一的意义配方的相对代词调和Frobenius语义与荷兰派生语法的要求。
2017-12-01 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
词向量专业化（也称为改造）是一种便携式，轻量级的方法，通过从丰富的词汇资源（如WordNet）注入外部知识来微调任意分布的词向量空间。通过设计，这些后处理方法只更新外部词典中出现的单词的向量，而保留所有未看到的单词的表示。在本文中，我们表明，约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法，该方法：a）保留了有用的语言知识，为看到的话;而b）传播这个外部信号，以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量，以深度神经网络的形式解释了非线性专业化函数。然后，学习的函数用于专门化未见过的单词的向量。这种方法，适用于任何后处理模型，产生相当大的收益，无论是在内在的词相似性任务，并在两个下游任务：对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在，表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Quantifying Cognitive Factors in Lexical Decline
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们采用进化论的语言变化，其中认知因素（除了社会因素）影响的话，他们在语言生态系统的适应性和成功。具体来说，我们提出了各种心理语言学因素-语义，分布，和语音-我们假设是预测词汇下降，其中的话大大减少频率随着时间的推移。使用三种语言（英语，法语和德语）的历史数据，我们发现我们提出的大多数因素在每个策划的下降单词集与其匹配的稳定单词之间的预期方向上存在显着差异。Logistic回归分析表明，语义因素和分布因素对词汇衰退有显著的预测作用。进一步的历时分析表明，随着时间的推移，衰落词的词汇语境多样性趋于减少，逐渐缩小了它们的“生态位”。
2021-10-12 cs.CL
Employing distributional semantics to organize task-focused vocabulary learning
University of Tübingen（图宾根大学）
学习者如何系统地准备阅读他们感兴趣的书？在本文中，我们将探讨如何计算语言学方法，如分布语义，形态聚类和练习生成可以结合基于图的学习模型来回答这个问题，在概念上和实践中。基于高度结构化的学习者模型和网络分析的概念，引导学习者有效地探索目标词汇空间。他们练习使用从书中产生的多间隙学习活动，重点是对目标词汇空间至关重要的单词。因此，该方法提供了一个独特的计算语言学方法与网络分析和辅导系统域的概念相结合，以支持学习者实现他们的个人，阅读任务为基础的学习目标。
2020-11-22 cs.CL
Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data
McGill University（麦吉尔大学）
最近的工作在学习向量空间嵌入多关系数据集中在结合关系信息来自知识库与分布式信息来自大型文本语料库。我们提出了一个简单的方法，利用实体或短语的描述，在词汇资源，结合分布式语义，以获得一个更好的初始化训练关系模型。将此初始化应用于TransE模型会在WordNet数据集上产生显著的新的最先进性能，将平均排名从之前的212降至51。它还导致实体表示的更快收敛。我们发现，有一个权衡提高平均排名和hits@10与这种方法。这表明，在关系模型中，关于性能改进还有很多需要理解的地方。
2016-05-18 cs.CL
Modelling Lexical Ambiguity with Density Matrices
University of Amsterdam（阿姆斯特丹大学）；University of Bristol（布里斯托尔大学）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所(ILLC)）
单词可以有多种含义。意义的成分分布模型被认为可以很好地处理被称为一词多义的意义变化的细微差别，但不能很好地处理词源无关或同音异义的词义。从向量转移到密度矩阵，我们可以对一个词的不同意义上的概率分布进行编码，也可以适应意义的组成分布模型。在本文中，我们提出了三种新的神经模型，用于从语料库中学习密度矩阵，并测试了它们在一系列组合数据集上区分词义的能力。当与特定的组合方法配对时，我们的最佳模型优于现有的基于向量的组合模型以及强大的句子编码器。
2020-10-12 cs.CL
Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models
Boston University（波士顿大学）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
人类的语言能力通常以组合性和它所能实现的概括为特征--人类学习者可以通过组合已知的部分来产生和理解新颖的复杂表达。几个基准测试在训练和测试中利用分布式控制来衡量合成泛化，其中某些词汇项仅在训练期间出现在有限的上下文中。虽然最近使用这些基准测试的工作表明，预训练模型实现了令人印象深刻的泛化性能，但我们认为，暴露于预训练数据可能会打破上述分布控制。使用Kim和Linzen（2020）的COGS基准，我们测试了两种改进的评估设置来控制这个问题：（1）用新的字符序列替换上下文控制的词汇项，以及（2）用由新的嵌入表示的特殊标记替换它们。我们发现，这两种设置都导致T5的泛化性能较低（Raffel et al.，2020年），这表明先前报道的结果被高估，由于不受控制的词汇暴露在预训练。对于新的嵌入，性能下降更极端，并且随着预训练数据的量而增加，突出了逆缩放的有趣情况。
2022-12-21 cs.CL
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers
Universitat Pompeu Fabra（庞培法布拉大学）；Idiap Research Institute（Idiap研究所）；EPFL（洛桑联邦理工学院）；ICREA（加泰罗尼亚研究与高等教育学院）；Cardiff University（卡迪夫大学）；AMPLYFI（AMPLYFI公司）
在语境中识别和分类词汇搭配对语言学习、词典编纂和后续的自然语言处理都有重要意义。然而，由于词汇搭配所表现出的冻结程度不同，这是一项具有挑战性的任务。在本文中，我们提出了一个序列标记的BERT为基础的模型增强了图形感知的Transformer架构，我们评估的任务上的搭配识别上下文。我们的研究结果表明，明确编码句法依赖的模型架构是有帮助的，并提供洞察力的差异，在英语，西班牙语和法语的搭配类型化。
2022-05-23 cs.CL
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
Instituto Politécnico Nacional（国家理工学院）；Instituto Caro y Cuervo（卡罗-奎尔沃研究所）
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
2020-11-07 cs.AI cs.CL
Few-shot Text Classification with Distributional Signatures
Computer Science and Artificial Intelligence Lab, MIT（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI LAB, IBM Research（IBM研究院麻省理工-IBM沃森人工智能实验室）
在本文中，我们探讨元学习的Few-Shot文本分类。元学习在计算机视觉中表现出很强的性能，其中低级模式可以在学习任务中转移。然而，直接将这种方法应用于文本是具有挑战性的-词汇特征对一项任务来说是高度信息化的，但对另一项任务来说可能是微不足道的。因此，我们的模型不是仅仅从单词中学习，而是利用它们的分布签名，这些签名对相关的单词出现模式进行编码。我们的模型在元学习框架内进行训练，将这些签名映射到注意力分数，然后用于加权单词的词汇表示。我们证明，我们的模型始终优于基于词汇知识学习的原型网络（Snell等人，2017）在Few-Shot文本分类和关系分类中，在六个基准数据集上都有显著的优势（1次分类平均为20.0%）。
2020-02-18 cs.CL cs.LG
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次构建完整评估框架，利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导，实验表明分化定律更具优势，最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
Using Distributional Thesaurus Embedding for Co-hyponymy Detection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
区分分布相似词之间的词汇关系一直是自然语言处理（NLP）领域的一个挑战。本文研究了分布式叙词表的网络嵌入能否有效地用于共上下义关系的检测。通过对三个基准数据集的广泛实验，我们表明，通过在分布式词库上应用node 2 vec获得的向量表示优于最先进的二元分类模型，用于co-hyponymy与hyponymy，以及co-hyponymy与meronymy。
2020-02-24 cs.CL
Approches d'analyse distributionnelle pour améliorer la désambiguïsation sémantique
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧（WSD）改进了许多自然语言处理（NLP）应用，例如信息检索、机器翻译或词汇简化。词义消歧是指在一个多义词汇单位中，结合语境，从不同的词义中确定一个词义的能力。最直接的方法是在目标词的词义候选和其上下文的词义候选之间使用语义接近度。这种方法很容易导致组合爆炸。在本文中，我们提出了两种方法的基础上的分布分析，使减少指数复杂性，而不会失去的一致性。我们提出了一个比较之间的选择分布的邻居和线性最近的邻居。得到的数字表明，选择分布邻居导致更好的结果。
2017-02-27 cs.CL
Experiments with Three Approaches to Recognizing Lexical Entailment
National Research Council Canada（加拿大国家研究委员会）
自然语言中的推理通常涉及识别词汇蕴涵（RLE）;也就是说，识别一个词是否蕴涵另一个词。例如，“买”包含“拥有”。RLE的两个一般策略已被提出：一个策略是手动构建一个不对称的上下文向量的相似性度量（方向相似性），另一个是对待RLE学习的问题，以识别语义关系，使用监督机器学习技术（关系分类）。在本文中，我们实验了两个最近的国家的最先进的代表的两个一般战略。第一种方法是非对称相似性度量（方向相似性策略的一个实例），旨在捕获单词a的上下文形成另一个单词b的上下文子集的程度。第二种方法（关系分类策略的一个实例）用一个特征向量表示一个词对a：b，该特征向量是a和b的上下文向量的级联，然后将监督学习应用于标记特征向量的训练集。此外，我们介绍了第三种方法，这是一个新的实例的关系分类策略。第三种方法表示一个词对，a：b，与一个特征向量，其中的功能是在一组参考词的a和b的相似性的差异。这三种方法都使用基于词上下文矩阵的语义向量空间模型（VSM）。我们使用三个不同的数据集进行了广泛的评估的三种方法。所提出的新方法（相似性差异）在某些数据集上的性能明显优于其他两种方法，并且没有数据集明显更差。我们的研究结果表明，将词汇蕴涵研究与语义关系分类研究联系起来是有益的。
2014-01-31 cs.AI cs.CL cs.LG
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University（山东建筑大学）
当前自然语言处理的突破极大地受益于神经语言模型，通过该模型，分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量，因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能，我们通过深度度量学习对神经词嵌入进行后处理，通过深度度量学习，我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合，一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果，用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性，通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性，而不会对语义相似性判断产生负面影响。结果表明，层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性，潜在地扩展了其适用性，以聚合异构数据和各种知识资源，用于学习多模态语义空间。
2022-10-03 cs.CL
Resolving Lexical Ambiguity in Tensor Regression Models of Meaning
University of Oxford（牛津大学）；Queen Mary Univ. of London（伦敦大学玛丽女王学院）
本文提供了一种改进基于张量的成分分布模型的意义，通过增加一个明确的消歧步骤之前的组合。与以前的研究相比，这个假设已经成功地在相对简单的组成模型中进行了测试，在我们的工作中，我们使用了一个用线性回归训练的鲁棒模型。两个实验的结果表明了先验消歧方法的优越性，并表明该方法的有效性是与模型无关的。
2014-08-26 cs.CL
Aspectuality Across Genre: A Distributional Semantics Approach
Rasa；University of Pittsburgh（匹兹堡大学）；Rutgers University（罗格斯大学）；University of Edinburgh（爱丁堡大学）
英语动词词汇体的理解对于理解语篇蕴涵和学习语篇推理起着至关重要的作用。我们发现，两个基本维度的方面类，状态与事件，和telic与集邮事件，可以有效地建模与分布语义。我们发现，一个动词的本地上下文是最能表明其体类，并证明封闭类的话往往是更强的歧视性的上下文比内容的话。我们的方法在三个数据集上优于以前的工作。最后，我们贡献了一个数据集的人类-人类会话注释词汇方面和本实验表明，冗长性与体裁和话语目标的相关性。
2020-10-31 cs.AI cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
RuSemShift: a dataset of historical lexical semantic change in Russian
National Research University Higher School of Economics（俄罗斯高等经济研究大学）；University of Oslo（奥斯陆大学）
我们提出了RuSemShift，一个大规模的手动注释的测试集的任务，语义变化建模在俄罗斯的两个长期的时间段对：从前苏联通过苏联时代，从苏联通过后苏联时代。目标词由多个众包工作者注释。的注释过程中组织的DURel框架，并根据从俄罗斯国家语料库中提取的句子上下文。此外，我们报告了RuSemShift上几种分布式方法的性能，取得了令人鼓舞的结果，同时为其他研究人员留下了改进的空间。
2020-10-13 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Exploiting Context to Identify Lexical Atoms -- A Statistical View of Linguistic Context
自然语言的解释本质上是上下文敏感的。自然语言中的大多数单词都是模糊的，它们的含义严重依赖于它们使用的语言背景。词汇语义的研究离不开语境的概念。本文从语境的角度对词汇语义学进行了研究，探讨了词汇原子或“粘滞性”短语（如“热狗”）的语境。由于这些词汇原子可能经常出现在不受限制的自然语言文本中，因此识别它们对于理解自然发生的文本至关重要。本文提出了几种启发式的方法，利用语言的背景，以确定词汇原子从任意的自然语言文本。
1997-01-02 cmp-lg cs.CL
SherLIiC: A Typed Event-Focused Lexical Inference Benchmark for Evaluating Natural Language Inference
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
我们提出了SherLIiC，一个上下文中的词汇推理（LIiC）的测试平台，由3985个手动注释的推理规则候选者（InfCands）组成，伴随着（i）~ 960 k未标记的InfCands，以及（ii）从大型实体链接语料库CNOW Web 09中提取的Freebase实体之间的~ 190 k类型化文本关系。每个InfCand都由这些关系中的一个组成，表示为lemmatized依赖路径和两个参数占位符，每个占位符链接到一个或多个Freebase类型。由于我们的候选人选择过程基于强分布证据，SherLIiC比现有的测试平台要难得多，因为分布证据在InfCands的分类中几乎没有用处。我们还表明，由于它的建设，许多SherLIiC的正确InfCands是新颖的，从现有的规则基础失踪。我们评估了SherLIiC上的一些强基线，从语义向量空间模型到最先进的自然语言推理（NLI）神经模型。我们表明，SherLIiC对现有的NLI系统构成了严峻的挑战。
2019-06-04 cs.AI cs.CL
Language Models for Lexical Inference in Context
LMU Munich（慕尼黑大学）
语境中的词汇推理（LIiC）是识别两个非常相似的句子之间的文本蕴涵的任务，即，只有一个表达方式不同的句子。因此，它可以被看作是一个变种的自然语言推理任务，侧重于词汇语义。我们制定和评估的第一种方法的基础上预训练的语言模型（LM）为这项任务：（i）一个Few-Shot NLI分类器，（ii）关系归纳方法的基础上手工制作的模式表达的语义词汇推理，（iii）（ii）与模式的变体，自动从语料库中提取。我们所有的方法都超过了以前的最先进水平，显示了LIiC预训练LM的潜力。在一个广泛的分析中，我们调查了我们三种方法的成功和失败的因素。
2021-04-27 cs.AI cs.CL
Novel Ranking-Based Lexical Similarity Measure for Word Embedding
Politechnika Poznańska（波兹南理工大学）
分布语义模型从上下文中的语言项推导出词空间。通过定义对应于词汇实体的向量之间的距离度量来获得意义。这种载体存在几个问题。在本文中，我们提供了一个指导方针后处理改进的基线向量。我们专注于细化的相似性方面，解决不完善的模型，通过应用枢纽减少方法，实现关系知识的模型，并提供了一个新的排名相似性定义，给予最大的权重的前1个组件值。这种特征排序类似于信息检索中使用的特征排序。所有这些丰富的联合ESL和TOEF集比较优于目前的文献结果。由于单个词嵌入是任何语义任务的基本元素，因此可以预期这些任务的结果会有显着改善。此外，我们改进的文本处理方法可以转化为生物序列的连续分布式表示，用于深度蛋白质组学和基因组学。
2017-12-22 cs.CL
Distributional Sentence Entailment Using Density Matrices
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
Coecke et al.（2010）的范畴组合分布模型提出了一种将形式的类型逻辑模型的语法组合与基于语料库的分布语义的经验词表示相结合的方法。本文通过扩展模型来捕获蕴涵关系，从而为该项目做出了贡献。这是通过将词的表示从意义空间中的点扩展到密度算子来实现的，密度算子是空间子空间上的概率分布。定义了相似性的对称度量和蕴涵的非对称度量，其中词汇蕴涵使用冯·诺依曼熵（Kullback-Leibler发散的量子变体）来测量。词汇蕴涵与词表征的组合图相结合，提供了一种在句子层次上获取蕴涵关系的方法。真值理论和语料库为基础的例子。
2015-10-14 cs.CL cs.IT cs.LO
On the Feasibility of Automated Detection of Allusive Text Reuse
University of Antwerp（安特卫普大学）；University of Notre Dame（圣母大学）
典故文本重用的检测是特别具有挑战性的，由于稀疏的证据，典故参考依赖-通常基于没有或很少的共享单词。可以说，词汇语义可以诉诸，因为揭示词之间的语义关系有可能增加的支持下的典故和减轻词汇稀疏。另一个障碍是缺乏评价基准语料库，这主要是由于注释过程的解释性很强。在本文中，我们的目的是阐明自动典故检测的可行性。我们从信息检索的角度来处理这个问题，其中参考文本作为查询和参考文本作为相关的文件被检索，并估计基准语料库编译的难度由一个新的注释者之间的协议研究查询分割。此外，我们调查在何种程度上来自分布模型和本体的词汇语义信息的整合可以帮助检索典故重用的情况。结果表明，（i）尽管协议分数低，使用手动查询大大提高了检索性能相对于一个窗口的方法，以及（ii）检索性能可以适度提高与分布式语义。
2019-05-08 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Instantiation
Stuttgart University（斯图加特大学）；Universitat Pompeu Fabra（庞培法布拉大学）
在计算语言学中，大量的工作存在于词汇关系的分布式建模上，主要集中在词汇关系上，例如在两个类别之间保持的上位关系（科学家-人），如普通名词所表达的。相比之下，计算语言学很少关注由专有名词表示的实体（Marie Curie，Mumbai，...）。知识表示和语义网社区已经详细调查了这些问题，但通常没有考虑到它们的语言特性。我们的论文通过调查和建模实例化的词汇关系来缩小这一差距，这在实体表示和类别表示表达式之间成立（玛丽居里-科学家或孟买-城市）。我们提出了一个新的，原则性的数据集的任务，实例化检测以及实验和分析这个数据集。我们得到了以下结果：（a）属于一个范畴的实体在分布空间中形成一个区域，但范畴词的嵌入通常位于这个子空间之外;（b）从分布证据中区分实体和范畴是容易的，但由于（a），当使用普通名词作为范畴的表示时，正确的实例化要难得多;（c）这个问题可以通过使用基于实体而不是基于类别词嵌入的类别表示来缓解。
2018-08-05 cs.CL
Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
逻辑否定属性（LNP）是一个值得信赖的语言模型必须满足的重要属性，它意味着对语义相反的输入生成不同的预测。然而，最近的证据表明，大规模的预训练语言模型（PLM）不满足这一属性。在本文中，我们使用探测任务进行实验，以评估PLM的LNP理解。与以往的研究只考察否定表达不同，本文将研究的范围扩大到词汇语义。通过实验，我们观察到PLM经常违反LNP。为了缓解这个问题，我们提出了一种新的中间训练任务，名称意义匹配，旨在直接学习意义-文本对应，而不是依赖于分布假设。通过多个实验，我们发现，该任务使PLM学习词汇语义信息。此外，通过对7个GLUE任务的微调实验，我们确认它是一个安全的中间任务，保证了下游任务的类似或更好的性能。最后，我们观察到，我们提出的方法优于我们以前的同行，尽管它的时间和资源效率。
2022-05-08 cs.AI cs.CL
CogALex-V Shared Task: LexNET - Integrated Path-based and Distributional Method for the Identification of Semantic Relations
Bar-Ilan University（巴伊兰大学）
我们向CogALex 2016共享任务提交了一份关于基于语料库的语义关系识别的报告，使用LexNET（Shwartz和Dagan，2016），这是一种集成的基于路径和分布式的语义关系分类方法。在共享的任务中报告的结果，使提交子任务1（词的相关性）的第三位，和子任务2（语义关系分类）的第一位，展示了实用程序的集成互补的基于路径和分布式信息源在识别具体的语义关系。结合一个共同的相似性度量，LexNET在单词相关性任务（子任务1）上表现相当不错。然而，LexNET和所有其他系统在子任务2上的相对较低的性能证实了语义关系分类任务的难度，并强调需要为此任务开发其他方法。
2016-11-01 cs.CL
A comparative evaluation and analysis of three generations of Distributional Semantic Models
AI Sweden（瑞典人工智能中心）；Institut National de Criminalistique et de Criminologie（国家犯罪学与犯罪学研究所）；RISE（RISE研究院）
分布语义学在过去的几十年里发生了深刻的变化。首先，预测模型抢了传统计数模型的风头，最近，在许多NLP应用中，这两种模型都被Transformer神经语言模型产生的上下文化向量所取代。虽然广泛的研究机构一直致力于分布式语义模型（DSM）的评估，我们仍然缺乏一个彻底的比较测试模型，语义任务和基准数据集。此外，以前的工作主要集中在任务驱动的评估，而不是探索模型表示词汇语义空间的方式之间的差异。在本文中，我们进行了一个全面的评估类型分布向量，无论是由静态DSM产生的，或通过平均由BERT产生的上下文化向量。首先，我们调查了嵌入在几个语义任务中的表现，进行了深入的统计分析，以确定影响DSM行为的主要因素。结果表明，i.）所谓的基于预测的模型的优越性比真实的更明显，并且肯定不是普遍存在的，并且ii.）静态DSM在大多数上下文外的语义任务和数据集中超过了上下文化的表示。此外，我们借用认知神经科学的表征相似性分析（RSA）的方法来检查分布模型产生的语义空间。RSA揭示了重要的差异有关的频率和词性的词汇项目。
2022-04-01 cs.AI cs.CL
Network Features Based Co-hyponymy Detection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校）
区分词汇关系是自然语言处理领域的一个长期研究课题。近年来，为了检测诸如上位关系、部分关系、共下位关系等词汇关系，分布式语义模型正以某种形式被广泛使用。尽管人们对上位关系的检测做了大量的努力，但是对上下义关系的检测问题却很少有人研究。在本文中，我们提出了一种新的监督模型，其中各种网络措施已被用来识别高精度的表现更好或与最先进的模型相当的共上下义关系。
2018-02-13 cs.CL
HyperLex: A Large-Scale Evaluation of Graded Lexical Entailment
University of Cambridge（剑桥大学）；Facebook AI Research（脸书人工智能研究院）；Google DeepMind（谷歌DeepMind）
我们引入HyperLex -一个数据集和评估资源，它量化了语义类别成员资格的程度，即2，616个概念对之间的关系类型，也称为上下义关系或词汇蕴涵（LE）关系。认知心理学研究已经证实，典型性和类别/类成员资格在人类语义记忆中是作为一种渐进的而不是二元的关系来计算的。然而，大多数NLP研究，以及现有的概念类别成员的大规模投资（WordNet，DBPedia等）。将类别成员资格和LE视为二元。为了解决这个问题，我们要求数百名以英语为母语的人在众包平台上指出各种概念对之间的类别成员关系的典型性和强度。我们的研究结果证实，类别成员资格和LE确实比二进制更渐进。然后，我们将这些人类判断与自动系统的预测进行比较，这揭示了人类表现与最先进的LE，分布式和表示学习模型之间的巨大差距，以及模型本身之间的实质性差异。我们讨论了一个途径，改善语义模型，以克服这种差异，并指出未来的应用领域，改进分级LE系统。
2017-05-10 cs.CL
A Vector Space for Distributional Semantics for Entailment
Xerox Research Centre Europe（施乐欧洲研究中心）
分布语义学创建了向量空间表示，可以捕获多种形式的语义相似性，但它们与语义蕴涵的关系还不太清楚。我们提出了一个向量空间模型，它提供了一个正式的基础，分布式语义蕴涵。使用平均场近似，我们开发近似推理程序和蕴涵运营商的特征被称为（与未知）的概率向量。我们使用这个框架来重新解释现有的分布语义模型（Word2Vec）近似的基于蕴涵的模型的单词在上下文中的分布，从而预测词汇蕴涵关系。在无监督和半监督的上下义关系检测实验中，我们得到了比以前的结果有实质性的改善。
2016-07-13 cs.CL cs.LG
NeLLCom-Lex: A Neural-agent Framework to Study the Interplay between Lexical Systems and Language Use
Center for Language and Cognition, University of Groningen（语言与认知中心，格罗宁根大学）；Department of Translation and Language Sciences, Universitat Pompeu Fabra（翻译与语言科学系，庞培法拉大学）；Leiden Institute of Advanced Computer Science, Leiden University（莱顿高级计算机科学研究所，莱顿大学）；Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级科学研究所（ICREA））
NeLLCom-Lex通过神经代理框架模拟词汇系统演变，研究词汇与语言使用间的相互作用及语义变化机制。
2025-09-26 cs.CL
Transparent Semantic Change Detection with Dependency-Based Profiles
Department of Linguistics, KU Leuven（语言学系，鲁文大学）
本文提出基于依赖关系的词义变化检测方法，通过依赖共现模式实现更透明和有效的语义变化识别。
2026-01-30 cs.CL
Semantic Similarity Based on Corpus Statistics and Lexical Taxonomy
本文提出了一种新的方法来衡量词和概念之间的语义相似性/距离。它结合了词汇分类结构和语料库统计信息，使得分类法构建的语义空间中节点之间的语义距离可以更好地量化与来自语料库数据的分布分析的计算证据。具体而言，所提出的措施是一种组合的方法，继承了基于边缘的方法的边缘计数方案，然后增强了基于节点的方法的信息内容计算。当测试一个共同的数据集上的词对相似性评级，所提出的方法优于其他计算模型。它给出了最高的相关值（r = 0.828）与基准的基础上人类相似性判断，而上限（r = 0.885）时，观察到人类受试者复制相同的任务。
1997-09-20 cmp-lg cs.CL
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Enhanced word embeddings using multi-semantic representation through lexical chains
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）；University of Wuppertal（伍珀塔尔大学）；Federal University of ABC（ABC联邦大学）
句子中单词之间的关系通常比单个单词更能告诉我们文档的潜在语义内容。在这项工作中，我们提出了两个新的算法，称为灵活的词汇链II和固定的词汇链II。这些算法结合了来自词汇链的语义关系、来自词汇数据库的先验知识以及词嵌入中的分布假设的鲁棒性，作为形成单个系统的构建块。简而言之，我们的方法有三个主要贡献：（i）一组技术，完全集成词嵌入和词汇链;（ii）一个更强大的语义表示，考虑到文档中的单词之间的潜在关系;和（iii）轻量级的词嵌入模型，可以扩展到任何自然语言任务。我们打算评估预训练模型的知识，以评估它们在文档分类任务中的鲁棒性。所提出的技术进行了测试，对七个词嵌入算法，使用五个不同的机器学习分类器在六个场景中的文档分类任务。我们的研究结果表明，词汇链和词嵌入表征之间的整合维持了最先进的结果，即使对更复杂的系统。
2022-12-19 cs.CL cs.LG
Representing Meaning with a Combination of Logical and Distributional Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP任务在它们所需的语义信息方面有所不同，并且此时没有单一的语义表示满足所有要求。基于逻辑的表征表征句子结构，但不捕获意义的分级方面。分布模型为单词和短语提供分级的相似性评级，但不像基于逻辑的方法那样详细地捕获句子结构。因此，有人认为两者是互补的。我们采用了一种混合的方法，结合了基于逻辑和分布式语义通过概率逻辑推理马尔可夫逻辑网络（MLNs）。在本文中，我们集中在一个实际的系统集成逻辑和分布式模型的三个组成部分：1）解析和任务表示是基于逻辑的部分，其中输入问题表示在概率逻辑。这与用标准的一阶逻辑表示它们是完全不同的。2)对于知识库的建设，我们形成加权推理规则。我们整合和比较分布信息与其他来源，特别是WordNet和现有的释义收集。特别是，我们使用我们的系统来评估分布式词汇蕴涵方法。我们使用一个变种的罗宾逊决议，以确定必要的推理规则。通过将它们映射到逻辑规则，可以轻松地添加更多的源;我们的系统学习特定于资源的权重，以纠正资源之间的缩放差异。3)在讨论概率推理时，我们展示了如何有效地解决推理问题。为了评估我们的方法，我们使用文本蕴涵（RTE）的任务，它可以利用基于逻辑和分布表示的优势。特别是，我们专注于SICK数据集，在那里我们实现了最先进的结果。
2016-06-08 cs.CL
Learning to Understand Phrases by Embedding the Dictionary
University of Cambridge（剑桥大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Université de Montréal（蒙特利尔大学）
学习丰富语义词表示的分布模型是最近NLP研究的成功案例。然而，事实证明，开发学习短语和句子的有用表示的模型要困难得多。我们建议使用日常词典中的定义作为弥合词汇和短语语义之间差距的一种手段。神经语言嵌入模型可以被有效地训练，以将字典定义（短语）映射到由这些定义定义的单词的（词汇）表示。我们提出了这些架构的两个应用程序：“反向字典”，返回一个概念的名称给出了定义或描述和一般知识的填字游戏问题的答案。在这两项任务中，神经语言嵌入模型在少数免费可用的词汇资源的定义上进行训练，其表现与依赖于重要任务特定工程的现有商业系统一样好或更好。结果突出了神经嵌入架构和基于定义的训练对于开发理解短语和句子的模型的有效性。
2016-03-22 cs.CL
Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language
University of Salerno（萨勒诺大学）
本文提出一种基于意大利语名词和动词语义分类构建的领域共现矩阵资源，通过选择与具体概念知识相关的矩阵来生成概念的语义描述，并在动物名词分类和特征提取实验中验证了其有效性。
2024-02-26 cs.CL
Composite Semantic Relation Classification
Insight Centre for Data Analytics（数据 analytics 洞察中心）；National University of Ireland, Galway（爱尔兰国立大学高威分校）；University of Passau（帕绍大学）
不同的语义解释任务，如文本蕴涵和问答需要分类的文本中的术语或实体之间的语义关系。然而，在大多数情况下，不可能在实体/术语之间分配直接的语义关系。本文提出了一种复合语义关系分类方法，扩展了传统的语义关系分类任务。与现有的基于词汇和分布词向量特征的机器学习模型不同，该模型将大量的二元关系常识知识库、分布导航算法和序列分类相结合，为复合语义关系分类问题提供了一种解决方案.
2018-05-16 cs.CL
SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文介绍了SemEval-2020任务1中使用的一种无监督检测词汇语义变化的方法SChME（Semantic Change Detection with Model Enclusion）。SChME使用一个模型集成结合信号的分布模型（词嵌入）和词频模型，其中每个模型投下一票，表明一个词的概率sufficientsemantic变化根据该功能。更具体地说，我们将词向量的余弦距离与我们命名为映射邻域距离（MAP）的基于邻域的度量相结合，并将词频差分度量作为我们模型的输入信号。此外，我们还探索了基于标记的方法来研究在此过程中使用的地标的重要性。我们的研究结果表明，用于对齐的地标的数量对模型的预测性能有直接的影响。此外，我们表明，语言，sufferless语义变化往往受益于使用大量的地标，而languageswith更多的语义变化受益于一个更谨慎的选择地标数对齐。
2020-12-02 cs.AI cs.CL
Exploring Lexical, Syntactic, and Semantic Features for Chinese Textual Entailment in NTCIR RITE Evaluation Tasks
National Chengchi University（国立政治大学）
在NTCIR-9和NTCIR-10中，我们计算了繁体中文和简体中文文本中识别推理（RITE）任务的词汇、句法和语义水平的语言信息。采用句法分析、命名实体识别和近义词识别等技术，并考虑常用词数、语句长度、否定词和反义词等特征来判断两个语句的蕴涵关系，同时探索了基于语义的函数和机器学习方法。所报道的系统表现出的鲁棒性，同时实现第二个位置的二进制分类子任务的简体中文和繁体中文在NTCIR-10 RITE-2。利用NTCIR-9 RITE的测试数据进行了进一步的实验，取得了较好的效果。我们还扩展了我们的工作，以寻找更好的配置，我们的分类和调查的贡献，个别功能。这项长期工作显示出令人感兴趣的结果，应鼓励进一步讨论。
2015-04-08 cs.AI cs.CL cs.DL
Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition
University of Calabria（卡拉布里亚大学）
本研究评估八种大型语言模型在词汇蕴含识别中的表现，发现其性能中等且少样本提示可提升效果，但完美解决仍具挑战，凸显进一步研究需求。
2024-11-07 cs.AI cs.CL cs.CY
Polish phonology and morphology through the lens of distributional semantics
Adam Mickiewicz University（亚当·密茨凯维奇大学）；University of Tübingen（蒂宾根大学）
本文通过分布语义学研究波兰词的语音与形态结构与其意义的关系，探讨词形特征与意义的关联，并展示语义向量如何捕捉亚词级语言单位信息。
2026-03-31 cs.CL
Integrating Lexical Knowledge in Word Embeddings using Sprinkling and Retrofitting
University of California, Los Angeles（加州大学洛杉矶分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于神经网络的词嵌入，如Word2Vec和GloVe，是纯数据驱动的，因为它们从训练语料库中捕获关于词的分布信息。过去的作品试图通过将词汇资源，如WordNet的语义知识，以改善这些嵌入。一些技术，如改装修改词嵌入在后处理阶段，而其他一些使用联合学习方法，通过修改神经网络的目标函数。在本文中，我们讨论了两种新的方法，将语义知识的词嵌入。在第一种方法中，我们利用Levy等人的工作，该工作表明，使用基于SVD的方法对共生矩阵提供类似的性能，以神经网络为基础的嵌入。我们提出了一种“喷洒”技术，直接在因子分解之前将语义关系添加到同现矩阵中。在第二种方法中，WordNet相似度分数用于改进改进的改造方法。我们在内在和外在任务中评估了所提出的方法，并在许多数据集中观察到基线的显着改进。
2020-01-23 cs.CL cs.LG
Deep Reinforcement Learning with Distributional Semantic Rewards for Abstractive Summarization
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
深度强化学习（RL）是一种常用的抽象摘要任务的策略，以解决暴露偏差和不可区分的任务问题。然而，传统的奖励Rouge-L只是寻找候选和注释引用之间的精确n-gram匹配，这不可避免地使生成的句子重复和不连贯。在本文中，而不是Rouge-L，我们探讨了利用分布语义来衡量匹配度的可行性。利用分布式语义，可以获得语义级评价，并且还可以生成语义正确的短语，而不限于参考句子的表面形式。Gigaword和CNN/Daily Mail数据集上的人类判断表明，我们提出的分布式语义奖励（DSR）在捕获自然语言的词汇和成分多样性方面具有明显的优势。
2019-09-10 cs.AI cs.CL cs.LG
Compositional Distributional Semantics with Compact Closed Categories and Frobenius Algebras
Wolfson College（沃尔夫森学院）
本论文有助于正在进行的研究相关的范畴组合模型的自然语言的Coecke，Sadrzadeh和克拉克在三个方面：首先，我提出了一个具体的实例化的抽象框架的基础上Frobenius代数（联合工作与Sadrzadeh）。该理论改进了以前的建议的缺点，扩展了语言的覆盖范围，并得到了实验工作的支持，改善了现有的结果。建议的框架描述了一类新的组合模型，找到一些语言现象的直观解释。其次，我提出并在实践中评估一个新的组成方法，明确处理不同层次的词汇歧义（与普尔曼联合工作）。在此基础上，提出了一种基于向量消歧与合成分离的具体算法。广泛的实验工作表明，所提出的方法确实导致更准确的复合表示的Coecke等人的框架。特别是和其他类别的组成模型一般。作为最后一个贡献，我正式的明确治疗词汇歧义的范畴框架的背景下，诉诸范畴量子力学（联合工作Coecke）。在所提出的扩展中，分布向量的概念被替换为密度矩阵的概念，该密度矩阵表示特定单词的潜在不同含义的概率分布。构成采用量子测量的形式，导致量子物理学和语言学之间有趣的类比。
2015-05-01 cs.AI cs.CL math.CT
Modeling Semantic Plausibility by Injecting World Knowledge
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
分布数据告诉我们，一个人可以吞下糖果，但不能说一个人可以吞下彩弹，因为这是从来没有证明。然而，两者都是物理上合理的事件。本文介绍了语义可解释性的任务：识别看似合理但可能新颖的事件。我们提出了一个新的众包数据集的单个事件，如“人吞彩弹”的语义可扩展性判断。基于分布表示的简单模型在此任务上表现不佳，尽管在选择偏好上表现良好，但注入手动引发的有关实体属性的知识提供了显着的性能提升。我们的错误分析表明，我们的新数据集是语义可扩展性模型的一个很好的测试平台：更复杂的知识表示和传播可以解决许多剩余的错误。
2018-04-10 cs.CL
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University（博伊西州立大学）
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中，我们将探讨这样一个模型可以增量执行组合，以及如何将模型与分布式表示统一起来。对于后者，我们利用分类器系数作为嵌入。对于组合，我们利用三种不同分类器类型的底层机制（即，逻辑回归、决策树和多层感知器），以获得对每个分类器唯一的组合的几种系统方法，包括组合的外延和内涵方法。我们将这些方法相互比较，并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明，需要扩大现有的组成策略，并汇集接地和分布表示。
2019-11-08 cs.CL
