Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
本文提出一种基于流形的动态嵌入重构方法，通过连续几何变换调节词汇位置，降低困惑度、增强连贯性，并保持推理效率，实现上下文自适应语言建模。
2025-03-26 cs.CL
Domain Lexical Knowledge-based Word Embedding Learning for Text Classification under Small Data
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电子与电气工程学院，南洋理工大学，新加坡）
针对BERT在关键词驱动的文本分类中嵌入判别性不足的问题，本文提出利用领域词汇知识增强词嵌入的模型及自动知识获取算法，并在情感分析、情感识别和问答任务上验证了有效性。
2025-06-02 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data
McGill University（麦吉尔大学）
最近的工作在学习向量空间嵌入多关系数据集中在结合关系信息来自知识库与分布式信息来自大型文本语料库。我们提出了一个简单的方法，利用实体或短语的描述，在词汇资源，结合分布式语义，以获得一个更好的初始化训练关系模型。将此初始化应用于TransE模型会在WordNet数据集上产生显著的新的最先进性能，将平均排名从之前的212降至51。它还导致实体表示的更快收敛。我们发现，有一个权衡提高平均排名和hits@10与这种方法。这表明，在关系模型中，关于性能改进还有很多需要理解的地方。
2016-05-18 cs.CL
Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）
最近关于词嵌入的工作表明，在预先训练的嵌入上进行简单的向量减法在捕获不同的词汇关系方面是惊人的有效，尽管缺乏明确的监督。先前的工作已经评估了这个有趣的结果，使用一个词的类比预测公式和手工选择的关系，但在更广泛的词汇关系类型和不同的学习设置的发现的一般性还没有得到评估。在本文中，我们进行了这样的评估，在两个学习设置：（1）谱聚类诱导词的关系，和（2）监督学习分类向量差异到关系类型。我们发现，词嵌入捕获了惊人的信息量，并且在适当的监督训练下，向量减法可以很好地推广到广泛的关系，包括看不见的词汇项。
2016-08-13 cs.CL
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University（山东建筑大学）
当前自然语言处理的突破极大地受益于神经语言模型，通过该模型，分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量，因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能，我们通过深度度量学习对神经词嵌入进行后处理，通过深度度量学习，我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合，一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果，用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性，通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性，而不会对语义相似性判断产生负面影响。结果表明，层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性，潜在地扩展了其适用性，以聚合异构数据和各种知识资源，用于学习多模态语义空间。
2022-10-03 cs.CL
Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation
本文提出基于层级向量场插值的概率词汇流形构建方法，通过概率约束和散度最小化实现平滑词嵌入，减少各向异性畸变，提升语义稳定性与表示一致性。
2025-03-26 cs.CL
A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique
Shanghai Jiao Tong University（上海交通大学）；Centre National de la Recherche Scientifique（法国国家科学研究中心）；National Institute of Information and Communications Technology（信息通信研究机构）
现有的双语词嵌入方法大多只考虑了浅上下文或简单的共现信息。本文提出了一种潜在双语语义单元（Bilingual Sense Clique，BSC），它是由双语语料库上基于逐点互信息的图的最大完全子图导出的。这样，我们平等地对待源和目标词，并且不再需要在大多数现有作品中必须使用的单独的双语投影处理。几种降维方法进行评估，总结BSC的字的关系。在双语词典翻译任务上对所提出的方法进行了评估，实验结果表明，双语意义嵌入方法优于现有的双语词嵌入方法。
2016-08-02 cs.CL
Novel Ranking-Based Lexical Similarity Measure for Word Embedding
Politechnika Poznańska（波兹南理工大学）
分布语义模型从上下文中的语言项推导出词空间。通过定义对应于词汇实体的向量之间的距离度量来获得意义。这种载体存在几个问题。在本文中，我们提供了一个指导方针后处理改进的基线向量。我们专注于细化的相似性方面，解决不完善的模型，通过应用枢纽减少方法，实现关系知识的模型，并提供了一个新的排名相似性定义，给予最大的权重的前1个组件值。这种特征排序类似于信息检索中使用的特征排序。所有这些丰富的联合ESL和TOEF集比较优于目前的文献结果。由于单个词嵌入是任何语义任务的基本元素，因此可以预期这些任务的结果会有显着改善。此外，我们改进的文本处理方法可以转化为生物序列的连续分布式表示，用于深度蛋白质组学和基因组学。
2017-12-22 cs.CL
A Unified Feature Representation for Lexical Connotations
Columbia University（哥伦比亚大学）
意识形态的态度和立场往往通过词语和短语的微妙含义来表达。理解这些内涵对于认识说话者的文化和情感观点至关重要。在本文中，我们使用远距离标记来创建一个新的词汇资源表示名词和形容词的内涵方面。我们的分析表明，它与人类的判断非常一致。此外，我们提出了一种方法，用于创建词汇表示，捕获嵌入空间内的内涵，并表明使用嵌入提供了统计上的显着改善的任务时，数据是有限的立场检测。
2021-03-01 cs.CL
As Good as New. How to Successfully Recycle English GPT-2 to Make Models for Other Languages
University of Groningen（格罗宁根大学）
大型生成语言模型在英语中非常成功，但其他语言落后，部分原因是数据和计算限制。我们提出了一种方法，可以克服这些问题，通过调整现有的预训练模型，以新的语言。具体来说，我们描述了适应英语GPT-2的意大利语和荷兰语的再培训词汇嵌入没有调整的Transformer层。因此，我们获得的词汇嵌入意大利语和荷兰语与原来的英语词汇嵌入。此外，我们通过将GPT-2小的重新学习的词汇嵌入转换到GPT-2中等嵌入空间来扩展复杂性。这种方法最大限度地减少了训练量，并防止在GPT-2学习的自适应过程中丢失信息。重新学习词汇嵌入的英语GPT-2模型可以生成意大利语和荷兰语的真实句子。虽然平均而言，这些句子仍然可以被人类识别为人工句子，但它们的评估结果与完全从头开始训练的GPT-2模型生成的句子相当。
2021-06-09 cs.CL
Enhanced word embeddings using multi-semantic representation through lexical chains
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）；University of Wuppertal（伍珀塔尔大学）；Federal University of ABC（ABC联邦大学）
句子中单词之间的关系通常比单个单词更能告诉我们文档的潜在语义内容。在这项工作中，我们提出了两个新的算法，称为灵活的词汇链II和固定的词汇链II。这些算法结合了来自词汇链的语义关系、来自词汇数据库的先验知识以及词嵌入中的分布假设的鲁棒性，作为形成单个系统的构建块。简而言之，我们的方法有三个主要贡献：（i）一组技术，完全集成词嵌入和词汇链;（ii）一个更强大的语义表示，考虑到文档中的单词之间的潜在关系;和（iii）轻量级的词嵌入模型，可以扩展到任何自然语言任务。我们打算评估预训练模型的知识，以评估它们在文档分类任务中的鲁棒性。所提出的技术进行了测试，对七个词嵌入算法，使用五个不同的机器学习分类器在六个场景中的文档分类任务。我们的研究结果表明，词汇链和词嵌入表征之间的整合维持了最先进的结果，即使对更复杂的系统。
2022-12-19 cs.CL cs.LG
Representation Of Lexical Stylistic Features In Language Models' Embedding Space
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用少量种子对在语言模型嵌入空间中构建词汇风格（复杂性、正式性、比喻性）的向量表示，并发现静态嵌入在词级更优、上下文模型在句级更优，且各向异性可经标准化部分修正。
2023-05-31 cs.CL
Unsupervised Embedding-based Detection of Lexical Semantic Changes
Volkswagen AG（大众汽车集团）；LMU Munich（慕尼黑大学）
本文介绍了EmbLexChange，一个由“生命语言”团队为SemEval-2020任务1引入的系统，用于无监督检测词汇语义变化。EmbLexChange被定义为在源域和目标域（源域和目标域可以简单地是两个时间帧t1和t2）中单词w的基于嵌入的简档（相对于一组参考单词计算）之间的分歧。基本假设是词w的词汇语义变化会影响其共现词，从而改变嵌入空间中的邻域。我们表明，使用一个restempting框架的参考词的选择，我们可以可靠地检测词汇语义的变化，英语，德语，瑞典语和拉丁语。EmbLexChange在SemEval-2020的语义变化二进制检测中获得第二名。
2020-05-16 cs.AI cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
词向量专业化（也称为改造）是一种便携式，轻量级的方法，通过从丰富的词汇资源（如WordNet）注入外部知识来微调任意分布的词向量空间。通过设计，这些后处理方法只更新外部词典中出现的单词的向量，而保留所有未看到的单词的表示。在本文中，我们表明，约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法，该方法：a）保留了有用的语言知识，为看到的话;而b）传播这个外部信号，以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量，以深度神经网络的形式解释了非线性专业化函数。然后，学习的函数用于专门化未见过的单词的向量。这种方法，适用于任何后处理模型，产生相当大的收益，无论是在内在的词相似性任务，并在两个下游任务：对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在，表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Speaker Diarization With Lexical Information
本文提出了一种利用词汇信息进行说话人日记化的新方法。我们介绍了一个扬声器日记系统，可以直接集成词汇以及声学信息到扬声器聚类过程。因此，我们提出了一种邻接矩阵集成技术，以综合的方式整合字级说话人转向概率与说话人嵌入。我们提出的方法在没有任何参考转录本的情况下工作。单词和单词边界信息由ASR系统提供。我们表明，我们提出的方法改进了一个基线扬声器日记系统，仅基于扬声器嵌入，实现了有意义的改进CALLHOME美国英语语音数据集。
2018-11-28 cs.CL
Representing ELMo embeddings as two-dimensional text online
University of Oslo（奥斯陆大学）；University of Trento（特伦托大学）
我们描述了一个新的WebVectors工具包，用于在Web上提供词嵌入模型。新的ELMoViz模块增加了对情境化嵌入架构的支持，特别是ELMo模型。所提供的可视化遵循“二维的【形】文本”的隐喻，通过显示词汇替代物：在上下文中与输入句子的单词在语义上最相似的单词。系统允许用户更改从中推断令牌嵌入的ELMo层。它还传达了关于查询词及其词汇替代物（即它们的频率层和词性）的语料库信息。该模块很好地集成到WebVectors工具包的其余部分中，提供了静态嵌入模型中单词表示的词汇超链接。两个网络服务已经实现了新的功能，并为俄语，挪威语和英语提供了预先训练的ELMo模型。
2021-03-30 cs.CL
Enhancing Word Embeddings with Knowledge Extracted from Lexical Resources
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学 TALP 研究中心）
在这项工作中，我们提出了一个有效的方法，语义专业化的词向量表示。为此，我们使用传统的词嵌入和应用专门化方法，以更好地捕捉词之间的语义关系。在我们的方法中，我们利用外部知识丰富的词汇资源，如BabelNet。我们还表明，我们提出的基于对抗性神经网络与Wasserstein距离的后专业化方法可以在两个任务上获得比最先进方法的改进：单词相似性和对话状态跟踪。
2020-05-20 cs.CL cs.LG
Lexical Coupling in GUI Element Grounding: Sentence Embeddings Track Labels across Mobile and Web
University of Helsinki（赫尔辛基大学）
该研究针对GUI定位评估中嵌入相似度与语义定位的混淆问题，对比编码器与词汇基线，提出需报告词汇基线等诊断指标以区分标签恢复与语义定位。
2026-08-25 cs.AI cs.CL cs.HC
Generalization through Lexical Abstraction in Transformer Models: The Case of Functional Words
Idiap Research Institute（Idiap 研究所）；University of Geneva（日内瓦大学）
本研究探究预训练Transformer模型如何编码功能词及其在平行句中的泛化能力，发现混合训练可揭示共享句法语义结构。
2026-09-18 cs.CL
A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change
University of Milan（米兰大学）；University of Gothenburg（哥德堡大学）
该研究针对词汇语义变化研究中性能比较受设置差异干扰的问题，在同等条件下系统对比多类上下文化词嵌入模型，验证了APD、XL-LEXEME的性能优势，并指出未来需关注词义变化的过程与动因而非仅变化程度。
2024-03-08 cs.CL
Learning semantic sentence representations from visually grounded language without lexical knowledge
Centre for Language Studies（语言研究中心）；Radboud University（拉德堡德大学）
当前学习句子语义表示的方法通常使用先前的词级知识。目前的研究旨在利用视觉信息，以捕捉句子层次的语义，而不需要词嵌入。我们使用一个多模态句子编码器训练的语料库的图像与匹配的文本标题，以产生视觉接地句子嵌入。训练深度神经网络以将两种模态映射到公共嵌入空间，使得对于图像，可以检索对应的字幕，反之亦然。我们证明了我们的模型在两个流行的图像标题检索基准数据集：MSCOCO和Flickr8k上取得了与当前最先进的结果相当的结果。我们使用语义文本相似性基准任务的数据评估所得到的句子嵌入的语义内容，并表明多模态嵌入与人类语义相似性判断相关。该系统在这些基准测试中的几个上实现了最先进的结果，这表明仅在多模态数据上训练的系统，而不假设任何单词表示，能够捕获句子级别的语义。重要的是，这一结果表明，我们不需要先验知识的词汇级语义模型的句子级语义。这些发现表明视觉信息在语义学中的重要性。
2019-03-27 cs.CL
Discovering Lexical Gaps Using Embeddings from Multilingual LLMs
Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系）
提出一种数据驱动框架，通过多语言大语言模型的上下文嵌入计算语义相似度，以识别跨语言词汇空缺，在韩英和英韩方向上分别达到0.81和0.76的AUC。
2026-05-23 cs.CL cs.LG
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Patterns of Lexical Ambiguity in Contextualised Language Models
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
语境化的语言模型的一个核心方面是，它们应该能够通过上下文来区分词汇歧义词的含义。在本文中，我们探讨在何种程度上的语境嵌入的词的形式，显示多重意义反映了传统的区分多义词和同音异义词。为此，我们引入了一个扩展的，人类注释的数据集的分级词义相似性和共同预测的可接受性，并评估嵌入的相似性如何预测相似的意义。这两种人类判断表明，多义词解释的相似性属于意义同一性和同音异义之间的连续体。然而，我们也观察到显着差异的相似性评级的多义词，形成一致的模式，不同类型的多义词的意义交替。因此，我们的数据集似乎捕捉了词汇歧义的复杂性的相当大的一部分，并可以提供一个现实的测试床上下文嵌入。在测试的模型中，BERT Large显示出与收集的词义相似性评级最强的相关性，但难以始终如一地复制观察到的相似性模式。当聚类模糊的词的形式，其嵌入的基础上，该模型在辨别同音异义词和某些类型的多义词的变化，但一直失败的其他显示高的信心。
2021-09-29 cs.CL
Multi-Level Narrative Evaluation Outperforms Lexical Features for Mental Health
Institute for Artificial Intelligence（人工智能研究院）；School of Psychological and Cognitive Sciences（心理学与认知科学学院）；School of Intelligence Science and Technology（智能科学与技术学院）；State Key Laboratory of General AI（通用人工智能国家重点实验室）；Beijing Key Laboratory of Behavior and Mental Health（北京行为与心理健康重点实验室）；PKU-Changsha Institute for Computing and Digital Economy（北京大学长沙计算与数字经济研究院）
本文提出多层级框架，通过830篇中文治疗文本验证，宏观层面的LLM叙事评估在心理健康预测中表现最佳，挑战了词频统计为主的传统方法。
2026-09-10 cs.CL
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
Learning to Understand Phrases by Embedding the Dictionary
University of Cambridge（剑桥大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Université de Montréal（蒙特利尔大学）
学习丰富语义词表示的分布模型是最近NLP研究的成功案例。然而，事实证明，开发学习短语和句子的有用表示的模型要困难得多。我们建议使用日常词典中的定义作为弥合词汇和短语语义之间差距的一种手段。神经语言嵌入模型可以被有效地训练，以将字典定义（短语）映射到由这些定义定义的单词的（词汇）表示。我们提出了这些架构的两个应用程序：“反向字典”，返回一个概念的名称给出了定义或描述和一般知识的填字游戏问题的答案。在这两项任务中，神经语言嵌入模型在少数免费可用的词汇资源的定义上进行训练，其表现与依赖于重要任务特定工程的现有商业系统一样好或更好。结果突出了神经嵌入架构和基于定义的训练对于开发理解短语和句子的模型的有效性。
2016-03-22 cs.CL
RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English)
University of California, San Diego（加州大学圣地亚哥分校）
大多数单词都是模棱两可的，它们在不同的上下文中传达不同的含义-甚至毫不含糊的词语的含义也取决于上下文。这两种现象都对NLP提出了挑战。近年来，语境化词嵌入的出现使得词义消歧等涉及词汇歧义的任务获得了成功。然而，很少有任务直接评估这些语境化嵌入如何适应词义的更连续，动态的性质-特别是以符合人类直觉的方式。我们介绍了RAW-C，一个数据集的分级，人类相关性判断的112个模糊的词在上下文（672句对），以及人类的估计意义的优势。平均注释者间一致性（使用留一注释者法评估）为0.79。然后，我们表明，余弦距离的测量，计算使用上下文嵌入从BERT和ELMo，与人类的判断，但余弦距离也系统地低估了相似的人类如何找到使用相同的意义的一个词，并系统地高估了相似的人类如何找到使用不同的意义同音异义词。最后，我们提出了一个综合的心理词汇和词汇语义的计算模型的心理语言学理论。
2021-05-27 cs.CL
Integrating Form and Meaning: A Multi-Task Learning Model for Acoustic Word Embeddings
Saarland University（萨尔大学）
声学词嵌入（AWE）模型学习将可变长度的口语词片段映射到固定维度的向量表示上，使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了他们的语音技术应用，AWE模型已经被证明可以预测人类在各种听觉词汇处理任务上的表现。目前的AWE模型是基于神经网络，并在自底向上的方法，整合声学线索，建立一个单词表示给定的声学或符号的监督信号。因此，这些模型在学习过程中不利用或捕获高级词汇知识。在本文中，我们提出了一个多任务学习模型，将自上而下的词汇知识的AWE的训练过程。我们的模型学习声学输入和词汇表示之间的映射，该词汇表示除了自下而上的基于形式的监督之外，还对诸如单词语义之类的高级信息进行编码。我们用三种语言进行了实验，并证明了将词汇知识结合起来可以提高嵌入空间的可辨别性，并鼓励模型更好地分离词汇类别。
2022-09-18 cs.CL eess.AS
Integrating Lexical Knowledge in Word Embeddings using Sprinkling and Retrofitting
University of California, Los Angeles（加州大学洛杉矶分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于神经网络的词嵌入，如Word2Vec和GloVe，是纯数据驱动的，因为它们从训练语料库中捕获关于词的分布信息。过去的作品试图通过将词汇资源，如WordNet的语义知识，以改善这些嵌入。一些技术，如改装修改词嵌入在后处理阶段，而其他一些使用联合学习方法，通过修改神经网络的目标函数。在本文中，我们讨论了两种新的方法，将语义知识的词嵌入。在第一种方法中，我们利用Levy等人的工作，该工作表明，使用基于SVD的方法对共生矩阵提供类似的性能，以神经网络为基础的嵌入。我们提出了一种“喷洒”技术，直接在因子分解之前将语义关系添加到同现矩阵中。在第二种方法中，WordNet相似度分数用于改进改进的改造方法。我们在内在和外在任务中评估了所提出的方法，并在许多数据集中观察到基线的显着改进。
2020-01-23 cs.CL cs.LG
Unsupervised Lexical Substitution with Decontextualised Embeddings
The University of Melbourne（墨尔本大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所高级智能项目中心）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
我们提出了一种新的无监督的方法，使用预先训练的语言模型的词汇替换。与以前的方法相比，使用生成能力的语言模型预测替代品，我们的方法检索替代品的基础上的相似性的上下文和解上下文的词嵌入，即一个词在多个上下文中的平均上下文表示。我们用英语和意大利语进行实验，结果表明，我们的方法大大优于强基线，并在没有任何明确监督或微调的情况下建立了一个新的最先进的方法。我们进一步表明，我们的方法在预测低频替代品方面表现得特别好，并且还生成了一个多样化的替代候选人列表，减少了由冠词-名词协议引起的形态发音或形态句法偏见。
2022-09-17 cs.AI cs.CL
CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation
University of Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL（里尔大学、INRIA、法国国家科学研究中心、Centrale Lille、UMR 9189 - CRIStAL）
本文提出CALE模型，通过概念区分任务提升词义表示的准确性和多用途性，实验证明其在词义任务中表现优异。
2026-01-23 cs.CL
Embedding Lexical Features via Low-Rank Tensors
Harbin Institute of Technology（哈尔滨工业大学）；IBM Watson（IBM沃森）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP模型严重依赖工程特征，这些特征通常将单词和上下文信息组合成复杂的词汇特征。这样的组合导致大量的特征，这可能导致过拟合。我们提出了一个新的模型，表示复杂的词汇功能-包括部分的话，上下文信息和标签-在一个张量，捕捉这些部分之间的连接信息。我们将低秩张量近似应用于相应的参数张量，以减少参数空间并提高预测速度。此外，我们研究了两种方法处理功能，包括$n$ -混合长度的克。我们的模型在关系抽取、PP附加和介词消歧等任务上取得了最先进的结果。
2016-04-02 cs.AI cs.CL cs.LG
Rethinking Metrics for Lexical Semantic Change Detection
Queen Mary University of London（伦敦女王学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
本文提出AMD和SAMD两种新度量方法，用于更稳健地检测词义变化，适用于不同编码器和表示空间。
2026-02-17 cs.CL
VISLA Benchmark: Evaluating Embedding Sensitivity to Semantic and Lexical Alterations
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本文提出VISLA基准，通过三向语义（不）等价任务评估34个VLMs和20个ULMs对语义和词汇变化的敏感性，发现VLMs文本编码器比单模态模型更敏感，揭示了模型在区分词汇与语义变化上的困难。
2024-04-25 cs.AI cs.CL
Antonym-Synonym Classification Based on New Sub-space Embeddings
UNSW（新南威尔士大学）；DGUT（东莞理工学院）；NUDT（国防科技大学）
区分反义词和同义词是许多专注于词汇-语义关系抽取的自然语言处理应用的关键挑战。现有的解决方案依赖于大规模的语料库，因为反义词和同义词对的巨大的上下文重叠产生低性能。我们提出了一种完全基于预训练嵌入的新方法。我们假设预训练的嵌入理解了词汇语义信息的混合，我们可以使用本文提出的Distiller模型提取特定于任务的信息。随后，基于从提取的子空间构造的特征以及一些词级特征来训练分类器，以区分反义词和同义词。实验结果表明，该模型在速度和性能上都优于已有的反义词同义词区分研究。
2019-06-13 cs.CL
"Hang in There": Lexical and Visual Analysis to Identify Posts Warranting Empathetic Responses
Institute of Engineering and Technology（工程技术学院）；Indian Institute of Technology（印度理工学院）；Nanyang Technological University（南洋理工大学）
在过去的几年里，社交媒体已经成为人们表达和分享有关虐待，暴力和心理健康问题的个人事件的平台。有必要查明这类职位，并了解预期的反应类型。为此，我们理解这样一种情绪，即一个人的故事会出现在不同社交媒体网站上的不同帖子中，关于虐待或心理健康的话题。在本文中，我们提出了一种方法支持的手工制作的功能来判断是否需要一个移情反应后。该模型是根据来自各种网页的帖子和相应的评论（标题和图像）进行训练的。我们能够获得80%的准确率，在标签的职位需要同情的反应。
2019-03-12 cs.CL cs.SI
Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement
本文提出潜在词汇投影（LLP）方法，通过潜在空间变换精化词汇表示，在保持句法完整性的同时提升词元选择准确性，实验表明其降低了困惑度、提高了BLEU分数并增强了长距离依赖保留。
2025-03-25 cs.CL
Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport
Kyoto University（京都大学）；Konan University（konan大学）；NINJAL；Tohoku University（东北大学）；RIKEN（日本科学技术研究所）
本文提出基于非平衡最优传输的Sense Usage Shift度量，在实例级量化词义使用频率变化，并统一解决语义变化幅度、词义扩大或缩小等检测任务。
2025-05-31 cs.CL
Tailoring Word Embeddings for Bilexical Predictions: An Experimental Comparison
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们研究的问题，诱导词嵌入，是专为一个特定的双词关系。我们的学习算法采取现有的词汇向量空间，并压缩它，从而得到的词嵌入是一个很好的预测目标双语关系。在实验中，我们表明，特定于任务的嵌入可以同时提高词汇预测任务的质量和效率。
2015-04-10 cs.CL cs.LG
The lexical and grammatical sources of neg-raising inferences
University of Rochester（罗切斯特大学）
我们研究否定引发推理，其中谓词上的否定可以被解释为好像在该谓词的从句中。为此，我们收集了一个大规模的数据集，有效地所有英语小句嵌入动词的提升判断，并开发了一个模型，以共同归纳动词及其从属从句的语义类型和这些类型的关系，以提升推理。我们发现，一些提升语义的推理归因于特定谓词的属性，而另一些则归因于从句结构。
2019-10-17 cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University（西北大学）
词的分布式表征已被证明可以捕捉词汇语义，这在词相似性和类比关系任务中表现出了有效性。但是，这些任务只是间接地评估词汇语义。在本文中，我们研究是否有可能利用分布式表示来生成单词的字典定义，作为嵌入语义的更直接和透明的表示。我们将介绍定义建模，即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构，并在多个数据集上对模型进行了实验。我们的研究结果表明，控制被定义的单词和定义单词之间的依赖关系的模型表现得更好，并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后，一个错误分析表明，由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for Unsupervised Lexical Semantic Change Detection
Delhi Technological University（德里理工大学）
本文介绍了SemEval2020任务1：无监督词汇语义变化检测的向量初始化方法。给定两个属于不同时间段的语料库和一组目标词，该任务要求我们分类一个词是否随着时间的推移获得或失去了一个意义（子任务1），并根据词义的变化对它们进行排名（子任务2）。所提出的方法是基于使用矢量映射方法来对齐GloVe嵌入。我们的想法是连续训练两个语料库的GloVe嵌入，同时使用第一个模型来初始化第二个。本文基于GloVe嵌入比SGNS嵌入更适合于向量插值方法的假设。它给出了这一假设背后的直观推理，并讨论了各种因素和超参数对所提出方法性能的影响。我们的模型在这两个子任务中在33个团队中排名第13和第10。已公开分享实施情况。
2020-07-10 cs.CL cs.LG
Unseen Word Representation by Aligning Heterogeneous Lexical Semantic Spaces
University of Cambridge（剑桥大学）；Iran University of Science and Technology（伊朗科技大学）；Apple（苹果公司）
词嵌入技术严重依赖于单个词的大量训练数据。给定自然语言文本中的词的齐普菲分布，大量的词通常不频繁地或根本不出现在训练数据中。在本文中，我们提出了一种技术，利用知识编码的词汇资源，如WordNet，诱导嵌入看不见的话。我们的方法适应图嵌入和跨语言向量空间变换技术，以合并词汇知识编码的本体与来自语料库统计。我们表明，该方法可以在多个评估基准中提供一致的性能改进：在体外，在多个稀有词相似性数据集上，以及在体内，在两个下游文本分类任务中。
2018-11-12 cs.AI cs.CL cs.LG
Explaining and Improving BERT Performance on Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
基于类型和基于标记的嵌入架构仍然在词汇语义变化检测方面竞争。最近基于类型的模型在SemEval-2020任务1中的成功提出了一个问题，为什么基于标记的模型在各种其他NLP任务上的成功并没有转化为我们的领域。我们调查了一系列变量对BERT向量聚类的影响，并表明其低性能在很大程度上是由于目标词的正字法信息，即使在更高的层编码的BERT表示。通过减少拼写法的影响，我们大大提高了BERT的性能。
2021-03-12 cs.CL
Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity
University of Cambridge（剑桥大学）；Technion, IIT（以色列理工学院）；CNRS（法国国家科学研究中心）；ENS/PSL（巴黎高等师范学院/巴黎文理研究大学）；Univ. Sorbonne nouvelle/USPC（新索邦大学/巴黎索邦西岱大学）
我们介绍了Multi-SimLex，这是一个大规模的词汇资源和评估基准，涵盖了12种类型不同的语言的数据集，包括主要语言（例如，普通话、西班牙语、俄语）以及资源较少的语言（例如，威尔士语、斯瓦希里语）。每个语言数据集都注释了语义相似性的词汇关系，包含1，888个语义对齐的概念对，提供了词类（名词，动词，形容词，副词），频率等级，相似性间隔，词汇字段和具体性水平的代表性覆盖范围。此外，由于跨语言的概念对齐，我们提供了一套66跨语言语义相似性数据集。由于其广泛的规模和语言覆盖范围，Multi-SimLex为实验评估和分析提供了全新的机会。在其单语和跨语言基准测试中，我们评估和分析了各种最新的单语和跨语言表示模型，包括静态和上下文词嵌入（如fastText，M-BERT和XLM），外部通知的词汇表示，以及完全无监督和（弱）监督的跨语言词嵌入。我们还提供了一个逐步的数据集创建协议，用于为其他语言创建一致的多Simlex风格的资源。我们通过一个网站做出了这些贡献--公开发布Multi-SimLex数据集，它们的创建协议，强大的基线结果，以及有助于指导多语言词汇语义和表示学习未来发展的深入分析--这将鼓励社区努力将Multi-Simlex进一步扩展到更多语言。如此大规模的语义资源可以激发跨语言NLP的进一步发展。
2020-03-10 cs.CL
ReFRAME or Remain: Unsupervised Lexical Semantic Change Detection with Frame Semantics
Department of Linguistics, KU Leuven（语言学系，比利时列日大学）；Instituut voor de Nederlandse Taal（荷兰语研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
基于框架语义的无监督词义变化检测方法，有效且可解释，超越传统分布语义模型。
2026-05-04 cs.CL
Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources
本文利用WordNet和WordNet Domains为现代监督式词义消歧模型引入语义特征并扩充训练数据，提出多层架构，在统一评估框架中取得与最先进水平相当的结果。
2024-02-20 cs.CL
QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical Semantics Classification in Italian
Queen Mary University of London（伦敦玛丽女王大学）；Imam Abdulrahman bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了我们的系统的结果和主要发现的DIACR-ITA 2020任务。我们的系统专注于使用不同的训练集和不同的语义检测方法。该任务涉及训练，对齐和预测一个词的向量变化从两个历时意大利语语料库。我们证明了使用时间词嵌入与指南针C-BOW模型相比，不同的方法，包括逻辑回归和前馈神经网络使用精度更有效。我们的模型排名第三，准确率为83.3%。
2020-11-06 cs.CL
Multi-word Term Embeddings Improve Lexical Product Retrieval
Research Center of Wildberries SK LLC（Wildberries SK有限责任公司研究中心）；University of Geneva（日内瓦大学）；University of Lausanne（洛桑大学）
本文提出H1嵌入模型，通过将多词商品术语作为单词元处理来构建语义丰富的词汇表，在混合商品搜索系统中提升了检索精确率且不影响召回率，并在WANDS数据集上超越其他SoTA模型。
2024-06-03 cs.CL cs.IR
Luxical: High-Speed Lexical-Dense Text Embeddings
DatologyAI
Luxical通过结合稀疏TF-IDF特征和知识蒸馏训练，实现高速词典密集文本嵌入，适用于大规模文本组织任务。
2025-12-11 cs.CL cs.LG
Phonetic and semantic analyses of spoken corpora of Beijing and Taiwan Mandarin indicate that the neutral tone is a lexical tone
Eberhard Karls Universität Tübingen（图宾根大学）
通过分析北京和台湾普通话自然对话语料，发现轻声有自身调目标，且双音节词中轻声的基频轮廓受首音节声调影响，词特定音高特征可从上下文嵌入预测，提出轻声实为词汇声调。
2026-06-26 cs.CL
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
源自BERT的短语表示通常不表现出复杂的短语组合性，因为该模型依赖于词汇相似性来确定语义相关性。在本文中，我们提出了一个对比微调目标，使BERT产生更强大的短语嵌入。我们的方法（Phrase-BERT）依赖于一个不同短语释义的数据集，该数据集是使用释义生成模型自动生成的，以及从Books 3语料库中挖掘的上下文中的短语的大规模数据集。Phrase-BERT在各种短语级相似性任务中的表现优于基线，同时也证明了向量空间中最近邻居之间的词汇多样性增加。最后，作为一个案例研究，我们证明了Phrase-BERT嵌入可以很容易地与一个简单的自动编码器集成，以构建一个基于短语的神经主题模型，该模型通过在嵌入空间中执行最近邻搜索来将主题解释为单词和短语的混合物。众包的评价表明，这种基于短语的主题模型比基线单词和短语级别的主题模型产生更连贯和有意义的主题，进一步验证了Phrase-BERT的效用。
2021-10-13 cs.CL
