The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
Learning grounded word meaning representations on similarity graphs
CNRS, IRIT（法国国家科学研究中心，图卢兹计算机科学研究所）；Univ. of Toulouse（图卢兹大学）；California Institute of Technology（加州理工学院）
本文介绍了一种新的方法来学习视觉接地的意义表示的单词作为低维节点嵌入底层图层次结构。层次结构的较低级别通过专用但可通信的图对特定于模态的单词表示进行建模，而较高级别将这些表示放在单个图上以从两种模态联合学习表示。每个图的拓扑模型的相似性关系的话，并估计与图嵌入。该模型的基本假设是，共享相似含义的单词对应于低维空间中的底层相似性图中的社区。我们将此模型命名为层次多模态相似图嵌入（HM-SGE）。实验结果验证了HM-SGE模拟人类相似性判断和概念分类的能力，优于现有技术。
2021-09-07 cs.AI cs.CL
Doing Things with Words: Rethinking Theory of Mind Simulation in Large Language Models
CoLing Lab, Department of Philology, Literature and Linguistics, University of Pisa（帕尔马大学哲学、文学与语言学系语言实验室）
本研究通过GABM Concordia框架测试GPT-4在模拟环境中的心智理论能力，发现其行动选择常不基于信念归因，表明所谓ToM能力可能源于统计关联而非真正推理，需更严格的基于行动的评价框架。
2025-10-15 cs.CL
Using meaning instead of words to track topics
ULiege（列日大学）；HEC Liege（列日高等商学院）
监控主题随时间演变的能力对企业来说非常有价值。目前，所有现有的主题跟踪方法都是通过匹配词汇使用来使用词汇信息。然而，还没有研究尝试过使用语义信息来跟踪主题。因此，我们探索了一种新的基于语义的方法，使用词嵌入。我们的研究结果表明，基于语义的方法来跟踪主题是等同于词汇的方法，但使不同的错误。这表明这两种方法可以相互补充。
2023-01-02 cs.AI cs.CL
Principal Components of the Meaning
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）
在本文中，我们认为，（词汇）的科学意义可以表示在一个13维的意义空间。这个空间是使用主成分分析（奇异分解）的矩阵的词类别的相对信息增益，其中的类别是那些使用的Web of Science，和单词是从一个减少的词集从Web of Science的文本。我们表明，这个减少的词集合理地代表了语料库中的所有文本，使主成分分析有一定的客观意义的语料库。我们认为，13个维度足以描述科技文本的意义，并假设的主要成分的定性意义。
2020-09-18 cs.CL cs.LG
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research（微软研究院）；New York University（纽约大学）；University of the Basque Country（巴斯克大学）
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义，从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础：我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是：（i）关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义，只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示，但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Emergence of Pragmatics from Referential Game between Theory of Mind Agents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
语用学研究语境如何影响语言意义。在人类交流中，语言从来不会脱离上下文来解释，句子通常可以传达比字面意思更多的信息。然而，这种机制在大多数多智能体系统中是缺失的，限制了通信效率和人与智能体交互的能力。在本文中，我们提出了一个算法，使用该算法，代理可以自发地学习的能力，“读线之间”，没有任何明确的手工设计的规则。我们整合了心理理论（ToM）在合作的多智能体教学的情况下，并提出了一个自适应的强化学习（RL）算法开发的通信协议。心理理论是一个深刻的认知科学概念，认为人们经常推理他人的心理状态，包括信念，目标和意图，以获得竞争，合作或联盟中的表现优势。有了这种能力，智能体认为语言不仅是信息，而且是反映他人隐藏状态的理性行为。我们的实验证明了语用协议的优势，非语用协议。我们还表明，教学复杂性的语用协议经验接近递归教学维度（RTD）。
2021-09-30 cs.AI cs.CL cs.LG
Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution
Samsung Research Center Russia（三星俄罗斯研究中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；HSE University（俄罗斯国立高等经济大学）
本文研究了多种语言模型在词汇替换任务中的表现，提出通过恰当注入目标词信息可大幅提升SOTA模型性能，并在两个词义归纳数据集上取得新SOTA结果。
2022-06-07 cs.CL
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一个多模态的对话系统，从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的，语义解析/生成框架-动态分类和类型论与记录（DS-TTR）-与一组视觉分类器，在整个交互过程中学习和地面的意义表示，它产生。我们使用这个系统与一个模拟的人类导师的互动，学习的含义，学习率的准确性，和努力/成本的导师研究不同的对话政策和能力的影响。我们表明，学习代理的整体性能受到以下因素的影响：（1）谁在对话中采取主动;（2）表达/使用他们对视觉属性的信心水平的能力;以及（3）处理椭圆和增量构建对话的能力。最终，我们训练了一种自适应对话策略，该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Temporal Word Meaning Disambiguation using TimeLMs
Pune Institute of Computer Technology（浦那计算机技术学院）
在现代文明中，词语的含义不断变化。大语言模型使用词嵌入，这通常是静态的，因此不能处理这种语义变化。因此，解决词义的歧义是很重要的。本文是在这个方向上的努力，我们探索的EvoNLP共享任务的词义消歧的方法。我们进行严格的消融两个解决方案，这个问题。我们看到，使用时间感知语言模型的方法有助于这项任务。此外，我们探讨这个问题的未来可能的方向。
2022-11-17 cs.CL
A quantum teleportation inspired algorithm produces sentence meaning from word meaning and grammatical structure
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Queen Mary, London（伦敦玛丽女王大学）
我们讨论了一种算法，它产生一个句子的意义，给出它的单词的含义，以及它与量子隐形传态的相似之处。事实上，该协议是该算法的主要灵感来源，该算法在自然语言处理领域有许多应用。
2013-10-11 cs.CL quant-ph
Can Word Sense Distribution Detect Semantic Changes of Words?
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Tokyo Metropolitan University（东京都立大学）；Amazon（亚马逊）
本研究探索利用词义分布比较不同时间语料库中目标词的义项分布，通过预训练静态义项嵌入和散度度量，在SemEval 2020 Task 1上验证了该方法能准确检测多语言词语的语义变化。
2023-10-16 cs.AI cs.CL cs.LG
Word Meanings in Transformer Language Models
University of Reading, Department of Philosophy（reading大学哲学系）；University of Oxford, Mathematical Institute（牛津大学数学研究所）
本文通过聚类RoBERTa-base的token嵌入空间并检验其对语义及心理语言学指标的敏感性，证明Transformer语言模型内部编码了丰富的词义信息，从而反驳了意义取消主义假说。
2025-08-18 cs.AI cs.CL
Detecting New Word Meanings: A Comparison of Word Embedding Models in Spanish
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）
语义新词是指在保持原有形式的同时获得新的词义的词。鉴于这类新词的性质，识别这些新词含义的任务目前由新词观测站的专家手动执行。为了以半自动的方式检测SN，我们开发了一个系统，该系统实现了以下策略的组合：主题建模，关键字提取和词义消歧。主题建模的作用是检测输入文本中处理的主题。文本中的主题提供了关于所用单词的特定含义的线索，例如：viral在计算机科学（CS）的上下文中有一个含义，而在谈论健康时有另一个含义。为了提取关键字，我们使用了带有POS标签过滤的TextRank。通过这种方法，我们可以获得已经是西班牙语词汇的一部分的相关单词。我们使用一个深度学习模型来确定一个给定的关键字是否有新的含义。与所有已知含义（或主题）不同的嵌入表示单词可能是有效的SN候选。在这项研究中，我们研究了以下词嵌入模型：Word2Vec，Sense2Vec和FastText。使用西班牙语维基百科作为语料库，使用等效参数对模型进行训练。然后，我们使用一个单词列表及其索引（从我们的新词数据库中获得）来显示每个模型产生的不同嵌入。最后，我们将这些结果与每个单词的一致性进行比较，以显示我们如何确定一个单词是否可以作为SN的有效候选。
2020-01-12 cs.CL
A Meaning-based Statistical English Math Word Problem Solver
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
本文介绍了MeSys，一种基于意义的方法，通过理解和推理解决英语数学应用题（MWPs）。它首先对文本进行分析，将主体部分和疑问部分转化为相应的逻辑形式，然后进行推理。每个量的相关联的上下文用所提议的角色标签（例如，nsubj、动词等），其提供了用其相关联的上下文信息来注释所提取的数学量的灵活性（即，这个量的物理意义）。提出了统计模型来选择操作符和操作数。噪声数据集被设计为评估求解器是否主要通过理解或机械模式匹配来求解MWP。实验结果表明，我们的方法优于现有的系统在基准数据集和噪声数据集，这表明所提出的方法理解的意义，每个量的文本中更多。
2018-07-06 cs.AI cs.CL
Measuring the Meaning of Words in Contexts: An automated analysis of controversies about Monarch butterflies, Frankenfoods, and stem cells
University of Amsterdam（阿姆斯特丹大学）；Royal Netherlands Academy of Arts and Sciences（荷兰皇家艺术与科学学院）
在科学、技术和社会研究中，共词被认为是不同领域的意义载体。然而，词和共词在句子中获得意义，句子在其使用的上下文中获得意义。在科学/社会界面上，可以预期词语具有不同的含义：为词语提供含义的通信代码在界面的不同侧面上是不同的。此外，含义和界面可能会随着时间的推移而改变。考虑到这种跨界面和跨时间的意义结构，我们将隐喻和转喻区分为促进上下文之间翻译的自反机制。我们的经验重点是最近的三个科学争议：帝王蝶，弗兰肯食品和干细胞疗法。本研究探索了将语境中的共词分析研究与意义分析和处理的社会学探索联系起来的新途径。
2009-11-17 cs.CL cs.IR physics.soc-ph
The BURCHAK corpus: a Challenge Data Set for Interactive Learning of Visually Grounded Word Meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）；University of Groningen（格罗宁根大学）
我们激励和描述了一个新的免费的人与人的对话数据集的交互式学习的视觉接地的词义通过明示的定义由导师学习者。已经使用DiET聊天工具的新颖的逐字符变体（Healey等人，二○ ○三年;米尔斯和希利，提交）与一个新的任务，其中一个学习者需要学习发明的视觉属性词（如“burchak“的广场）从导师。因此，基于文本的交互非常类似于面对面的对话，因此包含了自然，自发对话中遇到的许多语言现象。这些包括自我纠正和他人纠正，句中延续，中断，重叠，填充和模糊限制语。我们还提出了一个通用的n-gram框架，用于从这种类型的增量数据中构建用户（即导师）模拟，研究人员可以免费获得。我们表明，模拟产生的输出是类似于原始数据（例如78%的回合匹配相似性）。最后，我们训练和评估一个强化学习对话控制代理学习视觉接地的词义，从BURCHAK语料库训练。学习的策略显示出与以前构建的基于规则的系统相当的性能。
2017-09-29 cs.AI cs.CL cs.LG
Theoretical foundations and limits of word embeddings: what types of meaning can they capture?
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
意义的测量是文化社会学的一个核心问题，而词嵌入可以提供强大的新工具来做到这一点。但就像任何工具一样，它们建立在理论假设之上并发挥作用。在本文中，我理论化的方式，其中词嵌入模型的三个核心前提的结构语言学理论的意义：意义是关系，连贯的，可以作为一个静态系统进行分析。在某些方面，词嵌入方法容易受到这些前提的相同的、持久的批评。在其他方面，他们为这些批评提供了新的解决方案。更广泛地说，用词嵌入形式化意义的研究为澄清文化社会学中的核心概念和争论提供了理论机会，例如意义的连贯性。正如网络分析明确了曾经模糊的社会关系概念（Borgatti et al. 2009），用嵌入方法形式化意义可以推动我们明确和重新想象意义本身。
2021-07-22 cs.CL cs.CY
Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究利用上下文语言模型进行模拟，发现其词表征能区分无歧义词、同形异义词和多义词，且与词典分类及心理学理论一致，为词汇歧义的心理学解释提供定量支持。
2023-04-26 cs.CL
Context-aware Sentiment Word Identification: sentiword2vec
Peking University（北京大学）
传统的情感分析通常使用情感词典来提取文本中的情感信息并对文档进行分类。然而，在用户生成的内容中出现的非正式单词和短语需要对上下文进行分析。通常，它们在特定的上下文中具有特殊的含义。由于情感词向量在表达词间关系方面的出色表现，我们使用情感词向量来识别特殊词。本文基于分布式语言模型word2vec，提出了一种特定语境下词语情感表达的新方法，并对长答案中情感极性异常的词语进行了识别。实验结果表明，改进后的模型在表示特殊意义的词时表现出了更好的性能，而在表示特殊惯用模式时表现出了较好的性能。最后，我们将讨论向量表示在情感领域中的意义，这可能不同于一般的基于对象的条件。
2016-12-12 cs.AI cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Competition in Cross-situational Word Learning: A Computational Study
DeepMind（深度思维）；University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）
孩子们通过挖掘不同情况下使用单词的共性来学习单词的含义，并克服早期单词学习经历中的高度不确定性。我们提出了一个建模框架，以调查的作用，相互排斥的偏见-断言一对一的映射词和它们的含义-在减少不确定性的单词学习。在一组计算研究中，我们表明，要成功地学习词义的不确定性面前，学习者需要使用两种类型的竞争：字竞争的关联到一个指涉学习时，从观察和指涉竞争一个字时，使用这个词。我们的工作突出了算法级分析的重要性，以阐明可以实现相同计算级理论的不同机制的效用。
2021-07-27 cs.CL cs.LG
Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
作用于词的分布表示以产生更大文本成分的向量的意义的深层组成模型正在演变为NLP研究的一个流行领域。我们详细介绍了一个组成的分布框架的基础上，丰富的形式的词嵌入，旨在促进在一个句子的上下文中的词之间的相互作用。嵌入层和组合层是针对通用目标联合学习的，该通用目标利用来自周围上下文的句法信息来增强向量。此外，每个单词都与许多意义相关联，其中最合理的是在合成过程中动态选择的。我们对所产生的载体进行了定性和定量的评价，并获得了积极的结果。在句子层面上，该框架的有效性证明了MSRPar任务，我们报告的结果在国家的最先进的范围内。
2015-08-13 cs.AI cs.CL cs.NE
A Survey On Neural Word Embeddings
Izmir Institute of Technology（伊兹密尔理工学院）
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设，即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近，因为一个单词的含义分散在几个神经元中，而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进，改变了整个NLP领域。在这项调查中，我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础，并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入，包括早期的词嵌入，嵌入针对特定的语义关系，意义嵌入，词素嵌入，最后，上下文表示。最后，我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一种优化的多模态对话代理，用于从人类导师交互式学习视觉接地词义，在真实的人-人辅导数据上进行训练。在终身交互学习期间，使用强化学习（RL）训练的智能体必须能够处理与人类用户的自然对话，并实现良好的学习性能（准确性），同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师，这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明：1）学习的策略可以与模拟用户进行一致的交互，以实现任务的目标（即学习对象的视觉属性，例如颜色和形状）; 2）它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略（包括具有动态策略的策略）更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations
University of Cambridge（剑桥大学）；Tehran Institute for Advanced Studies (TeIAS)（德黑兰高等研究院（TeIAS））；Cardiff University（卡迪夫大学）
通过设计，词嵌入不能够对词的语义的动态性质进行建模，即，词对应于潜在的不同含义的特性。为了解决这一限制，几十个专门的意义表示技术，如意义或上下文嵌入已被提出。然而，尽管这个主题的研究很受欢迎，很少有评估基准存在，专门专注于动态语义的话。在本文中，我们表明，现有的模型已经超过了标准评估数据集的性能上限，即，斯坦福大学的语境词相似度，并指出其不足之处。为了解决缺乏合适的基准测试的问题，我们提出了一个大规模的Word in Context数据集，称为WiC，基于专家策划的注释，用于上下文敏感表示的通用评估。WiC在https://pilehvar.github.io/wic/上发布。
2019-04-27 cs.CL
Referential Uncertainty and Word Learning in High-dimensional, Continuous Meaning Spaces
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文从指称不确定性的角度探讨了高维意义空间中的词汇学习。我们研究了各种最先进的机器学习算法，并讨论了缩放，表示和意义空间结构的影响。我们证明了当前的机器学习技术成功地处理了高维意义空间。特别是，我们发现，指数增加的维度线性影响学习者的表现，从词的敏感性的参考不确定性没有影响。
2016-09-30 cs.CL
Informational Space of Meaning for Scientific Texts
University of Leicester（莱斯特大学）
在自然语言处理中，文本意义的自动提取是一个重要的问题。我们的重点是短的科学文本（摘要或简要报告）的意义的计算分析。本文提出了一种向量空间模型来量化词语和文本的意义。我们引入了意义空间，在这个意义空间中，一个词的意义由一个关于文本所属主题类别的相对信息增益（RIG）向量来表示，这些信息增益可以通过观察文本中的词来获得。基于莱斯特科学语料库（LSC）和莱斯特科学词典核心（LScDC），将该方法应用于语义空间的构建。LSC是一个包含1，673，350个摘要的科学语料库，LScDC是一个科学词典，其中的单词是从LSC中提取的。LSC中的每个文本至少属于Web of Science（WoS）的252个主题类别中的一个。这些类别用于构建信息增益的向量。的意义空间的描述和统计分析的LSC与LScDC。建议的表示模型的有用性进行评估，通过在每个类别中排名靠前的话。信息量最大的n个单词被排序。我们证明了基于RIG的单词排名比基于原始词频的排名在确定单词的科学特定含义和重要性方面更有用。该模型的基础上RIG被证明有能力脱颖而出的主题特定的词在类别中。最具信息性的词是252类。新的科学词典和103，998 x 252词类别RIG矩阵可在线获得。意义空间的分析为我们提供了一个工具，进一步探索量化的文本意义使用更复杂的和上下文相关的意义模型，使用词及其组合的共现。
2020-04-28 cs.CL cs.DL
Modeling Task Effects on Meaning Representation in the Brain via Zero-Shot MEG Prediction
Carnegie Mellon University（卡内基梅隆大学）
意义在大脑中是如何表现的，这仍然是神经科学中的一个大问题。一个词（例如，鸟）总是有相同的表征，还是处理单词的任务改变了它的表征（回答“你能吃它吗？“与“它能飞吗？")?研究表明，在执行不同语义任务的同时阅读同一个单词的受试者的大脑活动在不同的任务中是不同的。然而，人们仍然不明白任务本身如何促成这种差异。在目前的工作中，我们研究脑磁图（MEG）的大脑记录的参与者负责回答有关具体名词的问题。我们调查的任务（即被问到的问题）的具体名词的处理的影响，通过预测的毫秒分辨率MEG记录作为一个功能的名词和任务的语义。使用这种方法，我们测试了几个假设的任务刺激相互作用，通过比较zero-shot预测这些假设的新任务和名词没有看到在训练过程中。我们发现，将任务语义显着提高了预测的MEG记录，在参与者。这种改善发生在被试第一次看到单词后的475- 550 ms，这对应于被认为是对单词的语义处理的结束时间。这些结果表明，只有一个词的语义处理的结束是任务依赖的，并提出了一个挑战，为未来的研究制定新的假设，早期的任务效果作为一个功能的任务和刺激。
2020-11-15 cs.AI cs.CL cs.LG
Meaning Sort - Three examples: dictionary construction, tagged corpus construction, and information presentation system
它通常是有用的排序词到一个顺序，反映了他们的意义之间的关系，通过使用同义词词典。本文介绍了一种利用几种类型的“{ \sf is-a}”叙词表和一个多维叙词表进行语义排词的方法。我们还描述了三个主要的应用程序中的意义排序是有用的，并显示了意义排序的有效性。毫无疑问，按意义顺序排列的词表比按某种随机顺序排列的词表更容易使用，因此，可以很容易地产生按意义顺序排列的词表的意义排序一定是有用和有效的。
2001-03-12 cs.CL
Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories
Tencent AI Lab（腾讯人工智能实验室）
词义消歧（WSD）旨在根据上下文自动识别单词的确切含义。由于有限的训练数据，现有的监督模型难以对稀有词义做出正确的预测，并且只能从一个预定义词义库存（例如，WordNet）。为了解决数据稀疏性问题，并将模型推广到独立于一个预定义的库存，我们提出了一个注释对齐算法，可以对齐定义句子（注释）具有相同的含义，从不同的感觉库存收集丰富的词汇知识。然后，我们训练一个模型，以确定上下文中的目标词和它的一个注释使用这些对齐的库存，表现出很强的传输能力，许多WSD任务之间的语义等价。在基准数据集上的实验表明，该方法提高了对频繁和罕见词义的预测，在全词WSD任务上比先前的工作高出1.2%，在低镜头WSD任务上高出4.3%。在WiC任务上的测试结果也表明，该方法能更好地捕捉上下文中的词义。
2021-10-27 cs.AI cs.CL
Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning
Tel Aviv University（特拉维夫大学）；MIT（麻省理工学院）；Cornell Tech（康奈尔科技学院）
词嵌入，即，诸如GloVe和SGNS的低维向量表示在词的向量之间的距离对应于它们的语义接近度的意义上对词“含义”进行编码。这使得能够对各种自然语言处理任务进行语义的迁移学习。词嵌入通常在大型公共语料库（如Wikipedia或Twitter）上进行训练。我们证明，攻击者谁可以修改的语料库上的嵌入训练可以控制“意义”的新的和现有的单词通过改变它们在嵌入空间中的位置。我们开发了一个明确的表达语料库功能，作为一个代理词之间的距离，并建立其值和嵌入距离之间的因果关系。然后，我们展示了如何将这种关系用于两个对抗目标：（1）使一个词成为另一个词的顶级邻居，以及（2）将一个词从一个语义集群移动到另一个。对嵌入的攻击可能会影响各种下游任务，这首次证明了数据投毒在迁移学习场景中的威力。我们使用这种攻击来操纵信息检索系统（如简历搜索）中的查询扩展，使某些名称或多或少对命名实体识别模型可见，并使新词被翻译为特定的目标词，而不管语言。最后，我们展示了攻击者如何生成语言上可能的语料库修改，从而欺骗防御，试图使用语言模型从语料库中过滤不可信的句子。
2020-01-14 cs.CL cs.CR cs.LG
Quantum Inspired Word Representation and Computation
Beijing Normal University（北京师范大学）
词义具有不同的方面，而现有的词表示将这些方面“压缩”到单个向量中，并且需要进一步分析以恢复不同维度的信息。受量子概率的启发，我们将单词表示为密度矩阵，它本质上能够表示混合状态。实验表明，密度矩阵表示可以有效地捕捉不同方面的单词的含义，同时保持与向量表示相当的可靠性。此外，我们提出了一种新的方法，结合相干求和和非相干求和的矢量和密度矩阵的计算。在词汇类比任务上取得了持续的提高。
2020-04-08 cs.CL cs.LG
Signal in Noise: Exploring Meaning Encoded in Random Character Sequences with Character-Aware Language Models
Columbia University（哥伦比亚大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Carnegie Observatories（卡内基天文台）；University of Southern California（南加州大学）；Sapienza University of Rome（罗马第一大学）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Haas Business School（哈斯商学院）
自然语言处理模型基于分布假设来学习单词表示，该分布假设断言单词上下文（例如，共现）与意义相关。我们建议，$n$ -grams组成的随机字符序列，或$garble$，提供了一个新的背景下，研究单词的意义内和外现存的语言。特别是，随机生成的字符$n$ -语法缺乏意义，但包含基于其包含的字符分布的原语信息。通过研究一个大型语料库的乱码，现存的语言，和伪词的嵌入，我们确定了一个轴模型的高维嵌入空间，分离这些类的$n$ -gram。此外，我们表明，这个轴涉及到现存的语言，包括词的词性，形态和概念的具体性结构。因此，与主要限于现存语言的研究相比，我们的工作揭示了意义和原始信息是内在联系的。
2022-04-20 cs.CL cs.LG
Word meaning co-determines vowel-inherent spectral change. A corpus-based investigation of conversational Mandarin
Eberhard Karls Universität Tübingen（图宾根大学）；Center for Language Studies, Radboud University（拉德堡德大学语言研究中心）
研究汉语会话中元音固有频谱变化，用广义相加模型和词嵌入，发现控制多变量时元音共振峰轨迹有与词义相关特定成分，可由语境化嵌入预测，挑战了语音产生模块化认知模型，揭示词义对发音细节的影响。
2026-07-24 cs.CL
From cart to truck: meaning shift through words in English in the last two centuries
Universidad de Costa Rica（哥斯达黎加大学）
本研究利用历时词嵌入探索1800至2000年英语词汇意义演变，通过word2vec和正交Procrustes方法揭示语言与社会变迁的联系，并讨论方法局限与伦理问题。
2024-08-29 cs.CL
The Geometry of Culture: Analyzing Meaning through Word Embeddings
University of Chicago（芝加哥大学）；University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Amazon（亚马逊公司）
我们展示了一种新的方法工具，神经网络词嵌入模型，用于大规模文本分析的实用性，揭示了这些模型如何产生更丰富的见解文化协会和类别比可能与以前的方法。词嵌入将词之间的语义关系表示为高维空间中向量之间的几何关系，使符合当代身份和文化理论的意义关系模型可操作化。我们发现，在这些向量空间中，由词的差异（例如，男人-女人，富人-穷人，黑人-白人，自由-保守）引起的维度与文化意义的维度密切对应，并且与调查响应和标记的历史数据相比，词在这些维度上的投影反映了广泛共享的文化内涵。我们试点的方法来测试这些协会的稳定性，然后展示应用词嵌入的宏观文化调查与纵向分析的共同演变的性别和阶级协会在美国在20世纪和历史的区别之间的比较分析标记的性别和阶级在美国和英国。我们认为，这些高维模型的成功激励走向“高维理论化”的意义，身份和文化过程。
2018-03-25 cs.CL
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research（微软研究院）；Peking University（北京大学）；University of Michigan（密歇根大学）
现有的大多数词嵌入方法没有区分不同语境中的同一个词，从而忽略了它们的语境意义。因此，这些词的学习嵌入通常是多种含义的混合。在本文中，我们承认在不同的上下文中同一个词的多重身份，并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库，构建了一个词和词身份的异构网络，用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法，将异构网络进一步嵌入到低维空间中，得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份，包括主题，情感和类别。在真实数据集上的实验结果表明，该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义，并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Word learning under infinite uncertainty
University of Edinburgh（爱丁堡大学）；University of Stirling（斯特林大学）
语言学习者必须学习成千上万个单词的含义，尽管这些单词出现在复杂的环境中，学习者可能会推断出无限多的含义作为单词的真正含义。这个无限参照不确定性的问题通常归因于威拉德·范·奥曼·奎因。我们提供了一个数学形式化的一个理想的跨情境的学习者试图学习无限的参考不确定性，并确定条件下，单词学习是可能的。正如奎因的直觉所暗示的那样，在无限不确定性下的学习实际上是可能的，只要学习者有一些根据其可解释性对候选词义进行排名的方法;此外，我们的分析表明，这种排名实际上可能非常弱，这意味着允许学习者推断候选词义的可解释性的约束本身可能很弱。这种方法解除了解释的负担，从“聪明”的词学习的限制，在学习者，并建议一个方案的研究弱，不可靠的，概率的限制，在真正的词学习者的词义推断。
2016-02-10 cs.CL physics.soc-ph
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.（Preferred Networks 公司）；Tokyo Institute of Technology（东京工业大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.（2016）中使用的动态实体表示，并结合了Gu et al.（2016）和Gulcehre et al.（2016）独立提出的复制机制。此外，我们还构建了一个新的任务和数据集，称为Ancesturized Language Modeling，用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明，所提出的RNN语言模型变体优于基线模型。此外，实验还表明，输出层的动态更新有助于模型预测再现实体，而输入层的动态更新则可有效预测再现实体后面的单词。
2017-10-17 cs.CL
From meaning to perception -- exploring the space between word and odor perception embeddings
University of Copenhagen（哥本哈根大学）
在本文中，我们建议使用Word 2 vec算法，以获得气味感知嵌入（或气味嵌入），只使用公开的香水描述。这些嵌入除了显示出彼此之间有意义的相似关系外，还显示出与各自的词嵌入具有一些共享信息。这些嵌入的意义表明，美学可能会提供足够的约束，在非随机组合的数据上使用分布式语义驱动的算法。此外，它们为气味分类和香水分析提供了新的方法。我们还采用了嵌入，试图了解香水的美学性质，基于真实和随机生成的香水之间的差异。在另一个试验性实验中，我们探索了词嵌入空间和气味感知嵌入空间之间映射的可能性，通过在共享词汇上拟合回归量，然后预测没有先验相关气味的词的气味感知嵌入，例如夜晚或天空。
2022-03-19 cs.CL
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言及翻译学系）
针对语义组合程度缺乏量化计算指标的问题，研究者基于Transformer前馈网络的键值记忆机制提出组合度指标，实验发现其与多个和语言加工相关的脑簇相关，为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
Learning the meanings of function words from grounded language using a visual question answering model
McGill University（麦吉尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Stanford University（斯坦福大学）
本文研究视觉问答模型如何从基于视觉基础的语言中学习功能词含义，发现循环模型能通过非符号化统计学习掌握逻辑、空间和数值功能词语义，且学习难度受输入频率影响。
2024-04-22 cs.CL
Context encoders as a simple but powerful extension of word2vec
Technische Universität Berlin（柏林工业大学）
凭借简单的架构和从包含数十亿单词的文本中有效学习有意义的单词嵌入的能力，word2vec仍然是当今最受欢迎的神经语言模型之一。然而，由于对词汇表中的每个单词只学习一个嵌入，因此该模型无法最佳地表示具有多种含义的单词。此外，不可能当场为新（词汇表外）单词创建嵌入。基于一个直观的解释连续袋的话（CBOW）word2vec模型的负采样训练目标预测上下文的相似性，我们激励扩展的模型，我们称之为上下文编码器（ConEc）。通过将已训练的word2vec嵌入矩阵与单词的平均上下文向量相乘，可以基于单词的本地上下文创建具有多个含义的单词的词汇外（OOV）嵌入和表示。这种方法的好处是通过使用这些词嵌入的功能，在CoNLL 2003命名实体识别（NER）的任务。
2017-06-08 cs.CL cs.LG stat.ML
JeSemE: A Website for Exploring Diachronic Changes in Word Meaning and Emotion
Graduate School ‘The Romantic Model’（“浪漫主义模式”研究生院）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
我们在这里介绍了一个大大扩展版本的JeSemE，一个交互式网站，用于可视化地探索计算得出的时变信息的词义和词汇的情绪，从五个大的历时文本语料库组装。JeSemE是专为（数字）人文学科的学者设计的，作为查阅手动编译的替代方案，印刷字典以获取此类信息（如果有的话）。这个工具独特地结合了最先进的分布式语义与人类情感的细微差别模型，我们认为这两个信息流有利于人文文本的数据驱动解释。
2020-12-18 cs.CL
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca（米兰比可卡大学）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而，由于文化和社会的影响，隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化，甚至在某种程度上推动了这种进化。这就提出了一个问题，即不同的，可能是特定时间的，字面意义的表征是否会影响隐喻检测任务。据我们所知，这是第一个研究，探讨隐喻检测任务，详细的探索性分析，不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明，不同的静态词嵌入方法的使用确实影响隐喻检测任务，一些时间词嵌入略优于静态方法。然而，研究结果也表明，时间词嵌入可能提供表征的核心意义的隐喻，甚至太接近他们的上下文意义，从而混淆分类。总的来说，时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明，未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始，在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
Not Minds, but Signs: Reframing LLMs through Semiotics
University of Lausanne（洛桑大学）
本文挑战将大语言模型视为认知系统的倾向，提出符号学视角，强调模型通过符号操作和意义生成参与文化过程，而非模拟人类思维。
2026-03-27 cs.CL
The Dependence of Frequency Distributions on Multiple Meanings of Words, Codes and Signs
Institute of Transportation Systems Science and Engineering, Beijing Jiaotong University（北京交通大学交通运输系统工程研究所）；IceLab, Department of Physics, Umeå University（于默奥大学物理系冰实验室）
通过删除字母的方法，研究了文本中词语的多重意义对频率分布的依赖性。通过用更少的字母编码单词，每个编码单词的含义数量增加。这种增加被测量并用作预测理论的输入。对于用英语写的文本，词频分布是宽的和厚尾的，而如果单词仅由它们的第一个字母表示，则分布变为指数分布。这两种分布都被理论很好地预测，就像通过连续地用前L= 6，5，4，3，2，1个字母表示单词所获得的整个序列一样。本文将汉字书写的文本与字母代码书写的文本进行了比较，并将其频率分布的相似性解释为汉字具有多重意义的结果。这进一步表明，英文字母文本和中文汉字文本的词频形状的差异是由于编码，而不是语言本身。
2017-09-28 cs.CL eess.AS physics.soc-ph
Evaluation of Automatically Constructed Word Meaning Explanations
Masaryk University（马萨里克大学）
编写准确、全面的词义解释是单语词典编纂过程中的关键环节之一。在标准的方法论中，解释需要一个专业的词典编纂者花大量的时间检查描述性文本和语料库证据之间的一致性。在下面的文本中，我们提出了一种新的工具，它可以根据来自非常大的语料库的集体信息，特别是单词草图，自动导出解释。我们还提出了一个定量评估的建设性的解释，集中在名词的解释。该方法在一定程度上是语言独立的;然而，所提出的验证仅限于捷克语和英语。我们表明，所提出的方法允许创建解释，其中包含的数据有助于理解单词的含义在大约90%的情况下。然而，在许多情况下，结果需要后期编辑以删除冗余信息。
2023-02-27 cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
Vision Transformers Learn Word Meaning from Images Alone
Technical University of Denmark（丹麦技术大学）
本文研究仅图像自监督预训练的DINOv3视觉Transformer能否从图像中学习词义，发现其能呈现显著语义结构，对比对齐可增强其单词级语义结构，表明仅图像训练能让视觉模型掌握词义关联。
2026-10-12 cs.CL cs.CV
Systematic word meta-sense extension
University of Toronto（多伦多大学）
本文提出了系统性词语元义延伸（SWORME）任务以测试并提升语言模型推导非字面词义的能力，发现模型擅长渐进式语义延伸而难以预测隐喻，并提出基于类比的方法有效提升了模型延伸能力及在修辞语言理解基准上的表现。
2023-11-21 cs.CL
The origins of Zipf's meaning-frequency law
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Kansas（堪萨斯大学）
在他的开创性研究中，G. K.齐普夫观察到，更频繁的单词往往有更多的含义，并表明一个单词的含义数量随着其频率的平方根而增长。他从两个假设推导出这种关系：词遵循齐普夫词频定律（频率和等级之间的幂律依赖关系）和齐普夫意义分布定律（意义数量和等级之间的幂律依赖关系）。在这里，我们表明，一个单一的假设联合概率的一个词和一个意义足以推断齐普夫的意义频率法或放松的版本。有趣的是，这个假设可以被证明是心理探索过程中有偏随机游走的结果。
2017-12-30 cs.CL cs.IT math.IT
Internal Wiring of Cartesian Verbs and Prepositions
University of Oxford（牛津大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
范畴成分分布语义学（CCDS）允许人们从组成词的意义中计算短语和句子的意义。从传统的语法范畴模型中继承下来的类型结构变成了一种“线结构”，它调节着词义的相互作用。然而，CCDS有一个比普通的范畴语义更丰富的逻辑结构，因为某些词也可以被赋予一个“内部连接”，要么提供它们的全部含义，要么减少它们的含义空间。以前的内部连接的例子包括关系代词和交叉形容词。在这里，我们建立了一个很大的一类行为良好的及物动词，我们称为笛卡尔动词相同，并减少意义空间从三元张量到一元。并提供了一些实验证据。
2018-11-08 cs.AI cs.CL
